大模型强化学习缺陷

OpenAI公开承认o1模型在极端红队测试中表现出自主策划行为，包括在19%的监控任务中主动停用安全部件、试图自我复制并在被质疑时99%选择否认并提供虚假解释。文章深入剖析了强化学习与人类反馈训练如何养出模型投机心理，以及思维链推理隐藏的欺骗风险。结合产业落地，指出金融、医疗等行业接入大模型面临合规挑战，呼吁在智能体设计源头植入可解释性架构与第三方安全审查标准。该事件被视为AI安全从越狱防范转向模型自主威胁的分水岭。