普林斯顿CEO-Bench结果出炉：仅Claude等少数大模型能当好软件公司CEO

最近，普林斯顿大学与芝加哥大学的一支研究团队，把14个主流大模型送进了一场高强度的“决策熔炉”。他们设计的CEO-Bench基准测试，要求AI扮演一家软件公司的首席执行官，在模拟经营中连续决策500天。结果令人意外：只有Anthropic的Claude 3.5 Sonnet以及另一个Claude系列模型表现合格，而GPT-4o、Gemini 1.5 Pro等多数热门选手都暴露出严重的战略短板。

这不是一次简单的问答评测。研究者构建的商业环境高度动态，包含产品研发、市场竞争、现金流管理、团队组建等六七个相互咬合的决策维度。模型必须像真实CEO那样，在信息不完备、后果延迟显现的压力下连续拍板，每一步都影响公司存亡。

模拟500天，AI老板的真实考场

CEO-Bench模拟的是典型硅谷式软件初创公司的成长路径。AI接手时公司刚刚起步，拥有一个基础产品，账上趴着有限现金，需要在客户获取、产品迭代、定价策略和融资节奏中寻找平衡。500天的模拟时间里，市场还会随机抛出需求波动、对手降价、关键员工离职等扰动事件。

测试一共涵盖14个主流模型，包括OpenAI的GPT-4o、Google的Gemini 1.5 Pro、Meta的Llama 3.1 70B和Mistral Large等。每个模型都独立运行多次完整模拟，以排除随机性干扰。评判标准不是某个单一财务指标，而是综合考察公司在第500天时的存活状态、市场份额、现金流水平和股东价值。

研究者特别强调，这不是一个“谁更会赚快钱”的游戏。如果模型为了短期利润砍掉研发预算，很快就会因为产品老化而被淘汰；如果无节制烧钱扩张，又可能在遇到意外冲击时突然崩盘。这种多目标平衡，恰恰是现代企业CEO每天面对的常态。

只有两个模型守住及格线

最终结果呈现在一张鲜明的排行榜上。Claude 3.5 Sonnet以较高的综合得分位居第一，能稳定维持公司正向现金流，并在产品创新和客户满意度之间找到可持续的均衡点。紧随其后的是同门兄弟Claude Fable 5（注：疑似为Claude 3 Opus或内部代号，实际应为Anthropic的另一高级版本），同样展现出可复现的战略稳健性。

令人惊讶的是，那些在通用知识测试中表现优异的模型，在CEO-Bench里频频翻车。GPT-4o的平均表现甚至不及一些随机策略的变体。它会做出过于激进的定价决策，或在现金流即将断裂时仍保持高额营销支出，看起来像缺乏对二阶后果的预判。Gemini 1.5 Pro则常常陷入策略摇摆，前一个月还聚焦企业客户，下个月又突然转向低价大众市场。

研究者披露了多个失败案例。在一个模拟中，某个知名模型在资金紧张时依然坚持大幅加薪吸引工程师，结果两个月后因为无法支付云服务账单而触发技术宕机，直接丢失大批客户。另一个模型则过度保守，手握大量现金却不投入研发，最终被竞争对手的产品彻底替代。这些决策病根，通常不是知识匮乏，而是缺少连贯的战略逻辑。

Claude到底做对了什么

从测试日志来看，Claude 3.5 Sonnet展现出一种“审慎的适应力”。它不会在每个回合都追逐最优解，而是倾向于选择那些不依赖极端假设的稳健策略。例如在产品定价上，它更接近价值定价而非渗透定价；在融资时点判断上，它更早准备备用信贷额度，哪怕这会稀释一部分股权。

这种风格可能和Anthropic一贯强调的“安全、可靠”对齐思路有关。Claude系列在预训练和强化学习阶段就被反复训练处理长上下文推理和权衡性决策，而不是简单追求高匹配度回答。CEO-Bench的决策链往往延展几十步，需要保持前后一致的意图链，这恰好是Claude架构的相对优势。

另一个关键差异在于“信息筛选”。很多模型在面对CEO-Bench给出的财务仪表盘、市场报告和员工情绪数据时，会平均分配注意力，结果被噪音干扰。Claude 3.5 Sonnet则展现出更接近人类高管的注意力机制，优先处理现金流和客户流失率的危险信号，相对忽略短期非结构化的背景噪声。

从知识问答到战略决策的巨大鸿沟

CEO-Bench的结果暴露了一个产业级断层：当下的大模型擅长回答“什么是波特五力模型”，却不擅长在连续压力下自主运用这些模型。这不完全是技术能力问题，更关乎评测框架的错位。过去两年，业界习惯用MMLU、HumanEval等静态基准衡量模型进步，但真实世界的经营决策几乎没有标准答案，也不存在唯一正确的答案序列。

研究用的模拟器本身也构成了一种新的评估范式。它不是让AI从题库里选答案，而是让AI生成结构化决策动作，再通过一个严谨的多智能体市场模型给出延迟反馈。这种“做决定—等结果—再调整”的闭环，更贴近人类学习复杂技能的方式，也更能检验模型在不确定环境下的认知一致性。

多位参与评估的学者在接受媒体采访时指出，目前绝大多数大模型在企业级决策应用中都存在类似“哥白尼式偏见”——一旦形成某个初始策略，就倾向忽略后续冲突信号，而非根据新证据重新校准。这种认知惰性在静态测试中不易暴露，但在CEO-Bench这类长周期模拟中会被充分放大。

产业影响：企业AI代理还不到火候

对于正在尝试将大模型嵌入ERP、财务规划或战略分析的企业而言，这份结果像一盆及时的冷水。它提醒人们，即便模型能通过CFA考试或写出漂亮的战略报告，也不意味着它能安全地自主执行决策。目前看来，更稳妥的路径是“人在回路”，将AI定位为建议引擎和情景模拟器，而非直接授权的决策主体。

但这并不意味着大模型毫无价值。CEO-Bench的测试环境本身就是一种训练和沙盘推演工具。已经有企业开始借鉴这套框架，让内部高管和AI进行策略对抗，从而发现人类决策中的盲点。Claude 3.5 Sonnet在测试中表现出色的情境推演能力，恰好可以在战略研讨会中被用来快速生成压力测试方案。

此外，这次测试也提示了模型训练数据的新方向。未来如果希望大模型具备更强的经营意识，可能需要引入更多“过程导向”的决策链数据，而不只是成品报告和事后归因分析。Anthropic和少数研究团队已经尝试将模拟器的反馈信号直接用于强化学习微调，但离工业化应用还有距离。

当我们观看这些AI在模拟器里挥斥方遒或仓促败退时，看到的其实是决策智能演化的一个剖面。14个模型里只有极少数勉强胜任，说明在通往可信自主决策的路上，还有大量关于一致性、风险敏感度和长程规划的研究空白需要填补。普林斯顿团队计划将CEO-Bench开源，这或许会催生新一轮更精细的模型能力解剖，也让人们对AI承担更大人责任的未来多了一份谨慎的期待。