816B 参数大模型

Meta 开源权重模型 Muse Spark Open 发布，参数规模 816B，上下文长度 1M，开放权重模型首次同时推高两个关键指标，竞争坐标随之改变。文章梳理 Meta 从 Llama 2 到 Llama 3.1 405B 的开源路线，分析 MoE 稀疏架构下激活参数、显存占用与吞吐成本才是部署关键，并解读 1M 上下文在注意力机制、KV 缓存与位置编码外推上的技术难点。同时展望云厂商与推理框架的适配节奏、创业公司蒸馏微调路径，以及开放权重在安全治理、许可证边界和欧盟 AI 法案下的合规挑战。