Ai2 官方团队文章宣布 Olmo-core 3,并给出公开代码与技术报告入口,介绍专家并行、流水线并行及分布式优化器。
Ai2 报告在 8 张 NVIDIA B300 上的 470 亿参数 MoE 初步测试中,吞吐量约为其旧 FSDP 实现的 2.7 倍;未做独立或跨框架复测。
影响与意义
为研究者增加开放 MoE 训练实现;硬件、路由及精度设置影响结果,不能把系统吞吐量直接解释为模型质量提升。
可用性与限制
文章提供开源训练框架入口;不是新的万亿参数可用模型或权重发布。部署前仍需核对许可证、依赖与硬件。
官方来源
- Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs
发布时间:2026-10-01T15:01:43.000Z;发现时间:2026-10-01T15:36:47.072Z