Ai2 官方团队文章宣布 Olmo-core 3,并给出公开代码与技术报告入口,介绍专家并行、流水线并行及分布式优化器。

Ai2 报告在 8 张 NVIDIA B300 上的 470 亿参数 MoE 初步测试中,吞吐量约为其旧 FSDP 实现的 2.7 倍;未做独立或跨框架复测。

影响与意义

为研究者增加开放 MoE 训练实现;硬件、路由及精度设置影响结果,不能把系统吞吐量直接解释为模型质量提升。

可用性与限制

文章提供开源训练框架入口;不是新的万亿参数可用模型或权重发布。部署前仍需核对许可证、依赖与硬件。

官方来源