摩尔线程 MTT S5000 适配 FlagOS 训练全要素软件栈,实现 Qwen3-0.6B 端到端无中断训练

AI 新资讯7小时前发布 浩渺
850 0 0
熊猫办公

3 月 27 日消息,摩尔线程今日发文,北京智源人工智能研究院(简称:智源研究院)正式发布重磅验证成果:六款 AI 芯片、三大模型、同构 + 异构千卡 —— 众智 FlagOS 以统一技术栈完成 AI 训练“全要素”验证。

IT之家注意到,作为本次验证的核心参与厂商之一,摩尔线程基于旗舰级 AI 训推一体全功能 GPU 智算卡 MTT S5000,完整适配了 FlagOS 训练全要素软件栈 —— 包括 FlagScale 系统调度决策框架、Megatron-LM 分布式训练框架、Transformer Engine 加速库、FlagGems 与 Triton 算子库,以及 FlagCX 通信库。

摩尔线程 MTT S5000 适配 FlagOS 训练全要素软件栈,实现 Qwen3-0.6B 端到端无中断训练 width=”1080″ height=”323″>

在此次验证中,MTT S5000 面向 Qwen3-0.6B 语言模型完成了 1T Tokens 从头训练验证,实现连续 6 天以上、超过 14000 步的无中断稳定训练。训练所得模型 Loss 曲线与基线高度一致,平均相对误差控制在 0.82% 以内;在标准下游任务评测中,较行业标杆基线提升 1.65 个百分点,充分验证了全功能 GPU 算力在大模型端到端训练中的稳定性与有效性。

© 版权声明

相关文章