重磅!蚂蚁集团 inclusionAI 发布万亿参数开源模型 Ling-1T

AI 新资讯1周前发布 快讯
1,157 0 0
博思AIPPT
IT 时代网讯:10 月 9 日消息,蚂蚁集团 AI 实验室 inclusionAI 发布万亿参数的通用语言模型 Ling-1T。Ling-1T 是蚂蚁百灵大模型 Ling 2.0 系列的第一款旗舰模型。
该模型在 20T+tokens 高质量、高推理浓度的语料上完成预训练,支持最高 128K 上下文窗口。其采用 FP8 混合精度训练,带来显著显存节省与 15%+ 的端到端加速。在强化学习阶段,创新性提出 LPO 方法,还采用 “语法 – 功能 – 美学” 混合奖励机制。基准测试显示,Ling-1T 在多项复杂推理基准中取得 SOTA 表现,多项指标位居开源模型榜首。
本文为 AI 大模型生成,如有错漏,请与我们联系,更多资讯,请关注 IT 时代网!
© 版权声明

相关文章