美团发布LongCat-2.0,国产算力训练万亿参数大模型

美团发布LongCat-2.0,国产算力训练万亿参数大模型

6月30日,美团正式发布新一代万亿参数大模型LongCat-2.0,并宣布将对外开源。该模型总参数规模达1.6万亿,从零开始预训练,原生支持1M超长上下文,是业界首个依靠国产算力完成训练、推理全流程的万亿参数大模型。

7fbd9866a9f2b53fac8e4a545a2b23c55fa6c400750db0a44868a734b2b21e6f.0

LongCat-2.0的测试版本此前已在OpenRouter上线,总调用量跻身全球前三。其中在Hermes平台月调用量位列全球第一,在Claude Code的月调用量位列全球第二,仅次于Claude Opus 4.8,显示出海外开发者社区对这一国产模型的较高认可。

预训练方面,LongCat-2.0的数据规模超过30T tokens,覆盖中文、英文、多语言和代码等多类数据。美团官方宣布,将于近期开源Infra框架、推理引擎、模型参数等核心技术,回馈全球开发者社区。

万卡级国产算力训练面临硬件故障、通信异常、显存压力与数值波动等多重挑战,LongCat团队从三个维度实现突破:

· 稳定性:通过HCCL异常处理、弹性扩缩卡和自动故障恢复,月均日故障率降低70%以上。

· 正确性:自研确定性算子、Bitwise一致性验证和参数检测,保障训练结果可靠,同时优化Reduce逻辑,提升关键模块计算精度。

· 效率:流水线调度、显存优化和算子级控核并行推进,训练MFU提升1.5倍。

最终,LongCat实现稳态日吞吐超过1T tokens/day,完成万亿参数MoE模型在国产算力上的稳定训练。

此次发布的意义不止于模型本身——它验证了国产AI算力基础设施已具备支撑万亿级模型从零训练到稳定推理的工程能力。在海外算力管制持续收紧的背景下,这条技术路线的打通,为国内大模型产业提供了更具韧性的发展选项。

 

© 版权声明
THE END
喜欢就支持一下吧
点赞5赞赏 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容