资讯
彩云科技:AI团队两次刷新大模型训练速度世界纪录,相关代码已并入官方开源仓库
📋总体概括
人工智能企业彩云科技宣布,其基础模型算法团队在全球开源竞速项目NanoGPT Speedrun中连续两次刷新大模型训练速度世界纪录,将达标训练时间压缩至1分16秒,相关代码已并入官方开源仓库。两项纪录基于团队原创架构创新DCMHA(可动态组合多头注意力)和MUDD(多路动态稠密连接),分别于2024年、2025年发表于国际机器学习顶级会议ICML并均入选口头报告,体现了算法创新对训练效率的直接提升。
⚡关键信息
- ▸彩云科技团队在NanoGPT Speedrun项目中连续两次刷新大模型训练速度世界纪录
- ▸达标训练时间被压缩至1分16秒,相关代码已并入官方开源仓库
- ▸纪录源于两项原创架构创新:DCMHA可动态组合多头注意力和MUDD多路动态稠密连接
- ▸DCMHA和MUDD分别于2024年、2025年发表于ICML,并均入选口头报告
- ▸NanoGPT Speedrun为全球开源AI技术竞速项目,比拼大模型训练速度
🔥犀利点评
刷Speedrun纪录固然亮眼,但要清醒看到:1分16秒训练的小模型本质上是个算法竞技场,和真实大模型训练效率不能直接画等号。不过彩云这条路子值得肯定——用顶会认证的原创架构创新拿下开源社区硬指标,比国内一堆靠堆卡和PPT讲故事的公司扎实得多。注意力机制层面的创新若能外推到更大规模训练,才是真正值钱的故事,现在还只是个好的开始。
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 36氪快讯 阅读全文 →