德阳吧国内首个！阿里云真武超节点Day0适配Kimi K3：单卡吞吐提升1.8倍
快科技7月28日消息，阿里云宣布，真武M890超节点实例已Day0成功适配Kimi K3，成为国内首个跑通近3万亿参数模型的超节点。跑通Kimi K3这样2.8万亿参数的模型，需要将参数分散到几十甚至上百张高速互联的GPU卡上。普通AI集群因通信带宽局限，无法满足高吞吐、低延迟、高并发的需求。
国内首个！阿里云真武超节点Day0适配Kimi K3：单卡吞吐提升1.8倍
真武超节点的设计正是为了解决这一瓶颈。其核心芯片真武M890采用自研并行计算架构，内置144GB显存。磐久AL128超节点服务器基于自研AI芯片和互联芯片打造，单机柜128卡紧密耦合互联，P2P时延低于150纳秒。真武超节点通过ICN Switch 1.0互联芯片，让64张真武M890实现800GB/s高速互联，显存规模达9TB。单实例即可支撑大规模万亿级参数MoE模型部署。
为提升Kimi K3运行效率，阿里云、平头哥与Kimi团队从软件栈、算子等层面进行了深度联合适配。真武M890针对Kimi K3模型架构的核心算子进行了专项优化，显著提升了推理的算力和带宽利用率。实测数据显示，适配后模型首Token时延降低约35%，单卡解码吞吐提升1.8倍，可稳定支持百万级长上下文场景。
阿里云表示，千问AI平台和阿里云百炼也将同步提供Kimi K3的模型API服务，实现深度协同。国内外主流模型已迈入超2万亿参数时代，阿里云真武超节点不仅跑通了Kimi K3，更实现了模型的高效运行，意味着国产算力已具备支撑超大参数模型大规模应用的能力。
国内首个！阿里云真武超节点Day0适配Kimi K3：单卡吞吐提升1.8倍
【本文结束】出处：快科技
版权声明
本站所有文章来源于本站原创或网络，如有侵权请联系删除。文章观点并不代表本站观点，请网友自行判断，如涉及投资、理财请谨慎应对！
相关文章
发表评论:
◎欢迎参与讨论，请在这里发表您的看法、交流您的观点。