德阳吧加速替代CUDA！摩尔线程开源vLLM-MUSA 加速国产GPU AI
快科技11月5日消息，近日，摩尔线程上线了大语言模型高速推理框架开源项目vLLM的MUSA移植版本，为开发者提供基于摩尔线程全功能GPU进行开源项目MUSA移植的范例。摩尔线程表示，正努力围绕自主研发的统一系统架构GPU、MUSA软件平台，构建完善好用的MUSA应用生态。vLLM是一个高效且易用的大模型推理和服务框架，支持创新的PagedAttention内存管理、连续批处理请求、CUDA/HIP图的快速模型执行、CUDA核心优化、分布式推理支持等，可显著提高大语言模型（LLM）的推理性能。
目前，vLLM已在各种大语言模型中得到广泛应用，成为业界常用的开源大模型推理框架。摩尔线程基于vLLM v0.4.2版本，进行了移植适配，使之支持摩尔线程GPU后端Device，并完全开源，开发者可以二次开发、升级vLLM到社区更新版本等。
加速替代CUDA！摩尔线程开源vLLM-MUSA 加速国产GPU AI
值得一提的是，得益于摩尔线程MUSA架构的先进性、软件栈对CUDA的优良兼容性，通过MUSIFY代码自动转换工具，用户可以快捷地将原有的CUDA代码迁移到MUSA平台，实现替代。同时，CUDA相关库的调用，也可以快速替换为相应的MUSA加速库，如算子库muDNN、集合通信库MCCL、线性代数库muBLAS等。
摩尔线程通过MUSA软件栈对CUDA软件栈接口兼容，大幅提升了应用移植的效率，缩短了开发周期，还提供MUSIFY自动代码移植工具等一系列实用工具和脚本。
加速替代CUDA！摩尔线程开源vLLM-MUSA 加速国产GPU AI
【本文结束】出处：快科技
版权声明
本站所有文章来源于本站原创或网络，如有侵权请联系删除。文章观点并不代表本站观点，请网友自行判断，如涉及投资、理财请谨慎应对！
相关文章
作者文章
- 古代男人最喜欢这种东西 长相难看却专治“隔壁老王” 34分钟前
- 历史上神秘的三次天灾，至今仍无法解释，其中一次在中国 37分钟前
- 高血糖患者能不能吃冬枣？医生劝告：不想血糖飙升，远离3种食物 42分钟前
- 糖尿病能吃山芋吗？糖尿病患者必看 43分钟前
- 5名“驴友”不听劝违规探险被困：获救后付费2万埋单 55分钟前
发表评论:
◎欢迎参与讨论，请在这里发表您的看法、交流您的观点。