媒体界
行业纵横 资讯速递 科技前沿 峰会论坛 企业快讯 商业快讯

摩尔线程推出vLLM-MUSA开源项目,助力开发者高效移植大语言模型

2024-11-05来源:ITBEAR编辑:瑞雪

摩尔线程官方今日宣布,已成功将大语言模型高速推理框架vLLM的MUSA移植版本上线,此举旨在为开发者提供基于摩尔线程全功能GPU进行开源项目MUSA移植的参考。

据悉,vLLM作为一款高效且便捷的大模型推理和服务框架,已在众多大语言模型中发挥关键作用,并逐渐成为行业内广泛采用的开源推理框架。

摩尔线程团队针对vLLM v0.4.2版本进行了详尽的移植适配工作,为vLLM框架新增了摩尔线程GPU后端Device支持,并慷慨地将移植后的vLLM-MUSA版本开源,供开发者社区使用。

通过这一开源项目,开发者们能够基于摩尔线程GPU以及vLLM-MUSA进行更为深入的二次开发,同时也可轻松将vLLM升级至社区发布的最新版本。

摩尔线程进一步指出,其MUSA软件栈与CUDA软件栈接口的高度兼容性,不仅显著提升了应用移植的效率,还大幅缩短了整个开发周期。为了进一步降低开发者在MUSA平台上进行大语言模型训练和推理应用适配的难度,摩尔线程还提供了一系列实用的工具和脚本,其中包括MUSIFY自动代码移植工具。

对于对摩尔线程GPU及vLLM-MUSA开源项目感兴趣的开发者,可通过访问官方GitHub仓库获取更多信息和资源。附vLLM-MUSA开源地址:https://github.com/MooreThreads/vLLM_musa

此举无疑将促进大语言模型推理领域的技术发展,并为开发者社区带来更多的便利与创新机会。

字节跳动反腐通报:年内辞退违规员工103人,其中11人涉嫌刑事犯罪被立案侦查
11 月 5 日消息,字节跳动内部今日发布了年内第四份《企业纪律与职业道德委员会通报》(下称“通报”)。 从涉嫌罪名来看,其中 1人涉嫌职务侵占罪,5 人涉嫌非国家工作人员受贿罪,另有 5 人未…

2024-11-05