本周初,腾讯混元宣布开源四款小尺寸模型(参数分别为 0.5B、1.8B、4B、7B),可无缝运行于消费级显卡上。作为全球应用范围最为广泛的计算平台,Arm 在开源首日就已率先实现适配,携手合作伙伴共同赋能端侧人工智能 (AI) 部署,助力本土开发者实现 AI 应用创新!
这次的首日开源适配是双方再次携手提升端侧应用功能和用户体验的又一例证。去年,Arm 将 Arm KleidiAI 技术与腾讯混元自研的 Angel 机器学习框架进行集成,从而提高移动端 AI 服务的推理性能和效率。得益于这一集成,混元大模型的预填充部分加速了 100%,而解码器的速度提高了 10%。
此次腾讯混元开源的四款模型可适用于笔记本电脑、手机、智能座舱、智能家居等低功耗场景,且支持垂直领域低成本微调,为开发者和企业提供更多尺寸的模型选择。四款模型均实现了对标业界同尺寸模型的性能表现,特别是在语言理解、数学、推理等领域尤为突出。目前,四款模型均已在 Github 和 Huggingface 等开源社区上线。

此外,对于开源方面的投入,双方秉持同样的热忱,开源是腾讯混元大模型长期坚持的方向,而 Arm 则在开源项目的支持上投入了大量的工程资源,并不断地扩大开源合作伙伴协作,致力于为全球超过 2,200 万基于 Arm 平台开发的开发者提供更多的获取资源和更高的性能,助力实现 AI 无处不在!
展望未来,Arm 将继续通过开源合作与技术创新,持续赋能开发者无缝获取底层硬件性能,进而实现更顺畅的创新开发,并携手合作伙伴构筑更加繁荣的开源生态,加速应用落地。
-
ARM
+关注
关注
135文章
9608浏览量
394149 -
机器学习
+关注
关注
67文章
8570浏览量
137381
原文标题:开源支持新动态!Arm 率先适配腾讯混元开源模型,助力端侧 AI 创新开发
文章出处:【微信号:Arm社区,微信公众号:Arm社区】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
海光信息深算3号DCU深度适配腾讯混元Hy3 preview大模型
沐曦股份曦云C系列GPU产品Day 0适配腾讯混元Hy3 preview语言模型
腾讯Hy3 preview开源:重构AI大模型技术范式,开启智能计算新纪元
Arm率先适配腾讯混元HY-1.8B-2Bit模型
沐曦曦云C500/C550 GPU产品适配腾讯混元图像3.0图生图模型
沐曦曦云C500/C550 GPU产品适配腾讯混元开源翻译模型1.5版本
壁仞科技壁砺166M产品适配腾讯混元开源翻译模型1.5版本
Arm率先适配腾讯混元开源模型,助力端侧AI创新开发
评论