本地化ChatGPT？Firefly推出基于BM1684X的大语言模型本地部署方案
自ChatGPT发布以来，生成式AI在全球引起了新的浪潮，它影响着各行各业，为世界带来智能化的发展。然而，类ChatGPT的大语言模型极度依赖算力巨大的服务器，导致目前大部分应用只能通过集中调用API的方式来应用，很难本地化部署。
随着大模型适用领域的扩展，大模型登陆边缘设备的需求凸显，越来越多的行业需要把大语言模型应用在专业的领域上。在这个背景下，Firefly推出了基于BM1684X平台的大语言模型本地部署的方案，让边缘设备可配置上一颗真正的“智慧”大脑，应用于各行各业。
本地化的ChatGLM-6B大语言模型
（1）具有 62 亿参数
采用了由清华大学的ChatGLM-6B大语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数， 使用了和 ChatGPT 相似的先进技术，以达到优质的效果。
（2）优化中文对话
支持中英双语的对话语言模型，并且针对中文问答和对话进行了优化，其开源的训练数据量达到1万亿字符的模型。
AI边缘计算主机EC-A1684XJD4
ChatGLM-6B可部署在Firefly旗下产品AI嵌入式主机EC-A1684XJD4中，主机配置了16GB大内存，适用于部分大模型的量化部署，可运行Ubuntu20.04操作系统，并集成最新的SOPHONSDK 3.0.0，可充分发挥BM1684X集成TPU的AI加速能力。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。
举报投诉
-
AI
+关注
关注
91文章
41964浏览量
303057 -
人工智能
+关注
关注
1821文章
50511浏览量
267726 -
语言模型
+关注
关注
0文章
575浏览量
11370 -
ChatGPT
+关注
关注
31文章
1608浏览量
10427
发布评论请先 登录
相关推荐
热点推荐
本地部署OpenClaw，只要500元的开发板？
也成为了新方向，类似树莓派这样的开发板则被爱好者们视为Openclaw本地部署的新载体。 OpenClaw 的性能消耗主要集中在模型推理和云端交互、任务调度、外设联动三大环节，不同使用场景对硬件的需求差异显著，高性价比的
免费本地部署的数据库 DevOps 工具，能覆盖多少日常工作场景？以 NineData 社区版为例
本文以 NineData 社区版为例，探讨免费本地部署的数据库 DevOps 工具。其不是单一审核模板，而是集成多能力的本地工作台，涵盖日常操作、治理协同、运维保障等功能，将查、审、改、追等动作衔接。适合有
技嘉与趋境科技联合部署AMaaS平台 推动本地大模型应用加速落地
高性能本地化AI基础平台。 基于AI TOP ATOM的本地算力优势，技嘉现已与趋境科技联合部署其自研大模
从模型到产品：Qwen2.5-VL在BM1684X边缘计算部署全攻略
前言：部署意义与应用场景1.1Qwen-2-5-VL与BM1684X的组合行业意义：•边缘AI革命：大模型从云端下沉到边缘设备是当前AI发展的关键趋势。根据ABIResearch数据，到2026年
SAM(通用图像分割基础模型）丨基于BM1684X模型部署指南
在基于BM1684X芯片的嵌入式设备上进行高效推理测试。一、特性•支持BM1684X平台全系列部署方案（x86PCIe、SoC、riscvP
小鹏汽车正式启动其马来西亚本地化生产项目
近日，小鹏汽车与马来西亚EPMB集团签约，正式启动其马来西亚本地化生产项目。这是继印尼、奥地利之后，小鹏在全球布局的第三个本地化生产项目。
发布元服务配置本地化基础信息（应用名称、图标）
您可以添加元服务支持的语言，并配置对应语言的本地化信息。
例如，当您设置简体中文为默认语言，并且只配置中文的本地化信息，那么元服务在所有设置
发表于 10-24 17:42
Qwen3-VL 4B/8B全面适配，BM1684X成边缘最佳部署平台！
算能BM1684X上完成Qwen3-VL4B/8B模型的适配，推理速度13.7/7.2tokens/s，使其成为边缘部署多模态大模型的最佳选择。近日，阿里千问正式开源Qwen3-VL系
小鹏汽车首个欧洲本地化生产项目启动
小鹏汽车正式官宣欧洲本地化生产的重要规划，与位于奥地利格拉茨的麦格纳工厂展开深度合作，借助该工厂现有的成熟生产线，大力推动电动汽车在欧洲的本地化生产进程。
本地部署openWebUI + ollama+DeepSeek 打造智能知识库并实现远程访问
。 DeepSeek 作为一个开源的大语言模型，我们可以通过 ZeroNews + openWebUI + ollama的方式，轻松的在本地私有化部
能源监测管理平台是本地化部署好还是云端部署好？
能源监测管理平台本地化部署和云端部署各有优劣，企业需根据自身需求和实际情况来选择。如果企业对数据安全要求极高、网络环境特殊且预算充足，本地化部署
传音控股本地化战略的跨区域成功：驱动东南亚、南亚数字化浪潮
全球新兴市场智能终端竞争进入新阶段，传音控股继续凭借“本地化”战略优势书写着从非洲到全球的扩张传奇。与印尼电信巨头IOH达成战略合作、优化游戏体验、研发全肤色影像技术，传音正在将成熟的本地化模式成功
AI+能源数字化破局者故事5：斯伦贝谢 x IBM 咨询之 “全球化经营与本地化适配”
斯伦贝谢与 IBM 的合作建立在技术专长、交付能力及本地化支持的基础上，IBM 的强大技术实力和本地经验，使其成为斯伦贝谢推动数字化转型的重要合作伙伴
施耐德电气与奇安信共建技术本地化创新中心
在施耐德电气技术本地化创新日上 ； 施耐德电气与奇安信集团宣布成立 施耐德电气（中国）技术本地化创新中心。 该中心将提供 针对国产基础软硬件的深度适配服务，以信息技术共创和生态协同为核心 ，更好
如何本地部署NVIDIA Cosmos Reason-1-7B模型
下一步行动。本文将一步步带你在本地服务器上完成该模型的部署，并搭建一个直观的 Web 交互界面，亲身体验前沿 AI 的“思考”过程。
评论