本地化ChatGPT？Firefly推出基于BM1684X的大语言模型本地部署方案
自ChatGPT发布以来，生成式AI在全球引起了新的浪潮，它影响着各行各业，为世界带来智能化的发展。然而，类ChatGPT的大语言模型极度依赖算力巨大的服务器，导致目前大部分应用只能通过集中调用API的方式来应用，很难本地化部署。
随着大模型适用领域的扩展，大模型登陆边缘设备的需求凸显，越来越多的行业需要把大语言模型应用在专业的领域上。在这个背景下，Firefly推出了基于BM1684X平台的大语言模型本地部署的方案，让边缘设备可配置上一颗真正的“智慧”大脑，应用于各行各业。
本地化的ChatGLM-6B大语言模型
（1）具有 62 亿参数
采用了由清华大学的ChatGLM-6B大语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数， 使用了和 ChatGPT 相似的先进技术，以达到优质的效果。
（2）优化中文对话
支持中英双语的对话语言模型，并且针对中文问答和对话进行了优化，其开源的训练数据量达到1万亿字符的模型。
AI边缘计算主机EC-A1684XJD4
ChatGLM-6B可部署在Firefly旗下产品AI嵌入式主机EC-A1684XJD4中，主机配置了16GB大内存，适用于部分大模型的量化部署，可运行Ubuntu20.04操作系统，并集成最新的SOPHONSDK 3.0.0，可充分发挥BM1684X集成TPU的AI加速能力。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。
举报投诉
-
AI
+关注
关注
87文章
26443浏览量
264052 -
人工智能
+关注
关注
1776文章
43845浏览量
230605 -
语言模型
+关注
关注
0文章
434浏览量
10044 -
ChatGPT
+关注
关注
27文章
1408浏览量
4745
发布评论请先 登录
相关推荐
AIBOX-1684X：把大语言模型“装”进小盒子
AIBOX-1684X支持主流大模型私有化部署，算力高达32TOPS，同时也支持CNN、RNN、LSTM等传统网络架构，支持TensorFNNX和Darknet等深度学习架构，并支持自定义算子开发
微软将在PowerToys中运用本地AI模型优化粘贴功能
据微软官方宣布，在Build 2024开发者大会上，公司将升级PowerToys，增加基于本地AI模型的高级粘贴功能。
256Tops算力！CSA1-N8S1684X算力服务器
（基于BM1684X的高算力服务器）高算力AI处理器BM1684X搭载了BM1684AI算力SoC芯片的计算模块，主频2.3GHz，拥有17.6Tops的AI算力，可配置12GBLPDDR4
源2.0适配FastChat框架，企业快速本地化部署大模型对话平台
北京2024年2月28日 /美通社/ -- 近日，浪潮信息Yuan2.0大模型与FastChat框架完成全面适配，推出"企业快速本地化部署大模型
【算能RADXA微服务器试用体验】Radxa Fogwise 1684X Mini 规格
通过网络可以了解到，算能RADXA微服务器的具体规格：
处理器：BM1684X
算力：高达32Tops INT8峰值算力
内存：16GB LPDDR4X 内存
存储：64GB eMMC
编程框架
发表于 02-28 11:21
比亚迪匈牙利工厂将落地，未来产品将欧洲本地化
比亚迪董事长兼总裁王传福则强调，未来公司计划利用本地化资源加快开发具有欧洲特色的品牌产品。他表示将充分发挥比亚迪作为全球顶尖新能源汽车制造商的优势，推动匈牙利实现汽车行业的电动化转型。
如何本地部署大模型
近期，openEuler A-Tune SIG在openEuler 23.09版本引入llama.cpp&chatglm-cpp两款应用，以支持用户在本地部署和使用免费的开源大语言模型
探索ChatGLM2在算能BM1684X上INT8量化部署，加速大模型商业落地
1.背景介绍在2023年7月时我们已通过静态设计方案完成了ChatGLM2-6B在单颗BM1684X上的部署工作，量化模式F16，模型大小12GB，平均速度约为3token/s,详见《
BM1684中各种内存的概念
（SC5/SM5） Host Memory是主机的内存 Device Memory是PCIe板卡的设备内存
CModel模式：BMNNSDK中提供的BM1684软件模拟器环境，可在没有TPU硬件的情况下，验证模型转换编译
发表于 09-19 07:47
BM1684芯片的编解码性能数据是怎样的？
BM1684有4个VPU硬核和4个JPU硬核，具体视频和图片的编解码的速度与实际情况有关，要以实测为准。
视频解码的速度与输入视频码流的格式有很大关系，不同复杂度的码流的解码速度有比较大的波动，比如
发表于 09-19 07:18
bmneto转换模型时报错误split_conv_float: Assertion \"valid\" failed是什么原因？
;[[1,3,1080,1920],[1,3,1080,1920]]"
--target BM1684X
--outdir bmodel/fp32
--output_names "pha,fgr,err,hid"
--cmp False
报错截图：
发表于 09-18 09:15
BM1684x SOC下avframe转换问题求解
/samples/ff_bmcv_transcode/ff_avframe_convert.cpp文件中，函数int bm_image_to_avframe()将bm_image内存转换为AVFrame
发表于 09-18 08:03
基于算能第四代AI处理器BM1684X的边缘计算盒子
英码IVP03X智能工作站搭载算能全新一代AI处理器BM1684X，八核ARM Cortex-A53，主频2.3GHz；INT8算力高达32Tops，FP16算力达16 TFLOPS，FP32算力 2 TFLOPS，边缘端少有的大算力。
发表于 08-10 09:46
•751次阅读
32Tops！高算力主板AIO-1684XQ
采用SOPHON算能AI处理器BM1684X，可配置16GB大内存；INT8算力高达32TOPS，支持主流编程框架，开放SDK，提供一站式AI开发包，工具链完备易用度高。适用于智能安防、智慧交通
戴尔科技集团与 NVIDIA 联合发布用于安全、本地化部署生成式 AI 的 Project Helix
• Project Helix 使企业能够轻松构建和部署值得信赖的生成式 AI • 戴尔和 NVIDIA 的基础设施与软件包含内置的数据安全功能，用于本地生成式 AI 应用 戴尔科技集团全球大会
工商网监
评论