这是RISC-V跑大模型系列的第二篇文章,主要教大家如何将LLaMA移植到RISC-V环境里。
1. 环境准备
1)最新版Python
2)确保机器有足够的内存加载完整模型(7B模型需要13~15G)
3)下载原版LLaMA模型和扩展了的中文模型
2. 模型下载
从LLaMA原版模型地址上下载下述文件(我们使用的是7B):
最后文件下载完成后的结果如下:
3. 加载并启动
1)这一步需要下载llama.cpp,
python3 convert-pth-to-ggml.py models/7B/ 03)将.pth模型权重转换为ggml的FP32格式,生成文件路径为models/7B/ggml-model-f32.bin。
4)运行./main二进制文件,-m命令指定Q4量化模型(也可加载ggml-FP16的模型)。以下是解码参数及示例:
./main models/7B/ggml-model-f32.bin --color -f prompts/alpaca.txt -ins -c 256 --temp 0.2 -n 128 --repeat_penalty 1.3
参数解释:
-ins | 启动类ChatGPT对话交流的运行模式 |
-f | 指定prompt模板,alpaca模型请加载prompts/alpaca.txt |
-c | 控制上下文的长度,值越大越能参考更长的对话历史(默认:512) |
-n | 控制回复生成的最大长度(默认:128) |
-t | 控制batch size(默认:8),可适当增加 |
--repeat_penalty | 控制线程数量(默认:4),可适当增加 |
--temp | 温度系数,值越低回复的随机性越小,反之越大 |
--top_p, top_k | 控制解码采样的相关参数 |
审核编辑:刘清
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。
举报投诉
-
解码器
+关注
关注
9文章
1073浏览量
40169 -
python
+关注
关注
51文章
4678浏览量
83484 -
RISC-V
+关注
关注
41文章
1908浏览量
45078 -
澎峰科技
+关注
关注
0文章
35浏览量
3070 -
ChatGPT
+关注
关注
27文章
1413浏览量
4816
原文标题:RISC-V 跑大模型(二):LLaMA零基础移植教程
文章出处:【微信号:perfxlab,微信公众号:perfxlab】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
安卓上RISC-V,移植成最大阻碍
安卓上RISC-V ,移植成最大阻碍 RISC-V作为一个开源架构,目前已经被诸多主流开源软件、系统所支持,不少RISC-V厂商都以支持Linux为宣传点。照理说同为开源的安卓系统
为什么选择RISC-V?
。例如,如果工程师在FPGA中实现软RISC-V内核,则通常可以使用RTL源代码。由于RISC-V免版税,这为将基于RISC-V的设计从FPGA移植到ASIC或另一个FPGA带来了极大
发表于 07-27 17:38
移植RISC-V CH32V103R BSP的教程
toolchains is GNU GCC!')exit(0)添加RISC-V 内核移植API文件在RISC-V内核架构设计上,common文件夹一般来用存放的是不同RISC-V内核
发表于 03-14 15:08
如何实现一个RISC-V内核架构的芯片移植工作
处理时钟节拍Cache (可选)libcpu 移植相关 API 介绍RISC-V 内核移植RT-Thread RISC-V 内核架构介绍在 RISC
发表于 03-25 10:11
每日推荐 | HarmonyOS 从入门到大神资料,从零开始写RISC-V处理器经验连载
各位开发者们丰富的学习资源。为了方便大家获取资料,现在只需扫描下面海报二维码并回复关键字 “教程” 即可获取大神资料,赶快扫码领取吧!2、从零开始写RISC-V处理器之四 实践篇推荐理由:这里只介绍
发表于 08-23 10:08
我了解的RISC-V
版本1.10。 2022年6 月 21 日,RISC-V 国际组织宣布了 2022 年的首批四项规格和扩展的批准 ——RISC-V 高效跟踪(E-Trace)、RISC-V 主管二进制
发表于 03-19 10:52
赛昉科技成立RISC-V Multimedia SIG,推动openKylin on RISC-V生态发展
操作系统上适配RISC-V软硬件编解码器,保证其在openKylin桌面上的正常运行。3、拓展openKylin RISC-V生态在移植和适配的应用框架上开发各类图形应用软件以及图形和视频应用,为
发表于 04-03 18:33
评论