如何给OriginBot安装大语言模型

一、安装

1. OriginBot系统安装

目前OriginBot系统有V1和V2两个版本，只有V2才支持harbot_llm，所以一定要给OriginBot安装V2。

2. hobor_llm 安装

①安装 transformers

pip3 install transformers -i https://mirrors.aliyun.com/pypi/simple/

安装的时候会提示部分依赖包版本冲突，我没有修复也能直接运行，所以看起来问题不大

②安装hobot-dnn

sudo apt update
 sudo apt install -y tros-hobot-llm

③下载模型文件

wget http://archive.sunrisepi.tech/llm-model/llm_model.tar.gz
sudo tar -xf llm_model.tar.gz -C /opt/tros/lib/hobot_llm/

④修改设备配置

# 修改BPU的保留内存
 # 替换dtb文件
 sudo cp /opt/tros/lib/hobot_llm/config/hobot-dtb/*.dtb /boot/hobot/
 # 重启
 reboot
 # 调整CPU的频率
 sudo bash -c 'echo 1 > /sys/devices/system/cpu/cpufreq/boost'
 sudo bash -c 'echo performance > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor'