基于Vulkan的端侧AI运算-电子发烧友网

【拆·应用】是为开源鸿蒙应用开发者打造的技术分享平台，是汇聚开发者的技术洞见与实践经验、提供开发心得与创新成果的展示窗口。诚邀您踊跃发声，期待您的真知灼见与技术火花！

引言

本期内容由AI Model SIG提供，介绍了在开源鸿蒙中，利用图形接口Vulkan的计算着色器能力，在端侧部署大模型的的整体思路和实践分享。

开源鸿蒙是由开放原子开源基金会孵化及运营的开源项目，目标是面向全场景、全连接、全智能时代，搭建一个智能终端设备操作系统的框架和平台，促进万物互联产业的繁荣发展。在人工智能时代下，与其它成熟的操作系统相比，开源鸿蒙部署AI LLM模型的能力欠缺。为了补齐开源鸿蒙在端侧部署大模型的能力，笔者将分享如何在端侧打通大模型部署的整体思路和实践。

软硬件选型

在硬件上选取国产CPU飞腾D2000，显卡选用AMD GPU。目前能够在OpenHarmony5.0.0 Release上点亮AMD GPU，包括RX 550、RX 580和RX 7900 XTX。

其次是推理框架的选择，笔者选取了llama.cpp这个开源的推理框架，仓库地址为：github.com/ggml-org/llama.cpp。目前很火的ollama，其也是选用了llama.cpp作为推理后端。llama.cpp是一个专注于在边缘设备、个人PC上进行llm部署的高性能推理框架。其相比于vllm等主流llm推理框架来说，有以下明显的优点：

纯 C++/C 实现，在Windows、mac、Linux等多种系统下编译都非常简单。

丰富的后端支持：如图所示，支持x86、arm、Nidia_GPU、AMD_GPU、Vulkan甚至华为昇腾NPU_CANN。

支持CPU AVX指令集进行矢量计算加速、CPU多核并行计算、CPU+GPU混合计算

支持低精度量化：1.5bit、2 bit、3 bit、4 bit、5 bit、6 bit和 8 bit整数量化，可加快推理速度并减少内存使用。

llama.cpp支持的后端及其硬件

在上图中，llama.cpp支持Vulkan后端。笔者通过查阅相关资料和阅读llama.cpp关于Vulkan的相关代码，发现其是利用图形接口Vulkan的计算着色器（Compute Shader）的能力来运行大模型的。计算着色器（Compute Shader）是GPU上用于通用计算（GPGPU）的特殊程序，与传统图形渲染管线解耦，可直接操作GPU并行处理非图形任务（如AI推理、物理模拟、数据处理）等。下表是计算着色器的特点：

综合多因素的考量，在软硬件上最终选用飞腾D2000 + AMD GPU + OpenHarmony 5.0.0 Release的组合，利用图形接口Vulkan的计算着色器能力，在终端设备上高效运行大模型。

在开源鸿蒙部署大模型的难点

在第一部分提到将利用图形接口Vulkan的计算着色器的能力，在端侧高效运行大模型。在开源鸿蒙社区有个Vulkan的demo样例，仓库地址为：https://gitee.com/openharmony/applications_app_samples/tree/master/code/BasicFeature/Native/NdkVulkan，通过笔者的实践，目前在HarmonyOS能跑通该样例，但是在开源鸿蒙上尚不能跑通该样例。通过阅读该例子的文档说明，如下图，发现核心原因是缺少AMD GPU的Vulkan用户态驱动库libvulkan_radeon.so以及Vulkan的sdk。因此核心难点是要能将Vulkan的计算着色器在开源鸿蒙上正常跑起来。

NdkVulkan例子

整体思路

为了能够利用图形接口Vulkan的计算着色器的能力跑大模型。笔者总结了以下四个的关键步骤：

在开源鸿蒙上正常点亮AMD GPU。

交叉编译出AMD的Vulkan用户态驱动。

交叉编译出Vulkan sdk。

移植llama.cpp到OpenHarmony上。

实践要点

点亮AMDGPU

1.确保AMD GPU 内核态是正常的选用的内核版本为linux 6.6.22，需要将内核的以下选项打开。

系统正常启动后，采用modetest工具进行测试，在测试前需要关闭render_service、composer_host和allocator_host这三个进程，具体的命令如下：

在hdc shell中运行以下命令：

如果能够在显示屏上看到彩色的条纹，如下图，说明AMD GPU的内核态是正常的。

modetest测试结果

2.确保AMD GPU的用户态是正常的

首先通过mesa3d交叉编译出AMD GPU的用户态驱动，主要为libEGL.so.1.0.0、libgallium_dri.so、libgbm.so.1.0.0、libglapi.so.0.0.0、libGLESv1_CM.so.1.1.0和libGLESv2.so.2.0.0这个5个动态库。

大家可以参考laval社区的《开源鸿蒙开源GPU库Mesa3D适配说明》这篇文章，了解GPU的适配过程，链接地址为：https://laval.csdn.net/64804567ade290484cb2ed06.html

这篇文章主要讲的是mali gpu的mesa3d点亮过程。由于跑Vulkan的计算着色器可以不用到显示的功能，因此在这里具体的适配过程就不展开，感兴趣的读者可在AI Model SIG的ohos_vulkan仓库获取相关的AMD GPU 的mesa用户态驱动的库，仓库地址为：https://gitcode.com/ai_model_sig/ohos_vulkan 成功适配后，可以在显示屏正常看到开源鸿蒙的桌面。

Vulkan用户态驱动

这一步的核心是能够获得libvulkan_radeon.so这个动态库。在mesa3d中有Vulkan用户态驱动的实现，因此通过编译mesa3d这个开源项目编译出libvulkan_radeon.so这个Vulkan用户态驱动库。

在build_ohos.py文件中需要指定 -Dgallium-drivers=amd 和 -Dvulkan-drivers=amd这两个参数，如下图：