基于 Flexus 云服务器 X 实例体验大模型部署体验测评

前言

当下，各种大模型层出不穷，先有 openai 的 chatgpt，后有百度文心一言，再就是国内大模型齐头并进的抢先发布。

让普通的开发者不必为不能体验 chatgpt 而担忧，国内的大模型速度也很快。但是大家目前都是在体验，能不能部署一下试试呢？

今天，我们就以华为云 Flexus 云服务器 X 实例来部署一下，顺便测测其性能看看。

在华为云 828 B2B 企业节狂潮中，Flexus X 实例的限时大促销震撼来袭，绝对是你不容错过的超级福利！对于那些追求极致算力、对自建 MySQL、Redis、Nginx 性能有着苛刻要求的技术极客们，这次活动无疑是你们的专属盛宴！赶紧抓住这个千载难逢的机会，让业务效能飞跃升级！！！

注意：本文为高端局，对于还不知道怎么使用 shell 工具，不知道云服务器为何物？不知道大模型为何物的读者可以退出啦，本文不太适合

部署千问大模型

之前一直就想搞个大模型玩玩了，奈何电脑配置不打够，所以只能是可望而不可及，今天，就单独用这款华为云 Flexus 云服务器 X 实例来试试。

本文我们基于 Ollama 部署和运行大模型，那么，何为 Ollama？

不过官网上都是洋文，看着比较吃力。我搜了些资料，给大家现个丑：

Ollama 是一个强大的框架，设计用于在 Docker 容器中部署 LLM。Ollama 的主要功能是在 Docker 容器内部署和管理 LLM 的促进者，它使该过程变得非常简单。它帮助用户快速在本地运行大模型，通过简单的安装指令，可以让用户执行一条命令就在本地运行开源大型语言模型，例如 Llama 2。

下面，我们来开始实操！

我们可以直接从浏览器中输入，然后会自动下载，当然，我们也可以直接从 shell 工具中下载，不过就是有点慢，他这个东西还很大。

等待的过程挺漫长，可以先去找点别的事儿去做。

接着等待....

终于在漫长的等待过程中，我们将 ollama 下载下来了啦，下面我们就可以开始体验了！！！

1.启动 ollama 的服务

当我们服务器中有了 ollama 的服务后，我们需要启动他！命令如下：

systemctl start ollama.service

然后我们在执行一下下面的命令，看看服务是否已经启动：

systemctl status ollama.service

3. 设置服务开机自启动：

sudo systemctl enable ollama

1.查看内存占用情况。

两个方法都可以查看，第一是从宝塔面板中查看，第二就是直接输入命令：

free -h

大家可以看的出来，used 这一列，表示的是已使用，目前来看，并不多。

1.运行大模型

我们先来看看 ollama 支持的大模型有哪些？

我们先跑个小点的千问大模型吧，千问 0.5B 的模型看看。

输入命令：

ollama run qwen2:0.5b

还是继续等待....等待的过程中，为了不浪费时间，可以看看别的事儿。

等待完成，下面我们就可以看到:Send a message 这句话了，表示我们可以直接使用大模型提问啦

1.体验大模型

我们输入个问题试试看看：

[MISSING IMAGE: , ]不知道为啥，他非要说自己是李政保，还说的有鼻子有眼的，质量的问题我们不管，我们看性能和速度问题。

简单的录了个小视频，这速度还是很快的。可见这服务器的性能还是不错的，感兴趣的伙伴们，可以尝试跑跑更大的模型试试。

总体来说，这次活动的力度还是蛮大的，主要是服务器性能也确实可以，不用 GPU 也可以跑大模型了，本文就是我们单纯的用 CPU 就行跑的，体验很好。

至此，本文 over。

审核编辑 黄宇