在算力魔方上本地部署Phi-4模型

​作者：算力魔方创始人/英特尔边缘计算创新大使 刘力

前面我们分享了《Meta重磅发布Llama 3.3 70B：开源AI模型的新里程碑》，Llama 3.3 70B模型的发布，标志着开源AI模型在智能水平上的一大飞跃。它不仅达到了之前只有Llama 3.1 405B模型才具备的智能水平，而且还超越了11月发布的GPT-4o模型。

本文我们将分享微软刚刚发布的Phi-4模型，其模型参数只有14B，是Llama3.3 70B的五分之一，但性能却跟Llama 3.3 70B模型差不多，甚至在GPQA和MATH两项上还超越了Llama3.3 70B！

参考链接：https://arxiv.org/pdf/2412.08905

本文将分享Phi-4 14B模型在算力魔方4060版上的部署过程。

一，算力魔方®简介

算力魔方®是一款可以DIY的迷你主机，采用了抽屉式设计，后续组装、升级、维护只需要拔插模块。通过选择不同算力的计算模块，再搭配不同的 IO 模块可以组成丰富的配置，适应不同场景。

性能不够时，可以升级计算模块提升算力；IO 接口不匹配时，可以更换 IO 模块调整功能，而无需重构整个系统。

本文以下所有步骤将在带有英特尔i7-1265U处理器的算力魔方®上完成验证。

二，安装Ollama

请按照《Gemma 2+Ollama在算力魔方上帮你在LeetCode解题》安装Ollama。

三，运行Phi-4

使用下面的命令完成运行Phi-4：

ollama run phi4

四，测试Phi-4数学能力

输入下面的数学问题，测试Phi-4的数学能力：

A farmer has a rectangular field with a length of 2x + 5 meters and a width of x - 3 meters.

Part A: Find the area of the field in terms of x.

Part B: If the area of the field is 150 square meters, determine the value of x.

Part C: Calculate the perimeter of the field.

五，总结

使用Ollama可以方便快捷的将Phi-4模型本地化部署在算力魔方®上。

如果你有更好的文章，欢迎投稿！

稿件接收邮箱：[e-mail]

更多精彩内容请关注“算力魔方®”！

​审核编辑 黄宇