如何在边缘端获得GPT4-V的能力：算力魔方+MiniCPM-V 2.6
作者：算力魔方创始人/英特尔边缘计算创新大使 刘力
前面我们分享了《在算力魔方上本地部署Phi-4模型》，实现了在边缘端获得Llama 3.3 70B模型差不多的能力。本文将分享，在边缘端获得类似GPT4-V的能力：MiniCPM-V 2.6 。
MiniCPM-V 2.6是MiniCPM-V系列最新、性能最佳的模型，基于SigLip-400M和Qwen2-7B构建，共8B参数。在最新版本 OpenCompass 榜单上（综合 8 个主流多模态评测基准）平均得分 65.2，以8B量级的大小在单图理解方面超越了 GPT-4o mini、GPT-4V、Gemini 1.5 Pro 和 Claude 3.5 Sonnet等主流商用闭源多模态大模型。
参考链接：OpenBMB/MiniCPM-o: MiniCPM-o 2.6: A GPT-4o Level MLLM for Vision, Speech and Multimodal Live Streaming on Your Phone
本文将分享MiniCPM-V 2.6 8B模型在算力魔方®4060版上的部署过程。
一，安装Ollama
请按照《Gemma 2+Ollama在算力魔方上帮你在LeetCode解题》安装Ollama。
二，运行MiniCPM-V 2.6
使用下面的命令完成运行MiniCPM-V 2.6：
ollamarunminicpm-v
三，体验MiniCPM-V 2.6 多模态能力
输入下面的提示词和测试图片，体验MiniCPM-V 2.6的多模态能力：
“请描述并总结图片中的内容，并提炼出该产品的卖点。”
运行视频链接
审核编辑 黄宇
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。
举报投诉
-
GPT
+关注
关注
0文章
368浏览量
16715 -
边缘计算
+关注
关注
22文章
3472浏览量
52688
发布评论请先 登录
相关推荐
热点推荐
什么是AI算力模组？
未来，腾视科技将继续深耕AI算力模组领域，全力推动AI边缘计算行业的深度发展。随着AI技术的不断演进和物联网应用的持续拓展，腾视科技的AI算力
什么是AI算力模组？
未来，腾视科技将继续深耕AI算力模组领域，全力推动AI边缘计算行业的深度发展。随着AI技术的不断演进和物联网应用的持续拓展，腾视科技的AI算力
借势 RISC-V与 AI 浪潮，元石智算打造算力新范式
在AI技术飞速发展的当下，算力需求呈指数级增长，成为推动行业前行的核心动力。与此同时，RISC-V架构凭借其开源、灵活、可定制等特性，正逐渐崭露头角，为AI算
基于算力魔方与PP-OCRv5的OpenVINO智能文档识别方案
作者：算力魔方创始人/英特尔创新大使刘力 一，引言 随着人工智能技术的快速发展，光学字符识别（OCR）技术已从传统的模式识别方法演进到基于深度学习的
边缘计算时代，科通技术以端AI方案重构算力分配格局
，通过优化大模型与芯片的协同能力，为智能终端设备提供高性能、低成本且安全可靠的解决方案，进一步推动AI芯片的广泛应用与需求增长，成为公司业绩持续增长的核心驱动力。 近年来，AI大模型对算力的需求呈现指数级增长，如
基于算力魔方的智能文档信息提取方案
的进步，使得自动化和智能化的文档信息提取成为现实。本方案结合了Intel OpenVINO平台的性能优化优势与百度飞桨（PaddlePaddle）提供的PP-OCRv4模型，旨在开发一款高性能、高精度的智能文档处理系统。 算力
大算力芯片的生态突围与算力革命
电子发烧友网报道（文 / 李弯弯）大算力芯片，即具备强大计算能力的集成电路芯片，主要应用于高性能计算（HPC）、人工智能（AI）、数据中心、自动驾驶等需要海量数据并行计算的场景。随着 AI 与大数
【一文看懂】什么是端侧算力？
随着物联网（IoT）、人工智能和5G技术的快速发展，端侧算力正逐渐成为智能设备性能提升和智能化应用实现的关键技术。什么是端侧算
在算力魔方上本地部署Phi-4模型
作者：算力魔方创始人/英特尔边缘计算创新大使 刘力 前面我们分享了《Meta重磅发布Llama 3.3 70B：开源AI模型的新里程碑》，
工商网监
评论