0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

英特尔OpenVINO 2025.0性能全面升级

英特尔物联网 来源:OpenVINO 中文社区 2025-02-21 10:22 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

来源:

OpenVINO 中文社区

作者:

吴珊珊 OpenVINO 开发者社区经理

武卓英特尔 OpenVINO 布道师

杨亦诚英特尔 AI 软件工程师

引言

DeepSeek 的突破性进展,引发 AI 领域震动。

最近,DeepSeek 的重大更新再次震撼全球 AI 领域。作为生成式 AI 领域的佼佼者,DeepSeek 近期发布的新模型展现了惊人的推理速度与卓越的语言理解能力,使其成为大模型竞争中的新焦点。尤其是 DeepSeek-R1-Distill-Llama-8B 和 DeepSeek-R1-Distill-Qwen-7B,凭借高效的知识蒸馏技术,大幅降低了计算成本,同时提升了推理效率,使得更强大的 AI 推理能力触手可及。

本地部署 DeepSeek 获得稳定输出!

相信大家在使用 DeepSeek 的过程中,肯定遇到过以下情况:

DeepSeek 真的非常好用,只是时常会出现“服务器繁忙,请稍后再试”的情况,遇到这种情况,真的是急得抓狂,一点办法也没有呀~

真的一点办法都没有吗?

别忘了 DeepSeek 有开源版本!可以通过本地部署,无需联网即可使用,完美“解决服务器繁忙”的问题,达到高频稳定的输出效果。当然!除了这一优点,本地部署 DeepSeek 还具备以下优点:

数据保存在本地,无需担心数据和信息泄露的风险

可以挂载本地知识库,更精准地输出

英特尔最新发布的 OpenVINO 2025.0 已全面支持 DeepSeek 本地部署,帮助开发者充分释放 DeepSeek 等大模型的潜能!

OpenVINO 2025.0 震撼发布:

全面支持 DeepSeek,AI 推理性能飙升!

为了让开发者能够轻松部署和优化最新的 DeepSeek 及其他主流生成式 AI 模型,英特尔正式发布 OpenVINO 2025.0,为 AI 开发者带来一系列令人振奋的升级。

1. 生成式 AI 全面升级,支持更多前沿模型

OpenVINO 2025.0 进一步扩展了对 DeepSeek 等热门生成式 AI 模型的支持,包括:

DeepSeek-R1-Distill-Llama-8B

DeepSeek-R1-Distill-Qwen-7B

DeepSeek-R1-Distill-Qwen-1.5B

FLUX.1 Schnell and FLUX.1 Dev

Qwen 2.5 等多款业界领先的大语言模型

在英特尔 酷睿 Ultra 200V GPU上本地部署DeepSeek-R1-Llama-8b的效果展示

此外,新版本 OpenVINO 通过 Gen AI API 显著提升了 Whisper 模型在 CPU、集成显卡和独立显卡上的推理性能,为语音转文本任务提供更强的计算能力。

(预发布)更令人振奋的是,开发者可以通过 torch.compile 直接在 NPU 上运行 PyTorch API,并轻松调用 300+ 深度学习模型,大幅减少代码改动,提升推理效率。使用起来非常简单,如下所示:

2. 大语言模型优化,推理速度再创新高

OpenVINO 2025.0 还带来了针对大语言模型(LLM)的重要优化,包括:

(预发布功能)GenAI API支持 Prompt Lookup 技术 —— 通过预定义提示词,在特定场景优化第二 Token 延迟,大幅提升推理效率。

(预发布功能)GenAI API支持图像到图像修复(Image-to-Image Inpainting)功能 —— 通过生成图像上特定部分内容,无缝结合原画,让 AI 生成的图像更加逼真。

非对称 KV Cache 压缩技术——默认在INT8推理CPU模式下启用,优化内存消耗,与第二Token延迟,特别是在处理长提示词的情况下,可显著降低内存开销。

3. 硬件兼容性提升,充分释放 AI 计算力

支持最新英特尔 酷睿 Ultra 200H 处理器(Arrow Lake-H),高性能计算再升级。

深度集成 Triton 推理服务器,在英特尔 CPU 上获得更高效的模型推理能力。

(预发布)无缝集成 Keras 3 工作流,在 Keras 3工作流中即可直接调用 OpenVINO 的模型性能优化,实现 CPU、GPU、NPU 的高效推理。该功能支持最新的Keras 3.8发布版本。

更灵活的 AI 部署方案,支持原生 Windows Server:对于 Windows 生态的 AI 开发者,OpenVINO 2025.0 带来了“OpenVINO Server对原生 Windows Server的支持”,这一更新消除了容器开销,并优化了 GPU 部署流程,让 Windows 服务器环境下的 AI 应用部署变得更加轻松高效。

无论是云端、边缘还是本地环境,开发者都能以更低的成本、更高的性能运行 AI 任务。

为什么开发者需要关注

OpenVINO 2025.0?

更少的代码改动,更高的开发效率:通过新增的模型支持和框架集成,开发者可以快速适配最新 AI 技术,无需大量修改代码。

更强的性能,更低的成本:从 Prompt Lookup 到非对称 KV Cache 压缩,OpenVINO 2025.0 在性能和资源利用上实现了双重优化。

更广泛的硬件支持:无论是 CPU、GPU 还是 NPU,OpenVINO 都能为你提供最佳的性能表现。

更灵活的部署选项:从边缘到云端,从 Linux 到 Windows,OpenVINO 2025.0 都能满足你的需求。

结语

AI 开发者的最佳伙伴,立即体验 OpenVINO 2025.0!

DeepSeek 的最新突破让 AI 技术迈向新高度,而 OpenVINO 2025.0 正是助力开发者高效部署和优化这些前沿模型的关键工具。无论你是从事大语言模型优化、生成式 AI 应用开发,还是希望在本地或云端环境中加速 AI 推理,OpenVINO 2025.0 都将是你的理想选择。

在 AI 时代,每一次技术革新都意味着更强的竞争力!

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 英特尔
    +关注

    关注

    61

    文章

    10276

    浏览量

    179367
  • AI
    AI
    +关注

    关注

    90

    文章

    38234

    浏览量

    297130
  • OpenVINO
    +关注

    关注

    0

    文章

    117

    浏览量

    717
  • DeepSeek
    +关注

    关注

    2

    文章

    824

    浏览量

    2833

原文标题:开发者实战|DeepSeek 再次震撼 AI 领域,OpenVINO™ 2025.0 全力加持,性能全面升级!

文章出处:【微信号:英特尔物联网,微信公众号:英特尔物联网】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    吉方工控获评英特尔首批尊享级合作伙伴

    近日,英特尔公司正式宣布对英特尔合作伙伴联盟(Intel Partner Alliance, IPA)进行战略升级,原最高等级“钛金级”全面焕新为更具全球视野与生态协同意义的“尊享级”
    的头像 发表于 11-14 16:17 772次阅读

    硬件与应用同频共振,英特尔Day 0适配腾讯开源混元大模型

    今日,腾讯正式发布新一代混元开源大语言模型。英特尔凭借在人工智能领域的全栈技术布局,现已在英特尔® 酷睿™ Ultra 平台上完成针对该模型的第零日(Day 0)部署与性能优化。值得一提的是, 依托
    的头像 发表于 08-07 14:42 1124次阅读
    硬件与应用同频共振,<b class='flag-5'>英特尔</b>Day 0适配腾讯开源混元大模型

    使用英特尔® NPU 插件C++运行应用程序时出现错误:“std::Runtime_error at memory location”怎么解决?

    使用OpenVINO™工具套件版本 2024.4.0 构建C++应用程序 使用英特尔® NPU 插件运行了 C++ 应用程序 遇到的错误: Microsoft C++ exception: std::runtime_error at memory location
    发表于 06-25 08:01

    无法将Openvino2025.0与onnx运行时Openvino™ 执行提供程序 1.16.2 结合使用,怎么处理?

    使用OpenVINO™与英特尔 i5-8500 CPU 和超核处理器 630 iGPU 一起部署模型。 使用了 Microsoft.ML.OnnxRuntime.OpenVino
    发表于 06-24 06:31

    为什么无法通过“pip install openvino-dev==2025.0.0”安装 2025.0 OpenVINO™?

    通过“pip install openvino-dev==2025.0.0OpenVINO2025.0 安装。 收到的错误: ERROR: No matching distribution found for
    发表于 06-23 08:13

    在Windows中安装OpenVINO™后,无法找到OpenCL编译器二进制文件是怎么回事?

    已在 Windows* 和开源OpenVINO工具套件 Windows* 中安装 OpenVINO英特尔 Distribution。 如 如何为 VPU 实施自定义层 (英特尔®
    发表于 03-05 08:57

    为什么无法检测到OpenVINO™工具套件中的英特尔®集成图形处理单元?

    在 Ubuntu* Desktop 22.04 上安装了 英特尔® Graphics Driver 版本并OpenVINO™ 2023.1。 运行 python 代码: python -c
    发表于 03-05 08:36

    请问OpenVINO™工具套件英特尔®Distribution是否与Windows® 10物联网企业版兼容?

    无法在基于 Windows® 10 物联网企业版的目标系统上使用 英特尔® Distribution OpenVINO™ 2021* 版本推断模型。
    发表于 03-05 08:32

    安装OpenVINO™适用于Raspberry Pi64位操作系统的工具套件2022.3.1,配置英特尔®NCS2时出错怎么解决?

    安装OpenVINO™适用于 Raspberry Pi* 64 位操作系统的工具套件 2022.3.1。 配置英特尔® NCS2时出错: CMake Error at CMakeLists.txt
    发表于 03-05 07:27

    英特尔®独立显卡与OpenVINO™工具套件结合使用时,无法运行推理怎么解决?

    使用英特尔®独立显卡与OpenVINO™工具套件时无法运行推理
    发表于 03-05 06:56

    为什么在Ubuntu20.04上使用YOLOv3比Yocto操作系统上的推理快?

    使用 2021.4 OpenVINO™中的 GPU 插件运行带有 YOLOv3 模型的 对象检测 C++ 演示 。 使用 英特尔® 酷睿™ i5-1145G7E、英特尔® 酷睿
    发表于 03-05 06:48

    为什么Caffe模型可以直接与OpenVINO™工具套件推断引擎API一起使用,而无法转换为中间表示 (IR)?

    推断 Caffe 模型直接基于 英特尔® 神经电脑棒 2 (英特尔® NCS2)。 无法确定为什么 Caffe 模型可以直接与OpenVINO™工具套件推断引擎 API 一起使用,而无法转换为中间表示 (IR)。
    发表于 03-05 06:31

    英特尔任命王稚聪担任中国区副董事长

    英特尔公司宣布,任命王稚聪先生担任新设立的英特尔中国区副董事长一职。王稚聪将全面负责管理英特尔中国的业务运营,直接向英特尔公司高级副总裁、
    的头像 发表于 03-03 10:54 894次阅读

    英特尔OpenVINO 2025.0正式发布

    生成式AI(GenAI)在模型质量与应用范围上持续爆发式增长,DeepSeek 等顶尖模型已引发行业热议,这种势头预计将在 2025年延续。本次更新聚焦性能提升、更多生成式AI 模型的支持,并针对英特尔神经处理单元(NPU)推出关键优化。让我们来一探究竟吧!
    的头像 发表于 02-21 10:20 1685次阅读
    <b class='flag-5'>英特尔</b><b class='flag-5'>OpenVINO</b> <b class='flag-5'>2025.0</b>正式发布

    英特尔的开发板评测

    作者: 隋晓金 收到英特尔的开发板-小挪吒,正好手中也有oak相机,反正都是 OpenVINO 一套玩意,进行评测一下,竟然默认是个Windows系统,刷机成Linux系统比较方便。 我们先刷个刷成
    的头像 发表于 01-24 09:37 1660次阅读
    <b class='flag-5'>英特尔</b>的开发板评测