0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

DeepSeek冲击(含本地化部署实践)

京东云 来源:京东零售 姜海 作者:京东零售 姜海 2025-02-23 17:10 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

作者:京东零售 姜海

DeepSeek无疑是春节档最火爆的话题,上线不足一月,其全球累计下载量已达4000万,反超ChatGPT成为全球增长最快的AI应用,并且完全开源。那么究竟DeepSeek有什么魔力,能够让大家趋之若鹜,他又将怎样改变世界AI格局和我们的生活,本篇文章将进行简要解析。

DeepSeek与ChatGPT对比

说到人工智能就不得不提OpenAI和ChatGPT,这是绕不开的话题,要分析DeepSeek的实力,最简单的方式就是跟ChatGPT进行对比。

模型分类

ChatGPT目前有两种大模型,分别是面向普通用户,解决日常应用问题的4-OMNI,以及面向专业用户,处理深度思考问题的O1,DeepSeek与之对标的分别是V3模型以及R1模型。

wKgZO2ezAOuAM9ILAACXlWslKmk151.png



实用效果

据我目前的使用体验下来,DeepSeek的实际体验效果完全不输ChatGPT,甚至在解决数学、物理和推理问题方面表现出色,响应速度比ChatGPT还要快,且能够完整地展示其思考和给出答案的过程,例如最经典的,让绝大多数AI翻车的“1.11和1.9谁大?”的问题,ChatGPT给出的回答是:

wKgZPGezAOyAAFarAANhVNxyCC0965.png



前言不搭后语,而反观DeepSeek:

wKgZO2ezAO2AdA_0AASTOs27mLo034.png



wKgZPGezAO-AFkHPAAndToqudNU054.png



wKgZO2ezAPGAS2PgAAcv375GsrE685.png



wKgZPGezAPKAQAHNAAPTBSWyjrA412.png



可以看到DeepSeek不仅给出了正确答案,而且展示了详细的解题思路,甚至有最后的验证。我也测试了许多其他的问题,DeepSeek完全不拉垮,相对于ChatGPT,他在中文领域的问题理解和处理更加到位,使用体验非常好。

这无疑也使得苹果公司柳暗花明又一村,为弥补apple intelligence上在中国区无法使用ChatGPT提供了完美的解决方案。

成本

成本分为两部分:硬件成本和训练成本。AI大模型构建算法绝大部分都是基于公开的论文,所以市场上的大模型,底层逻辑都大同小异,训练数据也来自于互联网,所以主要的成本体现在硬件上,也就是提供AI算力的芯片,自从AI大爆发以来,大家的共识就是堆砌的芯片越多,大模型的表现就越优秀。我先简单介绍一下为什么提升AI的性能就要堆砌大量的芯片。

AI算力的芯片领域是英伟达(Nvidia)一家独大,芯片价格非常昂贵,目前该公司最先进的B200芯片单张的价格就高达4万美金,而且对于AI公司来说你还必须买,因为芯片的产能有限,如果你不抢就会被竞争对手买走,导致你的大模型算力不如他的。



英伟达公司为自家的芯片研发了一种叫CUDA的核心的技术,其全名叫做Compute Unified Device Architecture(统一计算设备架构)。



这是一种并行计算平台和编程模型。开发者通过它,可以间接利用GPU的处理能力,大幅提升计算性能。简单的说,CUDA核心就像是一间间的海水提纯工厂,它可以把如海洋般的GPU算力转换成AI开发者可以直接使用的AI算力,越多的CUDA核心数量就意味着更大的AI算力。

wKgZO2ezAPaAdVvMAABsuYXKCoY695.png



这也就是为什么AI行业越发展,芯片的需求量越大,英伟达的市值就越高。美国也多次通过英伟达“锁算力”以及限制芯片出口,阻碍中国的AI发展。AI行业的发展被一家公司扼住喉咙的现象显然极度不合理,英伟达可谓是真正的万恶之源。

OpenAI不受限制,所以囤积了大量的英伟达芯片,训练ChatGPT据传用到了5万张英伟达的芯片,而DeepSeek作为中国公司,在这方面相比自然相去甚远。

DeepSeek冲击

由于CUDA技术被英伟达牢牢掌握,所以间接提高了所有AI大模型的使用成本,阻碍了AI的发展。以ChatGPT为例,4-OMNI和O1两个大模型的研发成本高达数十亿美金,免费用户使用有诸多限制,付费用户每月20美金,专业用户每月200美金,如果企业想要接入OpenAI的人工智能服务,调用API做客服等用途,则更是按字符收费,虽然比人工客服省钱,但也是一笔不小的开销。这些收入中,绝大多数都是用来平衡购买芯片带来的巨大成本。

DeepSeek之所以引起全球瞩目,就是因为他在“芯片”受限的前提下,达到了与ChatGPT近似的使用体验,甚至在某些领域还远远超过了。OpenAI和它的母公司微软囤积了大量的高端芯片,而DeepSeek手里的芯片,不论从数量还是质量上都不占优势,甚至可以说远远落后。

在深度解析DeepSeek开源的模型代码之后,研究人员发现,DeepSeek之所以能够绝地反击,秘诀就在于他绕过了CUDA核心的限制,使用了完全创新的技术训练大模型,直接利用英伟达的底层技术调用了GPU的算力,相当于能直接使用如大海般的GPU资源,所以才能使用低端的芯片,在极短的时间内完成了模型的训练,达到了与ChatGPT近似的效果。

而且此技术成功解除了AI模型对英伟达芯片的依赖,使DeepSeek可以使用华为的芯片进行训练。DeepSeek服务调用的费用只有ChatGPT的十分之一,具有非常高的性价比和广阔的应用前景。

整体来说,DeepSeek用了很少的钱,很低端的工具,就把美国投入上百亿美元的事给办了。自从DeepSeek爆火之后,市场普遍认为英伟达的芯片估值过高,要实现高性能的AI并不需要如此之贵的芯片,最高端的芯片也并不值那个价钱,这直接导致英伟达的股价当天就暴跌17%,创造了美国股市历史上单日最大跌幅,截至目前英伟达市值蒸发近6000亿美元。

技术曝光的第二天,英伟达,微软和亚马逊的计算平台都宣布接入DeepSeek模型,堪称AI界的“斯普特尼克时刻”,就如同当年苏联率先成功发射人造卫星时一样,让一直以为自己在技术上遥遥领先的西方世界陷入了一片混乱,世界AI市场的格局就此改变。

本地化部署R1模型

DeepSeek虽然好,但是用过的同学都知道他有个致命的问题,就是万恶的资本主义经常组织针对DeepSeek的网络攻击,导致使用时出现“服务器繁忙的问题”。

wKgZPGezAPeABW52AARKlF2SftM305.png



为了避免被攻击,降低延迟和卡顿,规避共享敏感信息的风险,同时更灵活的进行微调和实验,我们可以把R1模型部署到本地。

安装Ollama

首先登陆Ollama官网:https://ollama.com/。打开官网,然后点击下载,之后安装到本地。

wKgZO2ezAPiAXVJiAACTbXuyAwc842.png



拉取 DeepSeek R1 模型

然后打开Ollama 的模型列表: https://ollama.com/library/deepseek-r1 ,搜索到DeepSeek R1:

wKgZPGezAPmAdzfVAAEdWGRNCNY902.png



显卡需求

各个模型版本需求的显卡档次大致如下表

模型(DeepSeek-R1) 显卡档次 显存需求
1.5b GTX1050以上 1GB
7b RTX2050、RTX3060以上 4GB
8b RTX2060、RTX3070以上 5GB
14b RTX3080、RTX4070以上 8GB
32b RTX4080以上 18GB
70b RTX4090、RTX5080以上 36GB以上

我们普通的电脑安装1.5B,7B就可以使用,然后在【右上角的的代码】复制,打开终端,输入上述下载命令回车后,会出现模型下载进度,当进度为100%就说明该模型已经下载到本地了。

wKgZO2ezAPmADz8nAAIBdz__0bk269.jpg



输入ollama list可以查看安装的模型。

wKgZPGezAPqAQRA7AABUBBuJwr0258.png



此时已经可以在控制台使用R1模型进行问答了。

包装GUI

只能在命令行中使用既不美观也特别的不方便,所以我们可以使用现成的GUI进行包装,相当于包上图形用户界面。这里以Cherry Studio为例,下载对应版本后打开。

wKgZO2ezAPuAQGjeAAFi4f4lLlQ087.png



在设置中选择模型服务,选中Ollama

wKgZPGezAPyAJd2aAAOyONZJHtY190.png



填入对应的本地模型信息:

wKgZO2ezAP2AD7qHAAEZADTcpQs658.png



然后就可以使用了!希望本篇文章能够帮到大家!

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 大模型
    +关注

    关注

    2

    文章

    3457

    浏览量

    4974
  • DeepSeek
    +关注

    关注

    2

    文章

    824

    浏览量

    2830
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    发布元服务配置本地化基础信息(应用名称、图标)

    您可以添加元服务支持的语言,并配置对应语言的本地化信息。 例如,当您设置简体中文为默认语言,并且只配置中文的本地化信息,那么元服务在所有设置的发布国家或地区的信息都将显示中文。如果您还设置了英文
    发表于 10-24 17:42

    本地部署openWebUI + ollama+DeepSeek 打造智能知识库并实现远程访问

    DeepSeek 作为一个开源的大语言模型,我们可以通过 ZeroNews + openWebUI + ollama的方式,轻松的在本地私有部署
    的头像 发表于 09-10 16:41 4986次阅读
    <b class='flag-5'>本地</b><b class='flag-5'>部署</b>openWebUI + ollama+<b class='flag-5'>DeepSeek</b> 打造智能知识库并实现远程访问

    能源监测管理平台是本地化部署好还是云端部署好?

    能源监测管理平台本地化部署和云端部署各有优劣,企业需根据自身需求和实际情况来选择。如果企业对数据安全要求极高、网络环境特殊且预算充足,本地化部署
    的头像 发表于 07-22 15:16 340次阅读
    能源监测管理平台是<b class='flag-5'>本地化</b><b class='flag-5'>部署</b>好还是云端<b class='flag-5'>部署</b>好?

    ElfBoard技术实战|ELF 2开发板本地部署DeepSeek大模型的完整指南

    ELF 2开发板本地部署DeepSeek大模型的完整指南
    的头像 发表于 05-16 11:13 2312次阅读
    ElfBoard技术实战|ELF 2开发板<b class='flag-5'>本地</b><b class='flag-5'>部署</b><b class='flag-5'>DeepSeek</b>大模型的完整指南

    软通动力助力黑龙江大学完成DeepSeek大模型本地化部署

    DeepSeek作为新一代人工智能技术,凭借其强大的数据处理能力和深度学习算法为教育提供了新解法,使 AI+教育产业迸发更大生机。紧随行业趋势,黑龙江大学经济与工商管理学院基于软通动力AI+DeepSeek大模型一体机实现数据监测、政策分析、决策跟踪等,共同打造高校智能
    的头像 发表于 04-03 15:20 950次阅读

    AI筑基,智领未来 | DeepSeek-R1本地大模型赋能迈威通信智能转型

    在人工智能技术迅猛发展的浪潮中,迈威通信始终秉承创新驱动发展的理念,积极探索AI技术在企业级场景中的深度应用。近日,公司成功完成基于DeepSeek-R1大模型的本地化部署,标志着其在AI技术自主研发与落地
    的头像 发表于 03-26 10:26 885次阅读
    AI筑基,智领未来 | <b class='flag-5'>DeepSeek</b>-R1<b class='flag-5'>本地</b>大模型赋能迈威通信智能<b class='flag-5'>化</b>转型

    博实结完成DeepSeek大模型本地化部署

    近日,公司完成DeepSeek R1 671B大模型本地化部署。通过构建自主可控的AI基础设施,公司同步实现研发智能升级、研发成本重构、数据安全闭环与应用场景突破,为产业智能赋能。
    的头像 发表于 03-19 16:31 1026次阅读

    依托raksmart服务器在多种系统上本地部署deepseek注意事项

    在RAKsmart服务器上本地部署DeepSeek时,需根据不同的操作系统和环境做好全面适配。以下是关键注意事项及分步指南,主机推荐小编为您整理发布依托raksmart服务器在多种系统上本地
    的头像 发表于 03-19 11:25 734次阅读

    行芯完成DeepSeek-R1大模型本地化部署

    近日,行芯正式宣布完成 DeepSeek-R1 大模型本地化部署,实现在多场景、多产品中应用。解锁“芯”玩法,开启“芯”未来!
    的头像 发表于 02-24 15:17 1147次阅读

    曙光顺利完成DeepSeek大模型本地化多点私有部署

    计算中心等政务云服务商,依托本地政务云资源池,顺利完成DeepSeek大模型本地化多点私有部署,并打造出数字人“抚小智”。抚州市还计划将DeepSe
    的头像 发表于 02-22 14:16 1109次阅读

    华为云发布DeepSeek本地部署方案

    华为云正式推出基于华为云Stack混合云的DeepSeek本地部署方案。
    的头像 发表于 02-18 10:05 1422次阅读

    龙芯处理器与DeepSeek完成适配

    龙芯中科官方宣布,搭载龙芯 3 号 CPU 的设备成功启动运行 DeepSeek R1-7B 模型,实现本地化部署,性能卓越,成本优异。
    的头像 发表于 02-10 17:00 1354次阅读

    烽火通信推动DeepSeek本地化部署,金融行业率先示范

    近日,烽火通信携手长江计算、昇腾及华为云团队,在金融领域取得了重要突破。他们成功助力某国有大型银行,率先完成了DeepSeek-V3大模型的本地化推理服务部署。 此次部署采用了长江计算
    的头像 发表于 02-10 15:03 1750次阅读

    DeepSeek-R1本地部署指南,开启你的AI探索之旅

    春节期间突然被DeepSeek刷屏了,这热度是真大,到处都是新闻和本地部署的教程,等热度过了过,简单记录下自己本地部署及相关的内容,就当电子
    的头像 发表于 02-08 10:30 8395次阅读
    <b class='flag-5'>DeepSeek</b>-R1<b class='flag-5'>本地</b><b class='flag-5'>部署</b>指南,开启你的AI探索之旅

    英特尔酷睿Ultra处理器支持DeepSeek运行

    Janus-Pro更是将其多模态的本领发挥至极。DeepSeek模型因其高效、易部署等特性,非常适合在英特尔AI PC进行本地化应用。
    的头像 发表于 02-08 10:13 1337次阅读