0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

行业 | 运行在GPU上的四种不同的推理方式

mK5P_AItists 来源:YXQ 2019-08-15 11:07 次阅读

从Alexa和谷歌地图导航等语音助手,到Bing的对话搜索,人工智能已经成为许多人日常生活的一部分。

这些任务需要执行深度学习推理,也可以被认为是将人工智能应用于场景。

为人工智能提供动力的深度学习神经网络是基于大量数据进行训练的。将这种训练应用于数字世界——识别口语、图像或路标,或者建议你可能想买的衬衫或下一部要看的电影等,这就是推理。

GPU上推理应用的范围之广可能让您大吃一惊。 从木材行业到古代日本文本的研究,它无处不在。

下面即将为您呈现运行在GPU上的四种不同的推理方式。

打击诈骗

PayPal正在使用GPU上的深度学习推理来精确定位欺诈性交易,并帮助确保它们不会再次发生。

这家公司每天处理数百万笔交易。人工智能的进步,尤其是基于逻辑回归的神经网络模型使其能够过滤掉欺骗商家的行为,并打击非法产品的销售。

通过确定某些交易失败的原因和发现提高工作效率的机会,深度学习模型还可以帮助PayPal来优化其运营。

而且,由于这些模型总是在学习,它们可以根据人们的兴趣提供相关的广告,从而使用户体验个性化。

洞察天气

总部位于波士顿的ClimaCell公司正致力于通过密切倾听大自然的强大声音,为天气预报带来前所未有的速度、精度和准确性。

该公司利用GPU的推理,提供超本地化、高分辨率的“近距离预报”,可以帮助企业和人们在铺路项目、风力发电、以及规划每日通勤以避免恶劣天气等方面做出更好的决定。该公司还提供预测和历史数据。

ClimaCell的GPU模型在运行中

为了实现这一目标,该公司编写了一种软件,可以将现有通信网络中的信号转换成传感器,从而分析周围环境并提取实时天气数据。

ClimaCell的网络可以快速分析这些信号,并将它们与美国国家海洋和大气管理局 (National Oceanic and Atmospheric Administration,简称NOAA) 的数据整合起来,然后使用运行在NVIDIA GPU加速器上的预测模型将它们结合在一起。

检测癌症

乳腺X光机在检测乳腺癌方面很有效,但却比较昂贵。在许多发展中国家,该机器很少在大城市以外的地区普及。

Mayo诊所的研究人员Viksit Kumar正在领导一项工作,利用GPU支持的推理技术,通过超声波设备更准确地对乳腺癌图像进行分类,这种设备在全世界范围内都更便宜,也更容易获得。

根据他们的研究论文,Kumar和他的团队已经能够非常准确地检测和分割乳腺癌肿块,很少出现假阳性。

红色轮廓显示了人工分割的肿瘤边界,而深度学习预测的边界以蓝色、绿色和青色显示。

该团队使用NGC注册表中的TensorFlow深度学习框架容器在NVIDIA GPU上进行本地处理。它还使用NVIDIA V100 Tensor核心GPU在AWS上使用相同的容器。

最终,Kumar希望将超声波图像用于其他类型疾病的早期检测,如甲状腺癌和卵巢癌。

制作音乐

MuseNet是一个来自人工智能研究组织OpenAI的深度学习算法演示,它可以使用10种乐器和许多不同的风格自动生成音乐——从流行音乐到古典音乐。

通过将不同的乐器和声音应用到算法生成的音乐中,人们可以创建全新的曲目。演示使用NVIDIA V100 Tensor 核心 GPU来完成这个推理任务。

使用此演示,您可以对您最喜欢的歌曲进行改编。比如加入吉他、去掉钢琴、加入鼓点,或者把它的风格改成爵士乐或者古典摇滚。

该算法并不是为了模仿人类对音乐的理解而编写的。相反,它接受了数十万首歌曲的训练,使它能够学习音乐中普遍存在的和弦、节奏和曲风。

其72层网络使用NVIDIA V100 Tensor 核心 GPU和cuDNN加速的TensorFlow深度学习框架进行训练。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • gpu
    gpu
    +关注

    关注

    27

    文章

    4415

    浏览量

    126665
  • 人工智能
    +关注

    关注

    1776

    文章

    43824

    浏览量

    230584

原文标题:人工智能推理应用于场景的四大典型方式

文章出处:【微信号:AItists,微信公众号:人工智能学家】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    利用NVIDIA组件提升GPU推理的吞吐

    本实践中,唯品会 AI 平台与 NVIDIA 团队合作,结合 NVIDIA TensorRT 和 NVIDIA Merlin HierarchicalKV(HKV)将推理的稠密网络和热 Embedding 全置于 GPU 上进行加速,吞吐相比 CPU
    的头像 发表于 04-20 09:39 152次阅读

    FPGA在深度学习应用中或将取代GPU

    最后说,“我们决定专注于软件业务,探索研究提升神经网络性能和降低延迟的方案。Zebra 运行在 FPGA ,因此无需更换硬件就可以支持 AI 推理。FPGA 固件的每次刷新都能给我们带来更高的性能提升,这得益于其高效性和较短
    发表于 03-21 15:19

    Groq推出大模型推理芯片 超越了传统GPU和谷歌TPU

    Groq推出了大模型推理芯片,以每秒500tokens的速度引起轰动,超越了传统GPU和谷歌TPU。
    的头像 发表于 02-26 10:24 383次阅读
    Groq推出大模型<b class='flag-5'>推理</b>芯片 超越了传统<b class='flag-5'>GPU</b>和谷歌TPU

    在TP芯片开发的软件想要运行在同型号的TE芯片,需要做什么修改吗?

    嗨,请教个问题,如在TP芯片开发的软件想要运行在同型号的TE芯片,需要做什么修改吗?
    发表于 02-01 08:01

    A/D转换的四种误差

    针对A/D转换中可能出现的误差,主要分为以下四种情况,漂移误差、线型比例误差、非线性误差、非单调性误差。还有那些能够引起AD转换出现比较大的误差类别? 先说AD转换是怎么取值的,假设输入信号0-3V
    发表于 01-30 14:19

    同步模式下OpenVINO2023 SDK的推理方式

    OpenVINO2023版本的SDK支持同步与异步推理模式相比之前OpenVINO2021版本更加的简洁,易用。同时支持创建多个Requst然后基于多个Requst实现流水线方式推理从而提升CPU
    的头像 发表于 11-21 10:03 508次阅读
    同步模式下OpenVINO2023 SDK的<b class='flag-5'>推理</b><b class='flag-5'>方式</b>

    差分放大电路的四种输入和输出方式比较

    什么是差分电路四种输入与输出方式?差分放大电路的四种输入和输出方式比较  差分电路是一种常用的模拟电路,它具有许多优越的性能和应用。在差分电路中,输入和输出信号的差异被放大,而共模信号
    的头像 发表于 10-25 11:01 5796次阅读

    qt可以运行在单片机上么?

    qt可以运行在单片机上么
    发表于 10-08 06:28

    关于STC单片机IO口状态双向、推挽、开漏、高阻四种状态切换的疑问

    STC单片机IO口可以在双向、推挽、开漏、高阻四种状态切换。在切换过程中IO口会变成什么状态,手册没有明确说明。比如推挽为0时切换到双向,IO口是0还是1,推挽为1时切换到双向,IO口是0还是1,其他状态之间切换时有什么特别的变化?有哪位大神知道?
    发表于 09-27 07:57

    AscendCL快速入门——模型推理篇(

    在内存中的地址,当应用运行在Host时,此处需申请Host的内存;当应用运行在Device时,此处需申请Device的内存。 modelSize:内存中的模型数据长度。 model
    发表于 08-24 11:04

    Ai 部署的临界考虑电子指南

    虽然GPU解决方案对训练,AI部署需要更多。 预计到2020年代中期,人工智能行业将增长到200亿美元,其中大部分增长是人工智能推理。英特尔Xeon可扩展处理器约占运行AI
    发表于 08-04 07:25

    TensorRT怎么在多个GPU中指定推理设备

    说实话,之前我在笔记本上都一直都是只有一块N卡,所以没有过多关注过这个问题。然而昨天有个人问我,TensorRT怎么在多个GPU中指定模型推理GPU设备?我查了一下,发现官方有几个不同的解决方案,个人总结了一下,主要的做法有两种
    的头像 发表于 08-03 14:10 508次阅读

    如何将应用程序移植到运行在基于Arm的设备的Windows?

    本指南介绍如何将应用程序移植到运行在基于Arm的设备的Windows。该指南首先回顾了一般指南,然后展示了不同框架的示例:Tweeten应用程序的Electron移植、StaffPad应用程序
    发表于 08-02 06:06

    Stability AI发布大型模型SDXL 0.9,并可以运行在消费级GPU

    据悉,SDXL 0.9是在所有开源图像模型中参数数量位居前茅,并且可以在消费级GPU运行,还具备一个35亿参数的基础模型和一个66亿参数的附加模型。
    的头像 发表于 06-26 09:41 747次阅读

    变频器的四种制动方式

    有关变频器的小知识,变频器的制动方式有哪几种,制动是指电动机运行过程中因故障保护或人为主动停机时采取的技术措施,变频器的制动方式有能耗制动、回馈制动、直流制动和直流回馈制动等四种
    的头像 发表于 06-09 18:01 3114次阅读