0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Google发布新API,支持训练更小更快的AI模型

独爱72H 来源:雷锋网 作者:佚名 2020-04-09 21:55 次阅读

(文章来源:雷锋网)
Google发布了 Quantification Aware Training(QAT)API,使开发人员可以利用量化的优势来训练和部署模型AI模型。通过这个API,可以将输入值从大集合映射到较小集合的输出,同时,保持接近原始状态的准确性。

新的API的目标是支持开发更小、更快、更高效的机器学习(ML)模型,这些模型非常适合在现有的设备上运行,例如那些计算资源非常宝贵的中小型企业环境中的设备。

通常,从较高精度到较低精度的过程有很多噪声。因为量化把小范围的浮点数压缩为固定数量的信息存储区中,这导致信息损失,类似于将小数值表示为整数时的舍入误差(例如,在范围[2.0,2.3]中的所有值都可以在相同的存储中表示。)。问题在于,当在多个计算中使用有损数时,精度损失就会累积,这就需要为下一次计算重新标度。

谷歌新发布的QAT API通过在AI模型训练过程中模拟低精度计算来解决此问题。在整个训练过程中,将量化误差作为噪声引入,QAT API的算法会尝试将误差最小化,以便它学习这个过程中的变量,让量化有更强的鲁棒性。训练图是利用了将浮点对象转换为低精度值,然后再将低精度值转换回浮点的操作,从而确保了在计算中引入了量化损失,并确保了进一步的计算也可以模拟低精度。

谷歌在报告中给出的测试结果显示,在开源Imagenet数据集的图像分类模型(MobilenetV1 224)上进行测试,结果显示未经量化的精度为71.03%,量化后的精度达到了71.06%。

Google发布新API,支持训练更小更快的AI模型

针对相同数据集测试的另一种分类模型(Nasnet-Mobile)中测试,在量化后仅有1%的精度损失(74%至73%)。除了模拟精度降低的计算外,QAT API还负责记录必要的统计信息,以量化训练整个模型或模型的一部分。比如,这可以使开发人员能够通过调用模型训练API将模型转换为量化的TensorFlow Lite模型。或者,开发人员可以在模拟量化如何影响不同硬件后端的准确性的同时尝试各种量化策略。

Google发布新API,支持训练更小更快的AI模型

Google表示,在默认情况下,作为TensorFlow模型优化工具包一部分的QAT API配置为与TensorFlow Lite中提供的量化执行支持一起使用,TensorFlow Lite是Google的工具集,旨在将其TensorFlow机器学习框架上构建的模型能够适应于移动设备,嵌入式物联网设备。“我们很高兴看到QAT API如何进一步使TensorFlow用户在其支持TensorFlow Lite的产品中突破有效执行的界限,以及它如何为研究新的量化算法和进一步开发具有不同精度特性的新硬件平台打开大门”,Google在博客中写道。

QAT API的正式发布是在TensorFlow Dev Summit上,也是在发布了用于训练量子模型的机器学习框架TensorFlow Quantum之后发布。谷歌也在会议的会话中预览了QAT API。
(责任编辑:fqj)

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 谷歌
    +关注

    关注

    27

    文章

    6003

    浏览量

    103500
  • API
    API
    +关注

    关注

    2

    文章

    1419

    浏览量

    61158
收藏 人收藏

    评论

    相关推荐

    Azure AI Studio现已支持提供GPT-4o API

    微软公司在最近的Build 2024开发者大会上宣布了一个重要更新。据微软CEO萨提亚·纳德拉介绍,Azure AI Studio现已支持OpenAI开发的最新旗舰模型GPT-4o,并作为AP
    的头像 发表于 05-22 11:45 420次阅读

    【大语言模型:原理与工程实践】大语言模型的预训练

    数据格式的转换、数据字段的匹配和整合等。通过数据级净化,可以进一步提高数据的质量和可用性,为后续的数据分析和建模提供更有价值的数据支持。 在得到了大语言模型的数据之后,就是对其进行预训练。大圆
    发表于 05-07 17:10

    零一万物正式发布Yi大模型API开放平台

    近日,零一万物正式发布Yi大模型API开放平台,为开发者提供通用Chat、200k超长上下文、多模态交互等模型
    的头像 发表于 03-17 09:55 716次阅读

    谷歌模型训练软件有哪些?谷歌模型训练软件哪个好?

    谷歌在模型训练方面提供了一些强大的软件工具和平台。以下是几个常用的谷歌模型训练软件及其特点。
    的头像 发表于 03-01 16:24 391次阅读

    谷歌模型训练软件有哪些功能和作用

    谷歌模型训练软件主要是指ELECTRA,这是一种新的预训练方法,源自谷歌AI。ELECTRA不仅拥有BERT的优势,而且在效率上更胜一筹。
    的头像 发表于 02-29 17:37 467次阅读

    谷歌发布新的AI SDK,简化Gemini模型与Android应用程序的集成

    对于 Android 应用程序,Google 提供了 Google AI Client SDK for Android,它将 Gemini REST API 封装为惯用的 Kotlin
    的头像 发表于 01-03 16:29 615次阅读

    【飞腾派4G版免费试用】仙女姐姐的嵌入式实验室之五~LLaMA.cpp及3B“小模型”OpenBuddy-StableLM-3B

    ,根据LLaMA官方的介绍,要想运行该模型需要30GB左右显存的显卡支持,这是边缘终端甚至个人电脑难以做到的,后来,GitHub上的一位开发者ggerganov发布了llama.cpp项目,该项
    发表于 12-22 10:18

    Google Cloud 推出 TPU v5p 和 AI Hypercomputer: 支持下一代 AI 工作负载

    生成式 AI 模型正在迅速发展,提供了前所未有的精密性和功能。这项技术进展得以让各行各业的企业和开发人员能够解决复杂的问题,开启新的机遇之门。然而,生成式 AI 模型的增长也导致
    的头像 发表于 12-13 16:05 321次阅读
    <b class='flag-5'>Google</b> Cloud 推出 TPU v5p 和 <b class='flag-5'>AI</b> Hypercomputer: <b class='flag-5'>支持</b>下一代 <b class='flag-5'>AI</b> 工作负载

    【KV260视觉入门套件试用体验】Vitis AI 通过迁移学习训练自定义模型

    【Vitis AI】 Vitis AI 通过迁移学习训练自定义模型 测评计划: 一、开箱报告,KV260通过网线共享PC网络 二、Zynq超强辅助-PYNQ配置,并使用XVC(Xili
    发表于 10-16 15:03

    请问K510设备什么时候可以支持线上模型训练

    目前官方的线上模型训练支持K210,请问K510什么时候可以支持
    发表于 09-13 06:12

    盘古ai模型怎么使用

    盘古ai模型怎么使用 盘古AI模型是一个基于自然语言处理的人工智能模型,是华为公司发布的 超
    的头像 发表于 09-04 10:42 1.1w次阅读

    训练大语言模型带来的硬件挑战

    生成式AI和大语言模型(LLM)正在以难以置信的方式吸引全世界的目光,本文简要介绍了大语言模型训练这些模型带来的硬件挑战,以及GPU和网络
    的头像 发表于 09-01 17:14 1197次阅读
    <b class='flag-5'>训练</b>大语言<b class='flag-5'>模型</b>带来的硬件挑战

    阿里平头哥发布首个 RISC-V AI 软硬全栈平台

    HHB 实现了在典型网络性能比第三方工具平均提升 88%,并增加支持运行 Transformer、TensorFlow、PyTorch 等 170 余个主流框架 AI 模型。 基于此,平头哥
    发表于 08-26 14:14

    训练好的ai模型导入cubemx不成功怎么解决?

    训练好的ai模型导入cubemx不成功咋办,试了好几个模型压缩了也不行,ram占用过大,有无解决方案?
    发表于 08-04 09:16

    华为发布模型时代AI存储新品

    7月14日,华为发布模型时代AI存储新品, 为基础模型训练、行业模型
    的头像 发表于 07-14 15:20 603次阅读
    华为<b class='flag-5'>发布</b>大<b class='flag-5'>模型</b>时代<b class='flag-5'>AI</b>存储新品