谷歌近日为其Android上的TensorFlow框架开发了新的基于OpenCL的移动GPU推理引擎,与现有的OpenGL后端相比,新的推理引擎速度是前者的2倍。
OpenGL是一种渲染图形API,其应用已近30年之久,目前常用的GPU推理引擎均是以OpenGL开发。虽然在 OpenGL ES 3.1中新增了计算着色器Compute Shader,但TensorFlow团队表示,向后兼容的设计限制了GPU的运算能力。
而OpenCL从一开始就是为使用各种计算加速而设计的,因此更为适合移动GPU推理领域。这促使TensorFlow团队对基于OpenCL的移动推理引擎进行了考察,并最终决定采用该引擎。TFLite开发团队提到,与OpenGL相比,最佳化OpenCL后端要简单许多,因为OpenCL提供良好的分析功能,利用概要分析API,开发团队能够精确地量测核心调度效能。
值得一提的是,这一推理引擎具有完整的效能分析功,也就是说优化器会选择适合大小的神经网络工作组以提高GPU的效率。且原生支持FP16,即使在比较老旧的GPU硬件上,如2012年的Adreno 305也可完美发挥出GPU的效能。
责任编辑:pj
-
谷歌
+关注
关注
27文章
6245浏览量
110271 -
gpu
+关注
关注
28文章
5100浏览量
134478 -
硬件
+关注
关注
11文章
3556浏览量
68750
发布评论请先 登录
看点:谷歌Veo 3.1迎来重大更新硬刚Sora 2 12英寸硅片国产龙头西安奕材今日申购
Imagination GPU 驱动更新:新增多项 Vulkan 与 OpenCL 扩展支持
蔚来全新ES8掉头能有多敏捷
【M-K1HSE开发板免费体验】相关源码之阅读和分析1-使用XComponent + Vsync 实现自定义动画
全新蔚来ES8采用隆利科技Mini-LED背光技术
关于蔚来全新ES8的产品理念
贸泽开售适用于AI和嵌入式应用的 全新Raspberry Pi Compute Module 5
摩尔线程完成DeepSeek开源库FlashMLA和DeepGEMM适配
谷歌全新量子计算芯片Willow带来的挑战
谷歌量子芯片实现计算领域重大突破
谷歌Find My技术|谷歌Find My Device网络将成为智能防丢新增长点

谷歌在全新OpenGL ES 3.1中新增了计算着色器Compute Shader
评论