使用张量流精简版开发基于TPU的AI解决方案

如今，从个人设备到企业应用程序，人工智能已经无处不在，你随处可见。物联网的出现伴随着对数据隐私、低功耗、低延迟和带宽限制的需求不断增长，这越来越多地推动了AI模型在边缘而不是云中运行。

根据Grand View Research的数据，2019年全球边缘人工智能芯片市场价值为18亿美元，预计从2020年到2027年将以21.3%的复合年增长率增长。在这个开始，谷歌推出了边缘TPU，也被称为珊瑚TPU，这是其专门构建的ASIC，用于在边缘运行AI。它旨在提供出色的性能，同时占用最小的空间和功率。

当我们训练AI模型时，我们最终会得到具有高存储要求和GPU处理能力的AI模型。我们无法在内存和处理占用空间较低的设备上执行它们。张量流精简版在这种情况下很有用。张量流精简版是一个开源深度学习框架，在边缘TPU上运行，允许设备上推理和AI模型执行。另请注意，TensorFlow 精简版仅用于在边缘执行推理，而不用于训练模型。为了训练AI模型，我们必须使用张量流。

结合边缘 TPU 和张量流精简版

当我们谈论在边缘TPU上部署AI模型时，我们只是无法部署任何AI模型。

边缘 TPU 支持 NN（神经网络）操作和设计，以实现低功耗的高速神经网络性能。除了特定的网络，它只支持边缘TPU的8位量化和编译的张量流精简版模型。

为了快速总结，张量流精简版是张量流的轻量级版本，专为移动和嵌入式设备设计。它以较小的存储大小实现低延迟结果。有一个张量流精简版转换器，允许将基于张量流的AI模型文件（pb）转换为张量流精简版文件（.tflite）。下面是在 Edge TPU 上部署应用程序的标准工作流。

边缘 TPU 上的应用程序部署

让我们来看看一些有趣的现实世界应用程序，这些应用程序可以在边缘TPU上使用张量流精简版构建。

人体检测和计数

该解决方案具有许多实际应用，特别是在商场，零售，政府办公室，银行和企业中。人们可能想知道在检测和计算人类方面可以做些什么。数据现在具有时间和金钱的价值。让我们看看如何使用人类检测和计数的见解。

估计客流量：对于零售业来说，这很重要，因为它给出了一个想法，如果他们的商店表现良好。他们的展示是否吸引顾客进入商店。它还可以帮助他们了解是否需要增加或减少支持人员。对于其他组织，它们有助于为人们采取适当的安全措施。

人群分析和队列管理：对于政府机关和企业来说，通过人工检测和计数进行队列管理有助于他们管理更长的队列并节省人们的时间。研究队列可以归因于个人和组织的绩效。人群检测可以帮助分析紧急情况、安全事件等人群警报，并采取适当的措施。当部署在边缘时，这样的解决方案可以提供最佳结果，因为所需的操作可以近乎实时地采取。

基于年龄和性别的定向广告。

该解决方案主要在零售和广告行业具有实际应用。想象一下，你走向展示女鞋广告的广告展示，然后突然广告变成了男性的鞋子广告，因为它确定你是男性。有针对性的广告可以帮助零售商和制造商更好地定位他们的产品，并创造正常人在忙碌的生活中永远不会看到的品牌意识。

这不能仅限于广告，年龄和性别检测还可以通过管理零售商店中的适当支持人员，人们更喜欢访问您的商店，企业等的年龄和性别来帮助企业做出快速决策。如果你非常迅速地确定和采取行动，所有这些都会更加强大和有效。因此，更重要的是，这是在Edge TPU上使用此解决方案的原因。

人脸识别

第一个人脸识别系统建于1970年，迄今为止仍在开发中，变得更加强大和有效。边缘人脸识别的主要优点是实时识别。另一个优点是在边缘进行人脸加密和特征提取，只需将加密和提取的数据发送到云端进行匹配，从而保护人脸图像的PII级隐私（因为您不会在边缘和云端保存人脸图像），并遵守严格的隐私法规。

边缘TPU与张量流精简版框架相结合，开辟了几个边缘AI应用机会。由于该框架是开源的，开源软件（OSS）社区也支持它，使其在机器学习用例中更加流行。TensorFlow Lite的整体平台增强了嵌入式和物联网设备边缘应用程序增长的环境。

审核编辑：郭婷