使用TensorFlow Lite设计基于TPU的AI解决方案

如今，人工智能已经无处不在，从个人设备到企业应用程序，随处可见。物联网的出现伴随着对数据隐私、低功耗、低延迟和带宽限制的日益增长的需求，越来越多地推动人工智能模型在边缘而不是云端运行。

根据 Grand View Research 的数据，2019 年全球边缘人工智能芯片市场价值 18 亿美元，预计从 2020 年到 2027 年将以 21.3% 的复合年增长率增长。在此之初，谷歌推出了 Edge TPU，也称为 Coral TPU，这是其专用于在边缘运行 AI 的 ASIC。它旨在提供出色的性能，同时占用最小的空间和功率。

当我们训练一个 AI 模型时，我们最终会得到具有高存储要求和 GPU 处理能力的 AI 模型。我们无法在内存和处理空间不足的设备上执行它们。TensorFlow Lite 在这种情况下很有用。TensorFlow Lite 是一个在 Edge TPU 上运行的开源深度学习框架，允许在设备上进行推理和 AI 模型执行。另请注意，TensorFlow Lite 仅用于在边缘执行推理，而不用于训练模型。要训练 AI 模型，我们必须使用 TensorFlow。

结合 Edge TPU 和 TensorFlow Lite

当我们谈论在 Edge TPU 上部署 AI 模型时，我们无法部署任何 AI 模型。

Edge TPU 支持 NN（神经网络）操作和设计，以实现低功耗的高速神经网络性能。除特定网络外，它仅支持 Edge TPU 的 8 位量化和编译的 TensorFlow Lite 模型。

简单总结一下，TensorFlow Lite 是专为移动和嵌入式设备设计的轻量级 TensorFlow。它以小存储大小实现低延迟结果。TensorFlow Lite 转换器允许将基于 TensorFlow 的 AI 模型文件 （.pb） 转换为 TensorFlow Lite 文件 （.tflite）。以下是在 Edge TPU 上部署应用程序的标准工作流程。

Edge TPU 上的应用部署

让我们看一些可以在边缘 TPU 上使用 TensorFlow Lite 构建的有趣的实际应用程序。

人体检测和计数

这个解决方案有很多实际应用，特别是在商场、零售、政府机关、银行和企业中。人们可能想知道如何检测和计数人类。数据现在具有时间和金钱的价值。让我们看看如何使用来自人类检测和计数的见解。

估计客流量：对于零售业来说，这很重要，因为它可以判断他们的商店是否经营良好。他们的展示是否吸引顾客进入商店。它还可以帮助他们了解是否需要增加或减少支持人员。对于其他组织，它们有助于为人们采取适当的安全措施。

人群分析和队列管理：对于政府办公室和企业，通过人工检测和计数进行队列管理有助于他们管理更长的队列并节省人们的时间。学习队列可以归因于个人和组织的表现。人群检测可以帮助分析紧急情况、安全事件等的人群警报，并采取适当的行动。当部署在边缘时，此类解决方案可提供最佳结果，因为可以接近实时地采取所需的操作。

基于年龄和性别的定向广告。

该方案主要在零售和广告行业有实际应用。想象一下，您走向正在展示女鞋广告的广告显示屏，然后突然广告变为男鞋广告，因为它确定您是男性。有针对性的广告可以帮助零售商和制造商更好地定位他们的产品，并创造普通人在忙碌的生活中永远看不到的品牌知名度。

这不仅限于广告，年龄和性别检测还可以通过管理零售店的适当支持人员，人们更喜欢访问您的商店，企业的年龄和性别等来帮助企业快速做出决定。所有这些都更强大，更如果您很快确定并采取行动，则有效。因此，更有理由在 Edge TPU 上使用此解决方案。

人脸识别

第一个人脸识别系统建于 1970 年，至今仍在开发中，变得更加强大和有效。在边缘进行人脸识别的主要优势是实时识别。另一个优点是在边缘进行人脸加密和特征提取，只需将加密和提取的数据发送到云端进行匹配，从而保护人脸图像的 PII 级隐私（因为您不会将人脸图像保存在边缘和云端）并遵守严格的隐私法。

Edge TPU 与 TensorFlow Lite 框架相结合，开启了多个边缘 AI 应用机会。由于该框架是开源的，开源软件 （OSS） 社区也支持它，使其在机器学习用例中更受欢迎。TensorFlow Lite 的整体平台增强了嵌入式和物联网设备边缘应用程序增长的环境。

审核编辑：郭婷