AMD助力MulticoreWare打造AI驱动智能结算解决方案

解决方案旨在帮助零售商增强客户满意度并减少盗窃

MulticoreWare 公司开发了一款先进的 AI 驱动智能结算解决方案 RetailSentry AI，用于由 AMD 锐龙（ Ryzen ）嵌入式 8000 系列处理器提供支持的零售应用。这款智能 POS 系统利用多个 AI 模型，在处理器集成的 CPU、GPU 和 AMD XDNA神经网络处理单元（ NPU ）架构上同时运行。当产品展示时，系统会捕捉其图像、扫描其条形码，并使用基于计算机视觉的目标检测对比商店的数据库验证产品，然后将其添加至顾客购物车。根据顾客的购买情况，系统还能推荐顾客可能感兴趣的补充产品，从而增加商店收入。该解决方案的独特之处在于其集成的入店行窃检测能力，该功能使用 AI 算法持续监控顾客行为，发现可疑活动。一旦检测到潜在的盗窃行为，系统会生成即时由大型语言模型驱动的警报，以实时通知附近的店员。

项目挑战

传统的结算系统在用户遇到困难时通常需要工作人员进行大量干预。由于系统效率低下或设计不佳，零售商还可能面临高盗窃率，并错失通过数据分析推荐补充产品的机会。

MulticoreWare 业务开发总监 Manish Rawat 表示：“我们想构建一款解决方案，解决零售自助结算通道和外卖食品站的三个常见问题。我们需要系统能够了解正在结算的产品，确保视觉识别与条形码相匹配，同时还要检测盗窃，并能实时提醒店员。”

在自助结账过程中，扫描的产品名称和图像会通过采用目标检测的摄像头收集，并与产品条形码上的信息进行对比。Rawat 说道：“我们需要一款能够执行我们的多感知方法的处理器，将视觉传感与条形码数据相结合，并允许我们在多个 AI 模型上进行推理。”

为了实现这一目标，MCW 选择了 AMD 锐龙嵌入式处理器，该处理器能够在集成 CPU、GPU 和 NPU 的单个芯片上执行所有这些任务，无需采用其他供应商的多个芯片。

解决方案

MulticoreWare 的结算解决方案在基于计算机视觉的目标检测以及与条形码验证相似度匹配的基础上进行构建。产品识别是通过计算所检测到的产品与数据库中参考图像之间的相似度来进行的。条码扫描器会读取产品条形码，以便快速准确地结算，而 AI 目标检测则会交叉验证扫描产品，以检测不匹配或不正确的扫描。如果一个条码被换到一个价格更低的产品上，摄像头会检测到差异并触发警报。对于欺诈和异常检测，系统使用 Al 来识别可疑行为，如漏扫、条码篡改或产品交换。结账系统涉及的组件包括一个基于 Yolo 算法的目标检测模型，该模型在定制数据上训练以检测产品；一个相似度检查模块，通过使用基于 ResNet 的模型提取特征来对比检测到的产品与数据库；一个异常/入店行窃检测模块，该模块使用基于 CNN-LSTM 的模型监控商店内可疑活动；以及一个使用 LLM 模块，该模块使用 LLAMA2 大语言模型生成响应。

为了与这些模块进行交互，系统拥有一个集中的图形用户界面（ GUI ），用于监控、管理和分析实时和历史产品及监控数据。控制面板包括产品扫描区域的实时摄像头传输；实时产品条码扫描系统，显示每款产品全面信息（包括名称、价格、描述、品牌以及其它重要属性）；以及允许用户添加或删除产品并显示实时总数的购物车详细信息。这一控制面板视图还包含重要的性能指标，包括 CPU 及内存利用率。该系统还包括一个实时摄像头视图，可即时显示标记的入店行窃事件，以及一个异常档案，可以系统地对所有检测到的事件进行编目和存储以供审查。

设计成效

管理密集且多样化的 AI 工作负载并确保通过交互式图形界面进行沉浸式实时响应，这对嵌入式器件是一项严峻挑战。AMD 锐龙嵌入式 8000 系列处理器提供了强大的 x86 CPU 算力，具备至多 8 个“Zen 4”内核（ 16 线程），并包含集成的 AMD Radeon显卡，可优化视觉处理和多媒体性能。此外，AMD 锐龙嵌入式 8845HS 处理器提供了至多 20 个 PCle Gen4 通道，为处理信息提供了充足的 I/O 灵活性。

目标检测使用基于 Yolo 算法的模型进行，其搭载在经过定制数据训练的 AMD 处理器上，用于检测扫描的产品。检测到的产品的图像被裁剪并保存以进行相似度检查。相似度检查使用基于 ResNet 架构的模型从检测到的产品图像中提取特性 embeddings（嵌入）。将这些嵌入与存储在数据库中的参考 embeddings 进行比较，找出它们之间的相似度。

检测店铺摄像头镜头中的可疑活动涉及使用基于 CNN-LSTM 的分类模型来分析视频帧并识别异常行为。这也是由 AMD 锐龙嵌入式处理器及其板载 XDNA架构执行的，这是锐龙嵌入式 x86 解决方案的新功能，可为各类 AI 模型在工业边缘端实现快速流畅的 AI 推理与决策。

该系统会处理视频流，根据预先定义的类别将活动归类为正常或可疑。当发现可疑活动时，系统会触发一个流程来保存特定片段以供审查。基于 Transformer 的架构充当图像编码器，从而生成 embeddings，与描述性文本标签生成的 embeddings 进行对比。这一比较通过余弦相似度完成，其可测量图像 embeddings 与文本 embeddings 在特征空间中的接近程度。

LLAMA2 大语言模型用于在系统中生成情境通知。该模型用于两项关键任务：创建异常检测警报和显示购物车中所添加产品的实情，从而增强用户体验。

Rawat 表示：“AMD 锐龙嵌入式处理器助力我们部署最新的 AI 技术，通过实现快速准确的产品扫描与验证，提供无缝、无忧的购物体验，同时帮助零售商减少欺诈和盗窃情况。我们相信，这项核心技术可为未来打造更具变革性和互动性的面对面购物体验奠定基础。”