多种物体识别技术:NEC总部内的便利店进行结算业务无人化的验证实验

最近，NEC开发出多种物体识别技术，可大幅提升超市和便利店等零售商结算时的商品识别效率，可对包括生鲜食品、日配品和包装成品等在内的所有零售商品进行图像识别。本技术将为零售店铺实现无人化结算作出巨大的贡献。

本技术结合不同特性的深度学习技术和特征点匹配技术，对各种不同的零售商品进行高精度识别，既包括生鲜食品之类个体外观差异大的物品，也包括包装成品之类相似设计大量存在的流水线产品。而且即使这些商品混杂堆放，也能一次性精准识别所有商品。

NEC商品画像识别示意图

近年来，随着图像识别技术的不断发展，利用摄像头识别零售商品的图像识别方式使得零售店铺结算在节省人力及无人化方面不断进步。但是，由于生鲜食品和包装成品的特点不同，以往的图像识别技术很难对各式各样的商品统一进行识别。此外，为了一次性准确识别这些商品，需要将商品整齐摆放，会增加使用者的负担。

通过此次NEC最新研发的技术，无需再逐个读取条形码和RFID电子标签，只需将商品放置到收银台上这一简单的操作，即可一次性识别所有商品，大幅提升了结算时商品的读取效率。

NEC积极致力于在全球范围内推进“社会解决方案事业”，创造安全、安心、高效、公平的社会价值。将先进的ICT技术与知识相融合，为实现更加光明、更加丰富多彩的高效社会尽一份力量。

【背景】

近年来，零售行业劳动力不足的现象日益严峻，如何在店铺运营中节省人力、实现无人化已经成为当下极其重要的课题。特别是对店员负担较重的结算业务（收银结账），无人化需求日益迫切。

为实现结算业务的无人化，可以考虑使用自助结账的方式。而自助结账就需要顾客自己逐一将商品的条形码放到机器上扫描。但是因为部分顾客对如何使用条形码读取设备并不熟悉，所以需要耗费大量的时间读取条形码，而对于像生鲜食品之类没有条形码的商品，自助结账时的对应就会变得更加复杂，结账效率成为课题。此外，虽然已有企业开始以给商品添加RFID电子标签的方式进行自动化结算，但给低价商品添加电子标签的方式非常不划算，所以要实现真正意义上的普及还非常遥远。

此次开发的图像识别技术是一种多种物体识别技术，无需条形码和RFID电子标签，即使是在零售店这样将生鲜食品、日配品和包装成品等各种商品混杂放置的复杂环境中，也能进行精准识别。通过这项技术，顾客只需将购买的多种商品放到收银台上，即可一次性准确读取商品。

【新技术的特征】

1.可对包括天然物品和流水线产品等在内的各种不同特点的零售商品进行高精度识别

本次开发的图像识别技术，融合了深度学习技术和特征点匹配技术中的不同特性。首先对将深度学习技术和特征匹配技术分别使用到每个商品时的识别精度进行推测，调整各技术的使用比例以实现识别精度的最大化。然后再根据每个商品调整后得到的配比，对各技术的识别结果进行整合。对于像蔬菜水果等生鲜食品之类不同个体外观差异巨大的天然物品，将使用可以吸收不同个体差异来进行判别的深度学习技术，而对于像饮料、点心、盒装方便面、杂货等包装成品之类设计相似的工业产品，则使用可以详细判别设计配置差异的特征点匹配技术。

而对于便当、熟食等日配品之类同时具备天然物品（食材）和工业产品（商品标签）特点的商品，则同时使用两种技术，在对其结果进行整合后再进行识别。结合商品特性，融合两项技术的识别方式，较之于只使用单项技术的情况，有效地提升了对于多种不同零售商品的识别精度。

2.即使是在多种商品混杂放置的复杂环境中也能精准识别

拍摄每个商品个体，即可自动生成大量的多种商品混杂放置的复杂环境的图片。本次开发的多种物体识别技术，只需提前对这些图片进行机械学习，即可有效提升复杂环境中的识别精度。这样就解决了机械学习时需要拍摄并准备大量学习图像数据的课题，即使只有少量的拍摄图像数据，也可有效提升多种商品混杂放置的复杂环境中的商品识别精度。

在2018年3月于东京国际展览中心举办的“RetailTech JAPAN2018”流通技术展上， NEC展出了使用本技术的图像识别POS结算演示系统。同时，计划从3月开始将使用本技术在NEC总部内的便利店进行结算业务无人化的验证实验。