基于AX650N+CLIP的以文搜图展示-电子发烧友网

一

背景

元气满满的10月份就结束了，时间不长，却产出了上千张照片，找到自己想要的照片有点难度。希望有一种精确的以文搜图的方法，快速定位到某一类图片（例如：金色头发的小姐姐……）。

之前大家熟悉的计算机视觉模型（CV）基本上是采用监督学习的方式，基于某一类数据集进行有限类别的任务学习。这种严格的监督训练方式限制了模型的泛化性和实用性，需要额外的标注数据来完成训练时未曾见过的视觉“概念”。

能否有一种“识别万物”的图像识别大模型呢？今天就借此机会，通过实操来重温下由OpenAI在2021年初发布的Zero-Shot视觉分类模型CLIP，并移植到爱芯派Pro上实现简单的以图搜文示例。

二

CLIP

Summary of our approach

2021年初由OpenAI发布的Zero-shot的视觉分类模型CLIP（Contrastive Language–Image Pre-training），该预训练的模型在没有微调的情况下在下游任务上取得了很好的迁移效果。作者在30多个数据集上做了测试，涵盖了OCR、视频中的动作检测、坐标定位等任务。作者特意强调了CLIP的效果：没有在ImageNet上做微调的CLIP，竟然能和已经在ImageNet上训练好的ResNet 50打成平手，简直不可思议。

● CLIP网站：

https://openai.com/research/clip

● CLIP论文：

https://arxiv.org/abs/2103.00020

深度学习在CV领域很成功，但是现在大家使用最多的强监督学习方案总体而言存在以下问题：

● CV数据集标注劳动密集，成本高昂

● 模型只能胜任一个任务，迁移到新任务上非常困难

● 模型泛化能力较差

2.1 预训练

OpenAI的这项工作CLIP可以解决上述问题，思路看起来很简单，看下图就知道了，简单来说CLIP是使用Text Encoder从文本中提取的语义特征和Image Encoder从图像中提取的语义特征进行匹配训练：

pre training

2.2 推理

接下来是Zero-Shot的推理过程。给定一张图片，如何利用预训练好的网络去做分类呢？这里作者很巧妙地设置了一道“多项选择”。具体来说，我给网络一堆分类标签，比如cat, dog, bird，利用文本编码器得到向量表示。然后分别计算这些标签与图片的余弦相似度；最终相似度最高的标签即是预测的分类结果。

Zero-Shot prediction

从论文中公开的效果非常不错，CLIP的Zero-Shot迁移能力非常强。在ImageNet各种系列分类任务上，CLIP无需ImageNet标注数据训练，通过Zero-Shot分类效果就可以达到ResNet监督训练结果，并且泛化性和鲁棒性更好。

CLIP on ImageNet

三

爱芯派Pro（AX650N）

搭载爱芯元智第三代高能效比智能视觉芯片AX650N。集成了八核Cortex-A55 CPU，10.8TOPs@INT8 NPU，支持8K@30fps的ISP，以及H.264、H.265编解码的VPU。接口方面，AX650N支持64bit LPDDR4x，多路MIPI输入，千兆EtherNet、USB、以及HDMI 2.0b输出，并支持32路1080p@30fps解码内置高算力和超强编解码能力，满足行业对高性能边缘智能计算的需求。通过内置多种深度学习算法，实现视觉结构化、行为分析、状态检测等应用，高效率支持Transformer模型和视觉大模型。提供丰富的开发文档，方便用户进行二次开发。

爱芯派Pro（AX650N inside）

四

上板示例

为了方便大家快速体验CLIP的效果，我们在Github上开源了对应的DEMO以及相关预编译好的NPU模型，方便大家快速体验。

● Github链接：

https://github.com/AXERA-TECH/CLIP-ONNX-AX650-CPP

提供的DEMO包内容说明

文件名	描述
main	DEMO执行程序
image_encoder.axmodel	图像编码模型（AX650N NPU）
image_encoder.onnx	图像编码模型（CPU）
images	测试图片集
text_encoder.onnx	文本编码模型
text.txt	文本输入序列
vocab.txt	文本词集
feature_matmul.onnx	特征比对模型

4.1 耗时统计

CLIP image encoder的模型，我们采用精度更好的基于ViT-B的Backbone

Backbone	输入尺寸	参数量	计算量
ViT-B/32	1,3,224,224	86M	4.4G MACs

单独运行的耗时分析如下：

root@maixbox:~/qtang/CLIP# /opt/bin/ax_run_model -m image_encoder.axmodel -w 3 -r 10
 Run AxModel:
    model: image_encoder.axmodel
    type: NPU3
    vnpu: Disable
  affinity: 0b001
   repeat: 10
   warmup: 3
    batch: 1
 pulsar2 ver: 1.8-patch1 6fa8d395
 engine ver: [Axera version]: libax_engine.so V1.27.0_P3_20230627143603 Jun 27 2023 14:58:22 JK 1.1.0
  tool ver: 1.0.0
  cmm size: 93238580 Bytes
 ------------------------------------------------------
 min =  4.158 ms  max =  4.220 ms  avg =  4.198 ms
 ------------------------------------------------------