基于隐马尔科夫模型和卷积神经网络的图像标注方法

　　开发大规模图像库的搜索和浏览算法，使得图像自动标注的重要性日益增强。基于隐马尔科夫模型（HMM）与卷积神经网络（CNN），我们提出了一种新的图像标注方法HMM + CNN。首先，训练一个多标签学习的CNN网络作为概念分类器；其次，通过一阶HMM模型把图像内容与语义相关性相结合以精炼该CNN的预测分数；最后，为改善对稀疏概念的标注性能，应用梯度下降算法来补偿在真实应用中不平衡图像集上标注概念的频率差。在IAPR TC-12标准图像标注数据集上对比了其他传统方法，结果表明我们的标注方法在查准率和查全率上性能更优。

　　随着互联网技术与多媒体共享社区的不断发展，大量的多媒体内容已进入我们的日常生活，如何高效准确地对海量的未标注图像等媒体内容进行搜索、浏览、管理变得尤为重要，这也使得图像自动标注的重要性日益增强。近年来众多学者对图像自动标注方法做了大量的研究，取得了若干阶段性成果，例如浅度学习方法：支持向量机SVM 、核典型相关分析KCCA-2PKNN 、稀疏核学习SKL-CRM 、快速标注FastTag 、离散多重伯努利模型SVM-DMBRM 、图像距离尺度学习NSIDML 、生成判别联合模型GDM ；以及最近流行的深度学习方法：渐进式深度自动图像标注ADA、图像标签对齐模型SEM ［9］和图拉普拉斯正则化深度神经网络HQ-III 等。这些传统的图像标注方法考虑了视觉特征与语义概念之间的关联，而在标注概念之间语义关联方面还存在诸多未得到很好解决的问题。很多方法仅在平衡的小概念字典上完成，而在带有大概念字典的数据集上，语义概念分布或者语义概念出现频率呈现较大差异（即概念的不平衡性），这大大影响了标注方法的效果。因此，研究在不平衡图像库上的自动图像标注很有必要也很有意义。

　　在图像标注领域，深度学习方法（如卷积神经网络CNN）比传统浅度学习方法在性能上大大提升，然而，其并未很好考虑语义概念之间的关联，这影响了其性能的进一步改善。本文针对该问题，提出了一种基于隐马尔科夫模型（HMM）与卷积神经网络（CNN）的自动图像标注方法HMM + CNN，该方法使用HMM 模型来校正语义标签：把图像标注过程视为检索有相互关联的隐藏语义概念序列过程，它提高了高度关联的相关概念语义分数而弱化了毫无关联的概念语义分数，提高了标注精度。在HMM 模型里，所有的隐状态可以构成一条一阶马尔可夫链，而每个隐状态代表一个隐藏语义概念，两个隐状态之间的边权重表示它们的语义相关性，隐状态到可观测状态之间的边表示由CNN 分类器产生的视觉语义分数。在学习过程中，考虑到真实图像集上语义概念分布的不均衡性，引入了语义概念的权重学习，其在计算发射概率和转移概率的过程中减弱了频繁概念的权重，而提升稀疏概念的权重，于是大大提高了稀疏概念标注的性能。最后，把我们的标注方法HMM + CNN 应用于标准标注图像集IAPR TC-12 ，结果表明我们提出的标注方法HMM + CNN 标注精度比较高，是自动图像标注的一种有效方法。