基于卷积神经网络的图像描述生成方法

资料大小: 1.34 MB

所需积分: 0

下载次数:

用户评论: 0条评论,查看

上传日期: 2021-06-03

上 传 者: 他上传的所有资料

资料介绍

标签:电脑(1194)图像处理(727)神经网络(3244)

  图像描述,即利用电脑自动描述图像的语义内容一直是计算机视觉领域的一项重要研究任务。尽管使用卷积神经网络(connal neural networks,CNN)和长短期记忆网络( (ong short-term memory,LSTM)的组合框架在生成图像描述方面解决了梯度消失和梯度爆炸问題,但是基于LSTM的模型依赖序列化的生成描述,无法在训练时并行处理,且容易在生成描述时遗忘先前的信息。为解决这些问题,提出将条件生成对抗网络( condiTIonal generaTIveversarial network,CGAN引入到描述生成模型训练中,即采用CNN来生成图像描述。通过对抗训练来生成句子描述并结合注意力机制提升描述的质量。在 MSCOCO数据集上进行测试,实验结果表明,与基于CNN的其他方法相比文中方法在语义丰富程度指标 CIDER上取得了2%的提升,在准确性指标BLEU上有1%左右的性能提升;同时,其在部分指标,尤其是语义指标上超过了基于LsTM模型的图像描述方法的性能;证明该方法生成的图像描述更接近图像的真实描述,并且语义内容更加丰富。

用户评论

查看全部 条评论

发表评论请先 , 还没有账号?免费注册

发表评论

用户评论
技术交流、我要发言! 发表评论可获取积分! 请遵守相关规定。
上传电子资料