0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

IBM发布最新AI模型,帮视障者“看”到更多

DR2b_Aiobservat 来源:YXQ 2019-06-25 08:47 次阅读

在IBM最新的论文中,研究人员提出了一种能自主制作多样化、创造性和符合人类语境的图片文字说明的模型。实验证明,图片的文字说明取得了“良好”的性能,未来可以为强大的新计算机视觉系统奠定了基础。

无论是报社、杂志社还是新媒体,编辑们最不愿意干得事情就是为图片搭配文字说明。事实上这项工作必要且重要但实际操作上又非常枯燥。

不过,一个振奋人心的消息是,AI可能很快就能处理大部分工作。6月18日在加州长滩举行的2019年计算机视觉和模式识别会议(CVPR)上,Pierre L. Dognin, Igor Melnyk, Youssef Mroueh, Jarret Ross, Tom Sercu发表了一篇论文《改进图像说明的对抗性语义对齐》,提出了一种能够自主制作多样化、创造性和符合人类语境的图片文字说明的模型。

在论文中,他们将图像说明作为一种有条件的GAN(生成式对抗网络)训练进行研究,提出了一种上下文感知的LSTM字幕器和共同注意鉴别器,它们加强了图像和字幕之间的语义对齐。

研究人员根据经验着重研究了SCST和ST两种训练方法的可行性。他们发现即使没有直接访问鉴别器梯度,SCST也比ST显示出更稳定的梯度行为和更好的结果。进而还解决了对这些模型进行自动评估的开放性问题,引入了一个新的语义评分,并证明了它与人类判断的强相关性。

作为评估范例,一个重要的标准是生成器能够概括出平常不会一起出现的对象之间的组合关系。为此研究人员引入了一个小标题能脱离上下文(OOC)测试集。OOC与常规语义评分相结合,为图片搭配说明文字得体系提出了新基准。当面向OOC和MS-COCO进行测试时,可以发现基于SCST的训练在语义评分和人类评估方面都有很强的表现,有望成为高效离散GAN训练的一种有价值的新方法。

目前,构建系统需要解决自动说明文字系统的一个主要缺点:顺序语言生成导致语法正确—但同质、非自然和语义不相关的结构。

研究者的方法是通过一个注意力文字说明模型来解决这个问题,模型使用它正在观察的照片中的场景片段来造句。在每一个生成步骤中,团队的AI都可以选择关注最后一步的视觉或文本提示。

为了确保生成的文字说明听起来不太机械化,研究团队在训练时使用了生成对抗网络(GANs)——由生成样本的生成器和试图区分生成样本和现实世界样本的鉴别器组成的两部分神经网络。共同注意鉴别器通过一个在像素级匹配场景和生成单词的模型对新句子的“自然度”进行评分,使文字说明者能够通过图像和句子成对来进行合成。

文字说明系统中的另一个常见问题是,如何避免训练数据集的偏差,即经常遭受过度拟合(特定数据集过于接近的分析)就需要构建诊断工具,否则并不适合推广到学习对象(“床和卧室”)出现在看不见的环境(“床和森林”)中的场景。为此,研究人员提出了一种标题图像的测试语料库,其设计方式使得不良模型性能表明过度拟合。

在实验中,Amazon's Mechanical Turk评估人员负责识别AI模型生成的文字说明,并判断每句话对相应图像的描述程度,给出几个真实的和合成的样本,研究人员表示,他们的文字说明总体上取得了“良好”的性能。他们相信他们的工作为强大的新计算机视觉系统奠定了基础,并打算在未来的工作中继续探索这些系统。另外,衔接语言和视觉语义的鸿沟表明需要将常识和推理融入场景理解中。

未来,图像文字说明的自动生成和场景理解的进步,使AI系统可以作为视觉障碍者的助理改善他们的日常生活。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • IBM
    IBM
    +关注

    关注

    3

    文章

    1658

    浏览量

    74235
  • AI
    AI
    +关注

    关注

    87

    文章

    25932

    浏览量

    263567

原文标题:IBM发布最新AI模型,帮视障者“看”到更多

文章出处:【微信号:Aiobservation,微信公众号:人工智能观察】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    使用CUBEAI部署tflite模型STM32F0中,模型创建失败怎么解决?

    看到CUBE_AI已经支持STM32F0系列芯片,就想拿来入门嵌入式AI。 生成的模型很小,是可以部署F0上的,但是一直无法创建成功。
    发表于 03-15 08:10

    IBM在watsonx上提供开源的Mistral AI模型

    IBM 提供 Mixtral-8x7B 的优化版本,该版本可将延迟时间最多缩短 75% IBM、第三方和开源模型的目录不断增加,为客户提供更多选择和灵活性 是 watsonx 人工智能
    的头像 发表于 03-12 19:10 1043次阅读

    猎户星空发布强大AI模型

    近日,猎户星空在2024·傅盛的开年AI大课暨猎户星空企业应用大模型发布会上,正式发布了其最新研发的大模型。这个大
    的头像 发表于 01-22 14:31 249次阅读

    AI模型怎么解决芯片过剩?

    AI模型
    电子发烧友网官方
    发布于 :2024年01月02日 15:42:05

    AI模型可以设计电路吗?

    AI模型
    电子发烧友网官方
    发布于 :2024年01月02日 15:09:29

    【重磅】首批 IBM watsonx 专有 “花岗岩”Granite 模型全球开始上市,化解企业采用生成式 AI 的“数据焦虑”

    ‍ ‍ ‍ ‍ ‍ ‍ ‍ 身体力行发布 Granite 模型训练数据集的详细信息,兑现 IBM 对透明和负责任 AI 的承诺 IBM (
    的头像 发表于 10-20 01:15 345次阅读
    【重磅】首批 <b class='flag-5'>IBM</b> watsonx 专有 “花岗岩”Granite <b class='flag-5'>模型</b>全球开始上市,化解企业采用生成式 <b class='flag-5'>AI</b> 的“数据焦虑”

    【KV260视觉入门套件试用体验】Vitis AI 构建开发环境,并使用inspector检查模型

    量化 七、Vitis AI 通过迁移学习训练自定义模型 八、Vitis AI 将自定义模型编译并部署KV260中 铺垫 Vitis
    发表于 10-14 15:34

    阿里平头哥发布首个 RISC-V AI 软硬全栈平台

    HHB 实现了在典型网络性能比第三方工具平均提升 88%,并增加支持运行 Transformer、TensorFlow、PyTorch 等 170 余个主流框架 AI 模型。 基于此,平头哥发布了首个
    发表于 08-26 14:14

    IBM 计划在 watsonx 平台上提供 Meta 的 Llama 2 模型

    2-聊天模型,现在已经可以提供给部分客户抢先体验。这是基于 IBM 与 Meta 在 AI 开放式创新方面的合作,包括就 Meta 的开源项目而展开的合作,例如在 watsonx.data 中使
    的头像 发表于 08-09 20:35 312次阅读

    NASA 携手 IBM 发布 Hugging Face 平台最大开源地理空间 AI 基础模型

    近日,IBM (NYSE: IBM) 与开源 AI 平台 Hugging Face 共同宣布,基于美国宇航局 ( NASA) 卫星数据构建的 IBM watsonx.
    的头像 发表于 08-08 18:15 399次阅读
    NASA 携手 <b class='flag-5'>IBM</b> <b class='flag-5'>发布</b> Hugging Face 平台最大开源地理空间 <b class='flag-5'>AI</b> 基础<b class='flag-5'>模型</b>

    IBM 魏永明:拥抱基础模型与生成式 AI,迎接“AI+”新时代

    据、大算力、大模型 ”议题展开的高端圆桌对话。随着 ChatGPT 的问世, 企业对 AI 大型语言模型产生了极大兴趣,整个产业界都在积极探讨如何能够把握大模型带来的机会,把人工智能技
    的头像 发表于 06-19 18:10 188次阅读
    <b class='flag-5'>IBM</b> 魏永明:拥抱基础<b class='flag-5'>模型</b>与生成式 <b class='flag-5'>AI</b>,迎接“<b class='flag-5'>AI</b>+”新时代

    IBM 最新发布AI和数据平台watsonx 赋能企业创新

    Brad Topol 博士出席论坛,并做题为“watsonx –人工智能的企业应用”的主题视频演讲。他分享了 IBM 最新发布的企业级 AI 和数据平台 watsonx,以及 watsonx 如何帮助企业应对找数据、建
    的头像 发表于 06-17 09:11 634次阅读

    IBM发布watsonx平台,为下一代企业级基础模型提供动力

    、AIOps、数字劳动力、安全性和可持续性 与Hugging Face的新合作将致力于基于watsonx平台为企业提供最佳开源AI模型 IBM Consulting 宣布成立一个生成式 AI
    的头像 发表于 05-10 21:22 377次阅读

    IBM发布watsonx平台,为下一代企业级基础模型提供动力

    IBM (NYSE: IBM) 昨晚在其 2023 年度 Think 大会上宣布推出 IBM watsonx,这是一个全新的 AI 和数据平台,能够让企业利用可信数据来扩展和加速领先的
    的头像 发表于 05-10 14:27 474次阅读

    新思科技发布业界首款全栈式AI驱动型EDA解决方案Synopsys.ai

    能够在芯片开发的每个阶段(从系统架构设计和制造)都采用AI技术,并从云端访问这些解决方案。值得一提的是,Synopsys.ai已经成功帮助汽车领域的领导瑞萨电子提高芯片性能和降低成
    发表于 04-03 16:03