侵权投诉

一个可以自动生成漫画书的新型系统

机器人大讲堂 2021-02-26 13:54 次阅读

近年来,随着计算机科学得到飞速发展,科学家们不断取得新的技术突破,尤其是随着机器学习的迅猛发展,各种各样的计算模型被创造出来,比如可以自动生成文本、图像和其他类型数据的计算模型。这些模型相较于传统计算模型,在创建对人类手工制作要求高、耗时长的数据或创意作品时,表现出了很大的优势。 例如,在人工智能领域不断涌现出一批具有超凡本领的创作机器人,有自动创作水墨画的 “艺术家”,自动写作诗歌的 “文学作家”,自动生成高考作文的 “高考小能手”,经过大量的经验训练,这些计算模型甚至拥有了过人的创作力。 而今,来自大连理工大学和香港城市大学的研究人员在自动创作领域又做出了新成果,该团队联合创建出了一个可以自动生成漫画书的新型系统,该系统通过从电视剧、电影、动画或其他视频中提取数据,从而创作漫画书。

0b99bf5a-7746-11eb-8b86-12bb97331649.png

(来源:arXiv) 相关研究以 “Automatic Comic Generation with Stylistic Multi-page Layouts and Emotion-driven Text Balloon Generation” 为题,发表在 arXiv 预印本平台上。 研究人员在论文中写道:“我们提出一个全自动系统,从任意类型的视频(电视连续剧、电影、卡通剧)生成漫画书。我们的系统不需要用户的任何手动输入,可以生成高质量的漫画页面,具有丰富的视觉效果和富有表现力的故事。” ▍全自动漫画生成系统 漫画是一种艺术形式,一种用简单而夸张的手法来描绘生活或时事的图画。漫画的创作过程往往需要经历选题、搜集素材、绘制分镜草稿和编辑调整沟通等一系列过程,漫画书的创作不仅需要精湛的专业技术,更需要丰富的内容素材和大量的创作精力,通常非专业人士很难制作出自己的漫画书。 在互联网如此发展迅速的当今,网上每天有成千上万的短视频发布出来,结合漫画便捷的阅读形式和出色的故事描述技术,人们不禁会想象是否可以将这些视频自动转换为具有丰富的视觉效果和出色的叙事能力的高质量漫画书? 近年来,由视频生成漫画的相关技术取得了一定的进展,但所创建的模型大多不是全自动的,生成的漫画作品要么需要额外的用户输入,要么使用简化的表示形式或方法进行漫画页布局,从而导致整个漫画效果缺乏视觉多样性和表现力。 该最新研究解决了通过算法在页面之间分配所选关键帧,然后在每个页面漫画风格的布局上组织关键帧的问题。研究人员采用一种数据驱动的布局方法,从漫画数据中学习布局样式,通过自动从关键帧中提取系统的输入来扩展他们的方法,因此无需任何形式的用户输入,即可实现布局框架的完全自动化。

0bd13d2c-7746-11eb-8b86-12bb97331649.png

图 | 该系统的整体设计流程。(a)关键帧提取和风格化;(b)自动多页布局框架(红色、紫色和绿色虚线框表示不同的组);(c)对话气球的生成和放置。(来源:论文) 研究人员还设计了一种数据驱动的情绪感知气球生成模型,该模型可以生成不同的气球形状,并根据字幕和音频的情感动态调整字体大小。然后,通过检测谁在讲话以及讲话者嘴巴的位置,将生成的气球放置在正确的位置。 该研究所创建的框架并不像大多数漫画生成框架那样,总是使用同一种类型的语音气球,而是生成不同类型的气球,以反映人物话语所传达的情感。为了做到这一点,对于给定一个输入视频片段,研究人员首先尝试通过分析视频获得对应的音频和相应的字幕,然后对字幕和音频进行情感分析,来把握不同的对话台词所传达的情感。 之后,模型根据人物所传达的情感,创造出形状和文字大小各异的对话气球。这极大地改善了整体漫画阅读体验,产生了更吸引人的布局,也反映了不同角色之间的对话内容。

0c7df198-7746-11eb-8b86-12bb97331649.png

图 | 不同情感的对话气球生成过程(Emotion-aware Balloon Generation)(来源:论文) 为了实现系统生成的语音气球可以被放置在正在说话的角色附近,该模型首先检测视频中不同的说话者,然后在他们的附近放置与他们所表达的情绪一致的语音气球。

0d433e8a-7746-11eb-8b86-12bb97331649.png

图 | 对话者检测流程(来源:论文) 为了允许用户对生成的结果进行某种程度的控制,研究人员构建了一个用户友好的界面,来向用户施加约束,以构建更多个性化的设计,并优化结果。研究表明,该用户界面可以节省用户时间,同时提供更多的创建自由。 在从视频中提取关键帧并将其转化为漫画风格的图像后,研究人员设计的系统使用多页布局框架将图像分布在多个页面上,并创建出具有视觉吸引力的布局,以反映图像之间的关系。 研究人员表示:“该系统在无需任何人工干预的前提下,给定一个输入视频及其字幕,首先通过分析字幕提取信息关键帧,然后将关键帧图像转化为漫画风格的图像。” ▍用户体验怎么样? 研究人员通过一系列实验,评估了他们所设计的系统及各个模块,并选择四部电影(Titanic、《风声》、Friends 和 Up in the Air)和系列片中提取的 16 个长短为 2 至 6 分钟不等的视频片段,使用该系统与当前最先进的漫画生成系统 “Content-Aware Video2Comics” 分别生成漫画,并就漫画质量进行对比分析。

0e6e05d8-7746-11eb-8b86-12bb97331649.png

图 | 该系统与一个名为 “Content-Aware Video2Comics” 的系统在漫画生成效果上的比较。(a)图-(d)图是该研究的生成效果;(e)图-(h)图为 “Content-Aware Video2Comics” 系统的生成效果。(来源:论文) 对比发现,该系统的漫画生成效果要优于其他系统,不仅能够生成更丰富的气球形状,还可以利用文本摘要来合并一些相关的字幕,以确保单词气球句子长度适中,关键是可以实现全自动多页布局,其布局效果合理、丰富。 该研究团队还招募了 40 位用户,让他们观看视频后阅读系统生成的漫画,并围绕漫画的整体效果、对话气球质量、布局质量、故事讲述效果、阅读体验等指标,对系统所生成的漫画与另一种漫画生成系统所制作的漫画进行了对比评价。绝大多数参与这项研究的用户表示,与之前开发的系统相比,他们更喜欢研究人员的模型所制作的版面。

0ef2b44a-7746-11eb-8b86-12bb97331649.png

图 | 用户评估结果图,纵轴表示每个问题的平均评分,横轴表示视频编号(图中蓝色条形柱表示 “Content-Aware Video2Comics” 系统的评分,橙色表示该系统的评分)(来源:论文) 研究人员表示:“我们的实验表明,与最先进的漫画生成系统相比,我们的系统可以合成更具表现力和吸引力的漫画。” 不过,虽然该系统已经被证明取得了可喜的结果,但它仍存在一定的局限。例如,关键帧的选择不够准确,在某些情况下,所选择的关键帧彼此相似,无疑会给生成的漫画带来冗余信息。 研究人员表示,一旦系统后续被更加完善,该漫画生成系统即可用来自动创建基于电影、电视剧或其他视频内容的漫画书。在后续的研究中,研究人员还计划开发一种可替代的关键帧选择模块,以此来提高系统生成的漫画布局质量,减少关键帧的冗余。 “更重要的是,受到许多现有方法的启发,这些方法可以根据所给定的含有多个句子的故事来生成图像序列,有可能从文本故事中产生漫画书,我们有兴趣将我们的方法扩展到利用文本信息来帮助生成漫画。” 研究人员在论文中总结道。

责任编辑:lq

原文标题:前沿|一键生成《泰坦尼克号》漫画书!中国高校学者开发全自动漫画生成系统,无需手动输入,不限视频类型

文章出处:【微信号:RoboSpeak,微信公众号:机器人大讲堂】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

数字化转型和智能运营双管齐下,有望帮助中国企业实现跨越式增长

报告指出,只有少数(全球7%,中国2%)中国企业达到了“未来级”运营成熟度,这些企业的运营效率较同行....
的头像 工业4俱乐部 发表于 04-10 09:34 133次 阅读
数字化转型和智能运营双管齐下,有望帮助中国企业实现跨越式增长

从原始的人工智能代理到智能机器资料下载

电子发烧友网为你提供从原始的人工智能代理到智能机器资料下载的电子资料下载,更有其他相关的电路图、源代....
发表于 04-10 08:50 3次 阅读
从原始的人工智能代理到智能机器资料下载

高仙清洁机器人到底有何神奇之处?

2020年初的疫情,让无人驾驶技术多了一方用武之地,在车企、电商、科技公司乃至物流公司的方案中亮出了....
的头像 你好张江 发表于 04-09 17:35 341次 阅读
高仙清洁机器人到底有何神奇之处?

3M专业工业研磨解决方案即将亮相第十七届中国国际机床展览会

第十七届中国国际机床展览会即将盛大开启!最新科技技术成果、行业大咖对话交流、3M专业工业研磨解决方案....
的头像 机器人在线订阅号 发表于 04-09 17:27 276次 阅读
3M专业工业研磨解决方案即将亮相第十七届中国国际机床展览会

研究人员正在开发能让机器人自由“觅食”和避险的动力技术

近日,宾夕法尼亚大学研究人员正在开发一项机器人动力技术,让机器人像细胞生物一样,自由自主的“觅食”和....
的头像 机器人在线订阅号 发表于 04-09 17:11 110次 阅读
研究人员正在开发能让机器人自由“觅食”和避险的动力技术

深之蓝水下机器人完成2200米高海拔水下检查项目

近期,武汉长江航道救助打捞局使用深之蓝水下机器人完成一次2200米高海拔水下检查项目。 该水电站位于....
的头像 天津机器人 发表于 04-09 17:06 108次 阅读
深之蓝水下机器人完成2200米高海拔水下检查项目

第三届机器人行业年度颁奖典礼圆满闭幕

2021年4月7日,由高科技行业门户OFweek维科网主办、OFweek维科网机器人承办的“OFwe....
的头像 天津机器人 发表于 04-09 17:02 209次 阅读
第三届机器人行业年度颁奖典礼圆满闭幕

科捷机器人股权被转让的背后,业绩表现难言乐观

4月1日,青岛森麒麟轮胎股份有限公司(以下简称“森麒麟”,002984.SZ)发布公告称,公司使用了....
的头像 天津机器人 发表于 04-09 16:59 162次 阅读
科捷机器人股权被转让的背后,业绩表现难言乐观

软银斥资28亿美元收购仓储自动化公司AutoStore40%股份

 据ZDNet报道,软银集团股份有限公司同意斥资28亿美元收购挪威仓储自动化公司AutoStore4....
的头像 天津机器人 发表于 04-09 16:55 171次 阅读
软银斥资28亿美元收购仓储自动化公司AutoStore40%股份

波士顿动力又上新啦!

移动基座使Stretch能够在装卸平台上导航,在狭窄的空间中进行操纵并适应不断变化的设施布局,从而无....
的头像 中科院长春光机所 发表于 04-09 16:20 99次 阅读
波士顿动力又上新啦!

联通数科云网为基,数智引领,助力客户数字化转型

联通数科就是为客户提供从规划、咨询、方案设计到集成、交付,再到持续运营一揽子的数字化解决方案。 联通....
的头像 通信头条 发表于 04-09 15:38 555次 阅读
联通数科云网为基,数智引领,助力客户数字化转型

KUKA机器人SIGNAL属性的用法

还有在系统中已预定义的 SIGANL 协议。它们可在目录 KRC:STEUMADA 的文件 $mac....
的头像 机器人及PLC自动化应用 发表于 04-09 15:02 89次 阅读
KUKA机器人SIGNAL属性的用法

华中数控发布的2020年年度报告显示,实现营业收入13.22亿元

其中,在工业机器人领域,公司始终坚持“PCLC”的发展战略,即以通用多关节工业机器人产品(P)为主攻....
的头像 高工机器人 发表于 04-09 14:01 246次 阅读
华中数控发布的2020年年度报告显示,实现营业收入13.22亿元

看南瑞继远的创新实践是如何把变电站变智能?

“我们希望将“仿生”理念融入变电站规划、设计中,采用物联网、5G、人工智能等新一代信息技术,仿生“大....
的头像 海康威视 发表于 04-09 13:55 222次 阅读
看南瑞继远的创新实践是如何把变电站变智能?

2021年3月机器人行业融资一览

从融资轮次来看,3月份机器人行业融资主要集中在A轮及其相关(Pre-A轮/A轮/A+轮)阶段。其中,....
的头像 高工机器人 发表于 04-09 11:20 405次 阅读
2021年3月机器人行业融资一览

哈工智能发布公告表明收购江机民科的最新进展

公告显示,哈工智能此次收购江机民科是为了进一步切入军工行业。根据公开资料整理,截止目前,哈工智能在人....
的头像 高工机器人 发表于 04-09 11:13 176次 阅读
哈工智能发布公告表明收购江机民科的最新进展

建筑智能建造方案提供商大界机器人宣布完成过亿人民币B轮融资

近年来,我国政府出台了一系列政策文件,将推动智能建造与建筑工业化协同发展作为抢占建筑业未来科技发展高....
的头像 高工机器人 发表于 04-09 10:56 140次 阅读
建筑智能建造方案提供商大界机器人宣布完成过亿人民币B轮融资

基于人工智能技术的OCR应用

光学字符识别(Optical Character Recognition,OCR)是将图像中的文字信....
的头像 新机器视觉 发表于 04-09 10:54 233次 阅读
基于人工智能技术的OCR应用

人工OR机械装卸集装箱内装卸货物“bug”重重

货物运输集装箱化从目的上来说,就是要实现加快运输速度、降低运费;而随着世界经济发展步伐越来越快,集装....
的头像 高工机器人 发表于 04-09 10:52 188次 阅读
人工OR机械装卸集装箱内装卸货物“bug”重重

一文带你了解工业视觉中的白平衡

1. 为何需要白平衡? 讨论白平衡,那就要从色温(CCT)谈起,色温顾名思义就是色彩的温度,但是这个....
的头像 机器视觉自动化 发表于 04-09 10:49 129次 阅读
一文带你了解工业视觉中的白平衡

川崎机器人发布新款机器人RS013N、KJ155系列

其次,在性能优化上,RS013N系列速度更快,可通过高速化的工作节拍帮助用户提高生产效率;负载可达1....
的头像 高工机器人 发表于 04-09 10:44 204次 阅读
川崎机器人发布新款机器人RS013N、KJ155系列

用算法去识别污染事件,AI识别出了926次泄漏事件

研究人员表示,人工智能技术检测到了数百起未处理污水直接排放入英国河流的事件。 科学家们利用机器学习技....
的头像 新机器视觉 发表于 04-09 10:37 202次 阅读
用算法去识别污染事件,AI识别出了926次泄漏事件

简述制造业人工智能8大应用场景!

人工智能的概念第一次被提出,是在20世纪50年代,距今已六十余年的时间。然而直到近几年,人工智能才迎....
的头像 机器视觉自动化 发表于 04-09 10:31 327次 阅读
简述制造业人工智能8大应用场景!

浅谈机器视觉检测在工业包装生产流水线上的五大应用

在生产流水线,从产品的识别、条码识别、产品检测、外观尺寸/缺陷检测以及到设备的定位,如机械手臂和传动....
的头像 新机器视觉 发表于 04-09 10:28 123次 阅读
浅谈机器视觉检测在工业包装生产流水线上的五大应用

全球100家最具潜力人工智能创业企业榜单出炉

自 2017 年起,CB Insights 每年都会发布 AI 100 榜单(全球 100 家最具潜....
的头像 DeepTech深科技 发表于 04-09 10:22 299次 阅读
全球100家最具潜力人工智能创业企业榜单出炉

Jeff Ullman:机器学习不是数据科学的全部!统计学也不是

近日,2020年图灵奖重磅出炉,颁给了哥伦比亚大学计算机科学名誉教授 Alfred Vaino Ah....
的头像 通信信号处理研究所 发表于 04-09 10:14 170次 阅读
Jeff Ullman:机器学习不是数据科学的全部!统计学也不是

NEO-01太空采矿机器人发射在即

“银河系中心的黑洞在几百万年前刚吃了一顿饭,吃完饭打了一个饱嗝,这个饱嗝就是费米气泡。” 作为费米气....
的头像 DeepTech深科技 发表于 04-09 09:52 111次 阅读
NEO-01太空采矿机器人发射在即

重一步逻辑验证,省百步漏洞补缺

大量简单的业务逻辑被用于构建复杂而又丰富的业务逻辑,设计或实现上的偏差或缺陷都会导致漏洞的产生。
的头像 西西 发表于 04-09 09:23 215次 阅读
重一步逻辑验证,省百步漏洞补缺

揭秘智慧物流对于智慧城市有多重要?

智慧物流与智慧城市,两者既有重叠,又有不同。相对于智慧物流而言,智慧城市内涵更广。智慧物流则是智慧城....
的头像 电子发烧友网工程师 发表于 04-09 09:06 154次 阅读
揭秘智慧物流对于智慧城市有多重要?

PCB行业自动化趋势越发明显

近年来受经济形势影响,全球印制电路板(PCB)市场保持稳定增长,随着电子消费品市场需求不断提高,亚洲....
的头像 高工机器人 发表于 04-09 08:58 220次 阅读
PCB行业自动化趋势越发明显

无人机发展的障碍是什么?资料下载

电子发烧友网为你提供无人机发展的障碍是什么?资料下载的电子资料下载,更有其他相关的电路图、源代码、课....
发表于 04-09 08:41 178次 阅读
无人机发展的障碍是什么?资料下载

我国在高速磁悬浮列车核心技术上的突破越来越多

一直以来,我国始终将高速磁悬浮列车作为重点专项在攻克,而高速磁悬浮列车并非一项单独的技术,而是多门技....
发表于 04-09 08:04 124次 阅读
我国在高速磁悬浮列车核心技术上的突破越来越多

就目前来说适合人工智领域有哪些?

根据调研机构IDC公司最近发布的一份《全球人工智能支出指南》,预计全球人工智能预算将在未来四年翻一番....
的头像 电子发烧友网工程师 发表于 04-08 18:02 483次 阅读
就目前来说适合人工智领域有哪些?

聚焦虹膜身份数据库建设,省公安厅领导莅临虹识技术交流考察

虹识技术团队针对虹膜识别技术应用进行了详细介绍,并重点推介了虹识核心技术算法芯片化以及虹膜刑侦建库产....
发表于 04-08 17:31 645次 阅读
聚焦虹膜身份数据库建设,省公安厅领导莅临虹识技术交流考察

关于未来工厂的运行模式与模样详解

在“未来工厂”中,生产速度按需求调控,生产流程则由产品决定。机器设备和机器人不断重新自主组合,自动化....
的头像 博世资讯小助手 发表于 04-08 16:54 347次 阅读
关于未来工厂的运行模式与模样详解

波士顿动力推出一款新型仓储物流机器人Stretch

当几千平米的仓库中空无一人,货物入库、存储、包装、分拣该如何实现?多功能移动机器人 Stretch ....
的头像 DeepTech深科技 发表于 04-08 16:38 341次 阅读
波士顿动力推出一款新型仓储物流机器人Stretch

俄罗斯开始研制第一个可进行太空行走的人形机器人

人形机器人作为人类的化身,可以穿越崎岖的地形、进入狭小的空间,可以移动物体、到达高处,完成临时爆炸装....
的头像 天津机器人 发表于 04-08 16:33 273次 阅读
俄罗斯开始研制第一个可进行太空行走的人形机器人

国家技术标准创新基地(机器人)批准成立

根据《国家技术标准创新基地管理办法(试行)》和《国家标准委关于同意筹建国家技术标准创新基地(机器人)....
的头像 新松机器人 发表于 04-08 16:20 328次 阅读
国家技术标准创新基地(机器人)批准成立

2021年3月机器人领域融资汇总

3月,机器人领域依旧资本扎堆,多家企业宣布融资,上亿的资本盯上新兴企业,反映出行业内的新趋势。 (数....
的头像 机器人创新生态 发表于 04-08 16:16 328次 阅读
2021年3月机器人领域融资汇总

S2机器人正式命名为“九号方糖”

九号方糖配送机器人是为满足写字楼、商场、酒店、医院等不同场景的密集配送需求而打造的配送机器人,可兼顾....
的头像 赛格威机器人 发表于 04-08 16:07 138次 阅读
S2机器人正式命名为“九号方糖”

浅析先进数字设计解决方案应用案例

随着电子技术的进步和产业的不断革新,设计的重要性愈发凸显,同时它的复杂程度和工作量也在不断攀升,以满....
的头像 Cadence楷登 发表于 04-08 15:40 159次 阅读
浅析先进数字设计解决方案应用案例

采用DM642设计的机器人双目视觉系统

基于DM642的机器人双目视觉系统设计
发表于 04-02 07:20 0次 阅读
采用DM642设计的机器人双目视觉系统

【电路设计】基于51单片机变形搜救机器人电路方案设计(原理图+程序+论文)

51单片机变形搜救机器人电路设计方案
发表于 03-30 15:13 0次 阅读
【电路设计】基于51单片机变形搜救机器人电路方案设计(原理图+程序+论文)

机器人应用中的毫米波雷达传感器详解

机器人传感器技术 使用毫米波传感器测量对地速度 使用毫米波传感器映射和导航 ...
发表于 03-18 07:00 0次 阅读
机器人应用中的毫米波雷达传感器详解

机器学习算法如何用于制造无人驾驶汽车?

机器学习算法如何用于制造无人驾驶汽车
发表于 03-18 06:27 0次 阅读
机器学习算法如何用于制造无人驾驶汽车?

半导体塑封成型工艺中出现的封装厚度相关缺陷的原因是什么?

采用人工智能如何预防与封装厚度相关的所有缺陷,如何控制模具停机时间?...
发表于 03-11 07:51 101次 阅读
半导体塑封成型工艺中出现的封装厚度相关缺陷的原因是什么?

喷涂机器人的发展趋势

喷涂机器人的发展趋势喷涂机器人喷涂机器人是一种主要用于表面涂覆工作的特殊机器人,是机器人技术和表面喷涂工艺相结合的产物。喷...
发表于 03-10 09:23 101次 阅读
喷涂机器人的发展趋势

无人机事故飞行员失去控制的原因是什么?

无人机事故 中 飞行员失去控制是常有的事情,导致飞行员失去控制的原因是什么?...
发表于 03-07 08:08 0次 阅读
无人机事故飞行员失去控制的原因是什么?

iTOP-3399 开发板人工智能测试资料-智能回复

配套资料在网盘资料的“iTOP-3399 开发资料汇总(不含光盘内容)\04_iTOP-3399 开发板人工智能测试资料\智能回复配套资料....
发表于 03-05 14:34 909次 阅读
iTOP-3399 开发板人工智能测试资料-智能回复

如何构建人工智能的未来?

创建Kynisys平台:我们如何构建人工智能(AI)的未来?...
发表于 03-03 07:06 101次 阅读
如何构建人工智能的未来?

最值得学习的机器学习编程语言

如果你对人工智能和机器学习感兴趣,而且正在积极地规划着自己的程序员职业生涯,那么你肯定面临着一个问题:你应该学习哪些编程...
发表于 03-02 06:22 101次 阅读
最值得学习的机器学习编程语言