0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AI助力,老片修复一直在路上

KSiH_idg_capita 来源:大数据文摘 2020-06-03 10:53 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

这个视频来自一位名叫“大谷Spitzer”的博主,据他所说,接触老片修复是一个偶然,整个项目也只花了7天时间就顺利完成了。

先来一起看看这惊人的修复效果。

老视频

修复后效果

这样的画面大大地满足了网友们的好奇心。视频一经发布,在24小时内就有了将近50万的点赞量,10万+次的转发和接近3万的留言。修复后的视频把当时的北京城演绎得活灵活现,下边的片段中,左下角小哥呆呆地看着镜头,连细微的表情都清晰可见,青涩中带有一点可爱。想象一下这位表情憨厚的小哥来自一百年前,不禁让人感慨万千。

怪不得网友们纷纷赞叹。有网友表示,不仅整体氛围没话说,连细节部分也分毫毕显,“每个人脸上都是新奇又不敢接近的表情”。

甚至有网友留言表示,“博物馆应该收藏你的作品”!

博主在视频最开始就说道,想用技术为社会做一些有意义的事情,怀着仰慕的心情,笔者联系到了这位“大谷Spizer”,来看看他是怎么说的吧~

7天完工,难在显卡

整体满意,颜色上还有不足

自称将AI视为业余爱好的大谷如今身在纽约,他透露说,其实这次接触老片修复纯属偶然,在搜索其他资料时候,偶然间在YouTube看到了人民日报上传的一段老北京视频,在视频里,100年前的人们恰好也在看镜头、和看视频的人形成了“对视”时,大谷十分有感触:“有一种穿越时空的感觉”。在这基础上,他自己又恰好了解相关技术,为何不将老片上色补帧,做成活灵活现的60帧,和大家分享呢?

100年前熟人见面打招呼的方式

具体到操作上,根据大谷介绍,可以大致分为补帧、扩分辨率、上色三个环节,每个环节也都用了不同的工具,整体框架的流程则主要参考了Denis Shiryaev在社交媒体上分享的经验贴。

大谷说道,整个项目只用了7天时间,大部分都是硬性的时间消耗,比如补帧需要一到两天,扩分辨率至少一天,上色也需要花费一天时间,再加上要做到4K60fps,渲染速度很慢。多方考量之下,他把人民日报14分钟的原片剪到了10分钟。

相比而言,去年国庆164分钟修复版《开国大典》为人们还原了三次战役胜利到开国大典的历史过程。除了借助AI,胶片的撕裂、划痕等都是专业的修复师一帧一帧地修补。“修复过程中,我们70%的时间都在完成资料片镜头的修复工作,”负责该片修复工作的三维六度公司的首席技术官周苏岳曾说道。虽然修复时间只用了40天,但这却是600人每天工作20小时的奋战结果!

除了硬性的时间消耗,大谷还笑称,最大的问题就是自己笔记本电脑的显卡不够好,“要1070的显卡才带得动,否则会out of memory”,迫不得已之下向女朋友求了助。

对于最后的结果,大谷表示:“还是比较满意的”,不过在颜色上还存在可以改进的地方。

在视频中,相信大家也会看到时不时会出现颜色跳来跳去的情况,大谷表示,在补帧之前用工具把老电影中经常出现的画面闪烁去掉了,否则会更严重,整体的色彩上,AI的渲染效果也明显偏淡。

除此之外,大谷这次利用的是国外的一套模型,显然无法直接将其套用到100年前的中国影片修复上,在颜色上就无法做到历史性的准确,视频中的上色都是AI学习的成果,虽然肤色大致还原了,但是在红绿服装等方面的真实性还有待商榷。

也正是考虑到这些不足,大谷对去年参与《开国大典》修复的工作人员表达了敬意,“AI没办法做到艺术家那么准确,尤其是在历史方面,而《开国大典》对历史准确性的要求更高”,随后他也打趣地说道,或许可以“让AI看看清宫剧,提升一下准确率”。

就像大谷在视频开头所说,他想用技术做一些对社会有意义的事,在这次视频爆红之后,他表现得相当豁达,“太深刻的大意义倒也说不上,主要是想借此让人们对历史有所反思。”不少网友指出,视频中几乎看不到女性,这正是历史生动性的体现,既有光鲜也有不足,让大家意识到现在的生活是多么来之不易。

同时,作为老北京人,大谷也想通过视频分享他的切身感受,让更多人看到一百年前的民俗,“尤其是上了色帧数提高之后,感觉确实不一样,也感慨这一百年的变化”。

对于目前收到得反馈,大谷表示“完全没想到”,他看了很多评论,也受感触于一些留言,还有人私信向他表示,给太姥姥看后,也很怀念那个年代。

大谷透露道,这其实是他第一次尝试做视频修复,后续或许会出一期视频介绍一下具体的操作。对于后续的视频更新计划,他想要介绍一下国内已经成熟的语音修复技术。

AI助力,老片修复一直在路上

对于这次用到的技术,大谷表示,上色主要还是应用在黑白照片和电影上,补帧技术就可以遍地开花了,比如修复像素动画的跳帧问题,或者在动画领域加以应用,因为动画很多是12帧/秒,甚至6帧/秒,补帧之后效果很好,也终于可以看更流畅的EVA了。

作为一名独立游戏开发者,大谷透露他因为做游戏开发接触到AI,起初想要了解AI能否为他节省时间,后来发现AI能做的不止这些,在社会公益上也有不少应用,比如这次的老片修复。

正如大谷所说,这次的视频修复技术管线参考自Denis Shiryae的影像修复教程,针对Denis的欧美老片修复,大谷也做过汉化视频进行了专门的介绍。

【AI高清修复】1906大地震前的旧金山

视频链接:

https://www.bilibili.com/video/BV1Uf4y1m72n

Denis Shiryaev通过神经网络修复老视频的内容今年在油管爆红了一阵子,他使用Topaz Labs的Gigapixel AI和DAIN图像编辑应用程序将19世纪的胶片缩放到4K分辨率,不仅将素材增加到4K,还将帧率提高到每秒60帧。

Shiryaev最火的作品是用Gigapixel AI将1896年拍摄的50秒无声短片《火车进站》(the Arrival of a Train at La Ciotat Station)做成了4K格式,把模糊的原片做成了高清画质,完全符合当下的高清视频标准。

尽管存在一些缺陷,如图像会出现跳跃或某些细节依旧模糊,但已经很棒了!

Gigapixel AI软件使用一种专有的插值算法来分析图像,它可以使图像更清晰——甚至在放大了600%之后。

再来说说DAIN(深度感知视频帧插值),它可以将帧想象并插入现有视频剪辑的关键帧之间。换句话说,DAIN首先分析并映射视频片段,然后插入在现有图像之间生成填充图像。

为了在这段1896年的视频中达到同样的效果,Shiryaev添加了足够多的图像来将速度提高到60帧每秒。因此,DAIN自动生成,然后在最初记录的24张图像之外,每秒添加36张额外的图像。

Shiryaev的“火车”的视频修复版本看起来像是一部使用智能手机或GoPro拍摄的最新电影。与原始视频相比,效果非常惊人,尤其是在新版本中获得了流畅性。列车上的阳光反射和月台上的女士珠宝都被记录的很完整,也许是最显着的改进之一。

Shiryaev也用神经网络对这一修复视频进行了着色:从一堆彩色照片开始,将它们转换为黑白,然后训练神经网络以重建彩色原稿。

修复后的视频传送门:

https://youtu.be/EqbOhqXHL7E

Shiryaev的新技术随之在技术圈火了起来,激发了包括大谷在内的更多技术人,修复珍贵的影像文献。

除了上文提到的《开国大典》,在老片修复上,AI应用于影视制作的新技术——“中影·神思”系统的开发,能缩短修复电影所需时间的四分之三,成本可以减少一半,目前已成功应用于《厉害了,我的国》《血色浪漫》《亮剑》等多部影视剧的图像修复与增强当中。

IDG资本被投企业爱奇艺也推出了其自主研发的视频增强技术Zoom AI,来为电影修复提出解决方案。这是业内第一个利用较低成本、将深度学习技术应用在视频画质增强场景中的方案。

但不可否认的是,这种技术如果被有恶意的人使用,例如,可以用于制作“伪造品”并允许视频中的身份盗用,也会导致巨大的社会问题。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 视频
    +关注

    关注

    6

    文章

    1999

    浏览量

    74649
  • AI
    AI
    +关注

    关注

    89

    文章

    38124

    浏览量

    296718

原文标题:AI修复的真实影像,带你瞬间穿越回100年前

文章出处:【微信号:idg_capital,微信公众号:IDG资本】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    蔡司CIMT2025 | 新品天团首位成员ZEISS ScanBox 4系亮相,引领测量新境界 蔡司新品组团出道 你是否一直在寻觅

      蔡司新品组团出道   你是否一直在寻觅款 能提升生产效率、把控质量的测量武器? 现在,它来了! 本次CIMT2025展会上 蔡司“新品天团”首位成员 “效率担当” ZEISS ScanBox
    发表于 03-25 14:46 459次阅读
    蔡司CIMT2025 | 新品天团首位成员ZEISS ScanBox 4系亮相,引领测量新境界    蔡司新品组团出道  你是否<b class='flag-5'>一直在</b>寻觅

    Banana Pi 发布 BPI-AI2N &amp; BPI-AI2N Carrier,助力 AI 计算与嵌入式开发

    和 Renesas一直致力于推动开源生态的发展,并积极合作打造高效、开放的计算平台。BPI-AI2N & BPI-AI2N Carrier 的发布,不仅为开发者提供了强大的硬件支持,也将
    发表于 03-19 17:54

    LPS25HBTRIIC读取数据一直递减,不稳定怎么解决?

    我用的是STM32H7读取MKI-165V1的开发板的大气压的值,我设置输出频率为1,STM32间隔1s读取次大气压数据,未使用FIFO,得到的IIC大气压数据一直在减少,个小时
    发表于 03-10 07:00

    大模型的数学能力或许一直都在关键在于如何唤醒它

    追求人工智能极限的道路上,"更大即更强" 似乎已成为共识。特别是在数学推理这被视为 AI 终极挑战的领域,业界普遍认为需要海量数据和复杂的强化学习才能获得突破。 然而,来自上海交通
    的头像 发表于 02-17 17:44 940次阅读
    大模型的数学能力或许<b class='flag-5'>一直</b>都在关键在于如何唤醒它

    ADS1278上电后,SCLK没给波型(一直是高电平),为什么DOUT会一直出来波形?

    ADS1278上电后,SCLK没给波型(一直是高电平),为什么DOUT会一直出来波形?很不解。不是说DOUT只SCLK有波形输入的时候才会输出波的吗
    发表于 02-14 06:22

    ADS801的输出一直在跳变,输入是电阻分压的值,测量参考电压基本上与数据手册相同,有差值是什么原因?

    ADS801的输出一直在跳变,输入是电阻分压的值,测量参考电压基本上与数据手册相同,有差值,请问是什么原因?
    发表于 02-12 08:40

    ADS8328 Manual Select不能切换到通道1,一直在采样通道0,为什么?

    现在正在用ADS8328,读寄存器及采样数据都没有问题,Auto Channel采样正常,Manual Select不能切换到通道1,一直在采样通道0
    发表于 02-12 08:20

    用示波器测量ADS801的12位数字量,有些位的输出高低电平一直在跳,是什么原因?

    我用示波器测量ADS801的12位数字量,有些位的输出高低电平一直在跳,不知道什么原因,我测了下参考电压,基本上跟数据手册上差不多,数据手册上要求时钟信号的上升和下降时间是2ns,我给的时钟没有达到这个要求,请问是不是这个原因?请教各位,谢谢!
    发表于 02-08 08:47

    ADS1198START=1命令发出之前,DADY一直是1,为什么?

    手册上说DRDYSTART=1命令发出后且AD转换结束之后会变为0,并过段时间之后会自动变为1,但我做实验的时候,转换结束之后一直是0,不会变为1,实在想不明白是哪里出的问题。 另:
    发表于 02-05 06:13

    ADS1248读出的AD值一直在跳变是什么原因导致的?

    最近在调ADS1248 读取K型热电偶的板子 寄存器都能配置, 就是读取的AD值一直在调 而且调的范围很大 不知道什么原因?还有 如何把AD值转换成温度值 有没有什么计算公式啊?
    发表于 01-24 07:45

    ADS1298R正常模式后,使用固定信号源输入时,接收到的数据一直在跳变,为什么?

    100mV左右,跟datasheet上说的差不多。 可是当我改为正常模式后,使用固定信号源输入时,接收到的数据一直在跳变,跳变的幅度较大。 能否帮忙分析下,或者提点建设我需要从哪方面检查? 另外谁有OK的用例的寄存器设置表
    发表于 01-22 06:18

    ADS1292上电后DRDY脚位一直在high上是怎么回事

    ADS1292, ADS1292R小弟接了ADS1292的電路,上電以後DRDY腳位一直維持high,是線路有問題嗎? 謝謝您的答覆 我還有個問題就是 當我上電以後(3.3V) 沒有任何程式
    发表于 01-20 08:06

    LDC1614EVM一直处于红灯状态,为什么?

    LDC1614EVM一直处于红灯状态,根据资料板子一直在自我测试,但是应该自我测试完之后就可以使用了,一直处于自我测试阶段,不能使用
    发表于 01-03 06:53

    ADS1216上电后采样到的值一直在缓慢减小,为什么?

    我用的AIN0和AIN1差分输入采样,用恒压源提供的采样电压,几十毫伏的,PGA设置的64倍,上电后采样到的值一直在缓慢减小,要经过好几个小时才能稳定住,而且断电之后和下次上电之间间隔的时间越长,上电时的采样值与之后的稳定值相差越大
    发表于 12-27 08:44

    dac8760一直没输出,而且ALARM引脚一直输出高电平,是什么原因?

    最近,我和同学一直在调dac8760,但一直没输出,而且ALARM引脚一直输出高电平。不知道是什么原因,求解答。谢谢
    发表于 12-27 07:06