0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

VR拯救3D音效说是伯乐也不为过

454398 来源:网络整理 作者:工程师1 2018-05-22 14:39 次阅读

VR受到无数追捧,随着自身技术的发展,带动了一批产业的升级换代3D音效正是其中的一员。在开发者对游戏画面、内容多年来越发精益求精的发展下,游戏的VR化,终于迎来了游戏音乐的春天。Waves Audio发明带有头部追踪器的Waves Nx耳机实现3D空间音效;谷歌的开源项目Omnitone,为网页VR提供真实的音频系统。3D音效,在音乐发烧友的世界之外,获得了更多行业的关注和投资。不过,这个通过音效让人身临其境,仿佛与表演者身处同一个空间的3D音效,和所有人以为的“现代”、“前沿”不同的是,它的开发有着上百年历史。

3D音效:人头录音

3D音效的目的就是让你完全置身于现实声音的原始环境中,你能感到鸟从头顶飞过,左边有耳语,右边有街头表演,感受到声音的位置,在脑海中浮现出真实的画面。

传统上,录音被分为单声道(Mono)和双声道(Stereo)两种,区别在于捕捉声音的传声器的数量。在双声道录音的基础上,人们改进发明了立体声录音(人头录音),在仿真头的两侧,放置两个人耳形状的传声器。人脑定位声音位置基本依靠三个要素:耳朵的形状、听到声音的时间差和声音对两耳的产生的不同的压力。因为仿真耳朵在外形和密度上都离去还原人耳,所以这类的传声器能和人耳一样地捕捉和传输声音,保持左右耳间的差别。

3D音效的历史

人头录音的历史可以追溯到19世纪末期,法国的工程师Clement Ader。1881年,Ader开发出了电话戏剧(Theatrophone),一种通过电话服务转播的巴黎戏剧表演,一套套的麦克风从舞台的左边一路排到右边,信号通过电话输,听众只需要一副接收器,就可以在巴黎工业宫中的包厢中听戏。

1933年,AT&T的贝尔实验室在芝加哥博览会上展出了双耳立体声,带来了一个在双颊耳前安装了麦克风传输器的机械仿真人奥斯卡。奥斯卡在玻璃房间中捕捉声音,而外面的访客可以听到和它一样的声音。AT&T的这项技术,由Ader的发明改进而来,不过两者的音质都没有什么本质的提升。

经历二战,3D音效依旧过不去高音质这道坎,直到1973年,一个德国麦克风公司Neumann生产了革命性的KU-80,也是后来的人头录音设备的原型:一个仿真头,左右两边各有一个传输器,并极大提升了对声音位置的捕捉的灵敏度。同时,人头录音也找到了自己适合的领域,这项技术在广播、实验音乐上都得到了大力发展。摇滚主唱们,如Lou Reed,Thom Yorke,Imogen Heap等都进行了人头录音的实验。

上世纪90年代末,一个叫Aureal的公司发布了A3D技术。Aureal的技术能利用电脑本身的两个台式的音箱,不外接音箱的情况下,制造出3D音效,通过A3D,你能够清楚地辨别声音前后左右和上下的位置。A3D是声学工程师们根据3D音效的原理建立了一套数字模型算法,称之为头相关变换函数(Head-related Transfer Function, HRTF)。在精确的HRTF值下,体验者不仅能够感受到声音的方向,并能确切地感受到不同声音来源的远近,并随着自己的移动而感受到和声音源距离的变化。理论上来说,个体差异导致每个人的HRTF值都不相同,不过,人类的大脑有着很强的适应能力,虽然你在一开始使用别人的HRTF数值时,可能产生声音定位困难,但是当你习惯以后,人脑就会自动学习,并主动进行适配。

不过,由于Aureal和对手公司Creative的恶性竞争,一场劣币驱逐良币的商业之战下,历经在大量官司的重创Aureal最终因无力经营而倒闭。

VR,3D音效的伯乐

经历一个世纪的发展,3D音效的技术再次获得了科技界的青睐,不论是VR设备还是VR游戏、视频资源,3D音效都作为VR系统的一个部分,youtube在4月推出的VR直播,就增加了立体声录音。

3D音效提供了一个扩展版的虚拟现实,它帮助了很多游戏和设备在视觉上的局限,完整了360°无死角的体验感受,没有声音的执导,人的视觉可能不受画面控制,而仿真的3D听觉的加入,能够很好地控制人的大脑,吸引用户的注意力。

乐队U2,Kanye West的音乐制作人Chris Milk,在过去的机场大型音乐会上,采用了3D音效。一个拥有8个耳朵的全方位立体声头,4对3Dio双耳麦克风,保证覆盖每个90°的空间,在VR设备下,保正观众的听觉和视觉的统一。在阿波罗工作室的Jean-Pascal Beaudoin看来,没有3D音效的VR体验是非常容易失败的:当你的大脑定位到声音来自左边时,它会预判当你左转90°后,声音的来源应该在你的正前方,而如果此时,声音依旧在你的左边,那么大脑就会将你从刚才的沉浸式体验中抽离出来。

不过,3D音效在VR内容中占的比重依旧不高,不论是电影还是游戏,音效常常是最后一个被考虑到的因素,VR不论是作为媒介还是内容,从设计伊始就考虑到内置人头录音,才能让让3D音效获得最大化的充分利用。

普伦斯顿大学机械与航空工程教授Edgar Choueiri,领衔3D音效和应用声学实验室数十年,在自己位于纽约上东区的家中,以一个世纪前的理论为基础,复原并优化了一套完整的双声道录音系统:BACCH SP,一个让每对音响都保留声音提示的过滤器,并以此创造出3D音效。Jawbone采用普林斯顿大学的这个算法,为无线蓝牙音响jambox制造过滤器,创造3D音效。运用同一套算法的App,BACCH-dSP,在头部追踪器的配合下,能够定位听者的头部动作,更精确地创造出3D音效的环境,软件的OS版本也实现了3D音效在笔记本上的应用。

VR对音效的高要求,被遗忘在历史角落的3D音效终于再次复苏,各家的VR设备都让它不再是可有可无的佐餐小菜,而是沉浸式体验成败的关键

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 3D
    3D
    +关注

    关注

    9

    文章

    2755

    浏览量

    106442
  • vr
    vr
    +关注

    关注

    34

    文章

    9556

    浏览量

    148805
收藏 人收藏

    评论

    相关推荐

    ad19中3d模型不显示?

    封装库导入3d模型不显示,但导入3d模型后的封装库生成pcb文件时显示3d模型,这是什么原因导致的。
    发表于 04-24 13:41

    头盔3D扫描逆向工程3d建模抄数测绘服务-CASAIM中科广电

    3D扫描
    中科院广州电子
    发布于 :2024年04月12日 14:03:01

    3D动画原理:电阻

    电阻3D
    深圳崧皓电子
    发布于 :2024年03月19日 06:49:19

    友思特C系列3D相机:实时3D点云图像

    3D相机
    虹科光电
    发布于 :2024年01月10日 17:39:25

    PADS VX2.7 下载安装及3D模型导入的注意事项

    ://mentor.mr-wu.cn/ 安装方式按照安装包内的指导完成即可。 破解注意事项:1.用最新版馒头破解 2.必须关闭杀毒软件,否则破解后不可用! 二:3D模型导入 1.从3D模型网址
    发表于 11-22 17:54

    飞腾派3D打印外壳

    飞腾派排针在背面,所以最理想的摆放方法是立起来,自己3D画了一个外壳。目前还有些小瑕疵,不过已经可以用了,非常不错。 加了座子以后随便什么HDMI,网线都不怕被拉倒了。 背面已经上了minipcie转nvme的转接板,比TF卡用起来爽多了。
    发表于 09-24 21:14

    光学3D表面轮廓仪可以测金属吗?

    光学3D表面轮廓仪是基于白光干涉技术,结合精密Z向扫描模块、3D 建模算法等快速、准确测量物体表面的形状和轮廓的检测仪器。它利用光学投射原理,通过光学传感器对物体表面进行扫描,并根据反射光的信息来
    发表于 08-21 13:41

    实时3D艺术最佳实践-纹理技术解读

    、mipmapping和法线贴图。 本指南以Unity学习课程的形式提供-Arm&Unity Presents:移动应用程序的3D艺术优化
    发表于 08-02 06:12

    低成本3D扫描仪机械部分设计中。#3d打印 #3d扫描 #3d建模 #3d #fusion

    3D扫描仪
    学习电子知识
    发布于 :2023年07月03日 20:13:56

    PCB做3D实体图纸原来如此简单

    3D图纸,等我自己瞎搞,搞会了现在一堆人动不动就要3D图,不知道是不是客户觉得3D图不用时间搞一样,可能是业务没收费的原因(下次得收费) 不扯了现在分享本人用PADS画的板子,PAD
    发表于 06-12 12:05

    3D扫描进度更新,在等快递。还有准备3D打印。#3d建模 #3d扫描 #三维扫描 #3d设计 #创客

    3D打印机3D打印
    学习电子知识
    发布于 :2023年05月28日 20:54:11

    3D打印机炸了 。哭哭。求抱抱。#3d打印 #玩转3d打印 #嵌入式 #物联网 #单片机开发

    3D打印机3D打印
    学习电子知识
    发布于 :2023年05月28日 20:53:55

    3d打印机已经满足不了我了 #车床 #铣床 #3d打印 #物联网 #3d

    3D打印机3D打印
    学习电子知识
    发布于 :2023年05月28日 20:53:32

    [教程和开源]3D打印远程控制ESP图传小坦克,在哪儿都能控制。 #3d打印

    3D打印机3D打印
    学习电子知识
    发布于 :2023年05月28日 20:50:48

    3D打印两台机器同时干

    3D打印
    YS YYDS
    发布于 :2023年05月25日 17:39:14