0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

VR需要身临其境,也要“声”临其境,如何让VR真正做到“声”临其境?

fFU3_vrtuoluo 来源:lq 2019-01-28 10:28 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

要让人完全忘记现实沉浸在VR内容中,画质和音效二者缺一不可。从刷新率到头部追踪延迟,从视场角到分辨率,VR画面的精细程度和观看时的舒适度不断被新技术拔高。但在视觉上感觉身临其境还远远不够,即使VR内容画面逼真到以假乱真的地步,如果搭配的音效不给力,也无法避免会产生出戏的感觉,因此VR还必须“声”临其境。

不同于传统音频(声源有固定焦点),VR音频必须实时配合实际画面的环境变化,配合720°全景VR,有精确的方向感和距离感,做到与现实中人们听到声音后的反应无异,才能真正让用户保持极高程度的沉浸感。在本次CES2019中,世界顶级声学研究公司Dirac Research AB 就带着其沉浸感极强的Dirac 3D Audio技术亮相展示。

陀螺君在现场体验了Dirac全景声,并采访了Dirac的事业部总经理Lars Isaksson,向其详细了解了Dirac 3D音频技术的相关情况。

“全景声”是什么?

相比于VR的视觉领域,大家对于VR音频的了解知之甚少。在此,陀螺先为大家简单科普一下常说的立体5.1声道、7.1声道和全景声的定义,以方便大家对后续采访内容的理解。

要弄清这个问题,我们先来回顾音频技术的发展轨迹:从单声道、立体声、5.1、7.1一直到22.2,我们一直在靠增加音箱数量来将声场还原得更逼真。一套音响设备会因声道不同而呈现出不同的音响效果,目前主流音响市场上有5.1声道和7.1声道两种:

5.1声道:在环绕声的基础上,将环绕声道一分为二,分为左环绕和右环绕。银幕前方还有左声道、右声道,再加上中央声道和0.1声道的重低音声道,由此得名5.1声道,如下图所示:

7.1声道:在5.1声道的基础上,将环绕声道一分为四,有了左侧环绕(蓝色)、右侧环绕(粉色)、左后环绕(黄色)和右后环绕(绿色),比5.1多了2个声道,由此得名7.1声道,如下图所示:

尽管由5.1声道和7.1声道呈现出的音响效果与之前三个音箱的立体声相比已经有了质的飞跃,但前后左右声场不足以还原方位感和空间感,于是“全景声”概念应运而生——即让声音全方位环绕听众,让听众听到声音后做出与现实无异的反应。例如,当影片画面中有飞机飞过头顶,就应该感觉到头顶有飞机飞过的声音;当有人在后方说话,就应该感觉到声音是从后方传来。

在影院中一般通过在天花板添加扬声器的方式实现全景声,达到全包围的声场。在现实中,无论是5.1还是7.1声道,都是通过增加音箱来加强声音的立体感,是基于人体处于固定的位置、有特定朝向的前提下实现的。在现实的三维空间中,当我们的头部发生转动或位移,声源本身的绝对位置不会改变,而声源与头部相对方向会产生变化。在VR中,720°的画面是实时变化的,用户的姿势和朝向随时都可能变化,想要保持不出戏,声音也必须和环境保持同步变化。因此,要在VR中实现全景声并不容易。

简单了解了全景声之后,陀螺君来说说现场体验Dirac全景声的感受。

在本次CES2019中,Dirac 搭配了三星Gear VR头显和电竞游戏耳机TRITTON Kunai Pro两种形式来展示其在耳机中实现的3D全景声。陀螺君在现场亲耳体验了一把“声”临其境的感觉。

(左:三星Gear VR 右:TRITTON Kunai Pro耳机)

陀螺君现场试戴的耳机对5.1.2声场的模拟,跟前文提到的5.1不同,2是指有两个扬声器是放在头顶位置的,这也是头顶声音方位感的来源。戴上VR头显后,当切换到全景声的时候,可以很明显地感知到声音的方位和距离,即使转动方向,声源的位置也不会有变化。陀螺君还了解到要通过Dirac技术实现耳机中的全景声,可以在不同的设备上植入Dirac的算法,比如耳机、电脑、头显等。

据Isaksson介绍,Dirac全景声的实现依托的是其正在申请专利的动态HRTFs技术。

Dirac用动态HRTFs技术合成模拟了5.1或7.1的声场效果,并对搭配使用的耳机进行了优化。Dirac在耳机头顶位置添加了两个扬声器,创造出了头顶环绕感,精确定位头顶声音的位置,能够实现一些非常复杂精细的效果。这样一来,戴上耳机后,会感觉到声音不仅从左右传来,还可能精确地辨别出声音是左后、右后等位置发出,也能感受到天空中的音源。而实际上,Dirac的这个技术并非是基于声道的,而是360度,也就是说,可以让声音在3D空间中任何一个点上发出。

声学领域沉淀半个世纪,

Dirac为何要切入全景声

全景声本身并不是新奇的概念,令人称奇的是如何做到Dirac这样音质无损的同时还能精准定位。Dirac这个VR音频领域中的新玩家凭什么做到这一点呢?

其实,Dirac看起来是个VR青铜玩家,其实人家早已经是“王者”级别了。

Dirac Research AB公司成立于2001年,由瑞典乌普萨拉大学(Uppsala University)的几位教授和博士生共同创立,两年前成立VR/AR部门。但在早创立之前,几位教授们就已经在声学领域潜心耕耘了几十年,奠定了Dirac深入骨髓的声学基因。Dirac公司创立之后,凭借着丰富的研究经验和前沿的技术,在音频市场上早已有口皆碑。音质、优化和声场模拟是Dirac三大研究领域,其声学技术处于世界领先地位。

Isaksson介绍了在公司创立之初,Dirac从事于Hi-Fi(High-Fidelity,高保真)与高端汽车结合的业务,与多家汽车业巨头合作,如沃尔沃、宾利、宝马、比亚迪、劳斯莱斯等,为Dirac在移动类设备中的音频优化技术打下了夯实的基础,累积了丰富的经验。

Isaksson提及Dirac3D Audio技术所使用的3D空间引擎,正是脱胎于Dirac一直专注的汽车声场合成和优化技术:

“在汽车里面听声音是车厢的感觉,但用户想要的是如影剧院一般的效果,这通过声场处理和声场模拟就可以实现。在耳机中实现不同声场所使用的技术,其实源于Dirac在汽车领域所使用的声场合成和模拟技术。沃尔沃XC90系列采用就是Dirac声音优化技术DiracUnison,一键让你穿越到哥德堡音乐厅(瑞典国家交响乐团演出主场),能听到效果如同真正置身于歌剧院一样。”

Dirac全景声之所以能实现,动态HRTFs技术是其中的大“功臣”。动态HRTFs突破了传统VR音频的制作方式,具有诸多优点。

前文已经提到,VR音频行业目前的主流技术是静态HRTFs(头相关传输函数)技术。这种传统方法假定,当移动身体时,头和四肢是同时转动的。可是,在现实中,头和四肢的动作往往并不是同时进行、同一方向的,单独的头部微小动作可以帮助我们更好地定位声音。传统的静态HRTFs技术除了建模与现实相违和之外,HRTF数据的采集耗时耗力的同时也无法保证高精度

首先,Dirac的动态HRTFs弥补了传统静态HRTFs的建模缺陷,将头部相对于四肢的细微动作和具体位置都考虑进去,提升了VR音频的定位和音质。其次,Dirac VR采用更先进和精确的HRTF测试收集方式,通过样本采集,生成一个通用的高精度HRTFs模型。在这样的双重作用下,声音定位精确还原,确保了声音还原误差极小,让声音真正实现3D沉浸感的同时,还不会造成声音失真。

可以说Dirac逼真的全景声=熟练的声场模拟技术+先进的动态HRTFs技术+经验丰富的耳机优化技术,这也是Dirac全景声与其他VR音频公司产品的不同之处。

Dirac全景声在VR/AR中的场景应用

已经在声学领域达到“王者”级别Dirac开启了 VR/AR领域的副本,有着几十年的声学研究和技术沉淀,陀螺君认为Dirac的全景声能够与VR/AR内容完美融合。Isaksson就在采访中提出了Dirac目前看好的几个应用场景:

1、全沉浸式的VR/AR游戏全景声

目前,Dirac已经和游戏引擎公司达成合作,游戏开发人员可以直接在游戏引擎中进行后期编辑,在游戏中添加全景声效果。有了全景声,能够清楚听到后方敌方的脚步声,能够感受到头顶飞机略过的声音,能够根据声音推断出敌方的远近。还能因墙体的材质不同而编辑不同音效,从而让玩家产生自己的确身处这一空间的错觉。

2、VR影视

全景声一开始便服务于影院,Dirac全景声与VR影视的结合可谓理所当然。与传统电影不同,VR影视有着独特的观影视角,有时候观众以第一人称代入影片之中,观众本人仿佛“附身”在主角上,跟随主角一起行走、跑动、说话,整个画面为观众营造出一种“我就是主角,主角就是我”的错觉。但如果此时的音效没有空间感和方位感,那么即使观众在画面层次上非常入戏,没有全景声的加持,观众的沉浸感也无法持久。

3、远程会议

Isaksson还特意提及了另一大应用领域:实时远程会议。随着分工全球化,如今的跨国公司越来越多,身处各地的同事们如果要开个工作会议,进行线下会面耗时耗力,成本高昂。而目前的虚拟远程会议在画面上能做到实时呈现,但彼此的声音却并不能达到逼真的效果,导致远程会议效果不佳。此时如果全景声技术能与AR技术相结合,应用在虚拟远程会议中,会议的效果应该会非常不同。

对于在VR/AR中实现全景声的成本问题,Isaksson说:“Dirac一般会直接和硬件厂商合作,用户不会通过应用的方式来下载,所以用户的使用成本不会太高。”

Dirac作为世界顶级声学研究公司,在声学研究方面的能力不容置喙。眼看着VR视觉领域的一路高歌猛进,陀螺君也非常期待VR音频的突破和创新。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 音频技术
    +关注

    关注

    1

    文章

    144

    浏览量

    25305
  • vr
    vr
    +关注

    关注

    34

    文章

    9692

    浏览量

    156573
  • VR头显
    +关注

    关注

    1

    文章

    260

    浏览量

    27775

原文标题:【专访】瑞典顶级声学公司Dirac:如何让VR真正做到“声”临其境?

文章出处:【微信号:vrtuoluo,微信公众号:VR陀螺】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    量产周期缩短至4个月,亿虚拟全链路方案领跑AI眼镜赛道

    电子发烧友网报道(文/莫婷婷)10月23日,亿虚拟AI眼镜亮相荣耀2025全球开发者大会,凭借在智慧办公、运动健康、教育培训等多场景的深度适配能力,展现了领先的AI眼镜场景化解决方案。   依托
    的头像 发表于 10-30 09:17 5916次阅读
    量产周期缩短至4个月,亿<b class='flag-5'>境</b>虚拟全链路方案领跑AI眼镜赛道

    恩智浦助力亿虚拟打造新一代AI眼镜解决方案

    恩智浦半导体宣布,深圳市亿虚拟现实技术有限公司(简称“亿虚拟”)在其新一代 AI 眼镜解决方案SW3021中采用恩智浦i.MX RT685跨界MCU,实现了极致低功耗与强大音频处理能力的平衡。
    的头像 发表于 10-16 09:03 3782次阅读

    释放声音的维度:高性能评估板为沉浸式音频体验快速便捷构建声场工具

    A316-V71-Game-V1是一款基于XMOS XU316技术的虚拟7.1游戏声卡评估平台,能够将立体声音频转换为虚拟7.1道环绕,为游戏玩家提供身临其境的音频体验,帮助精确定位游戏中的声音方向。
    的头像 发表于 09-30 14:14 331次阅读
    释放声音的维度:高性能评估板为沉浸式音频体验快速便捷构建声场工具

    科技与极氪9X合作树立车载声学新标杆

    8月24日,以“”为主题的极氪9X音响品鉴会在上海中心极氪旗舰店圆满落幕。瑞科技作为极氪9X技术合作伙伴,为本次活动提供了全程支持。基于对极致声学体验的共同追求,瑞
    的头像 发表于 08-28 15:57 705次阅读

    广州唯创电子语音芯片IC:赋能万物“,解锁智能生活无限场景

    在人工智能与物联网技术深度融合的浪潮下,人机交互体验正迎来深刻变革。广州唯创电子凭借高性能语音芯片解决方案,为无数设备注入“智慧之声”,冰冷的机器学会“开口说话”,实现更自然、更人性化的交互
    的头像 发表于 08-13 09:47 503次阅读
    广州唯创电子语音芯片IC:赋能万物“<b class='flag-5'>声</b>”<b class='flag-5'>临</b><b class='flag-5'>其</b><b class='flag-5'>境</b>,解锁智能生活无限场景

    智能家居 “:NRK3301 芯片如何家电 “会说话” 更 “懂人心”?

    当智能音箱只会机械重复指令,当扫地机器人的提示音总人摸不着头脑,智能家居的“交互鸿沟”正悄悄拉低用户体验。广州九芯电子的NRK3301语音芯片,用强大的音频处理能力打破这一僵局——这款专为智能家居
    的头像 发表于 08-08 09:05 626次阅读
    智能家居 “<b class='flag-5'>声</b>” <b class='flag-5'>临</b><b class='flag-5'>其</b><b class='flag-5'>境</b>:NRK3301 芯片如何<b class='flag-5'>让</b>家电 “会说话” 更 “懂人心”?

    上海海思朱雀显示推出AI-Touch触控解决方案

    上海海思朱雀显示推出 AI-Touch 触控解决方案,它专为手机触控量身打造。它具备防误触防水、又准又快、强抗干扰的卓越性能,你告别手机裤兜误拨、水珠乱触、雨天操作失灵等烦恼。
    的头像 发表于 08-07 09:20 853次阅读

    游戏玩家的听觉革命!这款虚拟 7.1 游戏声卡评估板你 “

    在激烈的游戏对战中,你是否曾因听不清敌人脚步而被偷袭?又是否在与队友沟通时,被键盘敲击、鼠标点击等杂音干扰,导致交流不畅?别担心,A316-V71-Game-V1虚拟7.1游戏声卡评估板强势
    的头像 发表于 07-05 15:35 753次阅读
    游戏玩家的听觉革命!这款虚拟 7.1 游戏声卡评估板<b class='flag-5'>让</b>你 “<b class='flag-5'>声</b>” <b class='flag-5'>临</b><b class='flag-5'>其</b><b class='flag-5'>境</b>!

    迅为RK3576开发板NPUrknn-toolkit2环搭建和使用docker环境安装

    迅为RK3576开发板NPUrknn-toolkit2环搭建和使用docker环境安装
    的头像 发表于 06-18 15:22 963次阅读
    迅为RK3576开发板NPUrknn-toolkit2环<b class='flag-5'>境</b>搭建和使用docker环境安装

    迅为RK3576开发板NPU例程测试-rknn-toolkit2环搭建和使用

    迅为RK3576开发板NPU例程测试-rknn-toolkit2环搭建和使用
    的头像 发表于 06-17 13:46 1273次阅读
    迅为RK3576开发板NPU例程测试-rknn-toolkit2环<b class='flag-5'>境</b>搭建和使用

    ,唱由「芯」生!炬芯科技 ATS288X AI-Party Speaker 芯片重磅发布

    随着生活节奏加快与社交场景的多元化,大众对高品质音频体验的需求从未改变且呈现出持续升温的趋势——从聚会标配的线下 K 歌,到日常消遣的线上虚拟娱乐,音频产品已成为文化消费领域不可忽视的增长极。 为此,炬芯科技推出 全新一代高品质AI-Party Speaker单芯片产品——炬芯®ATS288X ,深度传承炬芯科技的技术沉淀,在音质、延迟等核心性能上实现跨越式突破。这款芯片不仅为客户研发高性能音频设备提供底层技术赋能,更以革新性体验重构用户
    发表于 06-06 11:32 3883次阅读
    「<b class='flag-5'>声</b>」<b class='flag-5'>临</b><b class='flag-5'>其</b><b class='flag-5'>境</b>,唱由「芯」生!炬芯科技 ATS288X AI-Party Speaker 芯片重磅发布

    如何使用cubeide配置stm32H750环

    如何使用cubeide配置stm32H750环,但是在SYS中没有debug选项,也就选不了serial wire
    发表于 04-23 07:55

    SME 如何利用工业虚拟实快速探索和部署机器人解决方案

    两者结合,可以构建一个工业虚拟实,从而更快地提高生产率,即使是中小型企业 (SME) 也能实现这一目标。 SME 的设计人员可以从简单直观的界面中获益,该界面结合了数字双胞胎、Delta 机器人、线性机器人或多轴机器人等实体设备的高精细虚拟模型以及 3 维 (3D) VR
    的头像 发表于 01-25 17:22 1069次阅读
    SME 如何利用工业虚拟实<b class='flag-5'>境</b>快速探索和部署机器人解决方案

    TE HDMI 2.1连接器的主要优势

    这一幕的变化,不是魔术。TE Connectivity (以下简称“TE”) 全新推出的高清多媒体接口 (HDMI) 2.1 连接器就是答案!更高的带宽,高速信号不阻塞,画面不丢帧,真实体验身临其境
    的头像 发表于 01-17 09:18 1021次阅读

    阿里创投增资元生生上海公司至1.18亿

    近日,元生生(上海)科技有限公司发生了一项重要的工商变更,注册资本实现了大幅度增长。据悉,该公司的注册资本由原先的1000万人民币增至约1.18亿人民币,增幅高达1075%。 元生生(上海
    的头像 发表于 01-07 10:33 771次阅读