0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

郝一亚:系统还是收敛稳定的

LiveVideoStack 来源:Coco Liang 作者:Coco Liang 2020-09-14 15:42 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

这次LiveVideoStackCon 2020 北京站,我们邀请到了曾任职于Apple、Facebook和Zoom的音视频算法工程师郝一亚。一亚博士毕业于美国德州大学达拉斯分校,在校时是Statistical Signal Processing Research Lab的研究助理,专注于在助听器上的语音数字信号处理算法。

2019年年底,郝一亚加入网易云信,研究范围包括传统信号处理算法和基于AI的算法。除了是人们口中的“程序员”,郝一亚还拥有街舞老师、兵乓球国家二级运动员等多重身份,参加过顶级歌手的世界巡演.......而当一名在美博士从湾区来到内地,他的生活又发生了怎样的变化?

用郝一亚自己的话来说,就是“系统还是收敛稳定的”。

以下内容由LiveVideoStack与郝一亚的采访整理而成LiveVideoStack:在您众多的身份中,您更享受哪一个“自己”,对哪一个“自己”最满意?开发者/程序员在这众多的标签中处于一个什么样的位置?郝一亚:最享受的可能是作为Dancer/Choreographer的身份,最满意的应该是Acoustic Engineer这个身份,因为自己能从很平常的声音中听出更多的信息,比如声音有没有distortion、每个人的pitch基频、环境底噪的分贝数等等。开发者/程序员应该相当于我实现自己算法的一个途径,要将自己听到的和提出的算法应用于实际,都需要自己动手去写出来。LiveVideoStack:在美国求学、工作的过程中,您最开心的时刻有哪些?郝一亚:应该是博士答辩完成,老板对我说“Congratulations, Dr. Hao”的时候,还有求婚成功的时候。LiveVideoStack:加入网易云信后,你的生活发生了哪些变化,喜和忧分别是什么?郝一亚:其实没什么大忧,硬要说的话可能是上班时间增加导致家庭和个人时间太少。喜的方面其实挺多的,之前没有在中国的公司待过,本来是做好了应对“坏情况”的心理准备,但实际工作中,团队氛围、专业程度、自己的适应状态都达到了一个很好的正反馈系统中,用DSP的术语来说该系统还是收敛稳定的。音频算法的迭代不是一个短平快项目,需要耐心的打磨和积累。而网易就是这样的一个企业,以匠心致创新,这就是我选择网易云信的最大原因。LiveVideoStack:云信每周四的程序员分享进展如何,最近又分享了哪些有意思的话题?郝一亚:我觉得周四的分享特别好,分享内容有广度有深度。我自己印象最深的是音频组同事讲的那次关于音频信号问题的分析,现场气氛很好,大家都在踊跃地讨论,而且分享后大家反馈也是说了解了很多音频问题表象下的具体原因。虽然分享最后有点像音频组的“甩锅大会”了。LiveVideoStack:在您就职FB、Apple等互联网公司期间,遇到过哪些印象深刻的技术难题,以及您是如何应对的?郝一亚:当时在Apple的时候,第一个落地的算法是结合一个新的sensor的一个音频算法。当时难度挑战是相关的paper很少,很多细节只能自己去摸索,我的应对办法就是两个字“加班”。

开个玩笑,是加了几天班,但关键的策略是没有急于求成,而是把sensor在各个产品下的指标都考虑到,测试好,打好基础,前期工作做得好,制定方案就会很可行。Apple的音频实验室设备非常齐全,到了“要什么有什么”的境界,为工作提供了很多便利。LiveVideoStack:基于AI的算法产品化这一点,您有什么比较欣赏的平台或产品吗?郝一亚:在音频领域,虽然现在AI音频算法在产品落地上依然没有普及开,但是Google在近几年一直是这个领域的佼佼者,其次Amazon的Lab126在这个领域的研究也是非常超前的。LiveVideoStack:“将AI算法任务模块化”具体是一个什么概念,有哪些实际用例?郝一亚:AI算法在实际应用当中有很多问题,在音视频算法中,让AI去处理一个链路很长的算法问题时,Model的效果、泛化能力、计算复杂度都很头疼。如果是沿用传统的算法,将传统算法中的一个适合AI的模块单独拿出来,用训练的Model来处理,这种方式往往在上述的三个维度都能有提升。LiveVideoStack:将具体技术“产品化“的过程中您遇到过哪些困难?郝一亚:主要的困难是算法的研究与产品的需求之间往往存在着差距,在云信的算法落地过程当中,稳定性和高可用性是我们的首要目标。在此基础上,我们会不断地去match产品的需求,分清需求的重要程度,不断地对算法的细节进行调整。

LiveVideoStack:据您个人经验,中美科技公司将音频技术“产品化”的过程有何不同?郝一亚:其实中美公司在很多方面都已经比较接近了,在音频技术“产品化”方面,美国和国内公司相比,唯一的不同可能在于其音频技术产品化的流程比较清晰,音频相关的储备(比如音频工具、消声室、技术积累)比较完善。云信目前也有很多音频相关储备,比如Soundbooth、人工头等工具,在传统3A算法和AI算法上都有可观的技术积累。LiveVideoStack:就您个人经验,国内的公司需要如何快速弥补这一点不足;以及国内互联网公司又有哪些令你欣赏的优势呢?郝一亚:首先,这些不足没法快速弥补。追赶的方式我认为还是积累更多相关的人才,还需要让更多管理者认知到音频开发和其他开发的不同之处(开发周期长,需要时间打磨与积累)。我认为国内现在最大的优势在于国家层面开始重视音视频技术,以及国内的消费能力和市场,这两点足以支撑音频领域的快速积累。LiveVideoStack:您现阶段正在解决的问题?郝一亚:现在基于AI的音频算法产品化的过程中,瓶颈依然是算法的泛化能力和Model复杂度,我们现在所专注的就是在不影响算法表现的情况下去提高泛化能力、降低计算量。LiveVideoStack:您下一阶段的研发目标?郝一亚:更深入的去“模块化”传统的音频算法,将更多的“小模块”用AI替代。编辑:Coco Liang

原文标题:从旧金山到滨江区,系统依旧收敛稳定

文章出处:【微信公众号:LiveVideoStack】欢迎添加关注!文章转载请注明出处。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数字信号
    +关注

    关注

    2

    文章

    1063

    浏览量

    49636

原文标题:从旧金山到滨江区,系统依旧收敛稳定

文章出处:【微信号:livevideostack,微信公众号:LiveVideoStack】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    佛瑞海拉与德诺半导体达成战略合作

    佛瑞海拉宣布与德诺半导体(ADI)在智能配电领域达成战略合作,携手研发面向未来的电子电气架构关键组件iConF(智能可配置保险丝)解决方案,将于2028年为家全球高端汽车制造商首次投产。
    的头像 发表于 04-10 13:49 285次阅读

    FPGA时序收敛的痛点与解决之道——从次高速接口调试谈起

    在FPGA开发中,时序收敛往往是项目后期最令人头疼的环节。许多工程师都有过这样的经历:RTL仿真通过,综合布线后却出现大量时序违例,为了满足时序不得不反复修改代码、调整约束,甚至重构设计。次偶然
    的头像 发表于 03-11 11:43 326次阅读

    晶科储能助力澳大利学校储能系统升级投运

    近日,全球领先的储能企业晶科储能,作为晶科能源股份有限公司的子公司,在澳大利赋能当地学校储能系统升级并顺利投运,支持教育行业更智能、经济、高效的能源使用。该项目替换了2016年安装的陈旧的铅酸电池
    的头像 发表于 02-27 14:27 570次阅读

    信电子推出AX88279A,强化智能联网与边缘计算技术应用

    信电子正式发布AX88279A USB 3.2转2.5G以太网控制芯片,提供高速、低延迟且稳定的有线连接,满足智能设备与边缘计算对高效网络传输的需求。
    的头像 发表于 12-11 13:20 649次阅读
    <b class='flag-5'>亚</b>信电子推出AX88279A,强化智能联网与边缘计算技术应用

    浮思特 | NMB美蓓风扇与三洋散热风扇对比:哪个更适合你的需求?

    在今天的电子产品中,散热风扇是保证设备正常运行的核心部件之。无论是电脑、电动工具还是家用电器,良好的散热系统可以延长产品的使用寿命并提升性能。而在众多风扇品牌中,NMB美蓓和三洋
    的头像 发表于 12-09 15:49 708次阅读
    浮思特 | NMB美蓓<b class='flag-5'>亚</b>风扇与三洋散热风扇对比:哪个更适合你的需求?

    CW32 MCU在高频率运行下的系统稳定性的提升方案

    性问题,并提出系列应对措施,包括硬件设计改进和软件优化策略,以确保系统在高频工作环境中的可靠性和持续稳定运行。 具体内容包括: 高频运行对MCU的影响分析: 探讨CW32 MCU在高频率运行时,对电源
    发表于 12-04 08:04

    普渡机器人与朵集团达成重要合作

    近日,全球领先的服务机器人企业普渡机器人宣布与朵集团达成重要合作,普渡的楼宇配送机器人“闪电匣” 正式上线朵集团供应商库,成为朵旗下酒店智能化升级的重要合作伙伴。这合作标志着两
    的头像 发表于 12-03 11:04 524次阅读

    佛吉与舜华新能源签署战略合作协议

    11月10日,佛吉(上海)氢能投资有限公司(以下简称“佛吉”)与上海舜华新能源系统有限公司(以下简称“舜华新能源”)在上海正式签署战略合作协议。佛吉氢能中国区总经理潘锋、舜华新能
    的头像 发表于 11-13 14:56 739次阅读

    力合微PLC获朵集团选用,打造新代互联互通酒店智能客控

    选用,打造朵集团新代酒店智能客控。也印证了公司PLC技术及芯片在酒店智能化领域的优势及竞争力。解决酒店智能化改造痛点在酒店智能化升级中,"布线复杂、施工复杂、互
    的头像 发表于 11-01 07:03 1250次阅读
    力合微PLC获<b class='flag-5'>亚</b>朵集团选用,打造新<b class='flag-5'>一</b>代互联互通酒店智能客控

    直流滤波器 保障直流系统稳定运行的关键

    问题、保障系统稳定运行的关键部件。 直流系统中的干扰隐患 直流系统看似稳定,但实际运行中会受到多种干扰。
    的头像 发表于 10-22 10:47 660次阅读

    锐捷网络与信安全战略携手,共筑“站式安全”云桌面新生态

    副总裁、CTO陈奋,信安全副总裁、战略合作总经理金智辉与锐捷网络云桌面产品事业部总经理陈兴斌,锐捷网络企业系统部总经理夏国卿等双方代表出席签约仪式。 作为“安全+数智”体化领导者,
    的头像 发表于 09-19 14:04 548次阅读
    锐捷网络与<b class='flag-5'>亚</b>信安全战略携手,共筑“<b class='flag-5'>一</b>站式安全”云桌面新生态

    佛瑞海拉与亿纬锂能12V锂电池管理系统中国量产

    又迎来里程碑时刻!佛瑞海拉联手亿纬锂能在中国实现12V锂电池管理系统全球首次量产,并即将登陆欧洲主流豪华品牌乘用车。
    的头像 发表于 08-13 09:35 1029次阅读

    浮思特 | 美蓓NMB散热风扇型号全解,看这篇就够了!

    说到工业级散热风扇,NMB(美蓓)几乎是绕不开的名字。作为全球知名的风扇制造商之,美蓓三美(MinebeaMitsumi)旗下的NMB系列散热风扇,凭借稳定性高、寿命长、噪音低等
    的头像 发表于 07-31 10:05 1964次阅读
    浮思特 | 美蓓<b class='flag-5'>亚</b>NMB散热风扇型号全解,看这<b class='flag-5'>一</b>篇就够了!

    无刷双馈异步电机潮流建模和收敛性研究

    的 BDFM初值算法,给出IEEERTS系统中 BDFM参数计算结果,以验证所提 BDFM潮流算法的可行性和正确性。 纯分享帖,点击下方附件免费获取完整资料~~~ *附件:无刷双馈异步电机潮流建模和收敛
    发表于 06-25 13:12

    成微智能高边开关在商用车领域的应用

    作为智能功率开关国产化的引领者,成微自 2018 年便开启智能高边开关的研发之路,无论是产品数量还是成熟度,均在国内市场保持领先地位,尤其在商用车领域(24V 系统)的高边开关产品表现卓越。我们将从以下四个维度出发,展示
    的头像 发表于 05-08 09:00 1553次阅读
    <b class='flag-5'>亚</b>成微智能高边开关在商用车领域的应用