0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Zoom的Web客户端和WebRTC有什么关系

LiveVideoStack 来源:工程师曾玲 2019-02-02 15:17 次阅读

Zoom是非常出色的视频会议平台,拿Zoom的web客户端和WebRTC对比似乎有失公允。重要的是,未来WebRTC还会不断做明智的改进。

Zoom有一个Web客户端,允许参与者在不下载他们的app的情况下参加会议。打开chrome://webrtc-internals显示只有getUserMedia用于访问相机和麦克风,但是没有像WebRTC那样调用RTCPeerConnection。这让我很感兴趣-他们没有使用WebRTC是如何打电话的?

为什么不使用WebRTC?

Zoom的Web客户端和WebRTC有什么关系

就像他们的网站上所说的那样,Zoom和WebRTC的关系比较复杂。

JitSi团队最近通过比较质量回应了这件事。Tsahi Levent Levi也对此发表了一些有用的评论。因此,让我们在Chrome中运行这种非常有趣的环境下快速查看这些“优秀特性”。

Zoom web客户端

Chrome网络开发者工具迅速显示了两件事:

WebSocket用于数据传输

这是一些工作人员加载的WebAssembly (wasm) 文件

Zoom的Web客户端和WebRTC有什么关系

基于WebSocket的媒体传输

基于WebSocket的媒体传输整体设计非常有趣。它使用WebSocket传输媒体,这当然不是最佳选择。类似于WebRTC中的Turn/TCP——它会影响传输质量,并且在很多情况下都不能很好地工作。使用TCP传输实时媒体的一般问题是丢包,这会导致重新发送和增加延迟。Tsahi前一段时间在TestRTC上描述了这一点,显示了使用这种方案对比特率和其他特性的影响。

基于WebSocket传输媒体最主要的优势在于,它可以在TURN/TCP和TURN/TLS被防火墙阻塞时,穿过防火墙。它避免了WebRTC TRUN连接不经过认证代理的问题。这是Chrome WebRTC实施中长期存在的问题,去年才得到解决。

Zoom的Web客户端和WebRTC有什么关系

在WebSocket上接收的数据进入基于WebAssembly (WASM)的解码器。浏览器中的AudioWrkLead获取到音频数据。从那里,解码的音频使用WebAudio“magic”目的节点播放。

Zoom的Web客户端和WebRTC有什么关系

视频被渲染出来,这个过程出乎意料的顺利,质量也非常高。

另一方面,WebAudio通过getUserMedia调用捕获媒体数据,发送给WebAssembly编码器编码,然后通过WebSocket传输。640*360分辨率的视频数据在发送给WebAssembly编码器之前从画布中获取到,这是非常常见的。

WASM文件似乎包含与Zooms本地客户端相同的编码器和解码器,这意味着网关不必进行转码。相反,它可能只是一个websocet-RTP中继,类似于转换服务器。编码的视频有时有些像素化。虽然编码器的CPU使用率相当高(在640×360分辨率),但这可能并不重要,因为用户可能将问题归咎于Chrome,并在下次使用客户端。

H.264

使用WebAssembly提供媒体引擎是非常有趣的,它允许支持Chrome/WebRTC不支持的编解码器。用emscripten编译的FFmpeg以前已经做了很多次了,这里似乎也使用了emscripten。通过WebSockets传输编码后的数据,可以使用Chrome优秀的调试工具检查RTP头和一些帧来显示H264荷载。

Zoom的Web客户端和WebRTC有什么关系

令我惊讶的是,网络抽象层单元(NALU)没有表示H264-SVC。

和WebRTC的比较:

总之,让我们比较一下Chrome在本例中使用的与WebRTC标准(W3C或者各种IETF草案)不同的地方:

特性 Zoom Web client WebRTC/RTCWeb Specifications
加密 基于安全Websocket的RTP DTLS-SRTP
数据通道 n/a? SCTP-based
ICE n/a for Websocket RFC 5245 (RFC 8445)
Audio codec 未知 Opus
多码流 未研究 Chrome实现
Simulcast 在web client上未研究 扩展特性

WebRTC下一版

尽管WebRTC 1.0还远远没有完成(而且大多数开发人员仍在使用被称为“遗留API”的东西),但是关于“下一个版本”的讨论仍然很多。

Zoom网络客户端的总体设计强烈地提醒了我,在今年早些时候在斯德哥尔摩召开的工作组面对面会议上,Google的Peter Thatcher为WebRTC NV提出的建议。请参阅幻灯片(https://www.w3.org/2011/04/webrtc/wiki/images/5/5c/WebRTCWG-2018-06-19.pdf)。

如果我们要在2018重建WebRTC,我们可能已经采取了类似的方法来分离组件。基本上采取以下步骤:

编译用于wasm的webrtc.org编码器/解码器。

将解码器与画布连接,WebAudio用于”布局”

将编码器和getUserMedia连接用于输入

将编码后的数据通过不可靠的信道发送

以某种方式连接RTCDataChannel反馈度量和音频/视频编码器

该方法是从工作组会议幻灯片中看到的:

Zoom的Web客户端和WebRTC有什么关系

与Zoom方法相比,该方案具有非常明显的技术优势。例如,使用RTCDataChannels传输数据,这比WebSocket具有更好的拥塞控制特性,特别是当存在分组丢失时。

该设计的最大优点是可以将编码器和解码器(以及相关的东西,如RTP打包)与浏览器分离,从而允许定制版本。主要问题是找到一种好的方法,以包括硬件加速的高性能方式使数据处理脱离主线程。这是Chrome早期面临的一大挑战,我记得很多关于沙箱让事情变得困难的抱怨。Zoom看起来很好,但是我们只尝试了1:1的聊天,而典型的WebRTC应用程序比这个要求更高一些。重用像MediaStreamTrack这样的构建块来进行从工人到工人的数据传输也比使用Canvas元素和WebAudio要好。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 编码器
    +关注

    关注

    41

    文章

    3338

    浏览量

    131257
  • Web
    Web
    +关注

    关注

    2

    文章

    1231

    浏览量

    68381

原文标题:Zoom的Web客户端与WebRTC有何不同?

文章出处:【微信号:livevideostack,微信公众号:LiveVideoStack】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    labview TCP客户端

    最近在做一个labview 客户端测试小程序,服务器采用MFC编写,客户端采用TCP侦听函数,通信可以连接,数据也正确,但是服务器检测发送判断失败,个人推测是不是客户端建立连接后关闭
    发表于 06-30 23:15

    labview web service发布数据到客户端浏览器

    现在我想利用LV web service将采集到的数据发布到网络上去,实现基于 Web 的瘦客户端模式数据共享。目前的问题是数据是以xml格式发布到客户端网页,小弟不知道怎么对数据进行
    发表于 04-12 15:12

    一个服务器,多个客户端,怎么向指定的客户端发数据

    我用labview做服务器,单片机做客户端客户端几百个,怎么区分客户端,给指定的客户发发数据
    发表于 06-01 09:26

    求教:linux系统和WEB服务器什么关系?WEB服务器和网页又是什么关系?

    最近在学习arm上linux系统移植以及WEB服务器,几个问题非常非常困惑,希望大家能帮忙解答一下。1.linux操作系统和web服务器属于什么关系?2.配置好
    发表于 10-10 20:20

    是否可用的Mac或Linux客户端

    目前我们一个Windows客户端。请查看以后访问Mac& Linux客户端。以上来自于谷歌翻译以下为原文Currently we have a Windows client. Please
    发表于 09-20 11:36

    IoT中心客户端完成功能时的调用层次关系是什么

    IoT客户端框架HTTP/MQTT功能调用关系
    发表于 04-02 07:43

    PLC客户端监控系统哪些应用领域?

    PLC客户端监控系统的特点是什么?PLC客户端监控系统哪些应用领域?
    发表于 07-02 07:33

    线程多客户端设置

    客户端设置,每个客户端与服务器可视为一个线程。利用多线程在ucosiii下设置。一个线程设置服务器,一个线程创建客户端(可多次创建),一个线程管理客户端的连接与断开。通讯管理还需要改
    发表于 08-24 06:08

    PLC客户端监控系统哪些功能

    PLC客户端监控系统的特点是什么?PLC客户端监控系统哪些功能?
    发表于 09-18 07:41

    Labview客户端状态获取

    求助,目前只有5积分,哪位大佬给点帮助:采用TCP传输数据,一个服务器多个客户端,通过一个按钮控制,点动按钮将服务器中的一个文件发给4个客户端,目前已实现发送文件和读取连接客户端数量,不过客户
    发表于 11-15 15:02

    webrtc p2p

    web前端等实现,支持app的移植,信令服务器是websocket实现1.设备上线,通知信令服务器;2.web客户端向信令服务器发起请求:    2.1设备发送数据到信令服务器,内容json格式
    发表于 08-10 21:58

    v5的websocket客户端示例在哪里?

    我已经看到一个用于 v4.3 的 web 套接字客户端示例,但没有用于 v5,任何原因?可以参考https://github.com/espressif/esp-protoc ... t/examples。
    发表于 04-14 07:34

    在esp8266中内置客户端WEB,请问固件版本的要求吗?

    各位大神好!我想在8266中内置客户端WEB,请问固件版本的要求吗?WEB内容是不是可以自己定制?有没有相关方面的资料吗?我在上看到《esp8266从零快速开发教程》,但是链接已经失
    发表于 11-08 08:07

    Delphi教程之数据查询Web服务客户端开发数据查询Web服务

    Delphi教程之数据查询Web服务客户端开发数据查询Web服务客户端开发,很好的Delphi资料,快来下载学习吧。
    发表于 04-11 15:59 5次下载

    如何使用WebRTC/WebTorrent构建弹性Web

    WebTorrent是第一个在浏览器中工作的种子客户端。它完全由JavaScript编写,并使用WebRTC进行真正的点对点传输。无需浏览器插件,扩展或安装。
    的头像 发表于 08-29 16:18 2990次阅读