为OpenHarmony打造的一款新音视频引擎—

原标题：OpenHarmony新音视频引擎——HiStreamer

OpenAtom OpenHarmony（以下简称“OpenHarmony”）是由开放原子开源基金会（OpenAtom Foundation）孵化及运营的开源项目，目标是面向全场景、全连接、全智能时代，基于开源的方式，搭建一个智能终端设备操作系统的框架和平台，促进万物互联产业的繁荣发展。面对万物互联时代种类众多、且差异巨大的终端设备，我们为OpenHarmony打造了一款新的音视频引擎——HiStreamer。

一、 HiStreamer产生背景

数字多媒体技术在过去的数十年里得到了飞速的发展，音乐、电话、电视、电影、视频会议等等，伴随着我们度过每一天。为了给用户提供丰富的多媒体处理能力，业界已经有比较成熟的音视频引擎，比如开源的音视频引擎GStreamer。为什么我们还要打造一款新的音视频引擎呢？

随着万物互联时代的到来，越来越多的智能化设备出现在我们的生活中。比如：智能冰箱可以通过屏幕和声音，告诉人们储藏的菜品快要过期了；智能闸机可以通过人脸识别，自动完成检票工作；智能门锁可以通过语音和视频，提升开锁的效率和安全性......

与PC、手机等标准（Standard）设备不同，很多智能化设备的CPU处理能力比较弱、内存也比较小，传统的音视频引擎无法支持此类设备。HiStreamer应运而生，既支持轻量级的Mini/Small设备，也支持Standard设备（目前支持部分功能）。HiStreamer在不断发展和完善中，未来将会支持Standard设备的更多功能。

二、 “管道+插件”，实现弹性部署

为了支持Mini/Small/Standard设备，HiStreamer采用管道（Pipeline）和插件（plugin）的软件架构，从而可以根据设备的硬件和需求差异进行弹性部署。HiStreamer把音视频处理的每个过程抽象成节点，上一个节点的输出，作为下一个节点的输入，把多个节点连接起来，整体形成一个管道（Pipeline），完成音视频的数据读取、解封装、解码、输出的完整流程。同时，插件可以为Pipeline的节点提供丰富的扩展功能，让HiSteamer的音视频处理能力更强大。

1. Pipeline框架介绍

为了让大家理解HiStreamer的Pipeline框架，下面以MP3音频播放为例讲解：

输入是一个MP3文件，输出是播放出的音乐，这中间经过了很多步骤。

先来看一下MP3文件结构：

图1 MP3文件结构

MP3文件由ID3 Metadata容器头和若干MP3 Frame（MP3数据帧）构成。每个MP3 Frame又由MP3 Header（MP3头信息）和MP3 Data构成。这一系列的MP3 Frame称为ES Data（ Element Stream Data）。

● ID3 Metadata：容器头，主要包括标题、艺术家、专辑、音轨数量等。

● MP3 Header：包含MP3 Sync word（标识MP3数据帧起始位置）和MPEG版本信息等。

● MP3 Data：包含压缩的音频信息。

播放MP3文件，首先需要把MP3文件数据读进来，然后去掉ID3 Metadata容器头（即解封装），再把一系列MP3 Frame解压缩成PCM（Pulse-Code Modulation）数据，最后驱动喇叭发声。这个过程按顺序可以抽象成如下四个节点：

图2 MP3音频播放的Pipeline

1. 输入节点（MediaSourceFilter）: 读取MP3原始数据，传给下一个节点。

2. 解封装节点（DemuxerFilter）: 解析ID3 Metadata容器头信息，作为后续节点的参数输入，并且把一帧帧MP3 Frame（即ES Data）传给后续的解码节点。

3. 解码节点（AudioDecoderFilter）: 把ES Data解码成PCM数据，传给输出节点。

4. 输出节点（AudioSinkFilter）: 输出PCM数据，驱动喇叭发声。

由以上示例可知，HiStreamer通过Pipeline框架把音视频处理的每个过程抽象成一个个节点。这些节点是解耦的，可以灵活拼装，从而可以根据业务需要拼装出不同的Pipeline。同时，为了使多个节点能更好地协同工作，HiStreamer还支持节点间的参数自动协商。

2. HiStreamer插件介绍

了解了HiStreamer的Pipeline框架后，我们再来看看HiStreamer插件。

HiStreamer的Pipeline框架的很多节点（比如输入节点、解封装节点、解码节点、输出节点等）都支持插件扩展。通过插件，节点的功能变得更加丰富、更加强大。

插件的应用场景非常广泛，比如：

● 媒体格式非常多，且以后还会有新的格式产生，可以通过插件支持新的媒体格式。

● 不同OS平台或设备，处理方式存在差异，可以通过插件支持不同的处理方式。

● 不同类型的设备，需求不同，能提供的CPU/ROM/RAM资源多少也不同，也可以通过插件来支持。

3. 弹性部署

HiStreamer基于管道（Pipeline）和插件（plugin）的软件架构，可以根据设备的硬件和需求差异实现弹性部署。

图3 HiStreamer弹性部署

如图3所示，Mini设备（比如音箱），它的CPU处理能力很弱，ROM/RAM资源很少，需要的功能也比较少，只需要音频播放功能。HiStreamer可以配置成只支持音频播放，并且选择轻量级的插件，配置同步解码模式，减少资源消耗。而Small设备，CPU处理能力强一些，ROM/RAM空间大一些，需要音频播放和视频播放功能。HiStreamer可以配置成支持音视频播放，并且选择功能更强的插件。