FPGA如何让视频编码与AI非常简单的结合

Aupera是一家专注于视频数据应用的新一代系统解决方案的创业公司，Aupera资深AI工程师Narges Afsham博士接受LiveVideoStack采访时表示，在FPGA中集成视频编码与AI是水到渠成的。

LiveVideoStack：针对视频云服务市场，您认为国内外有哪些不同？

Narges Afsham：我们可以发现过去这几年直播流及短视频剪辑市场的发展，中国拥有无与伦比的用户数量，面临视频云服务市场，相应提出更多挑战及复杂性，包括更高的并发率、更多样的终端设备及更复杂的网络条件等。另外，视频内容理解是中国必须具备运行视频云服务的能力，无论是使用人力资源还是技术资源。虽然我们发现大玩家如Facebook、Instagram等，正一窝蜂地提供越来越多的相关视频服务，包括Facebook直播、Facebook点播、以及他们最新推出的多人AR视频游戏，这都要求视频云服务提供商在处理海量视频流及数据时，持续不断突破技术壁垒和瓶颈。我个人认为中国有更多的用户群推动视频云服务提供商不断改进服务，视频云服务提供商集中在满足大规模用户的需求，提供更优化的服务，而美国视频云服务提供商在提供视频相关的新应用和技术方面更有创新性一些。

LiveVideoStack：能否介绍下Aupera与Xilinx合作开发的视频处理系统平台Aup2600系列的应用情况。

Narges Afsham：Aup2600系列是Aupera基于Xilinx最新MPSoC FPGA设备开发的新一代视频处理系统平台，该系统架构基于分布式计算架构对视频处理进行设计及优化，在处理大规模视频流方面突破了CPU的瓶颈。对于直播流转码及音视频混合流任务，相对传统X86服务器，该系统在并发流量处理方面实现20-30倍的效率。更重要的是，系统可升级实现视频AI相关应用，无需改变硬件及附加，这正是它令人激动的地方。系统FPGA资源已被保留用于AI实践，只需要一小部分实现视频编解码任务，你能想象其中蕴含的潜力。通过我们的系统，我们能实现对现实的实时视频内容理解，及视频编解码及AI应用在同一芯片组内完成。

LiveVideoStack：为什么视频编码/转码与AI应用可以在FPGA上结合在一起？具体的应用场景是什么？

Narges Afsham：视频工程师将受益于硬件加速编解码及它动态高效的QP分配，机器学习工程师受益于在硬件实现算法的推理速度，将它们集合统一在FPGA是非常自然的，这也极大地减少了开发周期。

LiveVideoStack：Aupera基于FPGA的视频编解码融合AI的解决方案有哪些独特的优势吗？

Narges Afsham：大大提升大规模海量视频并行处理的效率，对视频质量及视觉效果都有所改善，更重要的是系统升级实现AI相关应用，不需要添加或修改硬件，并能做到视频流的实时分析。

LiveVideoStack：业界公众的AI主流芯片，除了CPU以外，还有GPU、FPGA和ASIC。我们都知道FPGA比ASIC有更高的灵活性，比通用CPU和GPU有更高的效率。越来越多的企业选择FPGA作为AI计算平台，如微软，亚马逊，百度等，谷歌最近曝光的专用于人工智能深度学习计算的TPU，其实是一款ASIC。对此，您怎么看FPGA＋AI，还有ASIC或通用CPU＋AI？

Narges Afsham：这一切都是基于应用程序的具体要求。GPU、CPU及FPGA在延迟、能效比 、开发时间，甚至是芯片大小都不同。GPU浮点运算强，设计灵活性强。

Xilinx MPSoC集成CPU与FPGA于一体，与普通FPGA相比有更高的灵活性，功能更加强大，特别适用于数据中心的大规模应用，以及边缘节点的低功耗应用。

同时，我们都将目睹机器学习算法和网络的快速发展，几乎每天都有改变或更新，从灵活性及可配置性方面，FPGA比ASIC性能好得多。