解析短视频平台背后的黑科技技术

一、粉丝经济时代，抖音成为现象级流量平台

在粉丝经济时代，抓住流量意味着拥有一切可能。抖音作为现今最火的短视频平台，日活跃用户已超过6亿，每天数以亿计的视频被播放、转发和评论。如此庞大的数据规模和访问压力，没有强大且稳定的IT基础设施显然是hold不住的。

即便内容创作者没有粉丝基础，但上传的视频内容足够优质，同样有机会成为点播量过千万的网红博主。这得益于平台的智能推荐机制，将短视频推送到对它感兴趣的用户面前，进而促进转发和关注，增加用户黏性。抖音火爆的背后，离不开IT发展带来的技术红利，今天我们就来扒一扒抖音背后的“黑科技”。

二、短视频平台如何将你想看的视频推送到你面前？

一条短视频从制作到呈现在用户面前，大致会经历以下过程：内容制作者负责拍摄视频素材、剪辑成片，并上传到短视频平台；短视频平台对上传的视频进行高度智能化的消重、审核以及特征识别，并根据识别标签自动匹配用户群进行智能推荐分发；最后，用户就能在移动端看到平台推送的各类短视频了。

三、海量视频场景，主流玩家为何青睐对象存储？

在上述流程中，短视频平台会将上传成功的视频存到对象存储中，基于对象存储实现视频内容从上传到处理再到分发的全生命周期管理。无独有偶，随着“互联网电视”的风靡，传统的数字电视业务（包括视频直播和点播服务）也在不断扩张，传统NAS已捉襟见肘，主流的服务提供商同样面临着向对象存储转型的刚需。

即便SAN、NAS、分布式文件系统等存储产品十分成熟，可主流玩家纷纷选择对象存储作为数字底座，原因何在？

海量空间 成本可控

作为短视频领域的顶流，抖音的母公司——字节跳动每天处理的数据就超过50PB，存量数据早已达到EB级。另据亚太CDN产业联盟大数据平台监测统计，字节跳动及旗下公司的CDN峰值总带宽已超过100Tbps。

在传统的数字电视领域，趋势同样明显。以天威视讯为例，作为深圳地区数字电视服务的提供商，其用户规模超过百万级，存储需求早已突破PB级。面对海量存储、高并发访问以及大规模部署场景下成本优化等现实问题，传统的集中式存储显然无法应对，对象存储成为管理海量数据的必然选择。

基于HTTP协议访问更友好

大多数文件系统使用的是POSIX接口，而对象存储采用基于HTTP协议的RESTful Web API，应用端可直接通过HTTP协议读写数据，这更适合短视频、数字电视等涉及海量视频存储的应用场景。

海量视频文件读取性能好

在这类场景中，底层存储承载了动辄千万甚至上亿个文件，并发访问量也达到了前所未有的量级。对比文件系统，对象存储的扁平化数据结构，能够提供更好的访问性能。

另外，各类应用广泛采用元数据检索的方式进行数据管理，通过对元数据的匹配得到唯一索引，再据此找到并读取数据。对象存储的扁平化数据结构和K/V（键值对）访问方式更适合这样的数据管理方式。

MOS为海量视频存储而生

针对上述场景，杉岩基于MOS海量对象存储，打造了完善的海量视频存储解决方案，满足数字电视服务、媒资管理等应用场景对存储的需求，为广电、传媒等行业客户带来了新的选择。

匹配海量视频场景

MOS存储集群可弹性扩展至数千个节点，提供EB级容量、百TB级聚合带宽，轻松应对海量存储和高并发访问压力，应用无感知扩容。

为视频处理提供支撑

MOS集成智能数据处理引擎，可对视频内容进行二次加工，比如智能压缩、智能标签等等，同时提供精细化的检索工具，快速获取视频内容。此外，MOS支持引入第三方视频处理插件，实现数据处理能力的按需扩展。

丰富的管理策略

MOS提供基于标签控制的共享、转移、删除等策略，结合智能数据处理引擎的自动标签、智能处理等能力，实现视频内容在上传、存储、处理、分发等阶段的自动化管理，在提升业务效率的同时，也简化了管理运维。

综合成本优化

MOS通过大比例纠删策略提升硬盘空间利用率，通过数据重删和压缩特性缩减无效数据，通过数据自动分层均衡容量与成本，通过配置大容量数据盘和恰当地服务器硬件节省硬件开支，这使得综合成本显著降低。

市场认可度高

从市场认可度来看，在IDC发布的《IDC China SDS Object Market Overview（2020 Q2）》报告中，杉岩对象存储软件市场份额名列第二。至今已累计服务数百家行业客户，产品及方案成熟，赢得了客户一致认可。

四、成功实践：帮助天威视讯搭建近5PB视频存储平台

天威视讯是我国有线电视网络行业的第一家股份制企业，负责深圳地区有线电视及宽带网络的建设、经营和维护，提供有线电视收视服务、电视增值业务以及互联网接入服务等。

2020年初，天威视讯采用杉岩MOS海量对象存储作为中心CDN的后端存储。该项目部署7节点对象存储集群，总存储空间近5PB。新建的存储系统通过S3接口与威视云平台的中心CDN完成业务交互，实现直播频道的实时注入和点播节目的非实时注入，以及二级CDN回源流量的分发。集群带宽高达90Gbps，为视频直播、点播服务提供稳定支撑。

项目上线至今，MOS持续为视频直播/点播服务提供稳定支撑，为客户带来了多项收益。

性能提升20倍，用户体验更好

集群带宽90Gbps以上，整体性能较原有NAS提升20倍以上。视频推送延时低至毫秒级，用户收视体验显著提升。

安全性提升30%，可靠性更高

采用3副本的数据保护策略，视频注入文件分片后，均衡存储在所有节点上，安全性提升30%。

管理效率提升50%，资源分配更灵活

为不同内容提供商划分不同的桶空间，便于后期灵活的进行内容管理，也可根据版权期限，通过生命周期管理实现策略性的数据导入、迁移、删除，资源管理效率提升超过50%。

恢复效率提升10倍，运维更简单

智能化运维无需人工巡检，为运维工程师减轻工作量。故障节点秒级切换，加之多点并发恢复机制，恢复效率比传统NAS提升10倍以上。故障风险可预知，避免了潜在的经济损失。

得益于用户规模增长，新兴的短视频应用和传统的数字电视业务都在扩张，随之而来的是海量视频资源爆发式增长，也让对象存储有了新的用武之地。杉岩MOS海量对象存储，聚合海量存储、智能处理等能力，为视频点播、内容分发等服务提供强大的存储支撑，无疑是数字底座的最佳之选。

责任编辑：tzh