实例详解对Serverless SQL大数据分析技术的应用

近年来， Serverless作为一种新型的互联网架构直接或间接推动了云计算的发展，同时基于Serverless的轻量计算也成为了新的技术热点，而Serverless SQL大数据分析产品就在此背景下应运而生。

目前，国内云计算厂商UCloud推出的一款基于Serverless的SQL分析计算引擎USQL，可轻松完成面向海量数据的数据建模工作，SQL即可完成数据查询和分析，极大降低使用大数据的门槛，且无需数据库管理员和运维人员，大幅度改善企业对大数据工程师的依赖。

下面通过实例来对Serverless SQL大数据分析技术的应用做出详解：

爱普新媒是一家专注于移动互联网产品研发和新媒体整合营销的高新技术型公司，旗下拥有100余款精品软件，内容涵盖日常生活、效率工具、文章资讯等多个方面，主营以天气预报、快游等综合自媒体矩阵为载体的推广业务和以云魔方DSP移动互联网广告分发平台为基础的广告投放业务。

目前爱普新媒广告业务数据规模达到数百TB，日增长量为1TB左右，业务日常不固定的分析需求非常多。在现有的大数据处理方案下，数据部门每月需投入大数据工程师20个人/日，平均每次需求处理时长为1.8天，此外还需额外花费数千元维持一个数据仓库集群。基于已有架构，数据部门将广告日志数据压缩后存放于对象存储UFile中，接收到业务分析师不固定的数据需求后，再将用于分析的原始数据，临时加载到数据仓库UDW中，完成SQL分析后实施清除操作。

图：爱普新媒现有架构

在已有架构的模式下，爱普新媒面临着来自业务和数据分析部门极大的挑战：

业务部门：

（1）由于数据规模较大，业务分析师无法自主完成分析，必须极大程度依赖大数据工程师；

（2）任务处理周期长，若出现新的需求变更或分析结果未达预期的情况，需要重新走一遍处理流程；

（3）当对分析结果存有疑问时，无法查看原始数据进行校验。

数据部门：

（1）业务部门每月的不固定数据分析需求非常多，数据部门有限的技术人力资源难以支撑；

（2）需求变动返工次数多，导致大量重复性工作；

（3）随着数据日增长量的不断提升，用于临时存放不固定需求数据的GreenPlum成本不断在增加。

爱普新媒对业务改善的诉求便是：可支持数百TB规模的数据分析、业务分析师可独立完成不固定需求分析工作、具有较强的Ad-Hoc能力、可缩短每次需求处理时长、可降低计算成本投入和运维投入。

针对以上问题，UCloud使用USQL产品帮助爱普新媒对现有业务数据处理架构做出了改善。UCloud发现，爱普新媒现有架构中计算与存储是分离的状态，其原始数据并未与GreenPlum强耦合，这为更换分析引擎的方案实施提供了便利。

GreenPlum数据平滑切换至USQL

首先在新架构中使用USQL替换原先用于临时加载数据的GreenPlum，省去数据从UFile导入到GreenPlum的过程，使得业务分析师能够直接通过SQL分析UFile中海量数据，全程无需大数据工程师的参与。

图：爱普新媒新架构

USQL升级保障多格式数据支持

此外，数据对接中发现，爱普新媒的数据格式为JSON并通过GZIP格式压缩，UCloud了解后一周内完成USQL产品升级，得以支持这两种数据格式，减少对接上的障碍，并协助爱普新媒重新布局其现有数据，目前爱普新媒实际业务SQL已全部落地，同时完成产品培训以及现场演示。

图：实际业务SQL示例

最终，我们对应用了USQL的爱普新媒新数据平台与原平台进行了对比分析：

1、计算成本降低97.5%

相较于爱普新媒现在每月花费在传统数据仓库（用于临时存放数据）的数千元，处理同样的数据，USQL可将成本控制在每月几十元，因为USQL按照实际分析数据量计费，每GB数据分析价格极低，且不使用时不计费。

2、任务周期缩短55.6%

爱普新媒现有架构下，处理不固定的数据需求，数据导入与分析平均处理时长为1.8天，而USQL可省去数据导入的步骤，减少运维工作量，大幅度缩短每次任务完成时间。

3、分析效率提升5倍

爱普新媒所有真实业务SQL均已落地，其中最耗时的SQL分析时间可从600秒降至118秒，整体明显提高SQL分析效率。

4、大数据工程师投入降为0

目前每月需投入大数据工程师20个人日，使用USQL产品，业务分析师可直接通过SQL在对象存储UFile中完成数据分析，极大减少对工程师的依赖，有限的人力资源可得到更好的利用。

爱普新媒CTO牛德恒总结道：“使用USQL产品，用户在原有的数据文件基础上进行数据建模，即可使用SQL进行业务数据的快速查询，此种方式对原有数据文件改动较小，用户不用关注大数据分布式处理的过程，业务迁移方便。对比我们现有的大数据处理方案，节省80%的服务器成本，提升50%数据分析速度，同时也缩短了新业务的开发周期，值得推荐。”