高薪大数据工程师必备——实战项目经验

如果你是刚转行大数据不久的Java、PHP等程序员或入行新人，这套学习宝典能帮你迅速摆脱工作困扰，巩固掌握优秀工程师的必会技能：

缺乏工作经验，想短时期内获得一份大数据开发相关工作；

接触不到核心技术，不懂底层源码，不会搭建系统架构，提升太难；

业务逻辑欠缺，想丰富实战经验，进大厂冲击高薪。

一、高薪大数据工程师必备——实战项目经验

本部分选取当下应用最广的企业项目，基于大厂脱敏数据，以 Spark 为主要核心框架，覆盖 Kafka、Hbase 及 Hadoop等大数据生态技术，帮你360 度探索大数据在出行领域的技术落地，了解大数据架构的设计奥秘，增加简历含金量。

01

大数据背景下的智慧出行

通过学习，可帮你了解大数据背景下的出行业务，熟知大数据技术点的使用以及出行方面的业务逻辑。

（项目可视化展示）

1、智慧出行项目概况及车辆轨迹数据处理

技术关键词：

Flume、Kafka、SparkStreaming、Hbase、Redis、SpringBoot 等

主要内容：

智慧出行大数据项目概述；

项目需求及架构选型；

开发项目模块构建；

数据回放功能的实现；

轨迹监控模块的开发。

斩获技能：

掌握 SparkStreaming 消费 Kafka 自主维护 Offset 的方式。

2、看大数据如何帮你抉择最合适的上车地点

技术关键词：

SparkCore 、SparkSQL、Hbase 、Phoenix 、SpringBoot

主要内容：

虚拟车站的概念详情；

虚拟车站的计算方式；

使用代码实现虚拟车站的计算统计。

斩获技能：

熟知常见的地图属性；

掌握虚拟车站的计算方式；

掌握API的使用等。

3、智慧出行项目展示及应用 + 大数据技术答疑

技术关键词：

Maxwell、Mysql、SparkStreaming、 Kafka、SparkSQL等

主要内容：

智慧出行的其他功能模块开发；

Spark任务的监控以及任务的调优；

业务数据库实时同步功能实现。

斩获技能：

有一定的架构认知能力；

掌握常见的大数据技术架构；

能熟练驾驭使用其他大数据框架等。

01

二、优秀大数据工程师必会——扎实技能储备

本部分对 Spark、Hadoop 等主流框架做了专项讲解，可帮大家查漏补缺，巩固各技术点，这些都是高薪工程师必知必会技能，对你日后进阶提升或是进大厂都会有不少帮助。

02

1、基于 Spark 源码自定义数据源开发

如何解决 HBase 热点问题

如何基于源码自定义开发 HBase 的数据源

如何在数据源处进行列剪枝和谓词下推

2、Hadoop 分布式文件系统之 HDFS 架构

HDFS 是如何实现有状态的高可用架构

HDFS 是如何从架构上解决内存受限问题

深入理解 HDFS 的架构演变

揭秘 HDFS 如何能支撑亿级流量

3、实时计算技术之 SparkStreaming

Spark Streaming 应用场景、原理分析

Spark Streaming 集成 Kafka 讲解

Spark Streaming 如何实现 Exactly-Once 语义