侵权投诉

各种IT工程师的区别

工程师人生 2019-03-08 14:20 次阅读

大数据开发工程师、BI工程师、数据仓库工程师、ETL工程师、有什么区别?

今天我们来看一位大神如何解释。

BI,商务智能。BI工程师即为从事商务智能行业的工程师。从需求分析师到数据仓库架构师、到etl工程师、数据分析,报表开发工程师、数据挖掘工程师、etc.,都可以称之为BI工程师。

etl工程师:是从事系统编程、数据库编程与设计,要掌握各种常用的编程语言的专业技术人员。也叫数据库工程师。

各种IT工程师的区别

1

一味的解释数据仓库概念可能没意思,我们从不同角色出发吧

老板 :我是一家手机公司的老板,今天要向去董事局汇报,我要准备一份介绍过去三年的用户增长、用户留存、用户活跃度、手机里面每个APP使用率等情况的报表,假如下面没我下面没有BI,那我肯定就蒙逼了。。

BI : 我是一名非技术BI,我天天看竞品的分析报告,看双十一销量,看各种评论,知道自己的产品有哪些短板有哪些长处,我分析南北地域差异,国内外客户喜好,总之我在手机领域有着很强的行业解读能力和数据解读能力,我可以画出非常漂亮的图表和PPT。今天老板让我出一份报表,我还要去刷脸找ETL工程师帮我跑出这次报告的数据,基于这份数据我要给出一定的解读,为啥这个月手机卖得不如上个月,为啥用户流失越来越严重等等都是我要去做的。

ETL工程师 : 我是食物链最底层的苦逼ETL工程师,我会写shell、我会搭hadoop/hive/hbase、会写超复杂逻辑的sql,今天那个不会自己计算数据的BI又让我跑几个数据,我本想让她提需求流程的,但她说这是老板要的(运营惯用的杀手锏!!!),要加急处理,我只能放下手头的活儿给她跑数据了,花了半个小时把数据跑好给她,希望能就这么交差吧。

大数据工程师,就是我们所知的大数据开发工程师,主要从事大数据平台的搭建,对个人技术要求偏高,需要从业者具备java基础,还得具备以下技术能力,hadoop、hive、hase、flume、storm、kafka、spark等,是一个非常庞大的技术集群。

如果你以为我每天就做这点事那你就错了,我平时的工作可不仅仅就是完成上面交给我的任务哦,我还负责数据ETL过程、数据建模、定时任务的分配、甚至有时Hadoop集群的维护等等都得我去做,每件事单独拿出来都可以拿出来写本书。

就拿ETL过程来说吧,你要把原始数据从各种数据库、各种服务器的不同业务日志归一化到同一类格式,要约定好分隔符,然后导入到分布式文件系统HDFS,甚至你还要和业务系统定义数据格式出规范,数据收集完,你还得出中间表,数据过滤,格式统一,ID统一,维度统一,通过不同的数据现象进行数据,完了,你就得出一些日报周报之类的数据了,这时候你要按照需求把数据组织成一定的格式然后导Mysql、或者HBASE等等。

总之你就是需要把数据各种收集、各种处理、然后各种导入导出,是不是很有意思?

2

不过这些数据仓库都非常初级,其中ETL工程师可发挥的空间太多了

1、正常情况下,老板 —》 BI —》 ETL 出一份报告,这中间能否BI直接去计算数据?sql太复杂,那么可不可以一切数据标签化,BI甚至老板要什么就选什么?

2、ETL工程师可以把数据收集自动化、可以规范业务日志格式、可以将一切都配置化,但是这些都是基于N+1的,也就是说今天的发生了什么一定要到明天才能看到,那么有没有一个系统能把数据分析做到实时或者准实时?参考双十一大屏,马总要是到12号才能知道成交了多少笔不劈了那帮做数据的才怪。

3、目前绝大部分分析系统都基于离线计算(HADOOP/ODPS),那这里有个问题了,运营或BI想看个数据还得你离线慢腾腾跑完才能看到,那么有没有一个系统可以支持你再大的数据量,再复杂的逻辑,毫秒出数据?

我没有提到的还有算法工程师、大数据运维工程师等等。

3

数据仓库的概念很广很大,但在大数据应用面前也不值一提。

如果把数据价值分层,这里分层的办法很多,我只列举一种方法,有人分过5层

第一层: 为老板提供决策支持,例如传统的财务报表

第二层: 为运营提供决策支持,例如数据化非常彻底的淘宝运营们

第三层: 为产品提供支持,例如有产品经理们会拿着报表天天看研究自己的某一个按钮摆放位置对不对

第四层:数据用于生产,比如直接对接广告系统产生收益,比如直接对接推荐系统为用户推荐商品,实现千人千面,再比如利用手机APP直接为不同用户push消息

第五层:大数据交换,数据产生直接受益

大部分公司能做到前两个层次就已经很不错了,如果能做到第三层,就已经很牛逼,做到第四第五层次,国内互联网公司不超过2家,大数据应用太大了,不知从何说起,以后聊吧。

4

针对评论中的一些问题做些统一的解释

问:数据交换的理念

有人提到数据交换,数据交换不是简单的我给你一点,你给我一点;也不是我给你钱,你给我点数据。

原因是这些模式基本走不通

1、数据很难定价,无法简单的将数据定义为商品,数据供给方也无法去衡量一份数据能产生多大的价值,只有在具体的应用场景中才能大概估计它的价值,因此几乎没有一种简单公平的机制去为交易双反指定交易规则。

2、数据拷贝成本几乎没有

如果是一部iPhone,如果想要造出一模一样的一部iPhone成本奇高,所以苹果公司可以放心大胆的把手机卖给你而不怕你仿制,但是数据不行,因为数据几乎没有拷贝成本。

那么带来一个问题,如果我把这份数据一百万卖给你,我几乎除了『你的诚信』之外没有任何方法去限制你不把数据折价买个其它更多第三方,那这份数据的市场价值很快荡然无存。

3、隐私

商业有很多隐私规则,用户也有很多隐私,这些都是不能简单的通过拷贝的去交换的,如果给对方一份数据,例如:用户的在某APP的浏览行为,那么如果被第三方运用在电话骚扰,广告弹窗之类的场景中,肯定是不行的。

所以数据的交易一定不是通过价格衡量,也不能简单的数据拷贝

数据交换 最理想的方式应该是,双方共同拿出一些东西,然后服务于某个场景,而数据导出等行为都是被禁止的,双方不能看到对方的数据也不能导出对方的数据,可被导出的结果一定是无害、不侵犯隐私的、不对原数据价值产生影响的东西。

而这样一种数据交换的方式却需要非常大的体系建设,平台建设,制度建设。

这样的体系和平台,需要长时间的摸索和市场培育,数据人任重而道远。

收藏 人收藏
分享:

评论

相关推荐

如何解决功耗影响时序的问题?有哪些准则?

如何解决功耗影响时序的问题? 工程师在解决功耗问题的时候,有哪些准则? ...
发表于 04-08 06:11 0次 阅读
如何解决功耗影响时序的问题?有哪些准则?

去耦电容真的有必要吗?

一个原型设计板省去了比较麻烦的去耦器;但获得的任何结果都无法与预期结果相匹配。 最后,添加一个去耦,问题解决了。 什么我...
发表于 04-02 07:46 0次 阅读
去耦电容真的有必要吗?

【硬件测试】华为2016校招·硬件技术工程师机考试题及答案

华为硬件工程师面试考题及答案
发表于 03-30 10:16 71次 阅读
【硬件测试】华为2016校招·硬件技术工程师机考试题及答案

福禄克首届工程师节拉开序幕!好礼享不停!

工程师是新时代技术创新的主体,社会的不断进步凝聚着他们的心血和智慧。但他们的工作并不如我们想象得那样....
的头像 西西 发表于 03-17 16:47 243次 阅读
福禄克首届工程师节拉开序幕!好礼享不停!

热回路到底指的是什么?

工程师都离不开的热回路问题,到底是什么?
发表于 03-16 12:18 0次 阅读
热回路到底指的是什么?

COM-HPC™ Client入门套件-基于第11代英特尔®酷睿™处理器

ATX载板 “conga-HPC/EVAL-Client” 集成了新版COM-HPC Client标....
发表于 03-10 14:17 1759次 阅读
COM-HPC™ Client入门套件-基于第11代英特尔®酷睿™处理器

浅谈普通工程师的一辈子人生

一位老工程师的70年人生小结 (1)读书时期 孩时在农村,家贫。出生时差点被日本鬼飞机炸死,母亲把我....
的头像 工程师人生 发表于 03-08 12:06 286次 阅读
浅谈普通工程师的一辈子人生

工程师做电路设计有哪些注意事项?

工程师做电路设计需要了解的十一个不要
发表于 03-08 08:35 12次 阅读
工程师做电路设计有哪些注意事项?

PCB工程师需要具备的能力要求/工作内容/工作职责 ?

入门级PCB工程师的能力要求/工作内容/工作职责 初级PCB工程师的能力要求/工作内容/工作职责 中级PCB工程师的能力要...
发表于 03-08 06:01 0次 阅读
PCB工程师需要具备的能力要求/工作内容/工作职责 ?

连接器选项怎么搞?医疗设备如何选择正确的连接器?

工程师首先要考虑的因素就是决定使用现成的连接器、混合式版本还是客制化解决方案。那么连接器选项怎么搞?医疗设备如何选择正确...
发表于 03-06 06:00 0次 阅读
连接器选项怎么搞?医疗设备如何选择正确的连接器?

如何成为高级嵌入式工程师

怎么学习怎么积累成为高级嵌入式系统硬件工程师?还要具备的技能;‘在学习单片机的过程中积累必要的学习经验和知识是非常有必要...
发表于 03-05 07:35 101次 阅读
如何成为高级嵌入式工程师

怎么选择合适的运放输入类型?

  工程师要怎么选择合适的运放输入类型?平常工作中运放输入器件类型有什么了? 大牛知道不同类型输入器件对运放关键参数的影响...
发表于 03-05 06:19 0次 阅读
怎么选择合适的运放输入类型?

作为一个机械工程师的转行感悟

自我介绍一下,2011年毕业,专业是机械设计制造及其自动化,毕业后在某大型民企做制造工程师。家里人都....
的头像 工程师人生 发表于 03-04 12:00 454次 阅读
作为一个机械工程师的转行感悟

2021年工业发展挑战机遇并存,加快布局推动网络优化升级

田玉龙预测,2021年,我国工业经济的发展趋势总体向好,而且会越来越好。今年工业发展挑战机遇并存,全....
发表于 03-02 09:27 313次 阅读
2021年工业发展挑战机遇并存,加快布局推动网络优化升级

40岁工程师被公司劝退 人生要有一种紧迫感

下午浏览网页,在某论坛看到一条“40岁工程师被公司劝退”的帖子。 据发帖人介绍,这位工程师四十岁左右....
的头像 工程师人生 发表于 03-01 11:21 347次 阅读
40岁工程师被公司劝退 人生要有一种紧迫感

布线工程师PCB的设计经验

一个布线工程师谈PCB设计的经验
发表于 03-01 10:56 101次 阅读
布线工程师PCB的设计经验

老工程师感悟:职业生涯就像一场马拉松比赛

一个人最终成功与否,在多大程度上成功,也并不是最关键的,关键的是做正确的事情,并且把事情做好的能力。....
的头像 工程师人生 发表于 02-27 10:38 240次 阅读
老工程师感悟:职业生涯就像一场马拉松比赛

30+的程序员如何乘风破浪

作为年轻人,你可以肯定且大声地说“我写的代码比那些四五十岁的老程序员更快更好”吗?千万别太自信了。
的头像 工程师人生 发表于 02-25 14:56 238次 阅读
30+的程序员如何乘风破浪

Qorvo研究员荣获IEEE 微波理论和技术学会的杰出青年工程师奖

Qorvo 研究员 Michael Roberg 博士荣获本年度电气电子工程师协会 (IEEE) 微....
的头像 西西 发表于 02-24 11:34 440次 阅读
Qorvo研究员荣获IEEE 微波理论和技术学会的杰出青年工程师奖

戴尔小企业官网商城匠心升级:更快、更省、更全

自进入中国市场20多年来,戴尔始终坚守承诺、持续创新,凭借领先的技术优势及个性化的解决方案,助力小企....
的头像 西西 发表于 02-24 10:49 360次 阅读
戴尔小企业官网商城匠心升级:更快、更省、更全

如何学习单片机

工程师教你如何学习单片机
发表于 02-01 06:23 101次 阅读
如何学习单片机

泰克推出示波器百科学堂系列,未来工程师的养成之道

示波器一直是工程师设计和调试产品时使用的重要工具,也是电子测量用途广泛而又基础的测试仪器,万丈高楼从....
发表于 01-28 14:58 153次 阅读
泰克推出示波器百科学堂系列,未来工程师的养成之道

【ZYNQ Ultrascale+ MPSOC FPGA教程】第十九章 Hello World(下)

本章从FPGA工程师和软件工程师两者角度出发,介绍了ZYNQ开发的经典流程,FPGA工程师的主要工作....
的头像 FPGA技术专栏 发表于 01-26 09:54 2374次 阅读
【ZYNQ Ultrascale+ MPSOC FPGA教程】第十九章 Hello World(下)

【ZYNQ Ultrascale+ MPSOC FPGA教程】第十八章 Hello World(上)

我们从原理图中可以看到ZYNQ芯片分为PL和PS,PS端的IO分配相对是固定的,不能任意分配,而且不....
的头像 FPGA技术专栏 发表于 01-26 09:47 1197次 阅读
【ZYNQ Ultrascale+ MPSOC FPGA教程】第十八章 Hello World(上)

最先被AI革命的是AI工程师?

坊间流传着这么一个说法:谷歌想回中国,必须靠AI;而靠AI回中国,必须搞个大事情。于是,上周四的晚上....
的头像 工程师人生 发表于 01-25 13:46 633次 阅读
最先被AI革命的是AI工程师?

工程师在PCB设计时需要知道的EMI指南

完整的信号返回平面能有效减少高频信号环路的感抗,感抗越小,产生的噪声电压值也就越小,这就是为何要求在....
发表于 01-22 10:05 430次 阅读
工程师在PCB设计时需要知道的EMI指南

工程师谈高端光刻机有多难制造

随着时代的推移,各国的科技水平都得到了较大的提升,在这种情况下,我们对世界也有了更清楚的了解和认知,....
的头像 工程师人生 发表于 01-21 11:10 440次 阅读
工程师谈高端光刻机有多难制造

PCB设计工程师浅谈绕等长的概念

1.关于等长 第一次听到“绕等长工程师”这个称号的时候,我和我的小伙伴们都惊呆了。每次在研讨会提起这....
的头像 PCB线路板打样 发表于 01-20 12:11 378次 阅读
PCB设计工程师浅谈绕等长的概念

浅谈网络优化工程师的工作和薪资情况

是什么原因让大众对网络优化工程师这个职业产生两极分化的印象呢?
的头像 工程师人生 发表于 01-20 11:58 501次 阅读
浅谈网络优化工程师的工作和薪资情况

GDS-1000B系列数字存储示波器的性能特点及应用

 GDS-1000B系列示波器同时具备100MHz以及70MHz两种频宽选择,搭载四通道或者两通道的....
发表于 01-20 10:03 104次 阅读
GDS-1000B系列数字存储示波器的性能特点及应用

对大数据开发工程师的能力新要求

不管是面试还是实际工作过程中,数据工程师要时时刻刻面对这些层出不穷的技术演进。随着数据的爆发式增长以....
的头像 Linux爱好者 发表于 01-19 16:58 641次 阅读
对大数据开发工程师的能力新要求

奥比中光代表选手获A-tech科技精英赛头名

  20位青年程序员,能够碰撞出怎样的火花? 近日,首届“Inclusion|A-tech科技精英赛....
的头像 奥比中光 发表于 01-18 14:57 580次 阅读
奥比中光代表选手获A-tech科技精英赛头名

一些成熟软件中常用的宏定义

写好C语言,漂亮的宏定义很重要,使用宏定义可以防止出错,提高可移植性,可读性,方便 性等等。 下面列....
的头像 strongerHuang 发表于 01-18 11:21 519次 阅读
一些成熟软件中常用的宏定义

代码比较工具哪家强 分享嵌入式软件工程师最喜欢用的工具

Beyond CompareBeyond Compare是程序员常用的一款轻量级、使用简单的代码比较....
发表于 01-13 10:17 847次 阅读
代码比较工具哪家强 分享嵌入式软件工程师最喜欢用的工具

GitHub 40K Star工程师求职记分享

  本文作者是牛客网知名大佬 CyC2018,在他的 GitHub 有一个高达 40K Star 的....
的头像 嵌入式ARM 发表于 12-30 10:15 466次 阅读
GitHub 40K Star工程师求职记分享

想成为一名电气工程师需要学习哪方面的知识

很多人问我,想成为一名电气工程师需要学习哪方面的知识?今天为大家汇总一下。 01 配电及电气控制基础....
的头像 工控论坛 发表于 12-28 10:22 939次 阅读
想成为一名电气工程师需要学习哪方面的知识

中芯国际急需回到正轨

没想到2020年底,我们又要见证一出闹剧。
的头像 lhl545545 发表于 12-17 09:20 572次 阅读
中芯国际急需回到正轨

NASA飞行工程师收获史上首批太空萝卜

近日,美国有线电视新闻网近日报道,NASA飞行工程师成功收获了国际空间站高级植物培养环境中种植的20....
发表于 12-10 09:20 228次 阅读
NASA飞行工程师收获史上首批太空萝卜

如何让示波器为工程师而生

什么样的产品最能够打动用户?毋庸置疑,一定是为用户量身打造的产品。小米手机曾经掀起了一次又一次抢购热....
的头像 工程师人生 发表于 12-08 10:38 461次 阅读
如何让示波器为工程师而生

工程师:自己建一个业余实验室,也是不错的选择

如果你在承担工作以外还另有研究兴趣;如果你面临或已经退休;如果你有科技制作或创造产品的愿望,为自己建....
的头像 工程师人生 发表于 12-07 10:51 885次 阅读
工程师:自己建一个业余实验室,也是不错的选择

想成为一名FPGA工程师 你对FPGA的结构有多了解

FPGA的起源和发展 1985年Xilinx发布了全球首款FPGA芯片——XC2064。在当时那个年....
的头像 工程师人生 发表于 12-03 10:58 1416次 阅读
想成为一名FPGA工程师 你对FPGA的结构有多了解

PCB板布局中的Power的回路设计

Han连接器通过PCB安装适配器连接到电路板上,并通过它分配数据、信号和功率。它基于Han元件和公司....
的头像 PCB线路板打样 发表于 12-03 10:38 1593次 阅读
PCB板布局中的Power的回路设计

面对工作以及未来 工程师老生常谈的四个问题

在收集了大部分人所疑惑的问题,小编这里罗列了4个,进行交流探讨,一起学习。
的头像 工程师人生 发表于 12-02 09:21 635次 阅读
面对工作以及未来 工程师老生常谈的四个问题

洲明UCE认证工程师训练营之旅首站落地山东

UCE,是“Unilumin Certified Engineer”的缩写,即洲明认证工程师体系,旨....
的头像 电子发烧友网工程师 发表于 12-01 14:32 725次 阅读
洲明UCE认证工程师训练营之旅首站落地山东

集成电路设计工程师的薪资未来会是什么样子

知乎上有网友提问:当前集成电路设计工程师的薪资是否可持续? 这个话题应该是我们所有IC人都关心的一个....
的头像 电子发烧友网工程师 发表于 11-20 09:45 1739次 阅读
集成电路设计工程师的薪资未来会是什么样子

前端工程师面临招工难的三大原因

知乎上有网友提问:当前集成电路设计工程师的薪资是否可持续?
的头像 工程师人生 发表于 11-18 10:17 778次 阅读
前端工程师面临招工难的三大原因

消息称华为会分给荣耀6000名工程师,已商榷出新公司员工的两种补偿方案

IT之家11月17日消息 今日早间,华为投资控股有限公司宣布决定整体出售荣耀业务资产,收购方为深圳市....
的头像 工程师邓生 发表于 11-17 11:55 1973次 阅读
消息称华为会分给荣耀6000名工程师,已商榷出新公司员工的两种补偿方案

当前集成电路设计工程师的薪资是否可持续?

虽然IC随着摩尔定律的失效,在国外已经是夕阳产业,但在国内还是有很大的发展空间,加之国家目前对IC行....
的头像 嵌入式ARM 发表于 11-16 15:24 758次 阅读
当前集成电路设计工程师的薪资是否可持续?

快来看看这29个错误你有没有犯过?

对于市面上的指示灯,红绿黄橙等颜色的,不管大小(5MM以下)、封装如何,都已成熟了几十年,所以价格便....
的头像 传感器技术 发表于 11-12 14:01 585次 阅读
快来看看这29个错误你有没有犯过?

普通人和工程师的思维有何不同

有个工程师,当有人问他年龄时,他的回答永远是出生的年份,就有人觉得奇怪:为什么不直接说25岁? 他思....
的头像 工程师人生 发表于 11-12 10:24 810次 阅读
普通人和工程师的思维有何不同

Fluke F317便携式真有效值钳型表的功能介绍

新型的317是根据电气维护工程师对钳表的使用需求进行深入研究后设计的新款钳型表。 它细小的钳口,轻便....
发表于 11-12 09:38 292次 阅读
Fluke F317便携式真有效值钳型表的功能介绍

拜登当选美国总统对工程师领域有何影响

特朗普频频对中国企业出手,也让中企未来出海的前路变得扑朔迷离。特朗普态度已明,但假使拜登上台,他又会....
的头像 工程师人生 发表于 11-10 10:06 1073次 阅读
拜登当选美国总统对工程师领域有何影响

工程师人生:什么样的人生才算成功?

北大毕业后,他进入了当时正在崛起的华为做起了销售,后来又转到研发部门做基础研发,成为一名工程师。
的头像 工程师人生 发表于 11-02 11:38 873次 阅读
工程师人生:什么样的人生才算成功?

看顶尖芯片公司工程师写总结报告

Seeed STM32MP157C EVK开发板试用报告概述安装系统和必要的系统工具包 通过SD卡烧....
的头像 FPGA入门到精通 发表于 10-30 17:06 852次 阅读
看顶尖芯片公司工程师写总结报告

讨软件开发过程中关于角色、重构和质量的问题

本文摘自华为云社区,作者:Jet Ding 每天都会有更多的技术发生,每家公司都在互联网上,每家公司....
的头像 华为开发者社区 发表于 10-22 10:53 630次 阅读
讨软件开发过程中关于角色、重构和质量的问题

电子工程师:研发工作就像一场漫长的徒步之旅

本来计划是拿出一半时间工作,剩下的时间可以用来学些东西,另外也经常会有朋友找我做一些项目,这样时间支....
的头像 工程师人生 发表于 10-13 11:21 1409次 阅读
电子工程师:研发工作就像一场漫长的徒步之旅

对任何工程师的建议,让他们在产品意识上更强

有产品意识的工程师不会满足于得到一个规范,然后立即去实现它。他们会思考其他的想法,并与产品经理进行沟....
的头像 嵌入式ARM 发表于 10-12 17:41 731次 阅读
对任何工程师的建议,让他们在产品意识上更强

最有用的mysql问答

想进大厂,mysql不会那可不行,来接受mysql面试挑战吧,看看你能坚持到哪里? 1. 能说下my....
的头像 数据分析与开发 发表于 09-30 17:43 649次 阅读
最有用的mysql问答

一场史无前例的芯片人才争夺战正在上演

美国一次一次制裁,国产芯片亟待补位。资本跑步入场,广发英雄帖,猎头入围,一场史无前例的芯片人才争夺战....
的头像 电子发烧友网工程师 发表于 09-28 09:31 803次 阅读
一场史无前例的芯片人才争夺战正在上演

国外的工程师面试是个什么情况

就算没有上百个,您也有几十个问题可以向EE应聘者提问(小编在翻译时特地保留了英文方便大家对照):
的头像 工程师人生 发表于 09-26 11:16 1237次 阅读
国外的工程师面试是个什么情况