侵权投诉

大数据工程师的日常工作是什么

工程师人生 2019-05-30 15:52 次阅读

在工作岗位上,大数据工程师需要基于Hadoop,Spark等构建数据分析平台,进行设计、开发分布式计算业务。负责大数据平台(Hadoop,HBase,Spark等)集群环境的搭建,性能调优和日常维护。负责数据仓库设计,数据ETL的设计、开发和性能优化。参与构建大数据平台,依托大数据技术建设用户画像。

大数据工程师的日常工作是什么

除开以上是需要负责处理的工作,还需要负责分析新的数据需求,完成数据处理的设计(文档)和实现。对大数据应用产品设计及解决方案设计,通过大数据挖掘用户需求。负责数据处理程序设计框架改善,数据处理性能优化, 系统数据处理的能力提高等等。

能够纯熟处理以上工作的大数据工程师,月薪轻松突破15K不难。当下行业极缺人才,一名合格的大数据工程师是诸多企业争抢的对象,并且开出来的薪资都不菲。以北京为例,大数据工程师的起步薪资,都是10000起,随着工作能力的提升,薪资待遇也会跟着提升。

收藏 人收藏
分享:

评论

相关推荐

海量数据推动云计算和IPFS迅速发展,存储器持续向大容量、高性能演进

据IDC的预测,到2024年,全球将创建、复制和消费143ZB的数据,其中中国创建的数据为36ZB,....
的头像 荷叶塘 发表于 04-18 17:40 273次 阅读
海量数据推动云计算和IPFS迅速发展,存储器持续向大容量、高性能演进

浅谈智能电力运维的优势

电力智能运维系统主要是为设备能源用户、设备制造商、设备运维公司、政府主管部门等提供设备能源管理大数据....
发表于 04-16 16:26 100次 阅读
浅谈智能电力运维的优势

上千家材料企业现场对接需求 2021新材料供应链峰会成功举办

本次峰会以“开放、生态、平台”为主题,吸引了500+制造业采购、500+新材料供应商、300+新材料....
的头像 西西 发表于 04-16 16:02 218次 阅读
上千家材料企业现场对接需求 2021新材料供应链峰会成功举办

关于人工智能发展的三个必要条件深度学习模型,大数据,算力

人工智能也是同样的在一定的历史契机下,几个独立发展的领域碰巧合并在一起就产生了巨大的推动力。这一波人....
的头像 beanxyy 发表于 04-16 15:38 359次 阅读
关于人工智能发展的三个必要条件深度学习模型,大数据,算力

如何利用AI、IOT、AR、VR、区块链和大数据留住客户详解

企业正在实施诸如人工智能(AI)、物联网(IoT)、增强现实(AR)、虚拟现实(VR)、区块链和大数....
的头像 beanxyy 发表于 04-16 14:53 252次 阅读
如何利用AI、IOT、AR、VR、区块链和大数据留住客户详解

两类光纤传感器在道路结构内部病害监测中的应用

本文从路面内部裂缝和路基沉降变形监测两方面出发,简述了两类光纤传感器在道路结构内部病害监测中的应用,....
的头像 MEMS 发表于 04-16 09:54 187次 阅读
两类光纤传感器在道路结构内部病害监测中的应用

数字化转型对于IT基础设施又有什么重要意义呢?

边缘计算已存在数十年之久,然而随着科技持续突破与网络连接的飞跃性发展,如今我们已经能够在日常各个层面....
的头像 Les 发表于 04-15 16:01 226次 阅读
数字化转型对于IT基础设施又有什么重要意义呢?

第九届中国电子信息博览会DapuStor三大亮点回顾

第九届中国电子信息博览会CITE成功在深圳举办。“深圳大数据有存储峰会暨展览会”作为本次展会的重要组....
的头像 大普微 发表于 04-15 14:43 141次 阅读
第九届中国电子信息博览会DapuStor三大亮点回顾

智能电力运维是做什么的,它的作用有哪些

电力网企业的目标很明确,就是为了实现高度的信息化、透明化、智能化,2016年,埃森哲在世界经济论坛上....
发表于 04-15 14:30 23次 阅读
智能电力运维是做什么的,它的作用有哪些

智能电力运维系统技术在高层建筑中的应用

在科技日益发展的今天,随着人口数量不断增长,建筑也越来越高,高楼大厦的琳琅满目也给相应的技术带来了很....
发表于 04-15 13:58 84次 阅读
智能电力运维系统技术在高层建筑中的应用

IPFS进入良性发展状态 存储成为制胜关键

4月9日,“2021深圳国际大数据与存储峰会暨展览会”隆重召开。作为“2021第九届中国电子信息博览....
的头像 电子发烧友网工程师 发表于 04-15 09:22 228次 阅读
IPFS进入良性发展状态 存储成为制胜关键

浅谈深度学习如何推动新兴技术的发展

诸如大数据和人工智能之类的新兴技术正以惊人的速度发展,并且在深度学习方面取得了令人难以置信的进步,这....
的头像 beanxyy 发表于 04-14 17:20 285次 阅读
浅谈深度学习如何推动新兴技术的发展

食品安全检验检测设备的相关性能介绍

食品安全检验检测设备功能性能: 1、食品安全检验检测设备[莱恩德]安卓智能操作系统,采用更加高效的U....
发表于 04-14 16:14 63次 阅读
食品安全检验检测设备的相关性能介绍

大数据的时代已经全面来临?

大数据这个词语已经开始日渐的耳熟能详了,目前大数据“杀熟”也已经开始传得沸沸扬扬,这也就预示着,大数....
的头像 Les 发表于 04-14 14:37 399次 阅读
大数据的时代已经全面来临?

在线学习的交互网络模型和质量评价方法

当今的教育模式发生着非常重大的变革,教育正在向泛在化、智能化、个性化的方向发展。以 Massive ....
发表于 04-14 13:58 6次 阅读
在线学习的交互网络模型和质量评价方法

基于智能云端的智慧电力运维,其原理和效果是怎样的

一 力安智慧电力运维概述 中国是一个能源生产大国和消费大国,且面临严重的能源危机。电能作为整个社会的....
发表于 04-14 13:44 14次 阅读
基于智能云端的智慧电力运维,其原理和效果是怎样的

零售供应链数智化已成定局,企业竞相引入上上签电子签约

很多时候我们在谈电子签约能给企业带来哪些价值时,大多围绕“降本增效”和“安全合规不可篡改”的方向展开....
的头像 电子观察说 发表于 04-14 11:00 181次 阅读
零售供应链数智化已成定局,企业竞相引入上上签电子签约

深度解读数据要素是如何创造价值的

前言: 本文根据《数据要素领导干部读本》(李纪珍、钟宏等编著2021)作者内容改编整理。 发韧于上个....
的头像 工业4俱乐部 发表于 04-13 15:38 157次 阅读
深度解读数据要素是如何创造价值的

一种针对有向网络表示学习的优化方法

网络表示方法旨在将每个节点映射到低维向量空间,并保留节点在网络中的结构关系。有向网络的环中节点相互可....
发表于 04-13 15:20 10次 阅读
一种针对有向网络表示学习的优化方法

一种面向MapReduce的中间数据传输流水线优化机制

Mapreduce是一种适用于大数据处理的重要并行计算框架,通过在大量集群节点上并行执行多个任务,极....
发表于 04-13 14:19 10次 阅读
一种面向MapReduce的中间数据传输流水线优化机制

曙光获评中国数字化转型服务商百强

国家政策倡导,经济环境倒逼,企业数字化转型被推到风口。近日,曙光凭借在先进计算、大数据、云计算等领域....
的头像 电子发烧友网工程师 发表于 04-12 17:25 254次 阅读
曙光获评中国数字化转型服务商百强

Python是一种什么语言,它可以用来做些什么

智慧人生,首选Python Python是一种什么语言? Python是一种计算机程序设计语言。你可....
发表于 04-12 10:56 32次 阅读
Python是一种什么语言,它可以用来做些什么

贸泽电子将亮相2021慕尼黑上海电子展

为了让广大工程师及业内人士进一步了解行业新技术和研发新品,贸泽电子将在此次展会上为大家带来国际原厂的....
发表于 04-12 10:22 159次 阅读
贸泽电子将亮相2021慕尼黑上海电子展

如何选择视频会议系统

这四点是稳定高质量视频会议的必要条件。基于以上情况,建议您使用“飞视美视频会议”。 中铁八局就是采用....
发表于 04-11 11:31 533次 阅读
如何选择视频会议系统

联通数科云网为基,数智引领,助力客户数字化转型

联通数科就是为客户提供从规划、咨询、方案设计到集成、交付,再到持续运营一揽子的数字化解决方案。 联通....
的头像 通信头条 发表于 04-09 15:38 714次 阅读
联通数科云网为基,数智引领,助力客户数字化转型

华为超融合数据中心网络 解决方案助力“数网”建设

近日,最新的《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》(以下简称《....
的头像 华为网络 发表于 04-08 15:47 409次 阅读
华为超融合数据中心网络 解决方案助力“数网”建设

图文详解工业互联网平台发展方向与信息安全

工业互联网平台是对传统工业IT的全面升级。结合云计算、大数据以及人工智能等底层技术,工业互联网相对传....
的头像 工业IoT 发表于 04-08 10:56 602次 阅读
图文详解工业互联网平台发展方向与信息安全

一种基于Web的数据可视化图表渲染方法

在数据可视化场景中,Web页面作为数据可视化图表的承载主体,其性能的妤坏直接影响可视化图表的加载速度....
发表于 04-08 10:44 18次 阅读
一种基于Web的数据可视化图表渲染方法

如何解决功耗影响时序的问题?有哪些准则?

如何解决功耗影响时序的问题? 工程师在解决功耗问题的时候,有哪些准则? ...
发表于 04-08 06:11 0次 阅读
如何解决功耗影响时序的问题?有哪些准则?

关于Apache Superset项目的介绍与功能

Apache Superset 是一个现代化的大数据探索和可视化平台,它允许用户使用简单的无代码可视....
的头像 人工智能与大数据技术 发表于 04-07 18:33 592次 阅读
关于Apache Superset项目的介绍与功能

关于大数据的75个核心术语下篇(50 个术语)

Ramesh Dontha 曾在 DataConomy 上连发两篇文章,扼要而全面地介绍了关于大数据....
的头像 Imagination Tech 发表于 04-07 18:03 618次 阅读
关于大数据的75个核心术语下篇(50 个术语)

金融大数据分析解决方案商百融云创挂牌上市

中国最大的独立金融大数据分析解决方案供应商百融云创在香港联交所主板挂牌上市(股票代码:6608.HK....
的头像 IDG资本 发表于 04-07 17:35 599次 阅读
金融大数据分析解决方案商百融云创挂牌上市

基于MapReduce和加权网络信息熵的DBWGIE-MR算法

针对大数据下基于密度的聚类算法中存在的数据网格划分不合理,聚类结果准确度不高以及并行化效率较低等问题....
发表于 04-07 14:31 15次 阅读
基于MapReduce和加权网络信息熵的DBWGIE-MR算法

诺禾致源成为全球领先基因科技产品和服务提供者

从全球范围看,根据BCC Research,基因测序的市场将持续扩大,中国基因测序服务市场的增长更是....
的头像 MEMS 发表于 04-07 10:54 589次 阅读
诺禾致源成为全球领先基因科技产品和服务提供者

粮食重金属检测仪是什么,它的功能都有哪些

粮食重金属检测仪产品介绍及功能【霍尔德仪器 HED-IG-SZ】有害金属进入人体后,多以金属元素或金....
发表于 04-07 08:55 30次 阅读
粮食重金属检测仪是什么,它的功能都有哪些

应用材料公司AIx平台依托大数据和人工智能的力量,加速半导体技术从实验室到晶圆厂的突破

应用材料公司今天宣布推出旨在加速新芯片技术发现、开发和商业部署的创新平台AIx TM。
发表于 04-06 17:51 251次 阅读
应用材料公司AIx平台依托大数据和人工智能的力量,加速半导体技术从实验室到晶圆厂的突破

关于区块链BaaS应用平台

大数据技术领域,具体是一种基于区块链的大数据管理平台系统。包括分析应用单元,服务器及大数据平台;所述....
发表于 04-06 14:56 59次 阅读
关于区块链BaaS应用平台

智慧大数据可视化分析平台的作用及功能

预防犯罪,特别是大规模事件,是公安工作的重要内容之一。借助物联网技术获取要素信息,将会大大提升公安部....
发表于 04-06 14:17 57次 阅读
智慧大数据可视化分析平台的作用及功能

区块链技术将如何重塑文旅产业

“智慧旅游”也被称为智能旅游。其利用区块链、大数据、互联网等新技术,以激励产业创新、促进产业结构升级....
发表于 04-06 14:16 64次 阅读
区块链技术将如何重塑文旅产业

CITE2021:电子信息产业,看见未来“智”变

基于智慧全场景战略,荣耀在智能家居领域走向纵深,通过5G技术,打造“网状”的、分布式的,多种智能硬件....
的头像 西西 发表于 04-02 17:40 585次 阅读
CITE2021:电子信息产业,看见未来“智”变

SERDES用到的各种关键技术讨论

一、SERDES介绍 随着大数据的兴起以及信息技术的快速发展,数据传输对总线带宽的要求越来越高,并行....
的头像 FPGA之家 发表于 04-02 11:30 358次 阅读
SERDES用到的各种关键技术讨论

国辰机器人科技荣获“服务机器人应用场景创新奖”

第四届中国人工智能与机器人开发者大会暨长三角G60科创走廊洞泾人工智能全产业链大会在上海盛大召开,此....
发表于 04-02 11:08 162次 阅读
国辰机器人科技荣获“服务机器人应用场景创新奖”

第九届中国电子信息博览会将于2021年4月9-11日在深圳会展中心举办

东莞市零行智能电子科技有限公司零行智能是一家聚焦24G、79GHz毫米波雷达传感器产品的研发、生产及....
的头像 集成电路应用杂志 发表于 04-02 10:28 1248次 阅读
第九届中国电子信息博览会将于2021年4月9-11日在深圳会展中心举办

去耦电容真的有必要吗?

一个原型设计板省去了比较麻烦的去耦器;但获得的任何结果都无法与预期结果相匹配。 最后,添加一个去耦,问题解决了。 什么我...
发表于 04-02 07:46 0次 阅读
去耦电容真的有必要吗?

数据保护新动能 莫高窟永不褪色的微笑照耀在华为未曾止步的征程

每个了解近代史的国人,应该都会为敦煌莫高窟数以万计的经卷和文物流失海外而遗憾不已。 正因为经历过这场....
的头像 脑极体 发表于 04-01 18:50 121次 阅读
数据保护新动能 莫高窟永不褪色的微笑照耀在华为未曾止步的征程

2021年物联网企业行开展成功

为深入推进大数据智能化创新应用,加快大数据手段和城市建设融合发展。
的头像 重庆市物联网产业协会 发表于 04-01 16:33 475次 阅读
2021年物联网企业行开展成功

着力发挥工业互联网在构建新发展格局中的重要作用

党中央高度重视发展工业互联网。习近平总书记多次强调,要“深入实施工业互联网创新发展战略”“加快发展先....
的头像 厦门市物联网行业协会 发表于 04-01 16:14 457次 阅读
着力发挥工业互联网在构建新发展格局中的重要作用

2020年度全球十大人工智能治理事件

人工智能治理是复杂性、系统性很高的社会议题,涵盖政策、技术、产业、法律、传播、伦理、安全、国际关系、....
的头像 中科院长春光机所 发表于 04-01 15:34 341次 阅读
2020年度全球十大人工智能治理事件

关于工信部公布的44个IoT优秀项目

近日,工信部信息通信发展司公示移动物联网应用优秀案例拟入选名单:
的头像 5G 发表于 04-01 15:27 400次 阅读
关于工信部公布的44个IoT优秀项目

人工智能中的知识图谱基础知识与现状及发展

知识图谱,是显示知识发展进程与结构关系的一系列各种不同的图形,用可视化技术描述知识资源及其载体,挖掘....
的头像 新机器视觉 发表于 04-01 14:02 824次 阅读
人工智能中的知识图谱基础知识与现状及发展

辽宁交专荣获省政府表扬激励,新松弄潮数字教育蓝海

近日,省政府印发《辽宁省人民政府办公厅关于对2020年落实有关重大政策措施真抓实干成效明显地区、部门....
的头像 新松机器人 发表于 04-01 11:15 372次 阅读
辽宁交专荣获省政府表扬激励,新松弄潮数字教育蓝海

解析云原生技术发展趋势及实践应用

华为云TechWave云原生2.0技术峰会在深圳举行。来自金融、制造、物流等各领域的政企精英、技术大....
发表于 04-01 10:31 167次 阅读
解析云原生技术发展趋势及实践应用

热回路到底指的是什么?

工程师都离不开的热回路问题,到底是什么?
发表于 03-16 12:18 0次 阅读
热回路到底指的是什么?

工程师做电路设计有哪些注意事项?

工程师做电路设计需要了解的十一个不要
发表于 03-08 08:35 12次 阅读
工程师做电路设计有哪些注意事项?

PCB工程师需要具备的能力要求/工作内容/工作职责 ?

入门级PCB工程师的能力要求/工作内容/工作职责 初级PCB工程师的能力要求/工作内容/工作职责 中级PCB工程师的能力要...
发表于 03-08 06:01 0次 阅读
PCB工程师需要具备的能力要求/工作内容/工作职责 ?

连接器选项怎么搞?医疗设备如何选择正确的连接器?

工程师首先要考虑的因素就是决定使用现成的连接器、混合式版本还是客制化解决方案。那么连接器选项怎么搞?医疗设备如何选择正确...
发表于 03-06 06:00 0次 阅读
连接器选项怎么搞?医疗设备如何选择正确的连接器?

如何成为高级嵌入式工程师

怎么学习怎么积累成为高级嵌入式系统硬件工程师?还要具备的技能;‘在学习单片机的过程中积累必要的学习经验和知识是非常有必要...
发表于 03-05 07:35 101次 阅读
如何成为高级嵌入式工程师

怎么选择合适的运放输入类型?

  工程师要怎么选择合适的运放输入类型?平常工作中运放输入器件类型有什么了? 大牛知道不同类型输入器件对运放关键参数的影响...
发表于 03-05 06:19 0次 阅读
怎么选择合适的运放输入类型?

布线工程师PCB的设计经验

一个布线工程师谈PCB设计的经验
发表于 03-01 10:56 101次 阅读
布线工程师PCB的设计经验

大数据与万物互联如何定义未来?

大数据与万物互联重新定义未来
发表于 02-23 06:20 0次 阅读
大数据与万物互联如何定义未来?