• 回答数

    4

  • 浏览数

    175

小xiao贱
首页 > 工程师考试 > 大数据工程师工作内容

4个回答 默认排序
  • 默认排序
  • 按时间排序

水乡的风光

已采纳

简单粗略来说就是用工具实现大数据分析后所需要得出的结果。简单理解,大数据开发就是制造软件的,只是与大数据相关而已,通常用到的就是与大数据相关的开发工具、环境等等。大数据开发其实分两种,第一类是编写一些Hadoop、Spark的应用程序,第二类是对大数据处理系统本身进行开发。第一类工作感觉更适用于data analyst这种职位吧,而且现在Hive Spark-SQL这种系统也提供SQL的接口。第二类工作的话通常才大公司里才有,一般他们都会搞自己的系统或者再对开源的做些二次开发。这种工作的话对理论和实践要求的都更深一些,也更有技术含量。

大数据工程师工作内容

149 评论(12)

sweetmiriam

大数据工程师主要是,分析历史、预测未来、优化选择,这是大数据工程师在“玩数据”时最重要的三大任务:

找出过去事件的特征:大数据工程师一个很重要的工作,就是通过分析数据来找出过去事件的特征。找出过去事件的特征,最大的作用是可以帮助企业更好地认识消费者。通过分析用户以往的行为轨迹,就能够了解这个人,并预测他的行为。

预测未来可能发生的事情:通过引入关键因素,大数据工程师可以预测未来的消费趋势。

找出最优化的结果:根据不同企业的业务性质,大数据工程师可以通过数据分析来达到不同的目的。

扩展资料

大数据工程师需要学习的知识

1、linux

大数据集群主要建立在linux操作系统上,Linux是一套免费使用和自由传播的类Unix操作系统。而这部分的内容是大家在学习大数据中必须要学习的,只有学好Linux才能在工作中更加的得心应手。

2、Hadoop

我觉的大家听过大数据就一定会听过hadoop。Hadoop是一个能够对大量数据进行离线分布式处理的软件框架,运算时利用mapreduce对数据进行处理。

参考资料来源:百度百科-大数据分析师

337 评论(8)

黄陂跑跑

大数据开发工程师做的是:1、参与大数据平台的数据架构设计,完成从业务模型到数据模型的设计;2、基于海量数据的数据仓库,为业务搭建通用的查询和分析解决方案;3、根据工作安排高效、高质地完成代码编写,确保符合前端代码规范。以上是大数据开发工程师目前在行业或公司中负责的工作内容。

137 评论(14)

巫毒小子

大数据工程师的主要工作是:分析历史、预测未来、优化选择。

1、分析历史,找出过去事件的特征:

大数据工程师一个很重要的工作,就是通过分析数据来找出过去事件的特征。找出过去事件的特征,最大的作用是可以帮助企业更好地认识消费者。通过分析用户以往的行为轨迹,就能够了解这个人,并预测他的行为。

2、预测未来,预测未来可能发生的事情:

通过引入关键因素,大数据工程师可以预测未来的消费趋势。

3、优化选择,找出最优化的结果:

根据不同企业的业务性质,大数据工程师可以通过数据分析来达到不同的目的。

在工作岗位上,大数据工程师需要基于Hadoop,Spark等构建数据分析平台,进行设计、开发分布式计算业务。负责大数据平台(Hadoop,HBase,Spark等)集群环境的搭建,性能调优和日常维护。负责数据仓库设计,数据ETL的设计、开发和性能优化。参与构建大数据平台,依托大数据技术建设用户画像。

扩展资料:

大数据工程师可以从事对大量数据的采集、清洗、分析、治理、挖掘,并对这些数据加以利用、管理、维护和服务的相关技术工作。

大数据工程师专业技术水平等级培训考试分初级、中级、高级三个级别。

大数据工程师培养人群:有志于从事大数据采集、清洗、分析、治理、挖掘等技术研究,并加以利用、管理、维护和服务的工程技术人员。

大数据工程师初、中、高三个级别考试均设《大数据理论基础》、《大数据技能实操》两个科目。

参考资料:百度百科-大数据工程师

184 评论(9)

相关问答