沃林人力资源推荐的大数据工程师

大数据领域可以说是未来发展几大领域当中比较有前景的领域之一，毕业之后就业的前景也是比较好的，比如说我们现在熟知的阿里巴巴就在从事着大数据领域。

（1）行业客户：对大数据处理有需求的各行业部门，如银行、商业机构、电信、电商公司等，从事数据采集、管理、分析与挖掘工作

（2）专业公司：专门为行业客户提供大数据服务的专业化公司，比如管理咨询公司，信息咨询公司、还有从事大数据技术和产品研发与服务的高科技公司，如百度、阿里、腾讯等。

（1）大数据工程师：从事数据采集与管理工作，需要较强的IT专业能力，这个岗位也有很多别名，如hadoop工程师、javag工程师（大数据）、ETL工程师等，关键看其岗位职责和技能需求，别看名字。应届生月薪平均在10k以上，

（2）大数据分析师：从事数据资源开发与利用，主要工作是数据分析、和数据挖掘，能出图表、出报告。需要数量使用一些分析工具，比如spss、SAS，如果能使用编程的方式灵活进行数据分析，就更好了，比如python或R. 这个岗位也有别名，比如数据分析师，商务智能分析师。应届生月薪大约在8k以上。

（3）算法工程师：从事机器学习，构建人工智能模型，也称机器学习工程师，在商业领域，也有称为商务智能工程师的。该岗位需要很强的数学分析能力和编程能力，是三个岗位中的金领职位，也是月薪最高的职位，应届生月薪目前在15K以上。

1、有一个体面的学历

首先我们一定要知道大数据属于高科技领域，在这方面所要求的起步是非常高的，所以应局毕业生应该尽量有一个较高的学历，虽然高学历并不能代表高能力，但这最起码可以代表一个敲门砖，如果没有高学历的话是很难进入这个行业的，因此我建议大家在这方面要多努力一下。

2、有真本领

仅仅有一个体面的学历是不够的，想要找到一份好的工作，而且非常有发展的话，需要有一定的真本领，也就是说我们在这个领域方面的专业技术一定要非常强，上面我们所提到的王坚就是在计算机领域非常厉害的一个人，因此我建议大家多注重一下自己专业技能的锻炼。

3、有推荐人

在毕业之后想要快速的在一家非常好的公司就业的话，我建议最好的方法是有一个推荐人帮助你推荐一下，对于人脉资源比较贫乏的大学生来说，我们可以在实习阶段多帮别人做一做事，用以打通我们的人脉关系，这样在就业的时候会显得更加容易一些。

写 SQL （很多入职一两年的大数据工程师主要的工作就是写 SQL ）2 为集群搭大数据环境（一般公司招大数据工程师环境都已经搭好了，公司内部会有现成的大数据平台，但我这边会私下搞一套测试环境，毕竟公司内部的大数据系统权限限制很多，严重影响开发效率）3 维护大数据平台（这个应该是每个大数据工程师都做过的工作，或多或少会承担“运维”的工作）4 数据迁移（有部分公司需要把数据从传统的数据库 Oracle、MySQL 等数据迁移到大数据集群中，这个是比较繁琐的工作，吃力不讨好）5 应用迁移（有部分公司需要把应用从传统的数据库 Oracle、MySQL 等数据库的存储过程程序或者SQL脚本迁移到大数据平台上，这个过程也是非常繁琐的工作，无聊，高度重复且麻烦，吃力不讨好）6 数据采集（采集日志数据、文件数据、接口数据，这个涉及到各种格式的转换，一般用得比较多的是 Flume 和 Logstash）7 数据处理 离线数据处理（这个一般就是写写 SQL 然后扔到 Hive 中跑，其实和第一点有点重复了） 实时数据处理（这个涉及到消息队列，Kafka，Spark，Flink 这些，组件，一般就是 Flume 采集到数据发给 Kafka 然后 Spark 消费 Kafka 的数据进行处理）8 数据可视化（这个我司是用 Spring Boot 连接后台数据与前端，前端用自己魔改的 echarts）9 大数据平台开发（偏Java方向的，大概就是把开源的组件整合起来整成一个可用的大数据平台这样，常见的是各种难用的 PaaS 平台）10 数据中台开发（中台需要支持接入各种数据源，把各种数据源清洗转换为可用的数据，然后再基于原始数据搭建起宽表层，一般为了节省开发成本和服务器资源，都是基于宽表层查询出业务数据）11 搭建数据仓库（这里的数据仓库的搭建不是指 Hive ，Hive 是搭建数仓的工具，数仓搭建一般会分为三层 ODS、DW、DM 层，其中DW是最重要的，它又可以分为DWD,DWM,DWS，这个层级只是逻辑上的概念，类似于把表名按照层级区分开来的操作，分层的目的是防止开发数据应用的时候直接访问底层数据，可以减少资源，注意，减少资源开销是减少 内存 和 CPU 的开销，分层后磁盘占用会大大增加，磁盘不值钱所以没什么关系，分层可以使数据表的逻辑更加清晰，方便进一步的开发操作，如果分层没有做好会导致逻辑混乱，新来的员工难以接手业务，提高公司的运营成本，还有这个建数仓也分为建离线和实时的）总之就是离不开写 SQL ...

介绍下大数据工程师所需的几项关键技能：

1.大数据架构的工具与组件

数据工程师更关注分析基础架构，因此所需的大部分技能都是以架构为中心的。

2.深入了解SQL和其它数据库解决方案

数据工程师需要熟悉数据库管理系统，深入了解SQL至关重要。同样其它数据库解决方案，例如Cassandra或BigTable也须熟悉，因为不是每个数据库都是由可识别的标准来构建。

3.数据仓库和ETL工具

数据仓库和ETL经验对于数据工程师至关重要。像Redshift或Panoply这样的数据仓库解决方案，以及ETL工具，比如StitchData或Segment都非常有用。此外，数据存储和数据检索经验同样重要，因为处理的数据量是个天文数字。

4.基于Hadoop的分析(HBase，Hive，MapReduce等)

对基于Apache Hadoop的分析有深刻理解是这个领域的一个非常必要的需求，一般情况下HBase，Hive和MapReduce的知识存储是必需的。

5.编码

说到解决方案，编码与开发能力是一个重要的优点(这也是许多职位的要求)，你要熟悉Python，C/C++，Java，Perl，Golang或其它语言，这会非常有价值。

6.机器学习

机器学习已经成为标准数据科学，该领域的知识可以帮我们构建同类产品的解决方案。这种知识还有一个好处，就是让你在这个领域极具市场价值，因为在这种情况下能够“戴上两顶帽子”会让你成为一个更强大的工具。

7.多种操作系统

最后，需要我们对Unix，Linux和Solaris系统有深入了解，许多数学工具基于这些操作系统，因为它们有Windows和Mac系统功能没有的访问权限和特殊硬件需求。

由于目前大数据人才匮乏，对于公司来说，很难招聘到合适的人才—既要有高学历，同时最好还有大规模数据处理经验。因此很多企业会通过内部挖掘。那么大数据分析工程师发展前景怎样?今天小编就带大家了解一下大数据分析工程师的薪酬待遇及职业发展路径，我们接着往下看。薪酬待遇作为IT类职业中的“大熊猫”，大数据工程师的收入待遇可以说达到了同类的顶级。国内IT、通讯、行业招聘中，有10%都是和大数据相关的，且比例还在上升。大数据时代的到来很突然，在国内发展势头激进，而人才却非常有限，现在完全是供不应求的状况。在美国，大数据工程师平均每年薪酬高达万美元，而据了解，在国内顶尖互联网类公司，同一个级别大数据工程师的薪酬可能要比其他职位高20%至30%，且颇受企业重视。职业发展路径由于大数据人才数量较少，因此大多数公司的数据部门一般都是扁平化的层级模式，大致分为数据分析师、资深研究员、部门总监3个级别。大公司可能按照应用领域的维度来划分不同团队，而在小公司则需要身兼数职。有些特别强调大数据战略的互联网公司则会另设最高职位—如阿里巴巴的首席数据官。这个职位的大部分人会往研究方向发展，成为重要数据战略人才。另一方面，大数据工程师对商业和产品的理解，并不亚于业务部门员工，因此也可转向产品部或市场部，乃至上升为公司的高级管理层。目前长期从事数据库管理、挖掘、编程工作的人，包括传统的量化分析师、Hadoop方面的工程师，以及任何在工作中需要通过数据来进行判断决策的管理者，比如某些领域的运营经理等，都可以尝试该职位，而各个领域的达人只要学会运用数据，也可以成为大数据分析工程师。综上所述，就是小编今天给大家分享的内容，希望可以帮助到大家。

用阿里巴巴集团研究员薛贵荣的话来说，大数据工程师就是一群“玩数据”的人，玩出数据的商业价值，让数据变成生产力。大数据和传统数据的最大区别在于，它是在线的、实时的，规模海量且形式不规整，无章法可循，因此“会玩”这些数据的人就很重要。

沈志勇认为如果把大数据想象成一座不停累积的矿山，那么大数据工程师的工作就是，“第一步，定位并抽取信息所在的数据集，相当于探矿和采矿。第二步，把它变成直接可以做判断的信息，相当于冶炼。最后是应用，把数据可视化等。”

因此分析历史、预测未来、优化选择，这是大数据工程师在“玩数据”时最重要的三大任务。通过这三个工作方向，他们帮助企业做出更好的商业决策。

大数据岗位高薪清单对于求职者来说，大数据只是所从事事业的一个方向，而职业岗位则是决定做什么事?大数据从业者/求职者可以根据自身所学技术及兴趣特征，选择一个适合自己的大数据相关岗位。下面为大家介绍十种与大数据相关的热门岗位。1 ETL研发企业数据种类与来源的不断增加，对数据进行整合与处理变得越来越困难，企业迫切需要一种有数据整合能力的人才。ETL开发者这是在此需求基础下而诞生的一个职业岗位。ETL人才在大数据时代炙手可热的原因之一是：在企业大数据应用的早期阶段，Hadoop只是穷人的ETL2 Hadoop开发随着数据规模不断增大，传统BI的数据处理成本过高企业负担加重。而Hadoop廉价的数据处理能力被重新挖掘，企业需求持续增长。并成为大数据人才必须掌握的一种技术。3 可视化工具开发可视化开发就是在可视化工具提供的图形用户界面上，通过操作界面元素，有可视化开发工具自动生成相关应用软件，轻松跨越多个资源和层次连接所有数据。过去，数据可视化属于商业智能开发者类别，但是随着Hadoop的崛起，数据可视化已经成了一项独立的专业技能和岗位。4 信息架构开发大数据重新激发了主数据管理的热潮。充分开发利用企业数据并支持决策需要非常专业的技能。信息架构师必须了解如何定义和存档关键元素，确保以最有效的方式进行数据管理和利用。信息架构师的关键技能包括主数据管理、业务知识和数据建模等。5 数据仓库研究为方便企业决策，出于分析性报告和决策支持的目的而创建的数据仓库研究岗位是一种所有类型数据的战略集合。为企业提供业务智能服务，指导业务流程改进和监视时间、成本、质量和控制。6 OLAP开发OLAP在线联机分析开发者，负责将数据从关系型或非关系型数据源中抽取出来建立模型，然后创建数据访问的用户界面，提供高性能的预定义查询功能。7 数据科学研究数据科学家是一个全新的工种，能够将企业的数据和技术转化为企业的商业价值。随着数据学的进展，越来越多的实际工作将会直接针对数据进行，这将使人类认识数据，从而认识自然和行为。8 数据预测分析营销部门经常使用预测分析预测用户行为或锁定目标用户。预测分析开发者有些场景看上有有些类似数据科学家，即在企业历史数据的基础上通过假设来测试阈值并预测未来的表现。8 数据预测分析营销部门经常使用预测分析预测用户行为或锁定目标用户。预测分析开发者有些场景看上有有些类似数据科学家，即在企业历史数据的基础上通过假设来测试阈值并预测未来的表现。9 企业数据管理企业要提高数据质量必须考虑进行数据管理，并需要为此设立数据管家职位，这一职位的人员需要能够利用各种技术工具汇集企业周围的大量数据，并将数据清洗和规范化，将数据导入数据仓库中，成为一个可用的版本。10 数据安全研究数据安全这一职位，主要负责企业内部大型服务器、存储、数据安全管理工作，并对网络、信息安全项目进行规划、设计和实施。

一般的话大数据是负责公司互联网数据分析的一个职位，简单的说如购物网站上的根据你的浏览给你推荐一些商品，另外还有从海量的数据中分析出对公司发现有指引作用的信息等都是大数据需要做的，现在来说大数据需求非常大，很有发展前景