数据工程师培训目录最新

伴随数据库连续发展，企业都需要创建数据库来管理和利用信息。而数据库是要有专业人士去进行维护的。北京电脑培训认为数据库开发工程师重点进行软件研发工作，并且要优化和处理生产环境问题。

数据库开发工程师的技能要求：

1。熟练掌握一种编程语言，明白主流的框架、库使用和原理;

2。掌握计算机数据结构和算法设计，具备Linux操作系统基础知识;

3。精通基本网络编程知识，了解多线程编程及技巧;

4。精通Linux、webserver、数据库、缓存相关技术的使用;

5。精通数据库的原理和知识，了解SQL规则和特点;

6。精通Linux系统IO、锁等调优技术;

7。自主学习能力和较强的动手能力;

8。工作认真细心，敢于担当，勤劳稳重，善于思考问题;

9。时间观念强，独立，沟通能力强，有团队协作精神;

如今数据库开发工程师是非常紧缺的。它们工作领域广，大企业都有自己的数据库，都要有数据库开发工程师进行管理。知名企业、政府、学校等是一些非常好的去处。没有基础不要紧的只要关注北大青鸟你的方向就会非常清晰明确

学习方法：只是自学是没用的，并且使你感到投入多收益少后失去学习兴趣，一定要理论结合实践，否则是纸上谈兵。

1.大数据工程师工作中会做什么？集群运维：安装、测试、运维各种大数据组件数据开发：细分一点的话会有ETL工程师、数据仓库工程师等数据系统开发：偏重Web系统开发，比如报表系统、推荐系统等这里面有很多内容其实是十分重合的，下面大致聊一下每一块内容大致需要学什么，以及侧重点。2.集群运维数据工程师，基本上是离不开集群搭建，比如hadoop、Spark、Kafka，不要指望有专门的运维帮你搞定，新组件的引入一般都要自己来动手的。因此这就要求数据工程师了解各种大数据的组件。由于要自己的安装各种开源的组件，就要求数据工程师要具备的能力： Linux 。要对Linux比较熟悉，能各种自己折腾着玩。由于现在的大数据生态系统基本上是 JVM系的，因此在语言上，就不要犹豫了，JVM系的Java和Scala基本上跑不掉，Java基本上要学的很深，Scala就看情况了。3. ETLETL在大数据领域主要体现在各种数据流的处理。这一块一方面体现在对一些组件的了解上，比如Sqoop、Flume、Kafka、Spark、MapReduce;另一方面就是编程语言的需要，Java、Shell和Sql是基本功。4.系统开发我们大部分的价值最后都会由系统来体现，比如报表系统和推荐系统。因此就要求有一定的系统开发能力，最常用的就是 Java Web这一套了，当然Python也是挺方便的。需要注意的是，一般数据开发跑不掉的就是各种提数据的需求，很多是临时和定制的需求，这种情况下， Sql就跑不掉了，老老实实学一下Sql很必要。如何入门？前面提到了一些数据工程师会用到的技能树，下面给一个入门的建议，完全个人意见。1.了解行业情况刚开始一定要了解清楚自己和行业的情况，很多人根本就分不清招聘信息中的大数据和数据挖掘的区别就说自己要转行，其实是很不负责的。不要总是赶热点，反正我就是经常被鄙视做什么大数据开发太Low，做数据就要做数据挖掘，不然永远都是水货。2.选择学习途径如果真是清楚自己明确地想转数据开发了，要考虑一下自己的时间和精力，能拿出来多少时间，而且在学习的时候最好有人能多指点下，不然太容易走弯路了。在选择具体的学习途径时，要慎重一点，有几个选择：自学报班找人指点别的不说了，报班是可以考虑的，不要全指望报个辅导班就能带你上天，但是可以靠他帮你梳理思路。如果有专业从事这一行的人多帮帮的话，是最好的。不一定是技术好，主要是可沟通性强。3.学习路线学习路线，下面是一个大致的建议：第一阶段先具备一定的Linux和Java的基础，不一定要特别深，先能玩起来，Linux的话能自己执行各种操作，Java能写点小程序。这些事为搭建Hadoop环境做准备。学习Hadoop，学会搭建单机版的Hadoop，然后是分布式的Hadoop，写一些MR的程序。接着学学Hadoop生态系统的其它大数据组件，比如Spark、Hive、Hbase，尝试去搭建然后跑一些官网的Demo。Linux、Java、各种组件都有一些基础后，要有一些项目方面的实践，这时候找一些成功案例，比如搜搜各种视频教程中如何搞一个推荐系统，把自己学到的用起来。第二阶段到这里是一个基本的阶段了，大致对数据开发有一些了解了。接着要有一些有意思内容可以选学。数据仓库体系：如何搞数据分层，数据仓库体系该如何建设，可以有一些大致的了解。用户画像和特征工程：这一部分越早了解越好。一些系统的实现思路：比如调度系统、元数据系统、推荐系统这些系统如何实现。第三阶段下面要有一些细分的领域需要深入进行，看工作和兴趣来选择一些来深入进行分布式理论：比如Gossip、DHT、Paxo这些构成了各种分布式系统的底层协议和算法，还是要学一下的。数据挖掘算法：算法是要学的，但是不一定纯理论，在分布式环境中实现算法，本身就是一个大的挑战。各种系统的源码学习：比如Hadoop、Spark、Kafka的源码，想深入搞大数据，源码跑不掉。

大数据需要考专业人员分析认证；数据科学专业成就认证；工程方面分析和优化（CPEE）证书；挖掘大规模数据集研究生证书；优化大数据分析证书；EMC数据科学家助理（EMCDSA）；Cloudera认证专家。

大数据需要学习的证书：

1、专业人员分析认证-INFORMS

CAP认证是一个严格的通用分析认证。它证明了对分析过程的端到端理解，从构建业务和分析问题到获取数据，方法，模型构建，部署和模型生命周期管理。它需要完成CAP考试（这个考试可以在100多个国家的700多个计算机的测试中心进行）和遵守CAP的道德规范。

2、数据科学专业成就认证-Columbia University

这个数据科学认证是由TheFU基金会工程与应用科学学院和哥伦比亚大学艺术与科学研究生院联合提供的。该计划包括四个课程：数据科学算法（CS/IEOR），概率与统计（STATS），机器学习数据科学（CS）和探索性数据分析和可视化（STATS）。

3、工程方面分析和优化（CPEE）证书–INSOFE

这个密集的18周课程，其中包括10个课程（讲座和实验室）为学习者分析的各个方面，包括使用大数据使用Hadoop。它专注于R和Hadoop技能，以及统计建模，数据分析，机器学习，文本挖掘和优化技能。学习者将在一个真实世界的顶点项目中实施一系列的测试评估。

4、挖掘大规模数据集研究生证书-Stanford University

为软件工程师，统计学家，预测建模师，市场研究人员，分析专业人员，以及数据挖掘者设计，此认证需要四个课程，并演示掌握高效和强大的技术和算法，从大型数据集，如Web，社交，网络图和大型文档存储库等。这个证书通常需要一到两年的时间才能获得。

5、分析证书：优化大数据-University of Delaware

主要面向商业，营销和运营经理，数据分析师和专业人士，金融业专业人士和小企业主本科课程。该计划汇集了统计，分析，书面和口头沟通技巧。它向学习者介绍了分析大数据集所需的工具，涵盖了将数据导入分析软件包，探索性图形和数据分析，构建分析模型，找到最佳模型以解释变量之间的相关性等主题。

6、EMC数据科学家助理（EMCDSA）)-EMC

EMCDSA认证表明个人作为数据科学团队成员参与和贡献大数据项目的能力。它的内容：部署数据分析生命周期，将业务挑战重构为分析挑战，应用分析技术和工具来分析大数据并创建统计模型，选择适当的数据可视化等。

7、Cloudera认证专家：数据科学家（CCP：DS）-Cloudera

CCP：DS证书展示了精英层面使用大数据的技能。它需要通过一个评估基础数据科学主题知识的书面考试。他们还必须在数据科学挑战中，通过设计和开发同行评估的生产就绪的数据科学解决方案，并在真实条件下证明他们的能力。这个挑战必须在完成笔试后24个月内通过，并且每年中的每隔一个季度提供两次机会。

8、Cloudera Apache Hadoop认证开发人员（CCDH）-Cloudera

CCDH认证演示了开发人员写入，维护和优化Apache Hadoop开发项目的技术知识，技能和能力。获得这个认证需要通过90分钟时限的50到55个活动问题的笔试。每个测试包括至少五个未评分的实验问题。

9、Cloudera Apache Hadoop认证管理员（CCAH）-Cloudera

CCAH认证演示管理员的技术知识，技能和能力配置，部署，维护和保护Apache Hadoop集群和构成Cloudera企业数据中心的生态系统项目。获得认证需要通过90分钟时限的60个问题的书面考试。

10、Cloudera Apache HBase（CCSHB）认证专家-Cloudera

CCSHB认证演示了使用Apache HBase的技术知识，技能和能力，包括核心HBase概念，数据模型，架构，模式设计，API和管理。获得认证需要通过90分钟时间限制的45个问题的书面考试。

11、Revolution REnterprise Professional–Revolution Analytics

主要内容：此认证证明了对高级分析项目使用R统计语言的能力，包括分析大数据，数据分析生命周期，高级分析的理论和方法以及统计建模的战略和实践方面。该认证要求通过包含60个选择题和90分钟时间限制的tt笔考试。

12、Vertica大数据解决方案V1-HP

此认证验证可以让学习者部署和管理Vertica Analytics Platform，帮助组织优化和利用大数据分析获利。其验证学习者可以：识别和描述Vertica架构的关键功能，安装平台，识别字符和确定Vertica中使用的投影的特征，描述如何将数据加载到Vertica，阐述Vertica集群管理概念，描述备份/恢复和资源管理，并确定如何监视和故障排除。此认证需要在90分钟内通过包含50个选择题的考试。

13、Vertica大数据解决方案管理员V1-HP

此认证证实学习者可以管理Vertica Analytics Platform，并验证其是否可以执行高级管理任务，包括：手动投影设计，诊断，高级故障排除和数据库调优。该认证要求在100分钟内通过包含60个选择题的考试。

14、IBM认证的数据架构师-大数据

IBM认证数据架构师-大数据IBM专业认证计划。

15、IBM认证的数据工程师-大数据

IBM认证的数据工程师-大数据IBM专业认证计划。

16、大数据专业人员的SAS认证

SAS认证的大数据专业数据科学。