开发工程师所需培训课程

1.大数据工程师工作中会做什么？集群运维：安装、测试、运维各种大数据组件数据开发：细分一点的话会有ETL工程师、数据仓库工程师等数据系统开发：偏重Web系统开发，比如报表系统、推荐系统等这里面有很多内容其实是十分重合的，下面大致聊一下每一块内容大致需要学什么，以及侧重点。2.集群运维数据工程师，基本上是离不开集群搭建，比如hadoop、Spark、Kafka，不要指望有专门的运维帮你搞定，新组件的引入一般都要自己来动手的。因此这就要求数据工程师了解各种大数据的组件。由于要自己的安装各种开源的组件，就要求数据工程师要具备的能力： Linux 。要对Linux比较熟悉，能各种自己折腾着玩。由于现在的大数据生态系统基本上是 JVM系的，因此在语言上，就不要犹豫了，JVM系的Java和Scala基本上跑不掉，Java基本上要学的很深，Scala就看情况了。3. ETLETL在大数据领域主要体现在各种数据流的处理。这一块一方面体现在对一些组件的了解上，比如Sqoop、Flume、Kafka、Spark、MapReduce;另一方面就是编程语言的需要，Java、Shell和Sql是基本功。4.系统开发我们大部分的价值最后都会由系统来体现，比如报表系统和推荐系统。因此就要求有一定的系统开发能力，最常用的就是 Java Web这一套了，当然Python也是挺方便的。需要注意的是，一般数据开发跑不掉的就是各种提数据的需求，很多是临时和定制的需求，这种情况下， Sql就跑不掉了，老老实实学一下Sql很必要。如何入门？前面提到了一些数据工程师会用到的技能树，下面给一个入门的建议，完全个人意见。1.了解行业情况刚开始一定要了解清楚自己和行业的情况，很多人根本就分不清招聘信息中的大数据和数据挖掘的区别就说自己要转行，其实是很不负责的。不要总是赶热点，反正我就是经常被鄙视做什么大数据开发太Low，做数据就要做数据挖掘，不然永远都是水货。2.选择学习途径如果真是清楚自己明确地想转数据开发了，要考虑一下自己的时间和精力，能拿出来多少时间，而且在学习的时候最好有人能多指点下，不然太容易走弯路了。在选择具体的学习途径时，要慎重一点，有几个选择：自学报班找人指点别的不说了，报班是可以考虑的，不要全指望报个辅导班就能带你上天，但是可以靠他帮你梳理思路。如果有专业从事这一行的人多帮帮的话，是最好的。不一定是技术好，主要是可沟通性强。3.学习路线学习路线，下面是一个大致的建议：第一阶段先具备一定的Linux和Java的基础，不一定要特别深，先能玩起来，Linux的话能自己执行各种操作，Java能写点小程序。这些事为搭建Hadoop环境做准备。学习Hadoop，学会搭建单机版的Hadoop，然后是分布式的Hadoop，写一些MR的程序。接着学学Hadoop生态系统的其它大数据组件，比如Spark、Hive、Hbase，尝试去搭建然后跑一些官网的Demo。Linux、Java、各种组件都有一些基础后，要有一些项目方面的实践，这时候找一些成功案例，比如搜搜各种视频教程中如何搞一个推荐系统，把自己学到的用起来。第二阶段到这里是一个基本的阶段了，大致对数据开发有一些了解了。接着要有一些有意思内容可以选学。数据仓库体系：如何搞数据分层，数据仓库体系该如何建设，可以有一些大致的了解。用户画像和特征工程：这一部分越早了解越好。一些系统的实现思路：比如调度系统、元数据系统、推荐系统这些系统如何实现。第三阶段下面要有一些细分的领域需要深入进行，看工作和兴趣来选择一些来深入进行分布式理论：比如Gossip、DHT、Paxo这些构成了各种分布式系统的底层协议和算法，还是要学一下的。数据挖掘算法：算法是要学的，但是不一定纯理论，在分布式环境中实现算法，本身就是一个大的挑战。各种系统的源码学习：比如Hadoop、Spark、Kafka的源码，想深入搞大数据，源码跑不掉。

主要学Ajax&Json跨域开发、Angular框架、MySQL分布式部署、JSP技术开发、Servlet技术、JavaWeb等，一般还有项目实训

1、一门编程语言（C、C++、Java、PHP、Python、Html等），

2、熟悉一种操作系统（Windows、Unix、Linux/类Linux、Android、IOS等），

3、简单的算法和数据结构。

先确定你学习完软件开发后想从事的工作，比如游戏开发（LOL，吃鸡，手游等）；前端开发（网页、微信小游戏、Android/IOSAPP等）；后台服务器，数据库（支撑前端运行的技术和数据）；嵌入式（驱动、单片机等）。

确定方向后，再选择相应的编程语言，如游戏开发（C++为主）；网站，小游戏（H5/CSS/js等）、Android（Java为主）；IOS（Objective-C、switch）；后台服务器（Java、Python等）；数据库（MySQL、Oracle、SQLServer等）；嵌入式（C、汇编等）。

方法/步骤1:

1可视化编程掌握程序设计方法及可视化技术，精通一种可视化平台及其软件开发技术。获取Delphi程序员系列、Java初级或VB开发能手认证。就业方向：企业、政府、社区、各类学校等可视化编程程序员。

2WEB应用程序设计具有美工基础和网页动画设计能力，掌握交互式网页程序的设计技术，能进行网站建设和维护。获取Macromedia多媒体互动设计师或Delphi初级程序员或Delphi快速网络开发工程师认证。就业方向：企业、政府、社区、各类学校等WEB应用程序员。

3软件测试掌握软件测试的基本原理、方法和组织管理，精通软件测试工具。获取ATA软件测试工程师或Delphi初级程序员或Java初级程序员认证。就业方向：企业、政府、社区、各类学校等软件测试员。

方法/步骤2:

4数据库管理能应用关系范式进行数据库设计，精通SQL语言，胜任数据库服务器管理与应用工作。获取Oracle数据库管理或SQLServer数据库应用或WindowsXP应用认证。就业方向：企业、政府、社区、各类学校等部门的中、大型数据库管理员。

5图形图像制作精通国际上流行的图形/图像制作工具（如CorelDraw、Photoshop、Pagemaker等）。获取平面设计师相关的认证。就业方向：广告制作公司、建筑设计公司、包装装璜设计公司、居室装修公司、出版印刷公司。

6网络构建技术熟悉网络结构和组网方式，掌握建网方法，能利用工具分析和排除常见网络故障。获取Cisco路由配置或华为网络工程或AMP应用工程师认证。就业方向：企业、政府、社区、各类学校等网络构建工程师。

方法/步骤3:

7网络系统管理掌握网络系统管理的基本知识与应用技能，能进行网络系统的安全设置。获取Window2000Server或TurboLinuxTLCE或Cisco路由配置专家认证。就业方向：企业、政府、社区、各类学校等网络系统管理员。

8多媒体制作具有多媒体程序设计与多媒体制作策划的能力。基本掌握面向对象程序设计与建模、造型设计、场景设计、分镜头原理等技能。获取多媒体设计师相关的认证。就业方向：多媒体设计与制作公司、动画美术制作出版公司、广告制作公司。

9计算机办公应用精通办公自动化应用与管理，熟悉服务器的安装、管理和维护，基于应用服务器的相关服务和软件系统，具备对服务器的网络安全设置、邮件、网页发布、FTP、OA、BBS等系统的应用和维护能力。就业方向：企业、政府、社区、各类学校等系统管理