大数据工程师培训题库

大数据培训的话分开发方向和运维方向，主要包括前端、java、数据库、大数据自身的一些课程

第一阶段Java语言基础01Java开发介绍02熟悉Eclipse开发工具03Java语言基础04Java流程控制05Java字符串06Java数组与类和对象07数字处理类与核心技术08I/O与反射、多线程09Swing程序与集合类第二阶段HTML、CSS与JavaScript01PC端网站布局02HTML5+CSS3基础03WebApp页面布局04原生JavaScript交互功能开发05Ajax异步交互06JQuery应用第三阶段JavaWeb和数据库01数据库02JavaWeb开发核心03JavaWeb开发内幕第四阶段Linux基础01Linux安装与配置02系统管理与目录管理03用户与用户组管理04Shell编程05服务器配置06Vi编辑器与Emacs编辑器第五阶段Hadoop生态体系01Hadoop起源与安装02MapReduce快速入门03Hadoop分布式文件系统04Hadoop文件I/O详解05MapReduce工作原理06MapReduce编程开发07Hive数据仓库工具08开源数据库HBase09Sqoop与Oozie第六阶段Spark生态体系01Spark简介02Spark部署和运行03Spark程序开发04Spark编程模型05作业执行解析06Spark SQL与DataFrame07深入Spark Streaming08Spark MLlib与机器学习09GraphX与SparkR10spark项目实战11scala编程12Python编程第七阶段Storm实时开发01storm简介与基本知识02拓扑详解与组件详解03Hadoop分布式系统04spout详解与bolt详解05zookeeper详解06storm安装与集群搭建07storm-starter详解08开源数据库HBase09trident详解第八阶段项目案例01模拟双11购物平台02前端工程化与模块化应用主要都讲这些内容！

众所周知的，大数据是一门很高端的新兴技术，学习的门槛与就业门槛都是存在的，要不然怎么会有那么高的薪资待遇呢!很多对于大数据技术感兴趣的朋友，都纷纷留言问笔者，学大数据要学代码吗，好学吗，这样的问题。北京计算机学习就详细讲讲，学大数据要学代码吗，好学吗，这个话题，来解答大家心中的疑问。1：首先跟大家讲清楚，学大数据，是要学代码的哦!学大数据需要编程语言的基础，不然往后的深层技术根本无法学习，因为大数据的开发基于一些常用的高级语言，比如java和.Net。这样一来，代码知识是大数据工程师必须掌握的知识，这是无法避免的哦!2：一名合格的大数据工程师，不仅需要掌握代码知识，还需要熟悉Mongodb集群、高性能、高可用技术方案;熟悉常用的Java开发框架及消息中间件;具备GIS理论知识，、熟悉Linux或Unix操作系统，具备perl/php/python/shell一种或多种脚本语言编程能力。3：除此之外，大数据工程师还需要熟悉Hadoop生态圈(包括常用的Hive、HBase、Spark、Zookeeper、Storm);熟悉Oracle、SQLServer、MySQL至少其中一种以上数据库;熟悉搜索引擎中的常用算法，熟悉ElasticSearch或Solr的程序结构等等。

我 ：Hadoop适合离线分析，是批处理；Spark适合实时分析，是近实时流，微批处理。

我 ：其实自己在平时使用的时候,并没有过度割裂开这两种，因为毕竟自己是结果导向所以无论Python的缩进格式还是Java的要加逗号，最后可以实现我的需求就可以了。 补 ：如今，再来审视这个问题，会发现其实在使用过程中，Python，Java确实有一些需要你拐个弯注意下的，比如【Python】list的remove函数和【Java】list的remove方法，同名异能。以及Python一些轮子如何用Java去实现也是要注意的。

我 ：小于等于A表条数，也就是小于等于3条 补 ：现在看来，当时陷入了工作中带来的一个误区，就是面试官可没说join的字段是主键，它可以不唯一哈，不唯一就会导致大于3条，因为有重复，而B表记录不足的地方均为NULL，所以可能小于吗？不信客官你看： 例1 ： A表的记录数在B表中全都有且B表id唯一

例2 A表的记录在C表中有缺失但C表记录唯一 ：

例3 A表的记录在D表中全都有但D表id不唯一 ：

所以正解应该是大于等于A表的条数

现在的大数据开发技术让大数据成为了2017年移动互联网追逐的热点，想要自学的话也是可以的，但是你最好找到不错的教程，不然怕越学越乱。大数据培训内容课程:基础阶段：Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis。hadoop mapreduce hdfs yarn：hadoop：Hadoop 概念、版本、历史，HDFS工作原理，YARN介绍及组件介绍。大数据存储阶段：hbase、hive、sqoop。大数据架构设计阶段：Flume分布式、Zookeeper、Kafka。大数据实时计算阶段：Mahout、Spark、storm。大数据数据采集阶段：Python、Scala。大数据商业实战阶段：实操企业大数据处理业务场景，分析需求、解决方案实施，综合技术实战应用。学习大数据不是一朝一夕的事情，想要学好大数据可以看口扣丁学堂的视频，希望对你有帮助。