赵大宝宝
大数据工程师要学什么课程?没接触过大数据的人也许不知道大数据工程师是什么,更别说知道大数据工程师要学什么课程了。我们先来说下大数据工程师是做什么的吧。是负责公司互联网数据分析的一个职位,对数据库进行开发和(或)维护,需要具备超强的逻辑思维,精通各种语言,需要有相当好的毅力和耐心。光环大数据的大数据培训课程分为如下几个阶段:第一阶段:java核心学习学习内容:Java核心内容学习目标:掌握数据类型与运算符,数组、类与对象;掌握IO流与反射、多线程、JDBC。完成目标:Java多线程模拟多窗口售票,Java集合框架管理。第二阶段: JavaEE课程大纲学习内容:JavaEE核心内容学习目标:Mysql数据基础知识,Jdbc 基础概念和操作掌握HTML和CSS语法、Java核心语法完成目标:京东电商网站项目、2048小游戏。第三阶段:Linux精讲学习内容:Linux命令、文件、配置,Shell、Awk、Sed学习目标:搭建负载均衡、高可靠的服务器集群,可大网站并发访问量,保证服务不间断完成目标:Linux环境搭建、shell脚本小游戏 贪吃蛇。第四阶段:Hadoop生态体系学习内容:HDFS、MapReduce、Hive、Sqoop、Oozie学习目标:掌握HDFS原理、操作和应用开发,掌握分布式运算、Hive数据仓库原理及应用。完成目标:微博数据大数据分析、汽车销售大数据分析第五阶段:Storm实时开发学习内容:Zookeeper、HBase、Storm实时数据学习目标:掌握Storm程序的开发及底层原理,具备开发基于Storm的实时计算程序的能力。完成目标:实时处理新数据和更新数据库,处理密集查询并行搜索处理大集合的数据。
虎宝宝001
一般来说大数据培训就是5个月左右的时间,
大数据学习内容
第1阶段Java
第2阶段JavaEE核心
第3阶段Hadoop生态体系
第4阶段大数据spark生态体系
大数据学习内容
番茄小清新
参加大数据开发培训需要掌握以下几个方向的内容。
阶段一:JavaSE基础核心
1、深入理解Java面向对象思想
2、掌握开发中常用基础API
3、熟练使用集合框架、IO流、异常
4、能够基于JDK8开发
阶段二:Hadoop生态体系架构
1、Linux系统的安装和操作
2、熟练掌握Shell脚本语法
3、Idea、Maven等开发工具的使用
4、Hadoop组成、安装、架构和源码深度解析,以及API的熟练使用
5、Hive的安装部署、内部架构、熟练使用其开发需求以及企业级调优
6、Zookeeper的内部原理、选举机制以及大数据生态体系下的应
阶段三:Spark生态体系架构
1、Spark的入门安装部署、Spark Core部分的基本API使用熟练、RDD编程进阶、累加器和广播变量的使用和原理掌握、Spark SQL的编程掌握和如何自定义函数、Spark的内核源码详解(包括部署、启动、任务划分调度、内存管理等)、Spark的企业级调优策略
2、DophineScheduler的安装部署,熟练使用进行工作流的调度执行
3、了解数据仓库建模理论,充分熟悉电商行业数据分析指标体系,快速掌握多种大数据技术框架,了解认识多种数据仓库技术模块
4、HBase和Phoenix的部署使用、原理架构讲解与企业级优化
5、开发工具Git&Git Hub的熟练使用
6、Redis的入门、基本配置讲解、jedis的熟练掌握
7、ElasticSearch的入门安装部署及调优
8、充分理解用户画像管理平台的搭建及使用、用户画像系统的设计思路,以及标签的设计流程及应用,初步了解机器学习算法
9、独立构建功能完全的企业级离线数据仓库项目,提升实战开发能力,加强对离线数据仓库各功能模块的理解认知,实现多种企业实战需求,累积项目性能调优经验
阶段四:Flink生态体系架构
1、熟练掌握Flink的基本架构以及流式数据处理思想,熟练使用Flink多种Soure、Sink处理数据,熟练使用基本API、Window API 、状态函数、Flink SQL、Flink CEP复杂事件处理等
2、使用Flink搭建实时数仓项目,熟练使用Flink框架分析计算各种指标
3、ClickHouse安装、使用及调优
4、项目实战。贴近大数据的实际处理场景,多维度设计实战项目,能够更广泛的掌握大数据需求解决方案,全流程参与项目打造,短时间提高学生的实战水平,对各个常用框架加强认知,迅速累积实战经验
5、可选掌握推荐和机器学习项目,熟悉并使用系统过滤算法以及基于内容的推荐算法等
6、采用阿里云平台全套大数据产品重构电商项目,熟悉离线数仓、实时指标的阿里云解决方案
阶段五:就业指导
1、从技术和项目两个角度按照企业面试、
2、熟悉CDH在生产环境中的使用
3、简历指导
以上为大数据培训所要掌握的内容,当然也可以尝试自学的。
优质工程师考试问答知识库