命丧与她丶
只要数据量级大(或者是数据复杂度,或者是其他方面的量级大)到普通的处理方法无法处理地实际上都可以算作是大数据开发,只不过一般大数据开发目前招聘的很多都是做数据处理的。有如下几个方向:1)数据挖掘是大数据处理地一个方向,这里做数据挖掘要有一些统计学基础才能做,目前数据挖掘的方向其实不是很明确,和人工智能,机械学习也有一些关系,如果是做数据挖掘,基本的数据会由数据平台部或数据运维部门提供2)数据平台的开发(这里的平台开发在不同公司的内容又不一样,小公司可能是根据公司业务做一套完整的数据分析系统,大公司这个职位可能是一些开源组件的二次开发)3)大数据运维方向:比如hadoop,spark集群的运维,涉及到ha等内容4)大数据分析方向:有的公司会将职责细化,招聘一些专业的分析人员,去写hql或者是其它类sql来对数据进行分析最后,其实大数据平台相关工作的划分并不清晰,行业里没有统一标准,大公司小公司情况不同。关于技术方向更是用什么的都有,比如有的公司用spark,有的用impala,还有的用clickhouse等,最近flink也逐渐进入大家的视野。所以在找工作时应该要考虑的是自己的强项是什么,同时在选择工作时要考虑到这个工作在做了三五年后,从这家公司出来还能不能找到工作。我个人的建议是如果你会java,那不要脱离java(scala)语言去做大数据开发,也不要专业只去做数据分析工作,大数据行业目前仍旧有一些泡沫(个人看法),很多组件仍旧是基于java的,一旦脱离java语言本身,那源码阅读,二次开发都会有问题,同时生产环境自动化去执行一些代码也是需要语言支持的,或者最差的预估,如果大数据行业严重缩水(比如某些公司可以分析,可以挖掘的内容有限),可以随时转到java服务器开发方向。
奶油不够变球
2015年9月,国务院印发《促进大数据发展行动纲要》,系统部署大数据发展工作;2016年3月,在发布的十三五规划纲要中,提出“实施国家大数据战略”,把大数据作为基础性战略资源;2020年,国家提出大力发展“新基建”,涉及7大领域,大数据中心就是其中之一。
从这一系列的政策措施中,可以看到国家对大数据技术的重视。而随着数据相关的应用和商业模式越来越多,与老百姓生活相关性日益密切,无论是国内还是国外,都相继出台了成熟的数据产权以及数据安全的法律法规,来保障大数据行业平稳有序地发展。
随着信息通信技术的发展,各行各业信息系统采集、处理和积累的数据量越来越多,全球大数据储量呈爆炸式增长。近几年全球大数据储量的增速每年都保持在40%,2016年甚至达到了的增长率。
根据信息网近几年的统计,大数据行业发展爆发趋势,大量企业涌入,我国大数据产业规模稳步增长。2016-2019年,短短四年时间,我国大数据产业市场规模由亿元增长到亿元,增速连续四年保持在20%以上。
当前,我国正在加速从数据大国向着数据强国迈进。随着中国物联网等新技术的持续推进,到2025年,其产生的数据将超过美国。数据的快速产生和各项配套政策的落实推动我国大数据行业高速发展,预计未来我国行业大数据市场规模增速将维持在15%-25%之间,到2025年中国大数据产业规模将达19508亿元的高点。
大数据应用已深入物联网、人工智能、互联网、5G、电商、金融、游戏、交通、传媒、医疗、房地产、政务等各行各业。这也预示着无论是我们的日常生活还是生产制造、经济发展都离不开大数据技术。
自2015年以来,随着大数据产业迅速发展,对大数据人才的需求也不断增加。截止到2020年,大数据相关人才缺口达230万。而这个数字,随着大数据被列入到“新基建计划”之后会持续增长。
根据职友集的统计,2021年大数据工程师岗位平均薪资高达月,相较于2020年增长了10%。其中1~3年工作经验的薪资为,3~5年经验的薪资为,明显高于互联网其他技术岗位。
大数据岗位职业生涯(参考):
(1)大数据开发工程师,工作1-3年,年薪18万以上。
(2)高级大数据开发工程师,工作3-5年,年薪28万以上。
(3)大数据架构师,工作5-8年,年薪40万以上。
(4)大数据技术总监,工作8-10年,年薪55万以上。
(5)大数据首席数据官(CDO),工作10年以上,年薪85万+。
是面向使用阿里云大数据产品的架构、开发、运维类人员的专业技术认证,通过ACP认证证明你可以基于阿里云的产品制定有效的技术解决方案和企业最佳实践。目前ACP大数据认证有大数据工程师和大数据分析师两个方向。
对于求职者来说,阿里系企业或者阿里的生态合作伙伴企业,都会认可ACP证书,如果你希望入职阿里,那考一个这样的证书,会是你的加分项。
而对于其他非阿里系企业,这样一个证书可能用处并不大,但考了这个证书,至少证明你有相应的大数据专业知识和实践经历,是一个能力的证明,所以也是有用的。
具体到华为HCIE-Big Data认证,其特点主要体现在四个方面:
理论深刻、技术领先,围绕数据处理、数据分析、数据挖掘、数据可视等,课程涵盖大数据分析和挖掘的前沿技术,可以让学员紧随大数据发展趋势,系统掌握大数据前沿技术;
源于开源、胜于开源,基于开源社区,包含开源大数据处理平台Hadoop、内存实时计算Spark、大数据平台数据仓库Hive、大数据NoSQL数据库HBase等组件;
云上实验、随心学习,实验采用华为云作为实验平台,学员可随时访问进行实验操作,降低学习成本、提高效率;
结合案例、实战领先,源于企业真实项目需求,实验中融入大量实际项目应用场景,如银行定期存款业务预测、客户分群、流动人口常住地分析等,便于学员学以致用,融会贯通。
相比较来说,华为大数据认证比阿里的难度大很多,且费用贵很多,不太适合新手小白、学生党。
对于想进大厂的应届毕业生,建议做一个学习阶段计划表,同时需要一些具有含金量、能被市场认可的认证证书。它不仅能让你的理论知识联系实际应用,更能对你的求职起到助推作用,是你找工作的一个加分项。
想了解的同学可以关注我,免费领取前端学习课件。
优质工程师考试问答知识库