大数据初级工程师考试题库

大数据工程师 = 系统工程 + 大规模数据处理 + 数据分析 + 机器学习 + 商业智能

大数据工程师首先是一个系统工程师，也是一个软件工程师。同时，他还得有一些特定的技能，会做大规模数据处理，比如当你的数据有PB量级甚至ZD量级时，你需要会Leverage云平台等，通过几千台机器并行处理，解决大规模数据处理的问题。

大数据工程师还和数据科学家有重叠，二者都要有很强的数据分析能力，比如会用Matlab，R，Python等。仅仅做简单的数据分析可能也不够，大数据工程师还得做机器学习模型，最终我们希望大数据工程师做到的是商业智能。

大数据工程师的最终的目的，是帮助公司提供更好的用户体验，做出最优决策，获取更多的利润。他的工作成果是帮助企业挖掘出数据里的价值，从而实现Data-driven decision making。在个性化、在线广告领域，大数据工程有巨大的商业价值，Yahoo，Facebook，Google的80%以上的收入都来源于广告。通常，大数据工程师要解决的问题是，当一个用户在网站上出现时，如何显示一个与该用户喜好最相关的广告，使他最有可能去点击，从而提高公司的广告收入，这些都是需要通过大数据分析和机器学习建模，帮助做决策。

如果你是New grad，面试官期望你熟练掌握一门面向对象的通用语言 (如Java)。如果你只会C++，进公司后可能还是得去熟悉Java，因为很多时候编程语言的选择是与所用框架相关的， 比如Hadoop就是用Java编写的，用C++写Hadoop的应用就不是很方便。

另外，熟悉一门脚本语言 ，如Python，Go. R和Matlab不认为是一个Decent的脚本语言。

对候选人更重要的要求是基本的程序设计素养。如果程序设计功底足够好，熟悉一个新语言就是一两周的事情，面试官可能会从他平时工作的项目里提炼一些问题，看你能不能找到合适的解决方案。

我 ：Hadoop适合离线分析，是批处理；Spark适合实时分析，是近实时流，微批处理。

我 ：其实自己在平时使用的时候,并没有过度割裂开这两种，因为毕竟自己是结果导向所以无论Python的缩进格式还是Java的要加逗号，最后可以实现我的需求就可以了。 补 ：如今，再来审视这个问题，会发现其实在使用过程中，Python，Java确实有一些需要你拐个弯注意下的，比如【Python】list的remove函数和【Java】list的remove方法，同名异能。以及Python一些轮子如何用Java去实现也是要注意的。

我 ：小于等于A表条数，也就是小于等于3条 补 ：现在看来，当时陷入了工作中带来的一个误区，就是面试官可没说join的字段是主键，它可以不唯一哈，不唯一就会导致大于3条，因为有重复，而B表记录不足的地方均为NULL，所以可能小于吗？不信客官你看： 例1 ： A表的记录数在B表中全都有且B表id唯一

例2 A表的记录在C表中有缺失但C表记录唯一 ：

例3 A表的记录在D表中全都有但D表id不唯一 ：

所以正解应该是大于等于A表的条数

大数据时代才刚刚开始。随着越来越多的公司倾向于大数据运营，人才需求达到历史最高水平。这对你意味着什么？如果您想在任何大数据岗位上工作，它只能转化为更好的机会。您可以选择成为数据分析师，数据科学家，数据库管理员，大数据工程师，Hadoop大数据工程师等。 在本文中，慧都网将介绍与大数据相关的前10大数据面试问题。

以下是最重要的大数据面试问题以及具体问题的详细解答。对于更广泛的问题，答案取决于您的经验，我们将分享一些如何回答它们的提示。

无论何时进行大数据采访，采访者都可能会询问一些基本问题。无论您是大数据领域的新手还是经验丰富，都需要基础知识。因此，让我们来介绍一些常见的基本大数据面试问题以及破解大数据面试的答案。

1.您对“大数据”一词有何了解？

答： 大数据是与复杂和大型数据集相关的术语。关系数据库无法处理大数据，这就是使用特殊工具和方法对大量数据执行操作的原因。大数据使公司能够更好地了解其业务，并帮助他们从定期收集的非结构化和原始数据中获取有意义的信息。大数据还允许公司采取数据支持的更好的业务决策。

2.大数据的五个V是什么？

答：大数据的五个V如下：