大数据工程师培训案例分析

如下：

1. 大数据应用案例之：医疗行业

1）Seton Healthcare是采用IBM最新沃森技术医疗保健内容分析预测的首个客户。该技术允许企业找到大量病人相关的临床医疗信息，通过大数据处理，更好地分析病人的信息。

在加拿大多伦多的一家医院，针对早产婴儿，每秒钟有超过3000次的数据读取。通过这些数据分析，医院能够提前知道哪些早产儿出现问题并且有针对性地采取措施，避免早产婴儿夭折。

它让更多的创业者更方便地开发产品，比如通过社交网络来收集数据的健康类App。也许未来数年后，它们搜集的数据能让医生给你的诊断变得更为精确，比方说不是通用的成人每日三次一次一片，而是检测到你的血液中药剂已经代谢完成会自动提醒你再次服药。

2）大数据配合乔布斯癌症治疗

乔布斯是世界上第一个对自身所有DNA和肿瘤DNA进行排序的人。为此，他支付了高达几十万美元的费用。他得到的不是样本，而是包括整个基因的数据文档。医生按照所有基因按需下药，最终这种方式帮助乔布斯延长了好几年的生命。

2. 大数据应用案例之：能源行业

1）智能电网现在欧洲已经做到了终端，也就是所谓的智能电表。在德国，为了鼓励利用太阳能，会在家庭安装太阳能，除了卖电给你，当你的太阳能有多余电的时候还可以买回来。

通过电网收集每隔五分钟或十分钟收集一次数据，收集来的这些数据可以用来预测客户的用电习惯等，从而推断出在未来2~3个月时间里，整个电网大概需要多少电。有了这个预测后，就可以向发电或者供电企业购买一定数量的电。

因为电有点像期货一样，如果提前买就会比较便宜，买现货就比较贵。通过这个预测后，可以降低采购成本。

2）丹麦的维斯塔斯风能系统(Vestas Wind Systems)运用大数据，系统依靠的是BigInsights软件和IBM超级计算机，分析出应该在哪里设置涡轮发电机，事实上这是风能领域的重大挑战。在一个风电场20多年的运营过程中，准确的定位能帮助工厂实现能源产出的最大化。

为了锁定最理想的位置，Vestas分析了来自各方面的信息：风力和天气数据、湍流度、地形图、公司遍及全球的万多个受控涡轮机组发回的传感器数据。这样一套信息处理体系赋予了公司独特的竞争优势，帮助其客户实现投资回报的最大化。

3. 大数据应用案例之：通信行业—通过大数据分析挽回核心客户

法国电信-Orange集团旗下的波兰电信公司Telekomunikacja Polska是波兰最大的语音和宽带固网供应商，希望有效的途径来准确预测并解决客户流失问题。

他们决定进行客户细分，方法是构建一张“社交图谱”- 分析客户数百万个电话的数据记录，特别关注 “谁给谁打了电话”以及“打电话的频率”两个方面。“社交图谱”把公司用户分成几大类，如：“联网型”、“桥梁型”、“领导型”以及“跟随型”。

这样的关系数据有助电信服务供应商深入洞悉一系列问题，如：哪些人会对可能“弃用”公司服务的客户产生较大的影响?挽留最有价值客户的难度有多大?运用这一方法，公司客户流失预测模型的准确率提升了47%。

4、大数据应用案例之：零售业—大数据帮零售企业制定促销策略

北美零售商百思买在北美的销售活动非常活跃，产品总数达到3万多种，产品的价格也随地区和市场条件而异。由于产品种类繁多，成本变化比较频繁，一年之中，变化可达四次之多。

结果，每年的调价次数高达12万次。最让高管头疼的是定价促销策略。公司组成了一个11人的团队，希望透过分析消费者的购买记录和相关信息，提高定价的准确度和响应速度。

定价团队的分析围绕着三个关键维度：

1）数量：团队需要分析海量信息。他们收集了上千万的消费者的购买记录，从客户不同维度分析，了解客户对每种产品种类的最高接受能力，从而为产品定出最佳价位。

2）多样性：团队除了分析了购买记录这种结构化的数据外，他们也利用社交媒体发帖这种新型的非结构化数据。由于消费者需要在零售商专页上点赞或留言以获得优惠券，团队利用情感分析公式来分析专页上消费者的情绪，从而判断他们对于公司的促销活动是否满意，并微调促销策略。

3）速度：为了实现价值最大化，团队对数据进行实时或近似实时的处理。他们成功地根据一个消费者既往的麦片购买记录，为身处超市麦片专柜的他/她即时发送优惠券，为客户带来便利性和惊喜。

透过这一系列的活动，团队提高了定价的准确度和响应速度，为零售商新增销售额和利润数千万美元。

5、大数据应用案例之：网络营销行业（SEM）

很多企业在做SEM的过程中，都有这样的感触：每年都会花费大量的预算在SEM推广中，但是因为关键词投入产出无法可视化，常常花了很多钱却不见具体的回报。

在竞争如此激烈的SEM市场中，企业需要一个高效的数据分析工具来尽可能地帮企业优化SEM推广，例如BDP，来帮企业节省不必要的支出，提升整体的经营绩效。

企业可借助数据平台提供的网络营销整合解决方案，打通各个搜索引擎营销（SEM）、在线客服系统和CRM系统，营销竞价人员无需掌握复杂的编程技术，简单拖拽即可生成报表，观察每一个关键词的投入和产出，分析每一个页面的转化，有效降低投放成本。

通过BDP实况分析数据，可以快速洞悉对手关键词的投放时段、地域及排名，并对其进行可视化的分析，实时监控自己和竞争对手的投放情况，了解对手的投放策略，支持自定义设置数据更新的时间点、监控频次和时段，及时调整策略。知已知彼，才能百战不殆。

6、大数据应用案例之：电商行业

意料之外：胸部最大的是新疆妹子。曾经淘宝平台显示，中国女性购买最多的文胸尺码为B罩杯。B罩杯占比达，其中又以75B的销量最好，其次是A罩杯，购买占比达，C罩杯只有。

虽然淘宝数据平台不能代表一切，但是结合现实来看，这个也具有普遍的代表性，只能感慨中国女性普遍size。在文胸颜色中，黑色最为畅销，黑色绝对是百搭，每个女性必备。

从省市排名，胸部最大的是新疆妹子。这些数据都对于文胸店铺而言是很好的参考，为店铺的库存、定价、款式选择等策略都有奠定数据基础。

7、大数据应用案例之：娱乐行业

微软大数据成功预测奥斯卡21项大奖。2013年，微软纽约研究院的经济学家大卫•罗斯柴尔德（David Rothschild）利用大数据成功预测24个奥斯卡奖项中的19个，成为人们津津乐道的话题。

今年罗斯柴尔德再接再厉，成功预测第86届奥斯卡金像奖颁奖典礼24个奖项中的21个，继续向人们展示现代科技的神奇魔力。

总的来说，大数据的终极目标并不仅仅是改变竞争环境，而是彻底扭转整个竞争环境，带来新机遇，企业需要应势而变。企业只有认识到这一点，使用合适的数据分析产品、聪明地使用和管理数据，才能在长期竞争中成为终极赢家。

大数据是嵌入式脚本语言，国信安学习的时候一般都是先基础在结合项目学习。什么Linux基础啊，搭建运行环境各种内容，这些都是需要学习的。

大数据攻略案例分析及结论

我们将迎来一个“大数据时代”。与变化相始终的中国企业，距离这场革命还有多远？而追上领先者又需要多快的步伐？

｛研究结论｝

■大数据营销的本质是一个影响消费者购物前心理路径的问题，而这在大数据时代前很难做到。

■对于传统企业而言，要打通线上与线下营销，实现新的商业模式，如O2O等，离不开大数据。

■虽然大数据应用往往集中于大数据营销，但对于一些企业，大数据的应用早已超越了营销范畴，全面进入了企业供应链、生产、物流、库存、网站和店内运营等各个环节。

■对于大部分企业，由于数据分析人员与业务人员之间的彼此视角与思考方向不同，大数据分析和运营之间存在脱节情况，这是大数据无法用于企业运营最大的阻力

■对于大多数互联网公司来说，大数据量、大用户量是一个相互促进，强者越强的循环过程。

■对于大型互联网平台，大数据已经成为其生态循环中的血液，对于这些企业，最重要

的不是如何利用大数据改进自身运营，而是利用大数据更好地繁荣平台生态。

■对于平台企业，它们的大数据策略正逐渐从大数据运营，向运营大数据转变，前者和

后者的差别在于，前者只是运营改进的动力，而后者则成为企业实现未来战略的核心资源。

我们都已被反复告知：我们将迎来一个“大数据时代”。

大数据应用，将和云计算、3D打印这些技术变革一样，颠覆既有规则，并成为先行企业的制胜关键。

与变化相始终的中国企业，距离这场革命还有多远？而追上领先者又需要多快的步伐？

来自于互联网、移动互联网、物联网传感器、视频采集系统的数据正海量增长，汇成大数据的海洋，相伴的是海量数据存储、分析技术的突破性发展，所有这一切都给企业的应用带来了无限可能性。

中国企业家研究院对当前中国企业大数据应用的状况进行了归纳分类，以帮助企业了解实际应用大数据时的困局难点，并提供领先企业的典型案例以资借鉴。

表1

表2

大数据运营—企业提升效率的助推力

对于大多数企业而言，运营领域的应用是大数据最核心的应用，之前企业主要使用来自生产经营中的各种报表数据，但随着大数据时代的到来，来自于互联网、物联网、各种传感器的海量数据扑面而至。于是，一些企业开始挖掘和利用这些数据，来推动运营效率的提升。大数据运营应用中，大数据的应用分为三类：用于企业外部营销、用于内部运营，以及用于领导层决策。

一、大数据营销

大数据营销的本质是影响目标消费者购物前的心理路径，它主要应用在三个方面：1、大数据渠道优化，2、精准营销信息推送，3、线上与线下营销的连接。在消费者购物前，通过各种方式，直接介入其信息收集和决策过程。而这种介入，是建立在对于线上与线下海量用户数据分析的基础之上。相比传统狂轰滥炸或等客上门的营销，大数据营销无论在主动性和精准性方面，都有非常大的优势。它是目前主要的大数据应用领域。

大数据营销不仅仅是用大数据找出目标顾客，向其发布促销信息，它还可以做到：

实现渠道优化。根据用户的互联网痕迹进行渠道营销效果优化，就是根据互联网上顾客的行为轨迹来找出哪个营销渠道的顾客来源最多，哪个来源顾客实际购买量最多，是否是目标顾客等等，从而调整营销资源在各个渠道的投放。例如东风日产，它利用对顾客来源的追踪，来改进营销资源在各个网络渠道如门户网站、搜索和微博的投放。

精准营销信息推送。精准建立在对海量消费者的行为分析基础之上，消费者网络浏览、搜索行为被网络留下，线下的购买和查看等行为可以被门店的POS机和视频监控记录，再加上他们在购买和注册过程中留下的身份信息，在商家面前，正逐渐呈现出消费者信息的海洋。

一些企业通过收集海量的消费者信息，然后利用大数据建模技术，按消费者属性（如所在地区、性别）和兴趣、购买行为等维度，挖掘目标消费者，然后进行分类，再根据这些，对个体消费者进行营销信息推送。比如孕妇装品牌十月妈咪通过对自己微博上粉丝评论的大数据分析，找出评论有“喜爱”相关关键词的粉丝，然后打上标签，对其进行营销信息推送。京东商城副总经理李曦表示：“用大数据找出不同细分的顾客需求群，然后进行相应的营销，是京东目前在做的事情。”小也化妆品将自身网站作为收集消费者信息的雷达，对不同消费者推荐相应的肌肤解决方案，创始人肖尚略希望在未来，大数据营销能替代网站的作用，真正成为面向顾客的前端。

打通线上线下营销。一些企业将互联网上海量消费者的行为痕迹数据与线下购买数据打通，实现了线上与线下营销的协同。比如东风日产，线上与线下的协同营销方式为：其门户网站带来订单线索，而通过这些线索，服务人员进行电话回访，从而推动顾客在线下交易。在此过程中，东风日产记录了消费者进入、浏览、点击、注册、电话回访和购买各个环节的数据，实现了一个横跨线上线下，以大数据分析为支持的，营销效果不断优化的闭环营销通路。而国双科技，衡量某一地区线下促销活动的效果，就是看互联网上，来自这个地区对于促销内容的搜索量。一些企业，通过鼓励线下顾客使用微信和Wi-Fi等可追踪消费者行为和喜好的设备，来打通线上与线下数据流，银泰百货计划铺设Wi-Fi，鼓励顾客在商场内使用，然后根据Wi-Fi账号，找出这个顾客，再通过与其它大数据挖掘公司合作，以大数据的手段，发掘这个顾客在互联网的历史痕迹，来了解这个顾客的需求类型。

二、大数据用于内部运营

相比大数据营销，大数据在内部运营中的应用更深入，对于企业内部的信息化水平，以及数据采集和分析能力的要求更高。本质上，是将企业外部海量消费者数据与企业内部海量运营数据联系起来，在分析中得到新的洞察，提升运营效率。（详见P96表5：大数据在内部运营中的应用）

表5

三、大数据用于决策

在大数据时代，企业面对众多新的数据源和海量数据，能否基于对这些数据的洞察，进行决策，进而将其变成一项企业竞争优势的来源？同大数据营销和大数据内部运营相比，运用大数据决策难度最高，因为它需要一种依赖数据的思维习惯。

已有少数企业开始尝试。比如国内一些金融机构在推出一个金融产品时，会广泛分析该金融产品的应用情况和效果、目标顾客群数据、各种交易数据和定价数据等，然后决定是否推出某个金融产品。

但是，中国企业家研究院在调研中发现，目前中国企业当中，大数据决策的应用非常之少，许多企业领导者进行决策时，仍习惯于凭借历史经验和直觉。

大数据产品——企业利润滋长的新源泉

大数据除了用于运营外，还能够与企业产品结合，成为企业产品背后竞争力的核心支持或者直接成为产品。提供大数据产品的企业分为两类，直接提供大数据产品的企业，以及将大数据作为产品和服务核心支撑的企业。前者主要为大数据产业链中提供数据服务的参与者，包括数据拥有者、存储企业，挖掘企业、分析企业等，后者则主要是那些以大数据为产品核心支撑的企业，它们大多是互联网企业，其产品和服务先天就有大数据基因，这些企业包括搜索引擎、在线杀毒、互联网广告交易平台以及众多植根于移动互联网之上，为用户提供生活和资讯服务的APP等。

表3

表4

一、大数据作为产品核心支持

它们主要在以下几方面使用大数据：

1、提供信息服务。很多互联网企业通过对海量互联网信息和线下信息的整合和分析，为个人和企业提供信息服务，典型的如百度、去哪儿、一淘、高德地图、春雨医生等等。在美国，一些互联网企业甚至根据大数据提供更深度的预测信息服务，美国科技创新公司farecast，通过分析特定航线机票的价格，帮助消费者预测机票价格走势。

2、分析用户的个性化需求，借此提供个性化产品和服务，或者实现更精准的广告。典型的有移动社交工具陌陌、百度、腾讯、广告交易平台品友互动以及一些互联网游戏商。这种应用往往先是收集海量用户的互联网行为数据，将用户分类，根据不同类型的用户，提供个性化的产品，或者提供个性化的促销信息。比如网易等门户网站推出了订阅模式，让使用者按照个人喜好方便地定制和整合不同来源的信息。

3、增强产品功能。对于很多互联网产品，如杀毒软件、搜索引擎等等，海量数据的处理能够让产品变得更聪明更强大，如果没有大数据，产品的功能就大大减弱。比如奇虎360公司的360杀毒软件，凭借每天海量的杀毒处理，建立了庞大的病毒库，这使它能够更快地发现病毒，而一些小的杀毒软件公司则无法做到这一点。

4、掌控信用状况，提供信贷服务。阿里巴巴上汇集了海量中小企业的日常资金与货品往来，通过对这些往来数据的汇总与分析，阿里巴巴能发现单个企业的资金流与收入情况，分析其信用，找出异常情况与可能发生的欺诈行为，控制信贷风险。

5、实现智能匹配。婚恋网站、交易平台等，利用大数据可以进行精准而高效的配对服务。网易花田会挖掘用户行为数据，比如点击哪些异性的页面，发表什么样的评论，建立用户兴趣模型，从而挖掘到用户所期待另一半的类型，然后主动推荐与对方匹配度比较高的人选。2010年，阿里巴巴尝试性地推出“轻骑兵”服务，由阿里巴巴将中国各产业集群地的供应商与海外买家的个性采购需求进行快速匹配，所凭借的，就是对供应商的海量交易数据信息的整合与挖掘。

二、大数据直接作为产品

对一些企业，大数据直接成为了产品，这些产品包括海量数据、分析、存储与挖掘的服务等，目前大数据产业链正在形成过程中，出现了一批开放、出售、授权大数据和提供大数据分析、挖掘的公司和机构，前者主要是一些拥有海量数据的公司，将数据服务作为新的盈利来源。如大型的互联网平台、民航、电信运营商、一些拥有大数据的政府机构等等，后者主要包括一些能够存储海量数据或者将海量数据与业务场景结合，进行分析和挖掘，或者提供相关产品的公司，如IBM、SAP、拓而思、天睿公司。它们为大数据应用者们提供海量数据存储、数据挖掘、图像视频、智能分析等服务以及相关系统产品。

大数据平台——企业群落繁荣的滋养剂

而百度已建成了包括百度指数、司南、风云榜、数据研究中心和百度统计在内的五大数据体系平台，帮助其营销平台上的企业了解消费者行为、兴趣变化，以及行业发展状况、市场动态和趋势、竞争对手动向等信息。

为解决这些问题，各个平台在积极地努力。比如阿里巴巴建立了数据委员会，在统一数据格式标准、从源头上保证数据的质量，采集和加工出精细化的数据，确保其能符合平台企业的应用场景等方面，不遗余力地尝试。尤其在大数据精细化方面，阿里巴巴更是作为其大数据战略的重点。这方面，腾讯目前也在加快步伐。比如新版腾讯网出现了“一键登录”的提示，用户可以在上面通过一些细分标签，订阅自己关注的内容。实际上，这也是腾讯收集更精细化的用户兴趣数据的一个有效手段。

Tips

大数据实战手册

将大数据应用于内部运营中时，企业会遇到一些常见问题

1企业如何获取与分析数据？

互联网是大数据的一个主要来源，一些线下的传统企业很难获得。但它们可以：

a和拥有或能抓取海量数据的平台、企业以及政府机构合作。比如淘宝上的电商就购买淘宝收集的海量数据中与自身运营相关的部分，用于自身业务。再如卡夫通过与IBM合作，在博客、论坛和讨论版的内容中抓取了万条关于自己产品的讨论信息，通过大数据分析出消费者对卡夫食品的喜爱程度和消费方式。

b建立自己在互联网上的平台，比如朝阳大悦城利用自己的微信、微博等平台收集消费者评论数据。

c许多传统企业没有分析海量数据的能力，此时它们可以和大数据分析和挖掘公司合作，目前市场上已经有天睿公司、IBM、百分点、华胜天成等一批提供大数据分析和挖掘服务的公司，它们是传统企业进行大数据分析可以借助的力量。

2如何避免大数据应用时的部门分割？

对于许多企业，其信息流被各部门彼此分割，数据难以互通，对于这种情况下，大数据的共享和汇集就只是一个泡影，更难以实现大数据的深度应用。

要打通部门之间信息分割的局面，首先要建立统一的、集中的数据系统。就像立白信息与知识总监王永红所说的，“要真正用好大数据，企业要采用大集中的信息系统。”从更深入的角度来谈，企业信息流的部门分割，更在于企业部门之间的分割，比如有一些企业的营销按照渠道分割，导致对于顾客的大数据收集和分析效果大打折扣。

IBM智慧商务技术总监杨旭青认为，“很多时候由于组织结构问题，大数据分析有效性大大降低了。”这就需要组织与流程层面的重新设计，在这方面，阿里巴巴的部门负责人轮岗制度，对于打破部门壁垒无疑是一剂好药。而一些企业为了打破部门分割，建立了矩阵型的组织结构，强化部门间的横向合作，这些无疑为大数据的汇集、共享与应用创造了良好条件。

3如何让业务人员重视大数据的应用？

解决这个问题，一方面在于一把手对整个企业数据文化的倡导，比如1号店董事长于刚就要求业务人员无论在开会，还是汇报工作时，都以数据说话，而马云更是将大数据提升到了战略高度。

另一方面，也在于数据部门的带动，阿里巴巴数据委员会负责人车品觉分享了经验，“因为运营部门的业务人员很难看到大数据的潜力，可以首先从一些对业务见效快，见效显著的数据项目出发，通过一两个项目的成功，调动对方的积极性，然后再逐步一个个地引导。”

4为何大数据工作与运营需求脱节？

这往往是由于数据人员与业务人员视角、专业知识不同而导致的。大数据人员做了很多努力，但是业务人员却认为这些努力无关痛痒。如何解决这个问题？

有的企业从组织设计上发力，将大数据纳入业务分析部门的管理之下，用业务统驭数据。对于朝阳大悦城，由主要负责战略和经营分析的部门来管理大数据工作，其中的大数据分析人员则作为支持人员。在负责人张岩看来，大数据要靠商业法则指导，关键是找到业务需求的点，然后由数据分析和挖掘人员实现。在具体操作中，大悦城对微信的数据挖掘，挖掘什么样的关键词，由业务分析人员确定，而具体挖掘则由数据部门做；有的企业从流程设计上着手，推动业务部门与数据部门人员之间的沟通，建立数据人员工作与效果挂钩的考核机制。

例如阿里巴巴根据数据挖掘的成效（比如带来的商品转化率的提升）来考核数据挖掘师，考核数据分析师则看其分析结果能否出现在经营负责人的报告中。从数据部门自身角度则需要降低运营部门使用数据的障碍和门槛，比如立白集团的数据人员会努力尝试向运营部门提供更易懂、更生动的图形化数据分析界面，在立白老板办公室上，就有一份“客户运营健康体检表”，让老板对全国经销商的当月销售情况一目了然。再如阿里巴巴开发的无线Bi，让经营人员在手机上也可以看到大数据分析结果，拿车品觉的话说，“以数据之氧气包围经营人员。”

大数据，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。想要学习大数据课程推荐选择【达内教育】。在大数据培训班主要培训内容有：一、课程内容教学。不同的培训机构，根据课程内容的不同，当然时间也会有所差异，学习内容大概为Java语言基础、HTML、CSS、JavaWeb和数据库、Linux基础、Hadoop生态体系、Spark生态体系等课程内容。二、项目实战训练。参加【大数据培训】必须经过项目实战训练。学员只有经过项目实战训练，才能在面试和后期工作中从容应对。项目实战训练时间和项目的难度、项目的数量相关。项目难度越大、项目越多学习的时间越长。感兴趣的话点击此处，免费学习一下想了解更多有关大数据培训内容的相关信息，推荐咨询【达内教育】。达内与阿里、Adobe、红帽、ORACLE、微软、美国计算机行业协会（CompTIA）、百度等国际知名厂商建立了项目合作关系。共同制定行业培训标准，为达内学员提供高端技术、所学课程受国际厂商认可，让达内学员更具国际化就业竞争力。达内IT培训机构,试听名额限时抢购。

1、数据收集利用多种轻型数据库来接收发自客户端的数据，并且用户可以通过这些数据库来进行简略的查询和处理工作，并发系数高。2、统计分析将海量的来自前端的数据快速导入到一个集中的大型分布式数据库或者分布式存储集群，利用分布式技术来对存储于其内的集中的海量数据进行普通的查询和分类汇总等，以此满足大多数常见的剖析需求。导入数据量大，查询涉及的数据量大，查询恳求多。3、发掘数据基于前面的查询数据进行数据发掘，来满足高档其他数据剖析需求，算法复杂，并且计算涉及的数据量和计算量都大。