《2018大数据技术与应用ppt课件.pptx》由会员分享，可在线阅读，更多相关《2018大数据技术与应用ppt课件.pptx（61页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用大数据技术与应用 1经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用目录一、大数据的来源二、什么是大数据三、大数据的应用四、成功案例 2经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用引言引言 电影电影点球成金点球成金基于历史数据，利用数据建模定量分析不同球员特点，合理搭配，重新组队；打破传统思维，通过分
2、析比赛数据，寻找“性价比”最高球员，运用数据取得成功；布拉德皮特主演的点球成金是一部美国奥斯卡获奖影片，所讲述的是皮特扮演的棒球队总经理利用计算机数据分析，对球队进行了翻天覆地的改造，让一家不起眼的小球队能够取得巨大的成功。3经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用数据本质是生产资料和资产数据本质是生产资料和资产不可再生资源VS数据过去3年数据总量被以往4万年还多2013年,10分钟的信息总量将达1.8ZB2010年全球数据总量1.2ZB，年增长50%数据不再是社会生产的“副产物”，而是可被二次乃至多次加
3、工的原料，从中可以探索更大价值，它变成了生产资料。4经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用数据爆炸式增长（每分钟数据爆炸式增长（每分钟）Twitter上发布98000+新微博13000+个iPhone应用下载Skype上37万+分钟的语音通话上传6600张新照片到flickr发出1.68亿+条EmailYouTube上上传600+新视频淘宝光棍节10680+个新订单Facebook上更新69.5万+条新状态12306出票1840+张 5经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受
4、到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用数据资产管理的挑战数据资产管理的挑战 6经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用数据资产管理的挑战数据资产管理的挑战 7经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用需要需要不同不同“看看”数据的方式数据的方式7Series1,半/非結構化資料,85%Series1,結構化資料,15%可视：结构化资料 15%未视：半/非结构化数据 85%DB/DW主管们看的战情
5、数位仪表板，其实是残缺的 8经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用10万 GB10万 TB需要更高性价比的数据计算与储存方式需要更高性价比的数据计算与储存方式8数据库数据仓库计算更快 存储更省 9经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用85%半/非结构化的Log/Web page/Email/PDF/Image/Full-text/MS-Office file 9需要需要不同的数据管理策略不同的数据管理策略当我们想
6、要扩充时，才发觉：架构只能 scale-up，scale-out 不易处理时间过长，time-to-value 受限成本过高，cost-efficiency 受限15%结构化的 DB/DW遗憾残缺 10经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用每天几百 GB、几 TB 的资料，且持续成长中储存储存StoringStoring 在收数据的同时做必要的前置处理(pre-processing)，并区分数据处理的优先等级(prioritizing)计算计算ProcessingProcessing如何有效的避免因硬件
7、毁坏所导致的资料损毁管理管理ManagingManaging如何从中挖掘出所关注事件的 pattern 或 behavior分析分析AnalyzingAnalyzing超越企业现有超越企业现有 IT IT 的数据解决能量的数据解决能量10 11经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用中央政府对大数据的重视程度中央政府对大数据的重视程度11习近平习近平政府管理不仅要讲究策略，还要讲究手段，比如大数据技术的应用，2014年3月8日“大数据”首次写入政府工作报告奥巴马奥巴马“将投入巨资拉动与大数据相关的产业”“
8、数据为“未来的石油“，是美国综合国力的一部分，是与陆权、海权、空权同等重要的“国家核心资产”。李克强：李克强：加快推进全国中小企业征信系统建设,通过大数据等技术优化中小企业征信资质。李克强李克强经济数据和目标的进一步调整，中小企业将面临更大的压力，互联网金融除了解决便利性问题外，更重要的是如何围绕特有的大数据资源展开对实体经济的服务汪洋汪洋数据为王，财政工作离不开大数据 12经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用目录二、什么是大数据三、大数据的应用四、成功案例一、大数据的来源 13经营者提供商品或者服务
9、有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用13Social MediaMachine/SensorDOC/MediaWeb ClickstreamAppsCall LogLog什么什么是数据是数据？半半结结构化构化/非非结结构化数据构化数据 14经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用3/13/20124什么是大数据？什么是大数据？15经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商
10、品的价款或接受服务的费用何为大？数据度量1Byte=8 Bit1KB =1,024 Bytes1MB =1,024 KB=1,048,576 Bytes1GB =1,024 MB=1,048,576 KB=1,073,741,824 Bytes1TB =1,024 GB=1,048,576 MB=1,099,511,627,776 Bytes1PB =1,024 TB=1,048,576 GB=1,125,899,906,842,624 Bytes1EB =1,024 PB=1,048,576 TB=1,152,921,504,606,846,976 Bytes1ZB =1,024 EB=1,
11、180,591,620,717,411,303,424 Bytes1YB =1,024 ZB=1,208,925,819,614,629,174,706,176 Bytes3/13/20126什么是大数据？什么是大数据？16经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用红楼梦含标点87万字（不含标点853509字）每个汉字占两个字节：1汉字=16bit=2*8位=2bytes1GB 约等于 671部红楼梦1TB 约等于 631,903 部1PB 约等于 647,068,911部美国国会图书馆藏书（151,785
12、,778册）（2011年4月：收录数据235TB）中国国家图书馆：2631万册1EB1EB=40004000倍倍 美国国会图书馆存储的信息量美国国会图书馆存储的信息量600600美元的硬盘就可以存储全世界所有的歌曲美元的硬盘就可以存储全世界所有的歌曲MGIMGI估计估计,全球企业全球企业 20102010 年在硬盘上存储了超过年在硬盘上存储了超过 7EB(1EB7EB(1EB 等于等于 1010 亿亿 GB)GB)的新数据的新数据,同时同时,消费者在消费者在 PCPC 和笔记本等设备上存储了超过和笔记本等设备上存储了超过 6EB6EB 新数据新数据3/13/20127数据没有办法在可容忍的时间
13、下使用常规软件方法完成存储、管理和处数据没有办法在可容忍的时间下使用常规软件方法完成存储、管理和处理任务理任务什么是大数据？什么是大数据？17经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用大数据的解释大数据的解释大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据就是“未来的新石油”。18经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用大数据带来的思维变革大数据带来的思维变
14、革 19经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用大数据带来的思维变革（更多）大数据带来的思维变革（更多）人口大普查人口大普查全数据模式全数据模式随机采样随机采样样本模式样本模式大数据应用大数据应用全全数据模式数据模式 是指在国家统一规定的时间内，按照统一的方法、统一的项目、统一的调查表和统一的是指在国家统一规定的时间内，按照统一的方法、统一的项目、统一的调查表和统一的标准标准时点，时点，对全国人口普遍地、逐户逐人地进行的一次性调查登记；对全国人口普遍地、逐户逐人地进行的一次性调查登记；主要特点是调查组织高
15、度集中性，普查对象的全面完整性；主要特点是调查组织高度集中性，普查对象的全面完整性；人口大普查耗时耗费，一般来讲是十年一次，新中国成立以来共进行了人口大普查耗时耗费，一般来讲是十年一次，新中国成立以来共进行了6 6次人口大普查；次人口大普查；人口大普查是一种典型的全数据模式；人口大普查是一种典型的全数据模式；20经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用大数据带来的思维变革（更多）大数据带来的思维变革（更多）人口大普查人口大普查全数据模式全数据模式随机采样随机采样样本模式样本模式大数据应用大数据应用全全数据
16、模式数据模式 人口大普查是一种耗时耗费的工程，一般是以十年为单位；人口大普查是一种耗时耗费的工程，一般是以十年为单位；各国每年需要进行几百次的小规模人口调查，采取随机采样分析的方式，这是一种样本模式；各国每年需要进行几百次的小规模人口调查，采取随机采样分析的方式，这是一种样本模式；源于实用并且很好的创新！源于实用并且很好的创新！随机采样分析是小数据时代的产物随机采样分析是小数据时代的产物；21经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用大数据带来的思维变革（更多）大数据带来的思维变革（更多）人口大普查人口大普
17、查全数据模式全数据模式随机采样随机采样样本模式样本模式大数据应用大数据应用全全数据模式数据模式 我们已具备了大数据的各种技术能力，思维需要转换到大数据的全数据模式：样本我们已具备了大数据的各种技术能力，思维需要转换到大数据的全数据模式：样本=全部全部；大大数据不用随机分析法这样的捷径，而采用所有数据的方法；数据不用随机分析法这样的捷径，而采用所有数据的方法；这里的这里的“大大”是相对的是相对的相扑相扑比赛所有数据存储还不需要一个比赛所有数据存储还不需要一个TBTB，但是是所有的数据！，但是是所有的数据！在大数据时代采用随机采样法，就像在汽车时代骑马一样，虽然特定情况下仍可采样随机采样法，在大数
18、据时代采用随机采样法，就像在汽车时代骑马一样，虽然特定情况下仍可采样随机采样法，但是慢慢地我们会放弃它；但是慢慢地我们会放弃它；22经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用大数据带来的思维变革（更多）大数据带来的思维变革（更多）Google利用网络大数据预测流感基于全数据进行相扑比赛的作弊分析埃齐奥尼的Farecast有10万亿条数据预测机票价格乔布斯的癌症抗争，自身所有DNA和肿瘤DNA排序 23经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品
19、的价款或接受服务的费用大数据带来的思维变革（更杂）大数据带来的思维变革（更杂）IBM的机器翻译 VS Google的机器翻译；大数据时代要求我们重新审视数据精确性的优略；大数据不仅让我们不再期待精确性，也让我们无法实现精确性；错误不是大数据固有的问题，而是一个需要我们去解决的问题，而且会将长期存在；24经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用大数据带来的思维变革（更好）大数据带来的思维变革（更好）佛教三世因果经主要讲：一是人的命是自己造就的；二是怎样为自己造一个好命；三是行善积德与行凶作恶干坏事的因果循环
20、报应规律。原因和结果是揭示客观世界中普遍联系着的事物具有先后相继、彼此制约的一对范畴。原因是指引起一定现象的现象，结果是指由于原因的作用而引起的现象。大数据的相关关系，而不强调因果关系；（舍恩伯格），其实这个只是一种对无法探究因果的妥协，人类应该去探寻因果，因为世界存在客观的运转规律；25经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用大数据的大数据的4V4V特征特征Volume非结构化数据的超大规模和增长总数据量的8090%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍Value大量的不相关信息
21、对未来趋势与模式的可预测分析深度复杂分析（机器学习、人工智能Vs传统商务智能）Velocity实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效Variety大数据的异构和多样性很多不同形式（文本、图像、视频、机器数据）无模式或者模式不明显不连贯的语法或句义Big Data大数据TBTBPBPBEBEBStreamsStreamsReal timeReal timeNear timeNear timeBatchBatchStructuredStructuredUnstructured Unstructured Semi-structuredSemi-structuredAll th
22、e aboveAll the above 26经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用大数据的大数据的4V4V特征（特征（VolumeVolume）1Bity1KB1MB1GB1TB1PB1EB1ZB1YB1PB相当于50%的全美学术研究图书馆藏书信息内容5EB相当于至今全世界人类所讲过的话语1ZB如同全世界海滩上的沙子数量总和1YB相当于7000位人类体内的微细胞总和一般情况下，大数据是以PB、EB、ZB为单位进行计量的 27经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，
23、增加赔偿的金额为消费者购买商品的价款或接受服务的费用大数据的大数据的4V4V特征（特征（VelocityVelocity）82254132215327现在及未来几年内美国的移动网络数据流量增长（PB/月）源自英国Coda研究咨询公司大数据的增长速度快大数据的处理速度快实时数据流处理的要求，是区别大数据引用和传统数据仓库技术，BI技术的关键差别之一；1s 是临界点，对于大数据应用而言,必须要在1秒钟内形成答案，否则处理结果就是过时和无效的；28经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用大数据的大数据的4V4V
24、特征（特征（VarietyVariety）行业/企业内数据互联网数据物联网数据大数据数据来源多数据来源多企业内部多个应用系统的数据、互联网和物联网的兴起，带来了微博、社交网站、传感器等多种来源。数据类型多数据类型多保存在关系数据库中的结构化数据只占少数，7080%的数据是如图片、音频、视频、模型、连接信息、文档等非结构化和半结构化数据。关联性关联性强强数据之间频繁交互，比如游客在旅行途中上传的图片和日志，就与游客的位置、行程等信息有了很强的关联性。29经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用大数据的大数据
25、的4V4V特征（特征（ValueValue）挖掘大数据的价值类似沙里淘金，从海量数据中挖掘稀疏但珍贵的信息；价值密度低，是大数据的一个典型特征；大数据不大数据不仅仅仅仅是技是技术术，关，关键键是是产产生价生价值值可以从各个层面进行优化，更要考虑整体 30经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用行业数据处理方式价值银行/金融贷款、保险、发卡等多业务线数据集成分析、市场评估新产品风险评估股票等投资组合趋势分析增加市场份额提升客户忠诚度提高整体收入降低金融风险医疗共享电子病历及医疗记录，帮助快速诊断穿戴式设备远
26、程医疗改善诊疗质量加快诊疗速度制造/高科技产品故障、失效综合分析专利记录检索智能设备全球定位，位置服务优化产品设计、制造降低保修成本加快问题解决能源勘探、钻井等传感器阵列数据集中分析降低工程事故风险优化勘探过程互联网/Web2.0在线广告投放商品评分、排名社交网络自动匹配搜索结果优化提升网络用户忠诚度改善社交网络体验向目标用户提供有针对性的商品与服务政府/公用事业智能城市信息网络集成天气、地理、水电煤等公共数据收集、研究公共安全信息集中处理、智能分析更好地对外提供公共服务舆情分析准确预判安全威胁媒体/娱乐收视率统计、热点信息统计、分析创造更多联合、交叉销售商机准确评估广告效用零售基于用户位置信
27、息的精确促销社交网络购买行为分析促进客户购买热情顺应客户购买行为习惯13大数据商业价值大数据商业价值 31经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用大数据商业价值大数据商业价值-大数据为大数据为“未来的新石油未来的新石油”312013年，世界上存储的数据预计能达到约1.2泽（约12亿TB）字节，如果把这些数据全部印刷成书，这些书可以覆盖整个美国52次，如果将之存储于标准的光盘，这些光盘可以堆成五堆，每一堆都可以伸到月球。2012年3月22日，奥巴马政府宣布投资2亿美元拉动大数据相关产业发展，将“大数据战略”
28、上升为国家战略。奥巴马政府甚至将大数据定义为“未来的新石油”。32经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用大数据商业价值大数据商业价值-企业经营决策企业经营决策32某商店卖牛奶，通过数据分析，知道在本店买了牛奶的顾客以后常常会再去另一店买包子，人数还不少，那么这家店就可以考虑与包子店合作，或直接在店里出售包子。33经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用大数据商业价值大数据商业价值-个性化营销个性化营销33银行与客户
29、的交流渠道进行了整合，只要某个客户在网上点击查询了有关房贷利率的信息，系统就会提示呼叫中心在电话交流时推荐房贷产品，如果发现顾客确实对此感兴趣，销售部门就会发送推介信息给客户，如果这位顾客到银行网点办事，业务人员就会详细介绍房贷产品，开始只有少量的线索，但通过多渠道的与顾客交互接触，在这个过程中，令顾客体验了银行精准、体贴的服务，其结果是营业收入大为增加，成本大幅降低，34经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用大数据商业价值大数据商业价值-互联网金融的核心是大数据互联网金融的核心是大数据34互联网金融并
30、非简单的把传统金融业务搬到网上去，而是充分利用大数据来颠覆银企之间信息不对称的问题。数据是一个平台，因为数据是新产品和新商业模式的基石。推动互联网金融发展的核心正是大数据的价值。35经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用大数据商业价值大数据商业价值-所有互联网公司都将是大数据公司所有互联网公司都将是大数据公司35 36经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用大数据商业价值大数据商业价值-数据列入企业资产负债表只是时
31、间问题数据列入企业资产负债表只是时间问题36用资产的要素来盘点一下什么样的数据符合资产的要求：1，从拥有和控制的角度来看，数据可以分为第一方数据、第二方数据和第三方数据。2，对于数据资产的货币计量，可以参照无形资产的计量规则。3，目前直接利用数据为企业带来经济利益的方法主要有数据租售、信息租售、数据使能三种模式。4，要实现数据的保值增值，就要从扩大数据规模，提高数据活性，提升收集运用数据的能力 37经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用大数据改变生活大数据改变生活37。各级政府、主管部门、上市公司、企业
32、集团、外资公司都将基于大数据分析平台优化其决策。大数据分析能力逐渐加强，传统市场研究行业、证券研究所、产业链咨询机构将逐渐消失。优化银行都将基于企业大数据平台开展银行直销业务，同时按照产业链金融服务事业部模式开展业务革命因大数据系统的出现，所有依赖信息不对称盈利的业务都将消失。颠覆改变大数据对政府、金融机构、企业来说，象空气一样不可或缺！38经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用软件是大数据的引擎软件是大数据的引擎和数据中心（DataCenter）一样，软件是大数据的驱动力.软件改变世界软件改变世界!3
33、9经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用IBM C&P Industry需求需求海量数据存储技术实时数据处理技术数据高速传输技术搜索技术描述描述分布式文件系统流计算引擎服务器/存储间高速通信文本检索、智能搜索、实时搜索技术技术Hadoop，x86/MPPMap ReduceStreaming DataInfini BandEnterpriseSearch数据分析技术Text Analytics Engine 自然语言处理、文本情感分析、Visual Data Modeling 机器学习、聚类关联、数据模
34、型第 10 页大数据涉及的关键技术大数据涉及的关键技术 40经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用基于基于SQL语言语言:面对OLAP的传统行和列不基于不基于SQL或或map-reduce的的:由谷歌率先由谷歌率先发起发起数据流数据流:基于运行商数据直接生成任意图形新平台技术新平台技术数据入数据入口口/汇聚汇聚数据平台数据平台分析分析不同范围的服务不同范围的服务传统交付模式-单片或基于设备的解决方案云云:能够充分利用物理设施的弹性，以实现处理快速增长数据的能力“数据库将演变成一个虚拟的，基于云计算，超级
35、可扩展的分布式平台。”-ForresteranalystJimKobielus新的传输方案新的传输方案大数据涉及的关键技术大数据涉及的关键技术 41经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用大数据（Hadoop）NoSQL数据数据库库数据数据仓库仓库部署架构部署架构水平扩展水平扩展大部分垂直扩展，少数水平扩展大部分水平扩展数据数据类类型型文件存储，没有数据类型简单数据类型丰富的数据类型丰富的数据类型数据模型数据模型非常简陋的数据模型简单灵活数据模型丰富的数据模型完善丰富的数据模型数据关系数据关系没有数据关系
36、描述非常简单的数据关系描述数据关系完善数据关系完善数据一致数据一致无一致性弱一致性强一致性强一致性数据安全数据安全安全性很弱安全性很弱安全性很高安全性很高计计算算类类型型离线批量处理，只读，低并发实时CRUD操作，海量并发实时CRUD操作，高并发离线批量处理，只读，低并发适用适用场场景景低密度数据海量存储，数据预处理，预计算高并发实时在线交易，查询，报表高价值数据统一存储和计算平台常常见见用例用例日志处理，用户行为分析，搜索引擎用户资料，微博，金融反欺诈金融账户，电信计费，税务等企业数据仓库Copyright 2012,Oracle and/or its affiliates.All righ
37、ts reserved.11大数据涉及的关键技术大数据涉及的关键技术 42经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用大数据的安全威胁大数据基础设施安全威胁大数据存储安全威胁隐私泄露问题数据访问安全威胁针对大数据的高级持续性攻击其他安全威胁大数据挑战大数据挑战 43经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用目录二、什么是大数据三、大数据的应用四、成功案例一、大数据的来源 44经营者提供商品或者服务有欺诈行为的，应当按照消费
38、者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用大数据业务战略大数据建设目标大数据架构设计大数据实施大数据运维企业战略目标业务目标业务模式大数据目标服务对象服务模式应用场景大数据服务定义大数据信息模型大数据管理定义技术选择容量规划安装、配置验收测试系统上线大数据服务管理系统监控资源调度生命周期管理服务性能管理验证测试大数据持续改进架构优化技术升级服务改进企业大数据建设方法企业大数据建设方法 45经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用逐步扩展现有架构，满足大数据要求：逐步
39、扩展现有架构，满足大数据要求：第第 1 步：更深入地分析当前数据步：更深入地分析当前数据第第 2 步：针对数据多样性和数据量进行设计步：针对数据多样性和数据量进行设计第第 3 步：针对高数据速度设计步：针对高数据速度设计第第 4 步：发现新模式步：发现新模式提高业务价值企业大数据建设方法企业大数据建设方法 46经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用信息分析信息分析信息供应信息供应(In-Database)数据挖掘数据挖掘文本挖掘文本挖掘统计分析统计分析语义分析语义分析空间地理分析空间地理分析In-DBM
40、apReduce说明性分析说明性分析预测分析预测分析报告报告仪表板仪表板用户层用户层最终客户最终客户供应商供应商市场营销市场营销管理人员管理人员客户服务客户服务业务流程业务流程合作伙伴合作伙伴应用系统应用系统数据沙箱（数据沙箱（Sandbox)Distributed File SystemsNoSQLRelationalData Streams文档文档多媒体多媒体网络和社交媒体网络和社交媒体机器生成机器生成大数据处理大数据处理大数据处理大数据处理&发现发现海量非结构化数据海量非结构化数据&流数据处理流数据处理信息发现信息发现数据转化数据转化存储层存储层数据源数据源数据仓库数据仓库海量非结构化海
41、量非结构化&结构化数据访问，转换和存储结构化数据访问，转换和存储分析主题库（数据集市）分析主题库（数据集市）Faceted UnstructuredSpatial/Relational企业部门应用企业部门应用企业大数据建设方法企业大数据建设方法 47经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用目录一、大数据的来源二、什么是大数据三、大数据的应用四、成功案例 48经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用商品零售大数据商品零
42、售大数据48此事经被纽约时报报道后，塔吉特“大数据”的巨大威力轰动全美在美国，有一位父亲怒气冲冲地跑到塔吉特卖场，质问为何将带有婴儿用品优惠券的广告邮件，寄送给他正在念高中的女儿?然而后来证实，他的女儿果真怀孕了。这名女孩搜寻商品的关键词，以及在社交网站所显露的行为轨迹，使沃尔玛捕捉到了她的怀孕信息。模型发现，许多孕妇在第2个妊娠期的开始会买许多大包装的无香味护手霜；在怀孕的最初20周大量购买补充钙、镁、锌的善存片之类的保健品。最后塔吉特选出了25种典型商品的消费数据构建了“怀孕预测指数”，通过这个指数，Target能够在很小的误差范围内预测到顾客的怀孕情况，因此Target就能早早地把孕妇优
43、惠广告寄发给顾客。49经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用消费大数据消费大数据49亚马逊“预测式发货”的新专利，可以通过对用户数据的分析，在他们还没有下单购物前，提前发出包裹。这项技术可以缩短发货时间，从而降低消费者前往实体店的冲动。从下单到收货之间的时间延迟可能会降低人们的购物意愿，导致他们放弃网上购物。所以，亚马逊可能会根据之前的订单和其他因素，预测用户的购物习惯，从而在他们实际下单前便将包裹发出。根据该专利文件，虽然包裹会提前从亚马逊发出，但在用户正式下单前，这些包裹仍会暂存在快递公司的转运中心
44、或卡车里。亚马逊为了决定要运送哪些货物，亚马逊可能会参考之前的订单、商品搜索记录、愿望清单、购物车，甚至包括用户的鼠标在某件商品上悬停的时间。50经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用大数据大数据+政治政治50 在筹备过程中，奥巴马背后的数据分析团队一直在收集、存储和分析选民数据。在这次的大选中，奥巴马竞选阵营的高级助理们决定将参考这一团队所得出的数据分析结果来制定下一步的竞选方案。利用在竞选中可获得的选民行动、行为、支持偏向方面的大量数据。比如，在东海岸找到一位对女性群体具备相同号召力的名人，从而复制
45、“克鲁尼效应”并为奥巴马筹集竞选资金。“Twitter的政治指数”提供了一个衡量社会化媒体平台的用户如何评价候选人的方式。奥巴马积极的情绪指数是59，而罗姆尼的只有53 51经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用证监会大数据证监会大数据51回顾“老鼠仓”的查处过程，在马乐一案中，“大数据”首次介入。深交所此前通过“大数据”查出的可疑账户高达300个。实际上，早在2009年，上交所曾经有过利用“大数据”设置“捕鼠器”的设想。通过建立相关的模型，设定一定的指标预警，即相关指标达到某个预警点时监控系统会自动报
46、警。而此次在马乐案中亮相的深交所的“大数据”监测系统，更是引起了广泛关注。深交所有几十人的监控室，设置了200多个指标用于监测估计，一旦出现股价偏离大盘走势，深交所利用大数据查探异动背后是哪些人或机构在参与。52经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用金融大数据金融大数据52阿里“水文模型”是按小微企业类目、级别等分别统计一个阿里系商户的相关“水文数据”库。如过往每到某个时点，该店铺销售会进入旺季，销售额就会增长，同时每在这个时段，该客户对外投放的额度就会上升，结合这些水文数据，系统可以判断出该店铺的融资
47、需求；结合该店铺以往资金支用数据及同类店铺资金支用数据，可以判断出该店铺的资金需求额度。53经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用金融交易大数据金融交易大数据53量化交易，程序化交易，高频交易是大数据应用比较多的领域。全球2/3的股票交易量是由高频交易所创造的，参与者总收益每年高达80亿美元。其中，大数据算法被用来作出交易决定。现在，大多数股权交易都是通过大数据算法进行，这些算法越来越多地开始考虑社交媒体网络和新闻网站的信息来在几秒内做出买入和卖出的决定。当一个产品可以在多个交易所交易时，会形成不同的定
48、价，在这当中，谁能够最快地捕捉到同一个产品在不同交易所之间的显著价差，谁就能捕捉到瞬间套利机会，技术成为了重要因素 54经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用制造业大数据制造业大数据54在摩托车生产厂商哈雷戴维森公司位于宾尼法尼亚州约克市新翻新的摩托车制造厂，软件不停的在记录着微小的制造数据，如喷漆室风扇的速度等等。当软件察觉风扇速度、温度、湿度或其它变量脱离规定数值，它就会自动调节机械。哈雷戴维森同时还使用软件，还寻找制约公司每86秒完成一台摩托车制造工作的瓶颈。最近，这家公司的管理者通过研究数据，认
49、为安装后挡泥板的时间过长。通过调整工厂配置，哈雷戴维森提高了安装该配件的速度。美国一些纺织及化工生产商，根据从不同的百货公司POS机上收集的产品销售速度信息，将原来的18周送货速度减少到3周，这对百货公司分销商来说，能以更快的速度拿到货物，减少仓储。对生产商来说，积攒的材料仓储也能减少很多。55经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用55谷歌基于每天来自全球的30 多亿条搜索指令设立了一个系统，这个系统在2009 年甲流爆发之前就开始对美国各地区进行“流感预报”，并推出了“谷歌流感趋势”服务。谷歌在这项服
50、务的产品介绍中写道：搜索流感相关主题的人数与实际患有流感症状的人数之间存在着密切的关系。虽然并非每个搜索“流感”的人都患有流感，但谷歌发现了一些检索词条的组合并用特定的数学模型对其进行分析后发现，这些分析结果与传统流感监测系统监测结果的相关性高达97%。这也就表示，谷歌公司能做出与疾控部门同样准确的传染源位置判断，并且在时间上提前了一到两周。”医疗医疗大数据大数据 56经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用能源大数据能源大数据56国际大石油公司一直都非常重视数据管理。如雪佛龙公司将5万台桌面系统与180