《微软大数据解决方案交流4439176.pptx》由会员分享，可在线阅读，更多相关《微软大数据解决方案交流4439176.pptx（45页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、微软银行业大数据解决方案交流Presales Architect，微软服务部目录大数据分析挑战微软解决方案介绍大数据案例分享数据复杂度：多元性和速度TerabytesGigabytesMegabytesPetabytesBig DataWeb 2.0ERP/CRM付款薪资货存联系人订单跟踪销售管道Web日志数字市场搜索市场网上推荐广告移动协作电子商务网页点击流Wikis/博客传感器/RFID/设备社交网络音频/视频日志文件空间&GPS坐标数据数据集市电子政务气候文本/图像大数据就是资本大数据就是资本 但究竟什么是大数据但究竟什么是大数据?未来数年数据量会呈现指未来数年数据量会呈现指数增长数增长
2、。根据麦肯锡全球。根据麦肯锡全球研究院（研究院（MGI）估计，全）估计，全球企业球企业2010年在硬盘上年在硬盘上存储了超过存储了超过7ZB（1ZB等等于于10亿亿GB）的新数据，）的新数据，而消费者在而消费者在PC和笔记本和笔记本等设备上存储了超过等设备上存储了超过6EB新数据。新数据。1ZB数据相当于数据相当于美国国会图书馆中存储的美国国会图书馆中存储的数据的数据的4000多倍。多倍。“大数据是指无法在一定大数据是指无法在一定时间内用常规软件工具对时间内用常规软件工具对其内容进行抓取、管理和其内容进行抓取、管理和处理的数据集合处理的数据集合”维基维基百科百科8万万亿亿GB2015全全球球信
3、息量信息量1s数据数据处处理理速速度度85%非非结结构构化化数据数据占占比比数据数据价价值值Volume 数数据据体量大体量大Variety数据数据类类型型多多Velocity 处处理理速度快速度快Value大数据的挑战大数据的挑战大数据的4V特点：Volume,Variety,Velocity,Value传统DW系统不适用于大数据的分析数据量过于庞大绝大部分大数据是垃圾大数据的多样化格式时效性高需要革新性的技术手段海量数据“分而治之”-批量分布式并行计算Hadoop海量数据“灵活多变”-实时分布式高吞吐高并发数据存取处理NoSQL海量数据“实时响应”-大数据流计算模型5我们希望从大数据获得什
4、么？我们希望从大数据获得什么？更高一层数据层面整合企业内外部6大数大数据改据改变变数据数据分分析思析思维维 过去，由于数据获取的困难程度，人们在分析数据时倾向于使用抽样数据，并通过不断改进抽样方法以提升样本的 精确性，从而对整体数据进行推算，并竭力挖掘数据间的因果关系。但当前数据处理思维方式正逐步向全体性、混沌性以及相关性演变，以适应数据量的爆发式增长。10大数据改大数据改变变数据分析思数据分析思维维全体数据全体数据混混杂杂数据数据精确数据精确数据抽抽样样数据数据因果关系因果关系相关关系相关关系采样的目的在于用最少的数据得到最多的信息，但在样本分析过程中不可避免会有一部分信息 丢失。在可以获得
5、海量数据的情况下，对全体 数据进行挖掘和分析可以获得更多信息。只有15%的数据是结构化且能适用于传统数据化 的，接受不精确性能使更多的非结构化数据得 到利用。建立在相关关系分析法上基础上的预测是大数据的核心。传统传统大数据大数据7大数据分析不同于大数据分析不同于传统传统BI BI分析分析传统BI分析批处理大数据分析集群化事务关系型数据库数据仓库分析非结构化流式分析组织多种数据源(MapReduce)结构化数据数据规模一般为TB规模集中式，为了分析进行大量数据移动，数据向计算靠近批处理为主结构化/非结构化混合分析的能力数据规模从数十TB到PB级别分布式，计算向数据靠近支持流式分析811如果业务需
6、求是分析多种来源的数据。如果业务需求是分析多种来源的数据。来源：来源：ForresterResearch，2012年年 6月全球大数据在线调查月全球大数据在线调查数据仓库与大数据的整合数据仓库与大数据的整合集成大数据和数据仓库功能以增加运营效率需要利用多种类型数据需要利用多种类型数据扩展仓库基础架构扩展仓库基础架构通过将很少使用的数据迁移到Hadoop来优化存储、维护和许可成本通过智能处理流数据来降低存储成本通过确定仓库中要填充的数据来改善仓库性能深度分析所需要的结构化、非结构化和流数据源低延迟要求（几小时，而非几周或几个月）提供对数据的查询访问10超越传超越传统数统数据仓库概据仓库概念的大数
7、据分析念的大数据分析流Internet级别传统数据仓库In-Motion AnalyticsData Analytics,Data Operations&Model BuildingResultsInternet ScaleDatabase&WarehouseAt-Rest Data AnalyticsResultsUltra Low Latency Results传统传统/关系型关系型数据源数据源非传统非传统/非关系型非关系型数据源数据源传统传统/关系型关系型数据源数据源非传统非传统/非关系型非关系型数据源数据源100111STREAMING11大数大数据分析平据分析平台台大数据技术是一系列
8、技术的集合，是传统数据结构化数据与非结构化技术与数据的整合，并基于这些技术与数据进行综合的商业智能应用，包括数据分析与数据挖掘等。BI/报告BI/报告探索/可视化 功能应用行业应用预测分析 内容分析 应用程序数据分析系统管理数据分析应用开发数据整合与治理Hadoop系统流计算数据仓库目录大数据分析挑战微软解决方案介绍大数据案例分享13微软的大数微软的大数据分析视据分析视角角面向业务分析的愿景 深刻的数据洞察自助式服务|协作|移动化|实时/准实时非结构化数据100111多样的数据管理结构化数据流数据共享与治理挖掘与关联分析转换清洗丰富的数据加工14非结构化数据大数据中结构化与非结构化数据的整合大
9、数据中结构化与非结构化数据的整合c.建立对非结构化数据进行SQL语法查询的支持，实现与结构化数据的集成关联（key）主分类关键词标签地名人名全国统一分类分词，倒排搜索共性、个性文本识别处理功能模块网页分类反向搜索关键词分析日志关联内容分词索引建立索引分析日志合并用户类别标签摘要结构化元信息网页信息分类数据获取语义分析数据解析数据获取结构化数据数据集市数据集市EDW结构化元数据Hadoopa.建立非结构化信息的标签、摘要、索引、日志、内容等b.提取结构化的元数据信息，如类别、标引、摘要等；实现与结构化数据的整合ODSSQL声誉度分析品牌分析服务质量分析竞争产品分析产品评价市场动态跟踪15BigD
10、ataBigDataTraditionalBusinessIntelligenceTraditionalBusinessIntelligenceEDWAPPSBizprocessERP,CRMDMDMDMETL数据源数据源基础架构基础架构分析组件分析组件业务用户业务用户Structured:e.g.MM/DD/YYYYKnown,knownSemi-structured:e.g.weblogs,sensordataKnown,unknownUn-structured:e.g.text,video,audio,Unknown,unknownBusinessUsersMachinesDevices
11、“TheInternetofThings”DataScientistsCollaboration&SocialEmail,blogs,documentsEveryoneIndexingengineAlgorithmsVisualizationAnalyticsDataSearchPresentationReportingAnalysisDataHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFS数据分析路径数据分析路径16I
12、nformationFlowTraditionalBIInformationFlowUnstructureddatatoBIInformationFlowSemi-structureddatatoBIInformationFlowSearch数据分析路径数据分析路径建设大数据建设大数据BI BI系统的思考系统的思考1717常见架构+PBTB一体机MPP DWMPP DM传统的BI系统架构并非一无是处，同样值得我们学习借鉴+18MS大数据解决方案总体架构19微软大数据产品架构Fast LoadSource SystemsHistorical Data(Beyond Active Window)S
13、ummarize&LoadBig Data Sources(Raw,Unstructured)Alerts,NotificationsData&Compute Intensive ApplicationERPCRMLOBAPPSIntegrate/EnrichSQLServerStreamInsightSQLServerParallelDataWarehouseEnterpriseETLwithSSIS,DQS,MDSHadooponWindowsAzureHadooponWindowsServerSQLServerFTDWDataMartsSQLServerReportingServices
14、SQLServerAnalysisServerBusinessInsightsInteractiveReportsPerformanceScorecardsCrawlersBotsDevicesSensors20结构化数据Microsoft SQL Server 2012 和SQL Server Parallel Data Warehouse设备提供一种方法来管理结构化数据。流数据SQL Server StreamInsight组件实现了对新的数据格式的支持，其中包括流数据。非结构化数据部署在Windows Azure和Windows Server上的基于Hadoop的服务使您能够快速处理PB
15、级的非结构化的数据。管理几乎来自任意来源的数据管理几乎来自任意来源的数据21大规模并行处理引擎 MassivelyParallelProcessing(MPP)PDW作为SQLServer的横向扩展解决方案MPP提供线性横向扩展能力MassivelyParallelProcessing(MPP)大规模并行处理架构横向扩展：按需添加硬件实现线性扩展无共享架构最小(0TB)到最大(6PB)从几个TB的小型数据仓库开始扩展到 6 PB 比SMP DW快10倍复杂作业计算线性扩展扩展灵活方便(No forklift)聚沙成塔 成长无限容量最大 随需扩容PB宕机为零高枕无忧22Hadoop的典型应用场景
16、用户行为分析跟踪用户跟踪用户在在网站网站上上的点击路径，分析其购买习惯的点击路径，分析其购买习惯根据用户属性，猜测用户感兴趣的商品，定向推广根据用户属性，猜测用户感兴趣的商品，定向推广根据根据N N度客户，发掘潜在的客户群体度客户，发掘潜在的客户群体日志存储、分析日志分布在多台服务器，查找问题困难日志分布在多台服务器，查找问题困难,跨系统应用日跨系统应用日志分析、系统志分析、系统性能分析等性能分析等上传文件存储各业务系统上传的文件、图片统一保存各业务系统上传的文件、图片统一保存23MS与Hadoop基于Apache Hadoop的Windows Server和Windows Azure，以及A
17、D的支持HDInsight ServerHDInsight ServiceHive ODBC Driver 和 Add-in for ExcelJavaScript Framework for HadoopSQL Server and SQL Server Parallel 数据 Warehouse connections for HadoopSharepoint,Powerpivot和Powerview作为前端展示24数据价值&访问频度MPP数据库数据库结构化数据结构化数据传统传统BI工具工具HDP半结构化和非结构化数据半结构化和非结构化数据历史数据分析历史数据分析数据生命周期&数据规模 H
18、DPHDP在在hadoophadoop上增加了：集群管理能力，工作流，安全管理，并融入了数据分析上增加了：集群管理能力，工作流，安全管理，并融入了数据分析,机器学习技术以及文本数据分析挖掘。机器学习技术以及文本数据分析挖掘。所有的这些增强都是为了更好的使得该方案能适用于所有的这些增强都是为了更好的使得该方案能适用于复杂的，海量数据的分析复杂的，海量数据的分析。HDPHDP是是对传统数据仓库的一种对传统数据仓库的一种补充和延伸补充和延伸，整体构成一个更广义，整体构成一个更广义的海的海量数据仓库。量数据仓库。HDP海量大数据仓库25Hive、Sqoop当前大数据分析面临的挑战Warehouse要求
19、学习和掌握Map-Reduce技术需要IT人员将 HDFS 中的数据倒入数据仓库或集市中，才能用于后继的分析HDFS(Hadoop)HDFS(Hadoop)大量新技术需要学习掌握、周期长、见效慢传统BIEDWConnectorforHadoopETL/ELTHadoop：成本低、扩展性好、数据加载快、并发处理强EDW：SQL查询执行性能高，包括Ad-hoc、OLAP、报表等HiveODBCDriver26基于PolyBase的全方位数据整合能力穿越结构化和非结构化数据的访问数据库和Hadoop的混合分析支持透明的应用访问SocialAppsSensor&RFIDMobileAppsWebApp
20、s非结构化数据结构化数据数据库文件系统HDFS混合动力引擎PolyBaseSQL关系型数据库通过统一的查询，同时访问结构化和非结构化数据沿用标准的SQL语句进行访问Select,FromWhere低延迟可扩展流数据计算平台StreamInsight用于大数据领域实时高频数据分析处理一个处理流数据的低延迟平台毫秒级，甚至微妙级端到端的延迟一个可高度扩展的，用于实时分析的高性能平台通过横向增加硬件获得近线性的处理能力扩展高达125个节点扩展一个灵活的、动态的平台Streams应用灵活部署支持动态部署新的分析应用每秒数以百万计的事件微秒级延迟传统/非传统数据源实时决策强大分析算法交易Telco ch
21、urnpredictSmartGrid网络安全入侵监测Cyber SecurityGovernment/Law enforcementICUMonitoring环境监控2728使用熟悉工具来分析结构化和非结构化数据Hadoop Hadoop 数据数据结构化结构化数据数据 用熟悉的工具来分析大数据 微软BI工具的天然集成在同一表格中分析结构化和非结构化数据广泛使用的熟悉工具EXCELPowerPivotSQLSERVER BI无需IT 人员介入分析多样的数据类型广泛使用的Excel29MicrosoftSpeechSDKMicrosoftSpeechSDK是微软公司提供在Windows平台上开发
22、语音识别和语音合成应用程序的开发包，简称为SAPI，内含SR（SpeechRecognition）和SS（Speechsynthesis）引擎，因此可以很方便地在自己的应用程序中添加这些功能。该语音引擎支持多种语音的识别和朗读，包括英文、日文、中文等。微软推出的应用编程接口API，虽然现在不是业界标准，但是应用比较广泛。识别基本流程：从音频输入设备获取原始音频并编码或直接调用音频文件。设定语音引擎和识别上下文等内容，配置本地访问属性。分析处理得到的文本结果请求接口请求方式：本地访问请求数据：编码后的音频数据音频编码格式：wav音频采样频率：8000Hz、11025Hz、16000Hz、2205
23、0Hz、24000Hz、32000Hz、44100Hz、48000Hz主要优点基于COM组件，便于与DirectShow中的组件整合。语音识别引擎位于本地，便于访问，识别速度较快。待识别音频的大小、时长无限制。MAVIS“微软研究院音视频索引系统目录大数据分析挑战微软解决方案介绍大数据案例分享银行面临大数据时代的业务挑战小微企小微企业贷款市场逐渐被侵业贷款市场逐渐被侵蚀蚀电子商务公司和第三方支付厂商紧贴最终用户，依靠市场优势，对银行的议价能力极 强，比如：银行的支付交易手续费被支付宝压到 3甚至更低，侵蚀银行信用卡的收入。第三方支付企业使得客户和银行的关系进一步疏远：本来是银行自己的持卡客户，
24、银 行却根本不知道他们的购物明细，只能知道他们花了多少钱。这在未来以数据取胜的 时代对银行很不利。银行系电子商务开展不顺利：整个银行系的电子商务市场份额总共不到2%。贷款模式使得客户减少对于银行的依赖：目前来看，贷款模式使得资金的供求 方和需求方可以自行撮合。这使得客户对于银行的贷款依赖逐渐减小。小微企小微企业业客客户户数数银行系行系民生民生银行：行：91.5万万招商招商银行：行：0.57万万互互联网系网系阿里小阿里小贷：1030万万贷贷款余款余额额民民生银行：生银行：363亿美元亿美元 招商银行：招商银行：52亿美元亿美元阿里小阿里小贷贷：3.6亿亿美元美元贷贷款客款客户户数数民生民生银银行
25、：行：15万万阿里小阿里小贷贷：13万万平均平均贷贷款款规规模模工商工商银银行：行：120万元万元阿里小阿里小贷贷：0.7万元万元年增年增长长率率银银行行业业：18.5%阿里小阿里小贷贷：80%坏坏账账率率银银行行业业：3.31%阿里小阿里小贷贷：0.72%银行与零售客户越来越远银行与零售客户越来越远32银行面临大数据时代的技术挑战数据缺口专业人才缺乏IT技术成熟度隐私安全33中国银行业大数据应用场景风险风险管理和合管理和合规规反欺反欺诈诈 反洗反洗钱钱 多点多点检测检测营销营销 实时营销实时营销事件式事件式营销营销 全渠道全渠道营销营销客客户户 360 360客客户视图户视图 客客户户定价定
26、价 客客户户分分类类银银行行数据数据 银银行交易数据行交易数据 用用户户金融信息金融信息 电话录电话录音音互互联联网数据网数据 浏览浏览信息信息 搜索信息搜索信息 SNS SNS信息信息用用户户数据数据 身份信息和身份信息和偏好数据偏好数据 地理位置信地理位置信息息 用用户户事件事件电电子商子商务务数据数据 商品商品浏浏览览信息信息 交易数据交易数据 消消费费趋势趋势信息信息 银行大数据源 大数据应用P2PP2P业务业务 人人贷人人贷 小额信用贷小额信用贷利率市场化利率市场化解解决信息孤岛：分布式信决信息孤岛：分布式信息日志集中汇聚索引息日志集中汇聚索引中信、农行、工行、建行、交行、民生、招行
27、、光大、阿里巴巴等大数据应用试点项目34摩根大通基于Hadoop的大数据应用已经开始使用Hadoop技术以满足日益增多的用途，包括诈骗检验、IT风险管理和自助服务。150PB在线存储数据、30,000个数据库和35亿个用户登录账号。Hadoop能够存储大量非结构化数据，允许公司收集和存储Web日志、交易数据和社交媒体数据。数据被汇集至一个通用平台，以方便以客户为中心的数据挖掘与数据分析工具的使用。35微信贷公司“大数据+机器智能学习”利用海量数据挖掘和算法来做一些贷款业务大量使用了社交媒体和其他的网络工具每个贷款人都拥有6000到8000条数据特点：它的每笔贷款额度都很小，太多的资金额度需要更
28、多次的检验不良贷款会迅速暴露。，模型的反馈和改进违约率高利率很高nWonganLendingStreamnZestcashnKlarnanPawnGon阿里云n金电联行36花旗银行大数据信贷应用定期（每天）对所有客户的交易日志和当前的债权状况（包括核心系统内的数据和从征信中心取得的数据）进行分析，建模，及分析当前模型的精确性；定期（每天）根据分析对客户进行分类（segmentation）；每天针对不同的分类建立不同的模型，进行行为评分、预测对客户营销可能性、提前还款的可能性、坏账的可能性等；每天根据预测的分数和交易状况和提前设定的strategy自动调整客户的creditline；每天根据预先
29、设定的strategy和3，4的结果对客户进行电话、邮件、信件等的促销和催收；采用结构化和非结构化数据消费者数据库消费者数据库基本身份信息住址信息收入信息财产信息消费信息（1）定期更新消费者信息（2）营销活动需求（3）建模并计算（4）提供报告HBASE（NOSQL数据库）Hadoop（Map/Reduce）HBASE（NOSQL数据库）大集中系统使用HBASE存储半结构及非结构化内容使用adoop的并行计算框架对存储的半结构化及非结构化内容，按照营销要求进行分析计算与消费者数据与消费者数据库中的身份信库中的身份信息进行关联息进行关联结果合并结果合并处理处理37MS大数据分析最佳实践客客户分析分
30、析解决方案关注点解决方案关注点理解客理解客户行行为:利用利用线上和上和线下客下客户数据，更加高效制定市数据，更加高效制定市场决策决策提升客提升客户体体验:通通过理解客理解客户痛点以及定制客痛点以及定制客户服服务，使客，使客户满意度最大化意度最大化企企业痛点痛点客户通过线上，线下和企业之间的交互信息视图不完整对客户有行为特征了解有限，无法切实有效影响客户的业务决策缺乏对市场活动ROI分析的直观性解决方案益解决方案益处获得完整的客户信息视图提高市场费用投放的有效性,减少营销成本获得对渠道贡献率的洞察力，优化营销途径提供量身定制的客户服务，提高客户整体满意度解决方案模解决方案模块营销及公共关系分析营
31、销及公共关系分析互联网及媒体舆情分析互联网及媒体舆情分析客客户服服务分析分析模模块收益收益衡量企业营销在各种渠道的有效性通过分析营销方案的关键字及客户反馈，获得对企业营销实际效果的了解.关注在最有价值的客户群上持续提高营销方案的质量将营销资源向最有执行效果的渠道投放获取负面评价.理解企业以及竞争对手在哪些信息存在共鸣使营销人员更快更准地接触更多客户更低成本地将信息传递到各种渠道，各个层次，各个地域的客户确认出最有影响力的人群，比如微博达人，明星等客服人员更高效应对市场情绪通过及时分析，快速反应，减少不必要的电话及邮件沟通将消费者的反应及时补充到新产品或服务的改进中提高客户消费的时效性，忠诚度及
32、口碑模模块功能功能对客户分层，客户资料和信息测试进行分析营销活动效果评估：同过分析各营销渠道中的营销受众数量，影响力以及最终消费者的评价倾向按照产品属性分析受众情绪倾向按照品牌及业务伙伴分析影响力分析客户在不同销售渠道下的用户体验分析客服中心的业务绩效如呼叫量，呼叫时长，解决状态，客户满意度等data分析客户数据以及客户网络行为，社交媒体信息，对客户需求有更深洞察力关键指标关键指标营销活动有效性各产品反应比例渠道的有效性市场费用投入产出比市场比例品牌接受度客户满意度最有影响力人群客户满意度呼叫总量，反应速度客户留存率383844%ofconsumers44%ofconsumerscomplai
33、nviasocialcomplainviasocialmedia.Existingmedia.Existingprocesstooprocesstoocumbersome.cumbersome.Generateaminimumof$100Kinsavingsayearthroughautomationofsentimentdataandtargetedcustomermarketing.Byautomatingsentimentanalysis,theycanalleviatethepainofreactingtoolatetonegativesentimentandavoidcostlyla
34、wsuits.OCCrequirementtoOCCrequirementtotrackcustomersat.trackcustomersat.90,000customers90,000customersdiscussCapitalOnediscussCapitalOneonsocial.onsocial.TBDLeveragingsocialdatatodeterminecustomersentimentandpositionproductsSituation NeedResultsCreativepCreativeplatformforlatformfor CustomerAnalyti
35、csforCustomerAnalyticsforBankingsolution.IncorporatedsocialsentimentBankingsolution.Incorporatedsocialsentimentfeedintoanalysisframework.feedintoanalysisframework.Analyzing100krecordseachmonthwasafullAnalyzing100krecordseachmonthwasafulltimejob,butisnowautomatedformoretimelytimejob,butisnowautomated
36、formoretimelyandefficientresults.Enableddigitalmarketingandefficientresults.Enableddigitalmarketinggrouptobetterrespondtocustomercomplaintsgrouptobetterrespondtocustomercomplaintsandtargetcustomers.andtargetcustomers.HighlightSolutionMS的大数据成功案例-CapitalOne社交网站客户满意度分析39CrossChannelMarketingPlatformtob
37、ridgeCrossChannelMarketingPlatformtobridgeCheetahmailandConversen.PowerBIwithspeciallyCheetahmailandConversen.PowerBIwithspeciallydevelopedindustryacceleratorsassyndicateddevelopedindustryacceleratorsassyndicatedpartnershipopportunity.partnershipopportunity.ThePowerBIteamworkingwithCOEtoThePowerBIte
38、amworkingwithCOEtointegrateProjectOrangeassetsintothedataintegrateProjectOrangeassetsintothedatacatalog.PossiblepartnershipwithExperiantocatalog.PossiblepartnershipwithExperiantoprovidesyndicateddata,readytoconsume.providesyndicateddata,readytoconsume.MS的大数据成功案例-Experian跨渠道营销ExperianneededtoExperian
39、neededtolowerthecostsoftheirlowerthecostsoftheircampaignmanagementcampaignmanagementsystem/emailmarketingsystem/emailmarketingsystem.system.TheMicrosoftplatformandBIsolutionTheMicrosoftplatformandBIsolutioncombinedwithExperiansexistingdatacombinedwithExperiansexistingdatacreatedanimpactfulsystemfort
40、argetingcreatedanimpactfulsystemfortargetingcustomersandmakingbusinesscustomersandmakingbusinessdecisionsthroughanalysis.decisionsthroughanalysis.AtthesametimeAtthesametimetheywerelookingfortheywerelookingforneweconomyneweconomyrevenuestreamsforrevenuestreamsforEMS(9%growth)EMS(9%growth)Bundlingread
41、ytoconsumedatawithBIandindustryacceleratorsforclearresultsSituation NeedResultsHighlightSolution40“”Connects to more than 1 billion signals 连接到超过 10 亿的信号/数据源Across 15 leading social networks,including Facebook 排名前15位的社交网络，包括FacebookGenerates a Klout score for individual people,brands&partners 为个人、品牌
42、及合作伙伴生成一个 Klout 分数Enables analysis,targeting and social graphs 在线影响力分析工具，提供分析、目标和社交图MS的大数据成功案例-KLOUTKloutEventKloutEventT Trackerracker41411PerformA|BTestingofUserFlows2OptimizeRegistrationFunnels3Monitorconsumerengagement&retention(DAUs&MAUs)4Flexiblytrackandreportonusergeneratedevents42ServingStor
43、esSignalCollectors(Java/Scala)DataWarehouse(Hive)K(Node.js)EventTracker(Scala)Mobile(ObjectiveC)AnalyticsCubes(SSAS)KloutAPI(Scala)SearchIndex(ElasticSearch)RegistrationsDB(MySql)ProfileDB(HBase)Streams(MongoDB)Dashboards(Tableau)PerksAnalyics(Scala)Monitoring(Nagios)DataEnhancementEngine(PIG/Hive)P
44、artnerAPI(Mashery)KLOUT大数据MS解决方案架构RequirementHadoop&HiveBIQueryEnginesCapture&store all dataYesNoSupport queries against detail dataYesNoSupport interactive queries&applicationsNoYesSupport BI&visualization toolsNoYes43EventTrackerArchitecture43WarehouseInstrumentCollectPersistQueryReportTrackerAPIS
45、cala,node.JSLogProcessFlumeCubeAnalysisServicesKloutUIScala,AJAXUXSELECT Measures.Counter,Measures.PreviousPeriodCounter ON COLUMNS,NON EMPTY CROSSJOIN(exists(Date.Date.Date.allmembers,Date.Date.&2012-05-19T00:00:00:Date.Date.&2012-06-02T00:00:00),Events.Event.Event.allmembers )DIMENSION PROPERTIES
46、MEMBER_CAPTION ON ROWSFROM ProductInsightWHERE(Projects.Project.plusK)event_logtstamp stringproject stringevent stringsession_id bigintks_uid bigintip stringjson_keys arrayjson_values arrayjson_text stringdt string hr string project:plusK,event:spend,session_id:0,ip:50.68.47.158,kloutId:“123456,“cookie_id:”123456,ref:http:/ be saved in HDFS at:/logs/events_tracking/2012-05-30/0100insights3:9003/track/project:”plusK,event:”spend”,ks_uid:123456,”type:”add_topic*COEArchitect,plusLocalArchitect(Ent.orSol.)演讲完毕，谢谢观看！