《数据与大数据分析教学内容.ppt》由会员分享，可在线阅读，更多相关《数据与大数据分析教学内容.ppt（65页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、数据与大数据分析中国网民数量：7.51亿半年增长率：2.7%中国注册网站数量：344.3万个手机网民：7.236亿 占网民总数：96.3%月均网络交易：16亿笔 每日新发微博数量：1亿+条 注册微博用户数：2.9071亿 发布的网页数量：866亿页年增速：40%网络直播用户：3.43亿 占网民总数：47.1%很多人还没搞清楚什么是PC互联网，移动互联来了；我们还没搞清楚移动互联的时候，大数据时代又来了！马云数据爆炸式的增长数据资产管理的挑战需要更高性价比的数据计算与储存方式需要不同的数据管理策略01你从哪里来？你从哪里来？Twitter上发布98000+新微博13000+个iPhone应用下载
2、Skype上37万万+分钟的语音通话上传6600张新照片到flickr发出1.68亿+条EmailYouTube上上传600+新视频淘宝光棍节10680+个新订单Facebook上更新69.5万万+条新状态12306出票1840+张数据爆炸式的增数据爆炸式的增长数据数据资产管理的挑管理的挑战数据数据资产B数据数据资产管理管理传统数据管理方式面数据管理方式面临挑挑战AC需要更高性价比的数据计算与储存方式需要更高性价比的数据计算与储存方式计算更快 存储更省10万 GB10万 TB1Byte=8 Bit1KB =1,024 Bytes1MB =1,024 KB=1,048,576 Bytes1GB
3、=1,024 MB=1,048,576 KB=1,073,741,824 Bytes1TB =1,024 GB=1,048,576 MB=1,099,511,627,776 Bytes1PB =1,024 TB=1,048,576 GB=1,125,899,906,842,624 Bytes1EB =1,024 PB=1,048,576 TB=1,152,921,504,606,846,976 Bytes1ZB =1,024 EB=1,180,591,620,717,411,303,424 Bytes1YB =1,024 ZB=1,208,925,819,614,629,174,706,176
4、 Bytes1Bity1KB1MB1GB1TB1PB1EB1ZB1YB85%半/非结构化的Log/Web page/Email/PDF/Image/Full-text/MS-Office file 需要需要不同的数据管理策略不同的数据管理策略15%结构化的 DB/DW残缺当我们想要扩充时，才发觉：架构只能 scale-up，scale-out 不易处理时间过长，time-to-value 受限成本过高，cost-efficiency 受限概念（Concept）特征（Features）变革（Change）技术（Technology）数据数据库（database）大数据（大数据（bigdata）你
5、是什么？你是什么？02 大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据就是“未来的新石油”。全球信息咨询机构国际数据公司（IDC）对大数据的技术定义是：通过高速捕捉、发现或分析，从大容量数据中获取价值的一种新的技术架构。所谓“大数据”(big data)指的是这样一种现象：一个公司日常运营所生成和积累用户行为数据“增长如此之快，以至于难以使用现有的数据库管理工具来驾驭，困难存在于数据的获取、存储、搜索、共享、分析和可视化等方面。”这些数据量是如此之大，已经不是以我们所熟知的多少G和多少T为单位来衡量，而是以P(1000个T)，E(
6、一百万个T)或Z(10亿个T)为计量单位，所以称之为大数据。概念概念n 数据类型多越来越多非结构化数据；音频、食品，地理位置信息等多类型数 据对数据处理能力提出更高要求。n 数据价值高海量数据带来了巨大的商业价值。数据之间关联性支持深层的数据挖掘。大数据的特点大数据的特点-4V理论理论n 数据处理速度快 对数据实时处理有着极高的要求，通过传统数据库查询方式得到的“当前结果”很可能已经没有价值。n 数据规模大从TB跃升到PB甚至EB。一组公式：1024GB=1TB;1024TB=1PB;1024PB=1EB。大数据改变生活大数据改变生活IBM C&P Industry需求海量数据存储技术实时数据
7、处理技术数据高速传输技术搜索技术描述分布式文件系统流计算引擎服务器/存储间高速通信文本检索、智能搜索、实时搜索技术Hadoop，x86/MPPMap ReduceStreaming DataInfini BandEnterpriseSearch数据分析技术大数据涉及的关键技术大数据涉及的关键技术Text Analytics Engine 自然语言处理、文本情感分析、Visual Data Modeling 机器学习、聚类关联、数据模型顾客客一次一次购买商品商品 1面包、黄油、尿布、牛奶面包、黄油、尿布、牛奶 2咖啡、糖、小甜咖啡、糖、小甜饼、鲑鱼 3面包、黄油、咖啡、尿布、牛奶、面包、黄油、咖
8、啡、尿布、牛奶、鸡蛋蛋 4面包、黄油、面包、黄油、鲑鱼、鸡 5鸡蛋、面包、黄油蛋、面包、黄油 6鲑鱼、尿布、牛奶、尿布、牛奶 7面包、茶叶、糖、面包、茶叶、糖、鸡蛋蛋 8咖啡、糖、咖啡、糖、鸡、鸡蛋蛋 9面包、尿布、牛奶、面包、尿布、牛奶、盐10茶叶、茶叶、鸡蛋、小甜蛋、小甜饼、尿布、牛奶、尿布、牛奶顾客客一次一次购买商品商品 1面包、黄油、面包、黄油、尿布尿布、牛奶牛奶 2咖啡、糖、小甜咖啡、糖、小甜饼、鲑鱼 3面包、黄油、咖啡、面包、黄油、咖啡、尿布尿布、牛奶牛奶、鸡蛋蛋 4面包、黄油、面包、黄油、鲑鱼、鸡 5鸡蛋、面包、黄油蛋、面包、黄油 6鲑鱼、尿布尿布、牛奶牛奶 7面包、茶叶、糖、面
9、包、茶叶、糖、鸡蛋蛋 8咖啡、糖、咖啡、糖、鸡、鸡蛋蛋 9面包、面包、尿布尿布、牛奶牛奶、盐10茶叶、茶叶、鸡蛋、小甜蛋、小甜饼、尿布尿布、牛奶牛奶品种品种计数项计数项:品种品种面包6牛奶5尿布5鸡蛋5黄油4糖3咖啡3鲑鱼3小甜饼2鸡2茶叶2盐1总计总计41概念（Concept）分类（Features）流程（Technological process）03我我们可以做些什么可以做些什么？大数据时代的核心价值大数据时代的核心价值数据分析数据分析什么是数据分析什么是数据分析数据分析有哪些数据分析有哪些类型型描述性描述性数据分析数据分析探索性探索性验证性性对比分析法对比分析法平均分析法平均分析法交叉
10、分析法交叉分析法初级数据分析初级数据分析高级数据分析高级数据分析相关分析相关分析因子分析因子分析回归分析回归分析数据分析的一般数据分析的一般环节04关于数据分析的分享与交流关于数据分析的分享与交流理论模型统计方法可视化数据分析方法数据分析方法论常用的数据分析理论模型营销方面管理方面4PPEST用户使用行为5W2HSWOT生命周期逻辑树金字塔SMART原则4P（product price place promotion）5W2HWHY 用户买的目的是什么？产品在哪些方面吸引用户？WHAT公司提供什么产品或服务吗？用用户需求是否一致？WHO谁是我们的用户？用户有何特点？WHEN何时购买？何时再次购
11、买？WHERE用户在哪里购买用户在各个地区的构成怎样?HOW用户支付方式是怎样？HOW MUCH用户购买花费的成本？KANO模型模型对顾客的不同需求进行分区处理，帮助团队识别对产品来说较为关键的客户需求层次，尽快完成规划。兴奋型需求期望型需求基本型需求数据分析统计方法统计方法方法聚聚类分析分析01回回归分析分析02时间序列分析序列分析03因子分析因子分析和主成分分和主成分分析析04数据分析软件MATLABSASSpssStataEviewsExcel可可视化方法化方法ECHARTSEASELYPPT附：1、ECHARTShttp:/ END用用户行行为理理论用户行为理论的用途较单一，就是用于用
12、户行为研究分析用户使用行为：认知-熟悉-试用-使用-忠诚利用用户行为理论，梳理网站分析的各关键指标之间的逻辑关系，构建符合公司实际业务的网站分析指标体系：ADD YOUR TITLE HERETEXT HERETEXT HERETEXT HERETEXT HERETEXT HEREADD YOUR TITLE HEREThisisanexampletext.Goaheadandreplaceit.ADD YOUR TITLE HEREThisisanexampletext.Goaheadandreplaceit.ADD YOUR TITLE HEREThisisanexampletext.Go
13、aheadandreplaceit.数据分析统计方法01020403聚类分析ADD YOUR TITLE HEREThisisanexampletext.Goaheadandreplaceit.ADD YOUR TITLE HEREThisisanexampletext.Goaheadandreplaceit.ADD YOUR TITLE HEREThisisanexampletext.Goaheadandreplaceit.数据分析统计方法聚类分析回归分析因子分析和主成分分析时间序列分析数据分析软件MATLABSASSpssStataEviewsExcel1.绩效指标必须是具体的（Speci
14、fic）2.绩效指标必须是可以衡量的（Measurable）3.绩效指标必须是可以达到的（Attainable）4.绩效指标是要与其他目标具有一定的相关性(Relevant)5.绩效指标必须具有明确的截止期限（Time-bound）无论是制定团队的工作目标还是员工的绩效目标都必须符合上述原则，五个原则缺一不可ADD YOUR TITLE HEREMAIN IDEAThis is an example text.Go ahead and replace it.ADD YOUR TITLE HEREThisisanexampletext.Goaheadandreplaceit.ADD YOUR T
15、ITLE HEREThisisanexampletext.Goaheadandreplaceit.03ADD YOUR TITLE HEREThis is an example text.Go ahead and replace it.数据资产管理的挑战数据资产管理的挑战数据资产管理的挑战数据资产管理的挑战1PB相当于50%的全美学术研究图书馆藏书信息内容5EB相当于至今全世界人类所讲过的话语1ZB如同全世界海滩上的沙子数量总和1YB相当于7000位人类体内的微细胞总和一般情况下，大数据是以PB、EB、ZB为单位进行计量的软件是大数据的引擎软件是大数据的引擎和数据中心（DataCenter）一
16、样，软件是大数据的驱动力.软件改件改变世界世界!中央政府对大数据的重视程度中央政府对大数据的重视程度习习近平近平政府管理不仅要讲究策略，还要讲究手段，比如大数据技术的应用，2014年3月8日“大数据”首次写入政府工作报告奥巴奥巴马马“将投入巨资拉动与大数据相关的产业”“数据为“未来的石油“，是美国综合国力的一部分，是与陆权、海权、空权同等重要的“国家核心资产”。李克李克强强：加快推进全国中小企业征信系统建设,通过大数据等技术优化中小企业征信资质。李克李克强强经济数据和目标的进一步调整，中小企业将面临更大的压力，互联网金融除了解决便利性问题外，更重要的是如何围绕特有的大数据资源展开对实体经济的服
17、务汪洋汪洋数据为王，财政工作离不开大数据零 售 业制 造 业信息产业移动通信金融证券数据量大挖掘潜力大数据意识强IT基础好这些产业在大数据分析应用方面具有如下优势：数据化让产业绩效大幅提升电子商务医疗服务ADD YOUR TITLE HEREThis is an example text.Go ahead and replace it.01This is an example text.Go ahead and replace it.02This is an example text.Go ahead and replace it.03This is an example text.Go ah
18、ead and replace it.0480%47%57%67%数据分析的一般环节数据分析的一般数据分析的一般环节AADD YOUR TEXE HEREBADD YOUR TEXE HERECADD YOUR TEXE HEREEADD YOUR TEXE HEREDADD YOUR TEXE HERE准确的预测未来收入和成本，可以有效提高营运效率，降低库存成本，进而使企业取得更高的利润信息对称挖掘需求客户细分智能决策业务创新风险预测销售预测用户行为 分析挖掘需求，分析差异，形成新产品和新服务细分客户群，细分产品和服务，精准营销是未来取得竞争优势的关键将未来的风险准确量化，减少可能的损失量化
19、分析用户行为，预测可能产生的变化业务创新，包括业务模式、产品创新、服务创新减少人员决策误差，科学理性决策，甚至开发自动智能决策系统 在项目投资分析之外，数据分析的价值在企业经营管理上起到更加举足轻重的作用。各种量化的模型、量化分析方法的应用，使数据下面隐藏的规律得以展现，让企业在运营管理上、市场营销上、客户服务体验上，越来越精细化，让企业在激烈的竞争中精细化，让企业在激烈的竞争中取胜！取胜！数据分析的营销价值-预测消费行为数据分析的营销价值-优化营销策略数据分析的营销价值-消费者描述数据分析的营销价值-个性化营销数据分析的营销价值-广告精准投放通过分析以下几个方面的关联性，为消费者推荐具体的产
20、品和内容：产品本身的关联性客户消费习惯的关联性客户喜好的关联性客户品牌的关联性产品价格和价值的关联性客户习性的一致性等等01什么是大数据什么是大数据数据挖掘数据挖掘1.从数据中提取出从数据中提取出隐含的含的过去未知的有价去未知的有价值的潜的潜在信息在信息2.从大量数据或者数据从大量数据或者数据库中提取有用信息的科学中提取有用信息的科学典型事例：典型事例：购物物篮分析分析顾客客一次一次购买商品商品 1面包、黄油、面包、黄油、尿布尿布、牛奶牛奶 2咖啡、糖、小甜咖啡、糖、小甜饼、鲑鱼 3面包、黄油、咖啡、面包、黄油、咖啡、尿布尿布、牛奶牛奶、鸡蛋蛋 4面包、黄油、面包、黄油、鲑鱼、鸡 5鸡蛋、面包
21、、黄油蛋、面包、黄油 6鲑鱼、尿布尿布、牛奶牛奶 7面包、茶叶、糖、面包、茶叶、糖、鸡蛋蛋 8咖啡、糖、咖啡、糖、鸡、鸡蛋蛋 9面包、面包、尿布尿布、牛奶牛奶、盐10茶叶、茶叶、鸡蛋、小甜蛋、小甜饼、尿布尿布、牛奶牛奶Social MediaMachine/SensorDOC/MediaWeb ClickstreamAppsCall LogLog什么是数据什么是数据？半半结结构化构化/非非结结构化数据构化数据何为大？数据度量1Byte=8 Bit1KB =1,024 Bytes1MB =1,024 KB=1,048,576 Bytes1GB =1,024 MB=1,048,576 KB=1,0
22、73,741,824 Bytes1TB =1,024 GB=1,048,576 MB=1,099,511,627,776 Bytes1PB =1,024 TB=1,048,576 GB=1,125,899,906,842,624 Bytes1EB =1,024 PB=1,048,576 TB=1,152,921,504,606,846,976 Bytes1ZB =1,024 EB=1,180,591,620,717,411,303,424 Bytes1YB =1,024 ZB=1,208,925,819,614,629,174,706,176 Bytes什么是大数据？什么是大数据？数据分析的流
23、程THE TITLEADD YOUR TITLE HEREADD YOUR TITLE HEREADD YOUR TITLE HEREADD YOUR TITLE HERETHE TITLEADD YOUR TITLE HEREADD YOUR TITLE HEREADD YOUR TITLE HERETHE TITLEADD YOUR TITLE HEREADD YOUR TITLE HEREADD YOUR TITLE HEREADD YOUR TITLE HEREADD YOUR TITLE HEREThisisanexampletext.Goaheadandreplaceit.ADD
24、YOUR TITLE HEREThisisanexampletext.Goaheadandreplaceit.02ADD YOUR TITLE HEREThis is an example text.Go ahead and replace it.ADD YOUR TITLE HERE60%ADD YOUR TITLE HEREThisisanexampletext.Goaheadandreplaceit.80%ADD YOUR TITLE HEREThisisanexampletext.Goaheadandreplaceit.50%ADD YOUR TITLE HEREThisisanexa
25、mpletext.Goaheadandreplaceit.ADD YOUR TITLE HEREADD YOUR TITLE HEREThisisanexampletext.Goaheadandreplaceit.ADD YOUR TITLE HEREThisisanexampletext.Goaheadandreplaceit.ADD YOUR TITLE HEREThisisanexampletext.Goaheadandreplaceit.ADD YOUR TITLE HERE19%Thisisanexampletext.Goaheadandreplaceit.43%Thisisanex
26、ampletext.Goaheadandreplaceit.25%Thisisanexampletext.Goaheadandreplaceit.MAIN IDEAThis is an example text.Go ahead and replace it.ADD YOUR TITLE HEREAADD YOUR TITLE HEREThisisanexampletext.Goaheadandreplaceit.Thisisanexampletext.BADD YOUR TITLE HEREThisisanexampletext.Goaheadandreplaceit.Thisisanexa
27、mpletext.CADD YOUR TITLE HEREThisisanexampletext.Goaheadandreplaceit.Thisisanexampletext.04ADD YOUR TITLE HEREThis is an example text.Go ahead and replace it.ADD YOUR TITLE HEREThis is an example text.Go ahead and replace it.ADD YOUR TITLE HERE01ADD YOUR TITLE HEREThisisanexampletext.Goaheadandreplaceit.Thisisanexampletext.Goaheadandreplaceit.02ADD YOUR TITLE HEREThisisanexampletext.Goaheadandreplaceit.Thisisanexampletext.Goaheadandreplaceit.03ADD YOUR TITLE HEREThisisanexampletext.Goaheadandreplaceit.Thisisanexampletext.Goaheadandreplaceit.PPT模板下载：