《贾扬清：为什么说数据智能和云原生之间是“天作之合”？.docx》由会员分享，可在线阅读，更多相关《贾扬清：为什么说数据智能和云原生之间是“天作之合”？.docx（14页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、贾扬清：为什么说数据智能和云原生之间是“天作之合”？整理|夕颜出品|AI科技大本营ID:rgznai100从工业革命到互联网时代探路者涌入新兴领域所进展的许多伟大行动驱动着这世界从消费力到科学技术地野蛮生长。在数据领域从2005年度大数据前身Hadoop工程的诞生到如今才不过短短14个年度头。14年度间大数据正在不断改变商业规那么。企业对数据的应用也从有数据、用数据逐渐走向数据智能。现如今谁能有效地应用数据谁就可以把握住数据智能时代的机遇。但对于多数企业来讲数据的采、建、管、用每一个环节都阻碍重重如企业缺少体系化的数据认知数据中台建立本钱高数据孤岛造成信息壁垒跨效劳商合作低效等企业要实现数据智
2、能还存在较高门槛。怎样能快速、成体系地应用数据怎样低本钱搭建数据中台怎样有效发挥数据价值进而驱动业务增长企业的数据化问题怎样借助云的优势来解11月19日全域数据智能效劳商友盟在2019UBDC全域大数据峰会上与40余位行业专家3000余位观众共话云端之上的数据应用为企业实现数据智能找到了新的解法。在主论坛上在题为?云原生是数据智能的必然?的演讲中自称“搞技术的阿里巴巴集团副总裁、阿里云智能计算平台事业部总裁贾扬清从技术的角度分析了技术智能以及云之间“天作之合的关系。他回忆到在硅谷时一位投资人的一句话“假如有一天你可以让技术落地并产生社会影响你应该做一件事情把技术忘掉去关注用户场景关注产业。但他
3、认为今天的他没能完全忘掉技术这从他今天的装束上就可以看出来就像用技术的底座来支持上面的产业以及业务。以下为贾扬清演讲精华AI科技大本营ID:rgznai100整理我自己是从人工智能的背景出发的前面几年度也一直都在关注人工智能这个很热的概念应该怎样落地。从历史来讲人工智能是一个相对古老的概念。几乎与计算机历史一样悠久。图灵在1950年度提出图灵测试概念时祈望做的事情或者祈望测试的是怎样让计算机可以实现像人一样感悟、归纳、分析以及决策。那么多年度过来了今天我们发现人工智能在各个领域已经有非常深的应用。比方政务、城市、交通、气象、工业、农业。这是最近几年度才发生的我们往回看人工智能在20、30年度前
4、已经有很多点状应用。如今一台佳能或尼康相机中有一个功能叫做人脸的自动识别跟对焦这是人工智能向大众提供的一个才能。IBM在20年度前曾有一个叫做VRWAS的技术研究怎样通过语音识别进展输入这也是人工智能的才能。但是当年度这些人工智能才能都是点状的比方有一个Feature可以解决单个问题但今天我们考虑到金融智能、智慧法院、智能遥感等一系列应用时已经有了系统性的、完好的解决方案。我认为这其中一个非常重要的原因是我们今天越来越多地使用到了云的技术也许并不一定在云上但用到了云的系统化技术来解决从数据到分析、到决策的整个经过这也是为什么我自己对于云技术非常热情的一个原因。讲到云如今阿里云最大的用户是谁大众
5、可能会想到外部的创业公司等但其实阿里云最大的用户是阿里巴巴自己。今年度“双11刚刚过去对于我自己来讲今年度参加阿里巴巴我经历了两个“第一次。我第一次作为一个客户参加了“双11的活动当然我自己只花了40块钱我组里对我很生气讲你怎么可以花那么一点钱呢另外我作为一个平台提供商或平台技术的提供方“第一次参加了阿里巴巴“双11的活动今年度阿里巴巴“第一次100%把自己的核心系统搬到云上来支持“双11的业务。我想跟大众共享一下我们今天所看到阿里巴巴在云上的业务和我从中看到的一些趋势。我把这些趋势归结为三点一、实时化。二、规模化。三、智能化。实时化大众可能比拟有体感在阿里巴巴“双11活动时大众会看到我们播报
6、一小时、两小时的销售额到24点钟声敲响时今年度的销售额到达2684亿。这背后是一个实时的、顺时进展统计的系统我们把它叫做Flink。这个系统做一个什么事情呢以前我们做大数据时更多地是把数据沉淀到数据库以及多种数据源当中然后再从数据库当中归纳或者统计出数据怎样分布和数字是多少。但今天我们做这些计算、统计时完全是通过直接把交易数量沉淀到这样的流式系统当中而并不需要进展离线计算才可以到达这样的效果。从“双11的结果来看今年度的流式计算体量峰值时增加了约1倍以上这是今天我们在云上所提供的才能。大众可能会问每年度都会播报这个数字今年度有什么区别吗我想从规模化角度讲一个之前可能没有讲过的故事。“每年度的双
7、11销售额都比日常高出很多销售完毕之后我们要做一个结算离线结算计算商家收到的钱银行应收的钱等。以前怎么样来解决这个问题呢因为“双11体量宏大我们算得比平时慢一点。比方平时8点钟算完“双11可能10点钟算完这很正常。今年度“双11十一年度以来第一次“双11数据算得与平时一样快。平时我们要8点钟算完今年度“双11也是8点钟就算完了。这是我们在阿里巴巴这样一个体量上可以感受到的通过云技术所产生的红利规模化在阿里巴巴的弹性需求上也可以表达出非常重要的作用。当然我们讲实时化与规模化是两个非常自然的需求今天还有一个非常重要的方向是智能化。智能化可以解决什么问题呢我们在考虑智能化时发现有两个可以解决的问题问
8、题1帮我们更好地解决现有的问题。问题2创造新的场景。在阿里巴巴的环境中我们发现很重要的一个场景是怎样通过云助手环境为用户提供更好的客户体验。比方在实际测试中菜鸟语音助手与客户的交互场景中客户一般会比拟懵大众经常会改主意然后会掉线。需求会比拟多。这个技术背后不仅有语音识别以及规划系统还要与物流业务大的场景结合起来需要通过非常多的数据打通才可以实现最后端到端的结果。智能化应用并不一定单纯解决现有人工所无法解决的问题有时我们还能通过智能化的方法创造一些新的场景。回想一下20年度前上一个购物网站你看到是什么样的内容根本上是千人一面就像走进一家百货公司一样所有人看到的东西是一样的。今天有一个概念非常深化
9、人心千人千面每个人在上淘宝时所看到的图片、商品是不一样的。但还有一个问题千人千面只解决了推荐问题我喜欢什么样的商品我的朋友喜欢什么样的商品。但是当我们看见同一个商品的时候内容是一样的。我今天看见一个鞋子跟我朋友看见一个鞋子展示的内容是一样的。我们可以通过智能化的视频理解、视频生成用户的兴趣今天我们可以通过视频的人工智能方法是动态的展示对于任何一个客户来讲所看到的不光是我们向他推荐的商品而且是我们向他合成的、展示以及他个性化结合起来的内容。这些环境给客户带来了非常有意思的新体验你有可能会觉得这个有点虚到底有没有实际的作用“双11前面这一轮时间当中我们的系统累计分析了2.5亿个视频所可以实现的效果
10、平均每个客户会花约2分钟时间观看我们自动生成的视频这是我们从传统千人千面推荐再往前一步通过智能化方法来给大众提供智能化内容生成以及内容体验。这是今天大数据以及人工智能的方法可以向大众提供的实时化、规模化、智能化三个大方向。这背后我们所看到的是今天数据对我们来讲非常重要。如今对于一家公司来讲数据可能是它的核心资产。在大量数据的根底上我们通过实时计算、机器学习等方法利用云上强劲的算力提供不同的用户体验以及更好的业务价值。从数据的体量来讲在阿里巴巴这样的体量上图片识别、语音识别、个性化推荐都会涉及到数量宏大的数据处理以及数据存储、数据分析的需求这是今天我们云上所提供的价值。从业务的角度来讲数据与智能
11、、业务有越来越多的连接。这样的连接让我们开场考虑技术架构应该怎样演进。假如在10年度、15年度大众考虑大数据的概念时可能会想起一些今天耳熟能详的词汇比方Hadoop、MapReduce当时通过离线的方式来处理大量的数据在每天的Scale上来分析数据。当时数据处理平台也相比照较简单。只有两局部怎样来做离线计算。阿里巴巴有一个自己的系统ODPS解决这个问题上面有一个很薄的开发者的平台让大众可以做任务调度、任务纂写等非常简单的一个环境。今天数据开场逐渐变得实时化、智能化之后系统也在不断演进。底层的引擎上开场有离线计算、在线计算开场有交互式分析开发者平台开场逐渐越来越多地考虑到数据集成以及数据效劳等一
12、系列需求。我们在云栖大会上推出一个非常有意思的新架构发如今底层引擎上已经有了全面开花的环境从传统的离线到在线到交互式分析到图计算、人工智能计算等这一系列引擎和上面开发者所提供的更加复杂的数据综合治理才能。假如数据是我们的核心资产显然我们应该考虑怎样做这两点第一保护资产做数据平安。第二解析到底有什么样的数据做数据资产管理以及平安和怎样在不同的部门之间共享数据红利即数据共享的问题。当然数据最后到应用的经过中我们还需要不断考虑从这些数据中挖掘出来的算法、方法质量等问题和是在使用数据中的一些噪声还是在使用数据中的一些insights。今天阿里巴巴的数据计算引擎以及数据开发平台在支撑着很多业务相关的平台
13、。不仅是大数据人工智能也开场逐渐变得非常重要阿里巴巴在业界第一个提出了两个平台大数据平台、AI平台相结合的概念。大众讲到数据科学家时今天可能会听到这样一句话数据科学家越来越多地开场学习Python。假如我们往回推10年度、15年度当时的数据科学家可能会用一些统计的软件Excel、SaaS、SPSS。有一个很有意思的问题今天为什么大众开场用Python难道以前的那些工具不够用了吗Python是一个表象我们发现今天随着人工智能的算法不断进步所有的开发者们都已经开场不由自主考虑到这样一个问题。利用已有打包好的一些算法已经不够了我们要从数据中挖掘更深的价值必需要更加沉浸到一线算法开发、算法迭代当中去。
14、今天每一个数据科学家每一个开发者多多少少都会用到第一线的人工智能算法研发的场景。我们今天看见大数据的平台以前基于RDD平台如今的AI基于Python非常深入的建模平台之间是有区分度的。所以在AI方面阿里巴巴会开场建立一系列让大众做模型迭代、模型训练以及最终部署的一套工具。归纳起来阿里巴巴云上客户的需求主要分为两种方向1、数字产业化。2、产业数字化。我想举两个客户的例子来讲明数字产业化跟产业数字化分别是如何的一个关系。例子1中青看点是一个拥有着千万级用户的新闻聚合的网站。中青看点这样的企业非常典型的特征本身架构在大数据的根底上对于数据的把握、数据的理解或对于数据重要性的认识非常深入。在这样的环境
15、中他们需要的是怎样从数据中挖掘价值而对于新闻聚合或视频、电商场景来讲最重要的是推荐。推荐讲起来非常简单就是怎样把用户以及商品之间的相似程度、用户兴趣建模出来。这件事情两个工程师就可以完成。但假如继续深挖下去有非常多细节的问题需要解决。比方冷启动问题应该向新用户推什么样的内容这时通过“探究我们向用户推送一些通用的可能会感兴趣的内容。在这个探究经过中我们会逐渐开场对这个用户有更深的理解。经过探究之后我们可以优化用户体验这整个经过涉及的不仅是单纯的推荐系统算法或者写一篇Paper那么简单。今天我们需要有一个系统化的才能来进展实验管理用户信息管理最后推出一个完好的系统。今天我们通过云上的技术以及一些方
16、法论的迭代可以让中青看点得到明显的CTR提升最终用户越来越喜欢这个平台在这个平台上花更多时间解析他所感兴趣的信息。这是很多企业所需要的才能我们做的是怎样把数字化的想法通过人工智能的才能更加深入地与产业实现以及需求相结合。另外一个更加有潜力的方向是产业的数字化。以大润发为例。大润发是一个超市今天有很多的传统产业可以非常强烈地感受到或者获得数字化的红利。对于大润发这样的企业来讲需要的是怎样在线下渠道把人、货、场结合在一起和怎样在线上渠道通过电商饿了么以及用户建立更深的连接。在这样一个环境当中需要把数据打通包括线上数据、线下数据、用户数据、库存数据、物流数据今天传统企业在数字化转型时会产生这样一个想
17、法转不起太贵。这是一个现实存在的问题。我自己也经常反思有时没有感觉到数字化转型的痛苦确实我们发现很多传统企业术业有专攻他们本身并不是要构建一个机房构建一套云效劳转型确实面临现实的困难。这是一个很自然的问题但同时也是一个很好解的问题。假如我们想一下想做一个智能办公系统应该怎么办我们不会自己从零开场写一套Office因为已经有一个非常完好的套件在。如今已经有很多工具可以让大众更简单地构建数字化转型的根底就像20年度前每一个公司或者每一个事业单位必备两样东西1水塔。因为当年度自来水系统不是太好所以经常会停水。2发电机。因为当年度供电不是太好需要有一个自己的发电机。在那个年度代这些根底设施水、电很多企
18、业以及事业单位需要自己解决今天来讲这是一件很容易的事儿接上自来水公司、国家电网就可以了。今天IT的技术、IT的底座也像是当年度的水以及电一样本身唾手可得在云上可以构建起来的才能。我们在效劳大量客户时发现大众的需求有一个共性他们有大量不同的数据源通过不同的数据收集无论是IoT还是线上的环境把数据沉淀到不同的数据源中所需要构建的是一个数据开发治理的流程和更加高效的数据存储。在大数据以及人工智能场景当中我们利用这些数据做大规模离线计算、交互式分析、流式计算通过机器学习的方法做数据的感悟、分析、归纳以及决策最后把这些智能化的方法再输出到智能决策系统中或为企业管理人员展示更加构造化更加有深度数据分析的结
19、果方便他们做更详细的业务决策。讲到这点我还是要泼一盆冷水在软件工程中我们有这样一个概念叫没有银弹。今天是否上云就解决问题了从我一个做云上大数据以及人工智能平台研究人员以及开发人员的角度来讲我觉得不够为什么呢还是刚刚那句话术业有专攻。要依赖一个计算平台来解决所有的业务问题是不够的我们还需要有更好的方法论需要一系列的学习不断迭代不断开发不断开展的流程才可以把最终的结果做好。今天我以及大众讨论了工具以及方法论这两点内容工具是根底是让数字化转型、产业数字化结合变得更加容易的根底。通过工具以及方法论的结合我相信整个产业以及社会的数字化转型以及数字智能的落地将做得越来越好。我还是非常相信云原生的环境是实现数据智能的必经之路也是对数据智能加速开展起到关键作用的媒介。*本文为AI科技大本营整理文章转载请微信联络1092722531精彩推荐开幕倒计时7天2019中国大数据技术大会BDTC即将震撼来袭豪华主席阵容及百位技术专家齐聚十余场优选专题技术以及行业论坛超强干货技术剖析行业理论立体解读。6.6折票限时特惠立减1400元倒计时3天学生票仅599元推荐浏览IEEEFellow2020名单揭晓你点的每个“在看我都认真当成了AI