《平安科技王健宗：所有AI前沿技术都能在联邦学习中大展身手.docx》由会员分享，可在线阅读，更多相关《平安科技王健宗：所有AI前沿技术都能在联邦学习中大展身手.docx（13页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、平安科技王健宗：所有AI前沿技术，都能在联邦学习中大展身手AI技术生态论人物访谈栏目是CSDN提议的百万人学AI建议下的重要组成局部。通过对AI生态顶级大咖、创业者、行业KOL的访谈反映其对于行业的考虑、将来趋势判断、技术理论和成长经历。本文为AI技术生态论系列访谈第二十七期CSDN邀请到平安科技副总工程师、联邦学习技术部总经理王健宗来详细讲解关于联邦学习我们必需要解析的事实。百万人学AI你也有份今日起点击浏览原文报名2020AI开发者万人大会使用优惠码“AIP211即可免费获得价值299元的大会在线直播门票一张。限量100张先到先得。|夕颜出品|AI科技大本营ID:rgznai100今天我们
2、来聊聊联邦学习FederatedLearning。人工智能以及大数据领域的人对于这个新兴词汇一定不生疏但关于这个连名字都有多种叫法的技术联邦学习、结合学习、联盟学习.终究是怎样实现的很多人只是一知半解。风头正盛的联邦学习终究是什么简单来讲联邦学习作为分布式的机器学习范式最大的特点是可以让多个介入方进展AI协同。本质上来讲联邦学习的目的是为了有效解决“数据孤岛问题让介入方在不分享数据的根底上结合建模从技术上打破数据孤岛实现AI协作。自从谷歌在2016年度提出了针对手机终端的联邦学习这个概念开场火爆起来并被视为下一代人工智能协同算法以及协作网络的根底。平安科技提出“联邦智能的架构将平安通信、层级加
3、密、可信计算、可视化等真正实现保护用户隐私数据的完好系统囊括进来联邦学习只是其中一个技术环节。固然联邦学习技术更新迭代也有了不少理论解决方案但是在实际落地中在保护数据隐私的前提下进展AI协同无论是底层技术还是整个部署环节还有大量的挑战需要克制。为了更加深化解析联邦学习CSDN邀请到平安科技副总工程师、联邦学习技术部总经理王健宗从他个人踏上联邦学习技术以及应用研究之路的个人经历开场到在其带着下构建的自动化机器学习平台“奥卡姆与联邦智能平台“蜂巢的技术解析与应用理论一窥这项技术在信息爆炸的新时代下到底已经走到了哪一步。从云AI转向联邦学习出于对技术的开展趋势预判王健宗就读于华中科技大学计算机学院计
4、算机系统构造专业是个典型的拿公派奖学金的“别人家孩子。2020年度王健宗被国家公派到美国莱斯大学结合培养博士当时正值云计算兴起他介入了莱斯大学与亚马逊公司的云计算效劳优化的合作工程并在读博期间提出了“云AI的技术方向完成了关于云效劳质量方向的博士论文。结合培养博士完成后王健宗当时收到了一些美国的公司以及学校的Offer但是考虑到国内广阔的应用场景、海量的数据王健宗决然决然回国并加盟了网易公司从零开场介入搭建网易大数据平台。在从事假设干年度大数据研发后王健宗开场考虑一个问题这些数据怎样与应用场景相结合他顺其自然想到了假设干年度前在美国所提出的“云AI方向从技术途径上讲云计算、大数据之后必然走向人
5、工智能。带着对AI的前景预判王健宗再次前往美国在美国佛罗里达大学师从人工智能国际知名学者李晓林教授从事人工智能博士后研究工作。在云计算以及人工智能领域深耕数年度王健宗把主要的精力用在分布式人工智能领域联邦学习算是多年度来他一直在做以及想做的事。从美国完成博士后工程之后他回国参加平安科技专注于金融人工智能以及联邦智能领域的研发工作带着团队自研了自动化机器学习平台“奥卡姆和联邦智能平台“蜂巢。揭秘联邦学习平台“蜂巢AutoML是机器学习至关重要且有潜力的技术尤其是与联邦学习的结合更是有着无限广阔的前景。但是今天我们将重点在联邦学习上。王健宗讲到联邦学习想要解决的问题特别明确就是数据孤岛这也是它目前
6、主要的落地场景。 “蜂巢的技术架构他介绍到蜂巢平台的技术框架是支持联邦智能原生的。在数据部落中“蜂巢包含几大功能模块包括数据预处理、数据特征化、数据质量的评估等。该平台支持传统的统计机器学习以及深度学习的模型如逻辑回归、线性回归、树模型、CNN/RNN等。在整个模型训练经过中对梯度进展非对称加密整合梯度以及参数优化、更新模型。在联邦推理这一经过中“蜂巢会把原始的传输的数据进展加密最终实现推理结果。在技术研发工程中他们不仅需要研发有效的分布式机器学习算法更重要的是怎样更好地保障用户数据平安在此根底上需要开发可靠的加密方法以及有效的联邦学习形式。因此根据在实际应用场景中用户的反应例如一些联邦学习算
7、法中涉及大量矩阵大数运算其通过不断尝试以及实验优化矩阵大数运算算子在密态下矩阵大数运算的效率上有了很大的提升。这不禁让人好奇在平安科技内部“蜂巢的背后是如何一支团队呢从王健宗的口中CSDN得知这支团队是由平安集团首席科学家肖京博士指导由他本人带着的业内联邦学习专属团队主要的目的是推动AutoML、联邦学习、AI翻译和深度图领域的生态开展探究行业应用与前沿AI技术进展深度、自动化交融的方式近期在多项AI比赛榜单名列第一的自动化机器学习平台“奥卡姆就也出自这支团队之手。 “蜂巢作为平安科技的主要联邦学习平台在底层技术以及设计上有何独特之处王健宗介绍怎样打造以及实现企业级的联邦智能平台是平安科技的目
8、的因此“蜂巢从最初的架构设计上就考虑到了在平安集团内各个专业子公司之间就存在着很多数据壁垒金融行业对数据隐私的保护以及监管要求是非常严格企业级的联邦智能平台就一定要知足稳定、平安、合规的要求。为讲明这一点王健宗举了一个例子。“国内金融机构中很常用的加密方式是国密算法很多的公司对于任何信息的传输以及加密都要求采用国密算法这与我们在业界常见差分隐私以及同态加密都不一样而蜂巢平台能充分支持了国密SM2、国密SM4、混淆电路、差分隐私以及同态加密等不同的加密方式以知足实际企业业务场景的不同需求。另外蜂巢平台采用了完全自主研发的梯度处理方法可以做到真正适用于企业之间不同的应用场景通过更加高效、更加健全以
9、及更加稳定更新机制进而保障介入各方可以实现最高效的建模流程。在联邦学习技术研发迭代期间王健宗以及团队总结出了构建联邦学习平台的几个要点在这里共享给大众参考1怎样根据不同业务场景改造联邦学习算法改造联邦学习算法的关键技术之一就是对各方本地计算得到的参数进展联邦聚合针对不同的业务场景需要选择不同的聚合方法例如在数据样本量较大、对性能要求较高的情况下平安科技提供了FedAvg方法可以在保证性能的前提下极大程度地知足业务根本需求针对小样本的联邦学习自研了FedSmart算子可以更好地优化参数提升模型效果。除此之外还根据其他业务场景定制化研发了一些聚合算子。2怎样灵敏地实现加密功能保障数据平安是联邦学习
10、技术的核心针对不同的性能要求平安联邦学习平台提供了不同等级的加密形式对于加密要求严格的业务方提供了国密加密的加密形式除此之外还支持信道加密形式等以适应更多的业务场景。3怎样提升联邦建模的效率联邦学习技术的落地需要考虑耗时效率问题多方计算、加密传输等方面都会增加整体的耗时。针对该问题平安联邦智能平台设计了大量矩阵大数运算算子用于实现各计算模块对加密算子以及数据构造也进展了优化同时使用了团队自主研发的新网络编码技术使其可以更好地支持大批量数据的运算在不影响模型效果的前提下尽可能地进步建模效率。 “蜂巢支持哪些算法以及训练模型图源视觉中国 “蜂巢支持机器学习、深度学习等多种算法结合平安自研底层硬件加
11、速技术解决方案比照竞品速度提升50%详细到算法以及AI模型训练和自研底层硬件技术解决方案平安是怎样做到的据王健宗介绍首先在蜂巢联邦学习平台的底层的算法设计上分为四个不同领域以及方向。第一局部是根底的联邦学习算法包括常见的逻辑回归、各类树模型以及Boosting算法和CNN、RNN等深度学习网络支持TensorFlow以及PyTorch等各种主流框架等充分兼容不同的建模场景这些是蜂巢联邦学习平台的核心根底。第二个局部是算子层的深度支持以及设计比方从底层设计上支持图计算算子基于Gather-Apply-Scatter的构造抽象高层次算法支撑库实现高效的信息采集、运算以及全局更新的处理使得蜂巢平台的
12、联邦图计算算法有非常好的时效性表现。第三个局部是异构计算目前联邦学习算法的性能受限于加密以及通信效率表现往往不够好对此蜂巢平台用GPU等异构计算芯片来加速联邦学习的加密以及通信经过再加上结合前面提到的算子层优化进而到达了提速50%的效果这也是蜂巢在深化实际应用场景中解决企业间联邦学习建模的痛点之一。最后一个局部是平安加密的局部举个例子在实际的建模以及推理经过中重要的模型参数、每个用户本地的数据等关键信息都是存放在平安容器中的每一次访问都需要经过平安审计以及加密进而可以到达很好的隐私以及平安保护效果。联邦学习能与机器学习算法结合还有哪些新可能联邦学习与机器学习两者的结合是近年度来的研究热点。对此
13、王健宗介绍联邦学习除了可以以及经典机器学习算法结合应用在分类、预测等场景在一些细分领域也有很好的应用场景。比方在推荐系统中可以与协同过滤技术相结合多方基于矩阵分解MatrixFactorization技术进展结合推荐在医疗安康领域多方可以通过深度学习模型例如U-Net、ResNet等进展医学成像模型的结合训练以进步模型准确度在机器翻译领域多方在训练语料对不出本地的前提下进展结合建模最大化翻译模型的准确性在OCR领域联邦学习同样可以通过分享模型参数充分利用他方的训练样本信息来弥补己方在一样识别场景中数据匮乏的缺乏进步字符识别准确度。此外王健宗也提到可以以积极探究联邦学习与AutoML、GNN等领
14、域的技术结合与应用。蜂巢联邦学习平台在进展联邦学习建模的经过中支持多种不同的自动化调参方式可以更加高效地找到最正确的模型参数以到达更好的效果。对于图神经网络技术联邦学习也同样可以通过结合图构造数据的特征增加对图卷积等算子的支持以及优化进而实现更加丰富应用场景。正如他所讲联邦智能之于联邦学习就像是人工智能之于深度学习所有人工智能的前沿技术都可以在联邦智能的研究以及开展中大展身手。从原始数据的传输上来讲联邦学习减少了原始数据传输至中心效劳器的通信开销但是由于大量的模型训练交互增加了交互通信本钱。加密是必不可少的一环但加密本身往往会影响联邦学习的效率。在实际的工程中需要针对不同的应用场景找到“高效与
15、“可用之间的平衡。图源视觉中国同时联邦学习也有许多IoT应用场景“如今进入5G时代我们可以积极考虑5G可以给联邦学习的通信带来什么便利之处使联邦学习的才能可以赋能普惠AI。将来联邦学习与量子通信的结合也是我们很看好的一个方向相信可以给联邦学习带来质的提升。基于传统的网络编码的思路我们可以在联邦学习多方通信的经过中通过引入中间节点分别用于接收以及转发经过线性或者函数加密的参数信息通过网络编码通信框架实如今每一个信道上传输的参数都不可读而在接收端有效解码的效果王健宗讲道。联邦学习底层技术是否成熟当前联邦学习底层技术是否成熟目前存在哪些短板相信这些问题是大众关心且有望找出打破口的地方。王健宗认为目前
16、联邦学习底层技术相对来讲日渐成熟目前的短板那么是在于计算算力和带有加密的通信方面固然英特尔SGXARM的TrustZone可以支持局部联邦学习的场景但目前还没有联邦学习专用芯片联邦学习也没有统一的业内标准以及相关协议。产业落地难点在哪当前平安科技的联邦智能平台定位是效劳于营销、获客、定价、风控、智慧城市以及智慧医疗“蜂巢可以提供智慧金融、智慧城市、智慧医疗商用级的一站式解决方案并研发了具备联邦智能才能的联邦机器人以机器人为效劳终端进展数据收集与结合建模完成金融领域下的客户识别与定制化效劳。我们都知道本质上来讲联邦学习的目的就是解决“数据孤岛问题和在保障数据隐私以及平安的前提下实现人工智能。但不
17、得不提的是在实际落地中这仍然是一大挑战举一个很简单的例子在联邦学习中在不分享数据的前提下协同建模有一个经常被大众利用的方法就是梯度分享但不幸的是梯度分享的方法在有限条件下可以被成功攻破。这些试图保护数据隐私的学习模型被攻破将来还会有效吗这次事件暴露出的联邦学习的隐私平安性问题该怎么保障让人心生疑虑也为将来技术提出来更高的要求。对此王健宗解释到以平安科技为例在做联邦学习时他们对隐私平安性有不同层级的设定。仅依赖于梯度分享只能解决联邦学习科研层面的问题。在实际的工程中平安科技做了很多工作保护梯度分享机制下的联邦学习建模比方在传输以及计算运用了同态加密的梯度不仅要保证底层数据的平安性以及隐私性同时对
18、梯度信息也要进展保护。固然有应对的方法但涉及到数据隐私类似问题的存在仍不能掉以轻心。将来趋势对于联邦学习的将来开展王健宗还有哪些观点与考虑他认为联邦学习的关注度很高这讲明市场对联邦学习的需求是非常旺盛的。在金融领域、智慧城市、智能家居、车联网等拓展领域上都能看到一些公司在布局联邦智能。他祈望大众无论是在训练、推理还是数据部落的构建、使用方面都能有联邦智能的理念以及意识。平安科技将来的开展方向是打造完好的联邦智能生态在结合建模的根底上完善算法选择的多样化让用户自己定义联邦学习的语言与参数指标利用平台配套算子打造建立用户自己的定制化模型。祈望将来不仅在联邦学习的应用上做到全面布局在联邦学习的可扩展
19、性上可以以进一步开展。另外一点制定统一的联邦学习标准也是推动这项技术向前开展的重要环节固然目前还没有统一的标准出来但相关工作已经在推进之中包括平安科技在结合多家企业以及机构编写以及发布?联邦学习白皮书v2.0?就是一次不小的进步。 “因为这是一个重要的新技术方向平安会努力一直在这个方向占据领先地位力争做行业标杆。因为平安天然具备丰富的业务场景所以我们对标准化工作的奉献不仅是理论层面、工程层面更是注入了我们长时间以来对业务场景、对AI应用落地的理解以及经历。我祈望大众可以共同打造联邦学习的生态让各行各业能充分发挥其价值使更多的垂直行业可以落地。王健宗对于联邦学习的将来充满信心。【END】更多精彩推荐认知智能再打破阿里18篇论文入选AI顶会KDD年度仅5岁的Rust怎样成为最受欢送的编程语言AI看脸算命3万张自拍揭露颜值即命避坑使用Kubernetes最易犯的10个错误必读53个Python经典面试题详解赠书|1月以来Tether增发47亿USDT美元都去哪儿了你点的每个“在看我都认真当成了喜欢AI科技大本营