《【AI技术生态论】平安科技王健宗：所有 AI 前沿技术都可以在联邦学习中大展身手！-精品文档资料整理.docx》由会员分享，可在线阅读，更多相关《【AI技术生态论】平安科技王健宗：所有 AI 前沿技术都可以在联邦学习中大展身手！-精品文档资料整理.docx（15页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、【AI技术生态论】平安科技王健宗：所有 AI 前沿技术，都可以在联邦学习中大展身手！ CSDN首页 业界 订阅业界RSS 【AI技术生态论】平安科技王健宗：所有 AI 前沿技术，都可以在联邦学习中大展身手！ 发表于 2020-05-22 16:23:04 受访者 | 王健宗 平安科技副总工程师、联邦学习技术部总经理 记者 | 夕颜 出品 | CSDN ID:CSDNnews 是CSDN提议的“建议下的重要组成局部 与、一起 打造一个覆盖百万开发者的AI生态联盟。 2020年度 AI技术生态论栏目将对1000 AI生态大咖进展系列访谈 勾勒出AI生态最具影响力人物图谱以及AI产业全景图 本文为
2、AI 技术生态论系列访谈第二十七期 CSDN 邀请到平安科技副总工程师、联邦学习技术部总经理王健宗 来详细讲解关于联邦学习 我们必需要解析的事实。 百万人学 AI 你也有份 今日起点击浏览原文报名2020 AI开发者万人大会 使用优惠码“AIP211 即可免费获得价值299元的大会在线直播门票一张。限量100张 先到先得 今天 我们来聊聊联邦学习 Federated Learning 。人工智能以及大数据领域的人对于这个新兴词汇一定不生疏 但关于这个连名字都有多种叫法的技术 联邦学习、结合学习、联盟学习 终究是怎样实现的 很多人只是一知半解。 风头正盛的联邦学习终究是什么 简单来讲 联邦学习作
3、为分布式的机器学习范式 最大的特点是可以让多个介入方进展 AI 协同。本质上来讲 联邦学习的目的是为了有效解决*“数据孤岛* 问题 让介入方在不分享数据的根底上结合建模 从技术上打破数据孤岛 实现 AI 协作。 自从谷歌在 2016 年度提出了针对手机终端的联邦学习 这个概念开场火爆起来 并被视为下一代人工智能协同算法以及协作网络的根底。平安科技提出“联邦智能的架构 将平安通信、层级加密、可信计算、可视化等真正实现保护用户隐私数据的完好系统囊括进来 联邦学习只是其中一个技术环节。 固然联邦学习技术更新迭代 也有了不少理论解决方案 但是在实际落地中 在保护数据隐私的前提下进展 AI 协同 无论是
4、底层技术还是整个部署环节 还有大量的挑战需要克制。 为了更加深化解析联邦学习 CSDN 邀请到平安科技副总工程师、联邦学习技术部总经理王健宗 从他个人踏上联邦学习技术以及应用研究之路的个人经历开场 到在其带着下构建的自动化机器学习平台“奥卡姆与联邦智能平台“蜂巢的技术解析与应用理论 一窥这项技术在信息爆炸的新时代下 到底已经走到了哪一步。 从云 AI 转向联邦学习 出于对技术的开展趋势预判 王健宗就读于华中科技大学计算机学院计算机系统构造专业 是个典型的拿公派奖学金的“别人家孩子。2020 年度 王健宗被国家公派到美国莱斯大学结合培养博士 当时正值云计算兴起 他介入了莱斯大学与亚马逊公司的云计
5、算效劳优化的合作工程 并在读博期间提出了“云 AI的技术方向 完成了关于云效劳质量方向的博士论文。 结合培养博士完成后 王健宗当时收到了一些美国的公司以及学校的 Offer 但是考虑到国内广阔的应用场景、海量的数据 王健宗决然决然回国 并加盟了网易公司 从零开场介入搭建网易大数据平台。在从事假设干年度大数据研发后 王健宗开场考虑一个问题这些数据怎样与应用场景相结合 他顺其自然想到了假设干年度前在美国所提出的“云 AI方向 从技术途径上讲 云计算、大数据之后 必然走向人工智能。带着对 AI 的前景预判 王健宗再次前往美国 在美国佛罗里达大学 师从人工智能国际知名学者李晓林教授 从事人工智能博士后
6、研究工作。 在云计算以及人工智能领域深耕数年度 王健宗把主要的精力用在分布式人工智能领域 联邦学习算是多年度来他一直在做以及想做的事。从美国完成博士后工程之后 他回国参加平安科技 专注于金融人工智能以及联邦智能领域的研发工作 带着团队自研了自动化机器学习平台“奥卡姆 和联邦智能平台“蜂巢。 揭秘联邦学习平台“蜂巢 AutoML 是机器学习至关重要且有潜力的技术 尤其是与联邦学习的结合更是有着无限广阔的前景。但是今天 我们将重点在联邦学习上。 王健宗讲到 联邦学习想要解决的问题特别明确就是数据孤岛 这也是它目前主要的落地场景。 “蜂巢的技术架构 他介绍到 蜂巢平台的技术框架 是支持联邦智能原生的
7、。在数据部落中 “蜂巢包含几大功能模块 包括数据预处理、数据特征化、数据质量的评估等。该平台支持传统的统计机器学习以及深度学习的模型 如逻辑回归、线性回归、树模型、CNN/RNN等。在整个模型训练经过中 对梯度进展非对称加密 整合梯度以及参数优化、更新模型。 在联邦推理这一经过中 “蜂巢会把原始的传输的数据进展加密 最终实现推理结果。 在技术研发工程中 他们不仅需要研发有效的分布式机器学习算法 更重要的是怎样更好地保障用户数据平安 在此根底上需要开发可靠的加密方法以及有效的联邦学习形式。因此 根据在实际应用场景中用户的反应 例如一些联邦学习算法中涉及大量矩阵大数运算 其通过不断尝试以及实验优化
8、矩阵大数运算算子 在密态下矩阵大数运算的效率上有了很大的提升。 这不禁让人好奇 在平安科技内部 “蜂巢的背后是如何一支团队呢 从王健宗的口中 CSDN 得知 这支团队是由平安集团首席科学家肖京博士指导 由他本人带着的业内联邦学习专属团队 主要的目的是推动 AutoML、联邦学习、AI翻译和深度图领域的生态开展 探究行业应用与前沿 AI 技术进展深度、自动化交融的方式 近期在多项AI比赛榜单名列第一的自动化机器学习平台“奥卡姆就也出自这支团队之手。 “蜂巢作为平安科技的主要联邦学习平台 在底层技术以及设计上有何独特之处 王健宗介绍 怎样打造以及实现企业级的联邦智能平台是平安科技的目的 因此 “蜂
9、巢从最初的架构设计上就考虑到了在平安集团内各个专业子公司之间就存在着很多数据壁垒 金融行业对数据隐私的保护以及监管要求是非常严格 企业级的联邦智能平台就一定要知足稳定、平安、合规的要求。 为讲明这一点 王健宗举了一个例子。“国内金融机构中很常用的加密方式是国密算法 很多的公司对于任何信息的传输以及加密都要求采用国密算法 这与我们在业界常见差分隐私以及同态加密都不一样 而蜂巢平台能充分支持了国密SM2、国密SM4、混淆电路、差分隐私以及同态加密等不同的加密方式 以知足实际企业业务场景的不同需求。 另外 蜂巢平台采用了完全自主研发的梯度处理方法 可以做到真正适用于企业之间不同的应用场景 通过更加高
10、效、更加健全以及更加稳定更新机制 进而保障介入各方可以实现最高效的建模流程。 在联邦学习技术研发迭代期间 王健宗以及团队总结出了构建联邦学习平台的几个要点 在这里共享给大众参考 1 怎样根据不同业务场景改造联邦学习算法 改造联邦学习算法的关键技术之一就是对各方本地计算得到的参数进展联邦聚合 针对不同的业务场景需要选择不同的聚合方法 例如在数据样本量较大、对性能要求较高的情况下 平安科技提供了 FedAvg 方法 可以在保证性能的前提下极大程度地知足业务根本需求 针对小样本的联邦学习 自研了 FedSmart 算子 可以更好地优化参数 提升模型效果。除此之外 还根据其他业务场景定制化研发了一些聚
11、合算子。 2 怎样灵敏地实现加密功能 保障数据平安是联邦学习技术的核心 针对不同的性能要求 平安联邦学习平台提供了不同等级的加密形式 对于加密要求严格的业务方 提供了国密加密的加密形式 除此之外 还支持信道加密形式等 以适应更多的业务场景。 3 怎样提升联邦建模的效率 联邦学习技术的落地需要考虑耗时效率问题 多方计算、加密传输等方面都会增加整体的耗时。针对该问题 平安联邦智能平台设计了大量矩阵大数运算算子用于实现各计算模块 对加密算子以及数据构造也进展了优化 同时使用了团队自主研发的新网络编码技术 使其可以更好地支持大批量数据的运算 在不影响模型效果的前提下尽可能地进步建模效率。 “蜂巢支持哪
12、些算法以及训练模型 图源 视觉中国 “蜂巢支持机器学习、深度学习等多种算法 结合平安自研底层硬件加速技术解决方案 比照竞品速度提升50% 详细到算法以及 AI 模型训练 和自研底层硬件技术解决方案 平安是怎样做到的 据王健宗介绍 首先 在蜂巢联邦学习平台的底层的算法设计上分为四个不同领域以及方向。 第一局部是根底的联邦学习算法 包括常见的逻辑回归、各类树模型以及Boosting算法 和CNN、RNN等深度学习网络 支持TensorFlow以及PyTorch等各种主流框架等 充分兼容不同的建模场景 这些是蜂巢联邦学习平台的核心根底。 第二个局部是算子层的深度支持以及设计 比方 从底层设计上支持图
13、计算算子 基于Gather-Apply-Scatter的构造抽象高层次算法支撑库 实现高效的信息采集、运算以及全局更新的处理 使得蜂巢平台的联邦图计算算法有非常好的时效性表现。 第三个局部是异构计算 目前联邦学习算法的性能受限于加密以及通信 效率表现往往不够好 对此蜂巢平台用GPU等异构计算芯片来加速联邦学习的加密以及通信经过 再加上结合前面提到的算子层优化 进而到达了提速50%的效果 这也是蜂巢在深化实际应用场景中 解决企业间联邦学习建模的痛点之一。 最后一个局部是平安加密的局部 举个例子 在实际的建模以及推理经过中 重要的模型参数、每个用户本地的数据等关键信息都是存放在平安容器中的 每一次
14、访问都需要经过平安审计以及加密 进而可以到达很好的隐私以及平安保护效果。 联邦学习能与机器学习算法结合 还有哪些新可能 联邦学习与机器学习两者的结合是近年度来的研究热点。对此 王健宗介绍 联邦学习除了可以以及经典机器学习算法结合应用在分类、预测等场景 在一些细分领域也有很好的应用场景。 比方 在推荐系统中可以与协同过滤技术相结合 多方基于矩阵分解 Matrix Factorization 技术进展结合推荐 在医疗安康领域 多方可以通过深度学习模型例如U-Net、ResNet等进展医学成像模型的结合训练以进步模型准确度 在机器翻译领域 多方在训练语料对不出本地的前提下进展结合建模 最大化翻译模型
15、的准确性 在OCR领域 联邦学习同样可以通过分享模型参数 充分利用他方的训练样本信息来弥补己方在一样识别场景中数据匮乏的缺乏 进步字符识别准确度。 此外 王健宗也提到可以以积极探究联邦学习与 AutoML、GNN 等领域的技术结合与应用。 蜂巢联邦学习平台在进展联邦学习建模的经过中支持多种不同的自动化调参方式 可以更加高效地找到最正确的模型参数以到达更好的效果。对于图神经网络技术 联邦学习也同样可以通过结合图构造数据的特征 增加对图卷积等算子的支持以及优化 进而实现更加丰富应用场景。 正如他所讲 联邦智能之于联邦学习 就像是人工智能之于深度学习 所有人工智能的前沿技术 都可以在联邦智能的研究以
16、及开展中大展身手。 从原始数据的传输上来讲 联邦学习减少了原始数据传输至中心效劳器的通信开销 但是由于大量的模型训练交互 增加了交互通信本钱。加密是必不可少的一环 但加密本身往往会影响联邦学习的效率。在实际的工程中 需要针对不同的应用场景 找到“高效与“可用之间的平衡。 图源 视觉中国 同时 联邦学习也有许多 IoT 应用场景 “如今进入 5G 时代 我们可以积极考虑 5G 可以给联邦学习的通信带来什么便利之处 使联邦学习的才能可以赋能普惠 AI。将来 联邦学习与量子通信的结合也是我们很看好的一个方向 相信可以给联邦学习带来质的提升。基于传统的网络编码的思路 我们可以在联邦学习多方通信的经过中
17、通过引入中间节点 分别用于接收以及转发经过线性或者函数加密的参数信息 通过网络编码通信框架实如今每一个信道上传输的参数都不可读 而在接收端有效解码的效果 王健宗讲道。 联邦学习底层技术是否成熟 当前 联邦学习底层技术是否成熟 目前存在哪些短板 相信这些问题是大众关心且有望找出打破口的地方。 王健宗认为 目前联邦学习底层技术相对来讲日渐成熟 目前的短板那么是在于计算算力和带有加密的通信方面 固然英特尔 SGX ARM 的 TrustZone 可以支持局部联邦学习的场景 但目前还没有联邦学习专用芯片 联邦学习也没有统一的业内标准以及相关协议。 产业落地难点在哪 当前 平安科技的联邦智能平台定位是效
18、劳于营销、获客、定价、风控、智慧城市以及智慧医疗 “蜂巢可以提供智慧金融、智慧城市、智慧医疗商用级的一站式解决方案 并研发了具备联邦智能才能的联邦机器人 以机器人为效劳终端进展数据收集与结合建模 完成金融领域下的客户识别与定制化效劳。 我们都知道 本质上来讲 联邦学习的目的就是解决“数据孤岛问题 和在保障数据隐私以及平安的前提下实现人工智能。但不得不提的是 在实际落地中 这仍然是一大挑战 举一个很简单的例子 在联邦学习中 在不分享数据的前提下协同建模 有一个经常被大众利用的方法就是梯度分享 但不幸的是 梯度分享的方法在有限条件下可以被成功攻破。这些试图保护数据隐私的学习模型被攻破 将来还会有效
19、吗 这次事件暴露出的联邦学习的隐私平安性问题该怎么保障让人心生疑虑 也为将来技术提出来更高的要求。 对此 王健宗解释到 以平安科技为例 在做联邦学习时 他们对隐私平安性有不同层级的设定。仅依赖于梯度分享只能解决联邦学习科研层面的问题。在实际的工程中 平安科技做了很多工作保护梯度分享机制下的联邦学习建模 比方 在传输以及计算运用了同态加密的梯度 不仅要保证底层数据的平安性以及隐私性 同时对梯度信息也要进展保护。 固然有应对的方法 但涉及到数据隐私 类似问题的存在仍不能掉以轻心。 将来趋势 对于联邦学习的将来开展 王健宗还有哪些观点与考虑 他认为 联邦学习的关注度很高 这讲明市场对联邦学习的需求是
20、非常旺盛的。在金融领域、智慧城市、智能家居、车联网等拓展领域上都能看到一些公司在布局联邦智能。他祈望 大众无论是在训练、推理 还是数据部落的构建、使用方面都能有联邦智能的理念以及意识。 平安科技将来的开展方向是打造完好的联邦智能生态 在结合建模的根底上 完善算法选择的多样化 让用户自己定义联邦学习的语言与参数指标 利用平台配套算子打造建立用户自己的定制化模型。祈望将来不仅在联邦学习的应用上做到全面布局 在联邦学习的可扩展性上可以以进一步开展。 另外一点 制定统一的联邦学习标准也是推动这项技术向前开展的重要环节 固然目前还没有统一的标准出来 但相关工作已经在推进之中 包括平安科技在结合多家企业以及机构编写以及发布?联邦学习白皮书 v2.0? 就是一次不小的进步。 “因为这是一个重要的新技术方向 平安会努力一直在这个方向占据领先地位 力争做行业标杆。因为平安天然具备丰富的业务场景 所以我们对标准化工作的奉献不仅是理论层面、工程层面 更是注入了我们长时间以来对业务场景、对 AI 应用落地的理解以及经历。我祈望大众可以共同打造联邦学习的生态 让各行各业能充分发挥其价值 使更多的垂直行业可以落地。王健宗对于联邦学习的将来充满信心。 今日福利