《AI规模化落地 英特尔至强的七重助力.docx》由会员分享，可在线阅读，更多相关《AI规模化落地 英特尔至强的七重助力.docx（13页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、AI规模化落地英特尔至强的七重助力当今时代，各行各业与人工智能（AI）加速融合，通过智能化创新来 寻求业务转型升级。与为数不多的顶级AI研发公司相比，大多数传 统行业或企业有着更丰富的AI应用场景，推动着规模化的AI应用落地,其AI应用更具有实践意义。 然而，在智能化技术架构和平台选择上，它们又往往面临着“拿着钉 子到处找锤子”的尴尬局面。尽管有人津津乐道于承载AI应用的一些专用架构平台，但实际情况是，仅采用专用加速芯片或优 化单一框架，已经无法满足运行不同工作负载和适应不同应用场景所 需。这是因为，AI的应用需求是多种多样的，不同的应用也决定了 从数据中心到边缘再到设备所需的硬件能力都会有所
2、差别。而且，解 决企业AI规模化落地，需要充分利用以数据为中心的基础架构，考虑芯片 处理器、核心算法和软件工具等平台解决方案的选择。无论是算法工程师、AI 开发者还是数据科学家，他们在选择AI技术架构和平台时会有多方 所有应用；其次，现在AI属于“试错阶段”，同时技术也在快速演 变和迭代，利用现有的CPU平台，可以最小成本做最大的事，无需大量额外投资，但如果另起炉 灶可能得不偿失；最后，用多年熟悉且信任的CPU平台，构建“激 进”的AI项目，本身就是一个绝好的平衡，让技术风险变得可控。在现有英特尔架构支持的数据应用基础上构建AI应用，生产环 境非常成熟，易于部署，运维人员学习难度低。英特尔从云
3、到端都有 硬件平台就绪，不论是通用计算还是专用芯片（如Movidius）,而且 还有相关的软件支持，如众多优化库、框架和工具。另外，英特尔为 AI应用的开发者们提供了 OpenVINO等工具包，可以方便实现模型 部署，优势显著。第六重助力：大数据分析英特尔至强处理器和BigDL软硬搭配，在Hadoop和Spark等 主流大数据框架上，可以简化训练（数据获取+处理）过程。Hadoop和Spark是目前非常流行的大数据管理和处理框架，想利 用它们承载的数据进行深度学习训练，通常需要把这些数据导出，然 后进行处理，这个过程不仅耗时而且投资较大，所以在这些大数据平 台上进行深度学习训练显得尤为重要。有
4、开发者认为，可以针对各种不同来源的数据，首先根据目标算 法需要的数据格式，进行数据整合。得到目标数据之后，再根据业务 需要，按照对应的比例，将最原始的数据分成训练数据和测试数据， 通过算法对数据不断进行训练，后期进行相应的测试。其实更好的方式是打通数据流水线。英特尔的Analytics Zoo （内 含BigDL）打通端到端数据流水线，在Hadoop和Spark等主流的 大数据框架上，把数据的收集、存储、传输、预处理、后期处理等环 节，与AI的训练和预测等部分有机结合起来，就可以让企业的数据 分析流水线变得高效而统一。例如，英特尔协助美的公司基于 Analytics Zoo构建了一套端到端的产
5、品缺陷检测方案，准确率优于人 工检查方法，并避免了检查工作给生产线带来侵入性影响。Analytics Zoo将Spark TensorFlow以及BigDL程序整合至同一流水线当中， 整个流水线能够在Spark集群之上以透明方式实现扩展，从而进行分 布式训练与推理。最终使美的的图像预处理时长由200毫秒降低至 50毫秒，并将延迟影响由2,000毫秒缩短至124毫秒。第七重助力：跨平台部署应用英特尔至强处理器、Analytics Zoo以及Open VINO工具包，能够 简化深度学习流水线，实现一站式端到端的AI应用部署。深度学习应用的开发周期很长，而且往往会涉及多个工具和平台, 如何将新技术、
6、新创新应用到非常大规模、大数据的生产系统中，目 前在软硬件架构上有非常大的断层。这提升了技术开发门槛，开发者 十分期待从云端到终端能跨平台部署深度学习应用。2018年，英特尔开源了 Analytics Zoo,构建了端到端的大数据分 析+AI平台，无论是用TensorFlow还是Keras,都能将这些不同模块的程序无缝运行在端到端流水线上，大大提升了开发效率。并且,Analytics Zoo也兼容OpenVINOTM在 AI应用上的加速特性。 基于英特尔硬件平台、专注于加速深度学习的Open VINO工具套件, 是一个快速开发高性能计算机视觉和深度学习视觉应用的工具包。英特尔®Open
7、VINO工具套件不仅适用于开发可模拟人类视觉 的应用和解决方案，它还可以通过英特尔®FPGA深度学习加速套 件支持FPGA,旨在通过优化广泛使用的Caffe和TensorFlow框架来 简化采用英特尔®FPGA的推理工作负载，并用于包括图像分类、 机器视觉、自动驾驶、军事以及医疗诊断等应用。具体来说，Open VINO具有面向OpenCV和OpenVx的优化计算 机视觉库，并支持跨计算机视觉加速器的异构执行，可通过基于英特 尔架构的处理器（CPU）及核显（Integrated GPU）和深度学习加速 器（FPGA、Movidius VPU）的深度学习加速芯片，增强视觉系统 功能
8、和性能。它支持在边缘端进行深度学习推理，并加速高性能计算 机视觉应用，帮助开发人员和数据科学家提高计算机视觉应用性能， 简化深度学习部署过程。总结：英特尔架构和平台，AI应用落地之选上面分析了 AI应用落地时，开发者需要重点关注的七大维度一一 性能、数据预处理、可扩展性、内存、模型部署、大数据分析、跨平 台部署应用，我们会发现，每一个维度都支持CPU架构和平台的优 势。一方面，CPU的计算能力通过软硬件协同优化不断提升，可以 更好地适应AI场景需求，企业渐渐意识到用CPU做AI已经“足够 好”；另一方面，通过收购和探索不同芯片架构，英特尔的AI软硬件 产品组合正在不断完善，这使得英特尔能够建立
9、一个完整的AI基础 架构，非常丰富的产品组合是英特尔与其他公司实现差异化的最大亮 点。面的考量。一个共识是，基于既有的IT基础设施，统一大数据和人 工智能平台，可以更加高效释放数据价值，实现AI业务目标。大家 越来越发现，通用的英特尔架构有一个非常重要的先发优势，就是使 用者众、部署广泛。来自英特尔架构和至强平台的助力，可以帮助企 业从既有的平台起步，推动AI的发展，加速“破局” AI产业实践。下面我们从7个方面，展开阐述英特尔如何从性能、数据预处理、 可扩展性、内存、模型部署、大数据分析、跨平台部署应用等多方面 实现优化和升级，全面支持企业AI的 规模化应用落地。第一重助力：性能CPU性能优
10、化有数量级提升，VNNI和框架优化等大幅提升了CPU架构运行深度学习推理的速度。很多人可能都认为AI这种新出现的技术，或者说应用负载，也应 该用新的架构来支撑，其实不然。实际上随着CPU性能的数量级提升，以及在软硬件层面针对AI应用的不断优化,CPU 平台也能很好地承载AI应用。现在CPU能兼容几乎所有的AI 主流技术，深度学习的应用任务，特别是推理，完全可以用CPU来搞定。而且CPU还有一个特定的优势，就是当用户混合使用 机器学习和深度学习方法时，CPU更适合承载这样的任务。不断更新换代的英特尔CPU平台，已经在AI应用特别是推理上 提供了强大的算力。以第二代英特尔®至强®可
11、扩展处理器为 例，它集成了加速人工智能深度学习推理的英特尔®深度学习加 速(英特尔®DL Boost)技术，将人工智能性能提升到一个全新 的水平，可加速数据中心、企业和智能边缘计算环境中的人工智能推 理工作负载。以常见的CaffeResnet-50模型为例来看性能变化，第二 代英特尔®至强®伯金8280处理器借助英特尔DL Boost技术, 图像识别的速度可比上一代英特尔至强可扩展处理器提升14倍。另外，英特尔CPU平台还与各类主流深度学习框架(包括 TensorFlow PyTorch caffe、MXNet PaddlePaddle BigDL 等) 合作，
12、针对CPU的AI训练和AI推理功能进行全面优化，Xeon处理 器训练性能因此得到不断提升，客户也可以选择使用适合自身需求的 深度学习框架做模型训练，而无需购买或者设置不同的硬件基础设 施。随着软件工具的不断更新及面向主流框架的深度优化，CPU平台 不论是支持基于单一 AI技术的应用，还是在运行融合了多种AI技 术的应用时，其性能表现都更为突出。对于全新硬件架构的每一个数 量级的性能提升潜力，软件能带来超过两个数量级的性能提升。以第 二代英特尔至强可扩展处理器上的VNNI深度学习加速指令为例，过 去卷积神经需要三条指令，而现在的话一条指令就可以了，通过在底 层的软硬件协同优化，可根据不同深度学习
13、框架将推理性能加速2-3 倍甚至更多。第二重助力：数据预处理数据的处理分析和之后的AI应用如果在一个平台上，可以给用户 带来更大的便利性，也能节省成本和降低风险。尽管当前市场对于AI技术抱有很大兴趣，但实施水平仍然相当低 下。我们需要根据应用需求构建起完整的数据分析/AI流水线，从高 质量数据源整理、数据预处理与清洗、适当特征数据的选择与构建等 前期工作开始，这就要求数据工程师、算法工程师等协同工作。算法工程师往往要花很多时间，来处理用于深度学习模型训练和 测试的庞大数据，数据预处理会涉及很多很零碎的事情，比如校对数 据的标注是否符合某种逻辑。在进行数据预处理时，所写的代码不一 定是执行起来效
14、率最高的，因为有可能这些零碎的校验数据功能只用 一次，而不是反复使用。在这种情况下，可以使用方便快速实现功能 的Python语言调用CPU来实现，而且基于CPU有很多现成的包和工具，具有更快数据预处理的优势。CPU还可以 通过使用更多内存、减少I/O操作来提升AI运行效率。如今的深度学习和AI领域，优秀的算法和框架数不胜数，但英特 尔开源的BigDL和采用了这一技术的Analytics Zoo平台选择了一个 颇具独特性的切入点，那就是专为已有大数据集群的场景设计。目前, 来自零售业、金融服务行业、医疗保健业、制造业及电信业等领域的 企业客户都已经开始在英特尔至强服务器上利用Analytics
15、Zoo、或基于BigDL构建更为平滑无缝的数据分析-AI应用流水线。第三重助力：可扩展性CPU平台现有基础设施就是为可扩展性而搭建，不仅易于在更多 节点上进行扩展，还能按核实现弹性扩展和调配。可伸可缩方为真英 雄！在深度学习和机器学习领域，不管是模型训练还是推理，为了分 配和部署计算能力，常常需要基于现有的IT基础设施或者云平台进行硬件扩展。目前一些专有的AI架构平台只 能以卡或芯片为单位来管理和扩展，而英特尔至强平台不仅更容易在 更多节点上扩展，还能按核实现弹性的扩展和调配，能真正做到精细 化的资源管理和调配。这使得AI平台可以尽可能通过云化来提高灵 活性，提升自动化管理水平，并充分利用到每
16、个计算核心的价值等。 换句话说，现在的基础设施就是为可扩展性而搭建。比如有开发者指出，在新一代Skylake-SP微构架芯片设计上，英 特尔首次开始采用了全新网格互连构架(Mesh Interconnect Architecture)设计方式，从传统的利用环形连接，到了新设计则全面 改采用网格互连的方式，来进行资料存取与控制指令的传送。因为最 小单位可以是以每行、每列来连接，所以每颗Skylake-SP核心、缓 存、内存控制器及I/O控制器之间的路径选择变得更多元，还可以 跨不同的节点互连，以寻找最短的数据传递捷径，即使是加大核心数 量，也能够维持很快存取数据，并支持更高内存频宽，以及更高速的
17、 I/O传输。第四重助力：内存CPU易扩展缓存，而英特尔®傲腾TMDC持久内存Apache Pass 更是集大容量、经济性和持久性于一身，性能接近DRAM。不论是AI训练还是推理，靠近计算单元的内存或者说较高速的数据缓存都非常重要。在AI分析中，它们对训练中的神经网络构建，并通过该网络进行推理比较 都有着重要的影响。因此我们希望在靠近计算单元的地方尽可能缓存 更多数据。其容量的增加，会很大程度上提高AI的整体性能、准确性、响应速度。训练深度学习模型时，占用CPU内存比较大，一般来说单台刀 片可以轻松做到256GB以上的内存，做分布式训练时还可以把数据分配到不同机器上进行计 算，而且可以
18、尽量把数据预存到CPUo此外，CPU大内存的优势不仅体现在训练上，更主要的是推理，比如对尺寸很大 的医疗影像模型进行推理处理。即使没有英特尔®傲腾tm数据中心级持久内存 的出现，英特尔 至强处理器平台也很容易扩展内存的容量。但有了这种全新类型的产 品后，内存的存储密度/价格比可能会更理想，其性能也接近DRAM, 让更大量的数据可以更接近CPU进行移动和处理，极大地降低从系 统存储获取数据的延迟。相比之下，专有架构平台要扩展缓存，还是 很不方便的。第五重助力：模型部署英特尔技术产品从端到端是有统一的应用兼容性的，这样可以保 证我们在后端训练迭代算法，前端部署推理。在深度学习实践中，是否应该去搭建一套新的专用平台？持否定 意见的开发者认为，目前主要用于AI模型推理的平台都是基于CPU架构的，应该利用现有的数据中心基础设施，利用现有的、熟悉的处 理器平台，以最低的成本部署人工智能，这相比另起炉灶、寻找其他 计算平台的方法，用时更短、风险更低、性价比更高。有开发者据此总结了三条理由：首先，现如今标准CPU平台完 全能够胜任AI