《2022年分布式计算机并行处理技术英文翻译 .pdf》由会员分享，可在线阅读，更多相关《2022年分布式计算机并行处理技术英文翻译 .pdf（7页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、A MODERN COURSE ON PARALLEL AND DISTRIBUTED PROCESSING Lubomir Ivanov Department of Computer Science Iona College 715 North Avenue New Rochelle NY 10801 tel.:914-633-2342 email:livanoviona.edu 摘要在发展和并行计算系统的使用LED 为训练有素的专业人员提供的硬件和软件方面的并行和分布式计算的飞速发展，知识的需要。本课程旨在帮助学生准备工作要求的给他们的实践经验与并行计算机另外，本课程强调软件基本联系计算机
2、科学与其他学科如生物学生物化学，物理学和天文学，使用并行计算是平凡的。I 简介并行计算，多年来被视为一个纯粹的学术努力，逐渐成为现代主流的计算有很多原因的必要性：目前的微处理器技术似乎是最后到达极限的时钟速度，CPU 可以操作与合理的冷却经典的并行计算技术，如SIMD已重新在上下文中的通用微处理器的另一方面的迅速发展，生物化学，物理学和天文学的急剧增加，需要更强大的计算平台的建模和模拟复杂的现实世界的现象和过程的新的领域如生物计算浸没在计算机科学与其他学科之间的界限，要求更大的广度和深度的知识和这些技能包括技术从业人员深入了解并行计算从硬件和软件的角度来看 D 只能通过丰富的实践工作经验的并行
3、系统和项目。准备这样受过高度训练的专业人士能够设计、实施和运行并行系统的软件和硬件水平的计算机科学课程必须包括一个覆盖面更广的并行计算在他们的课程，传统的课程作为选修课教并行计算是老年人或研究生课程通常包括典型的并行计算的历史概述主要的建筑方法历史意义的机加上一个简短的介绍各种不同的并行编程范式在现代并行体系结构和并行编程需要这样的治疗的主体是不够的同时学习ILLIAC IV 和 Cray YMP 可能是有趣的从研究的角度设计的多样性决定，在这些早期的体系结构没有准备的学生适应现代的并行处理本文对平行轮廓上级本科课程的结构和内容，分布式计算，重点主要集中在并行和线程编程得到充分接触到现代的并行
4、体系结构和理论课围绕基于目前感兴趣的问题，科学界的这些项目都是由使用支持线程的语言学生实施了一些比较大型的项目，现代技术（如Java）和并行编程库，如消息传递接口（MPI）除了开发并行算法的思想和编程技巧的学生学会估计他们的软件的预期的性能，通过分析其算法的运行时间的数目作为一个功能各种类型的过程的物理处理器和互连网络的通信能力，学生熟悉一些关键的现代并行体系结构研究CE 某些方面的分布式操作系统的开发和理解映射虚拟流程，以最大限度地提高性能的机器的底层物理硬件的问题。在本文余下的部分中，我们列出了需要并行和分布式计算的讨论的一个基本分类的并行体系结构和软件考虑一些现代的潮流并行计算和提出我们
5、的并行和分布式计算过程的细节。名师资料总结-精品资料欢迎下载-名师精心整理-第 1 页，共 7 页 -II 一个并行与分布式计算课程的必要性目前的微处理器实现技术水平已达到亚100nm的范围不断增加电路复杂性打包到一个更小的空间总是会导致如量子力学效应和热，在目前的技术水平是很难或不可能克服的公司都在积极研究交替实现技术和材料的问题（例如“量子阱”的基础在InSb 1 晶体管）目前的微处理器实现技术似乎已达到顶峰的时钟速度，传统的冷却仍然可以采用事实上这正式为什么英特尔最新的pentium-d芯片运行在一个较低的原因（可达3.4GHz）的时钟速度比他们的前辈（Max 3.8GHz）他们会提供双
6、核心技术，如果使用得当的软件将显着提高性能的其它传统的并行处理的概念，发现他们的方式进入现代指令集处理器等MMX 和 SSE（流SIMD 扩展）在英特尔和AMD 处理器的指令集的非传统的高度并行的架构，如神经网络和细胞自动机有助于处理问题的算法是很困难或不可能的设计在软件级别的线程将过程分为独立的并行任务已广泛接受和支持线程已经成为最强大的编程语言如C+和 Java 大多数现代通用以及嵌入式应用程序是多线程的，有助于他们的效率，另一方面，并行处理库如PVM（并行虚拟机）和MPI（消息传递接口）已成为骨干开发高度复杂的应用处理各种各样的计算要求苛刻的问题从天文物理、化学、生物学和经济学的最新进展
7、在生物DNA 分析大气化学大气研究等，主要是由于高性能并行架构的可用性和支持软件一般传统的微处理器技术面临着根本性的局限性和新颖的计算方法（量子计算等）很大程度上仍在研究的早期阶段的并行处理提供了唯一的机会，继续提高计算系统的性能，计算机行业软件和硬件已经接受了并行处理，它不再被认为是一个纯粹的学术努力具有讽刺意味的是，正是在学术界，并行计算仍然被人怀疑大多数工程类大学提供高级选修课，并行处理，往往不是提供一个广阔的历史概况领域没有强调现代并行处理一些这样的课程，以“硬件”的方法来并行计算和跟踪的演变并行体系结构，从它的起源在1960 年代通过最近通过的机器数量较典型的建筑方法疼痛如ILLIA
8、C IV 为代表的 SIMD 机器的 Cray YPM 作为一个典型的向量处理器架构的Cray T3D 作为经典的共享内存MIMD 设计等小的代码片段来说明具体问题的编程机器的问题其他并行处理课程忽略并行处理完全相反而要集中在探讨一些不同的编程范式的建筑方面的在文理学院的课程通常不提供并行处理的并行计算的唯一方面让学生接触到的是流水线和超标量处理器分别简要介绍在大多数计算机组织与结构课程的线程的概念通常是在操作系统课程只提到一些课程为学生提供实践经验的工作线程III 并行与分布式计算在本文中，我们将在平行的现状看，分布式计算，勾勒出一个力求平衡理论的硬件和软件方面的现代的并行和分布式计算我们认
9、为不可能在一个单一的课程建筑和软件的方法以及广泛的理论已经发展了过去的几十年里，因此我们牺牲一些学科的宽度为一个更详细的治疗是必要的在今天的并行计算的特定区域的覆盖在众多课程。1/并行和分布式计算的当前状态之前，我们考虑的内容当然需要我们简要地看一看国家现代的并行和分布式计算的现代并行体系结构，可以大致分为数据并行或并行数据并行结构是指采用相同的操作多个数据流并行数据并行机器的两个主要类别的向量和SIMD（单指令/多数据流）结构的另外一些微处理器，如英特尔奔腾和AMD 速龙提供所谓的单指令多数据流扩展（SSE）的红外相应的指令集允许同时操作几个整数或浮点数的计算如神经网络和细胞自动机的一些非传
10、统的模型也属于这一类名师资料总结-精品资料欢迎下载-名师精心整理-第 2 页，共 7 页 -代码的并行体系结构的并行执行代码取决于晶粒的并行架构分为以下组指令级并行体系结构：这些执行多个指令同时和/或在一个重叠的方式这一类包括流水线的超标量和VLIW 体系结构。线程/进程级并行执行多个建筑：这些进程/线程 concurrently and include the所谓的分布式共享存储器和MIMD（多指令/多数据流）的机器。大多数现代建筑往往跨越这些类别的界限，提供组合的方法并行，例如英特尔奔腾处理器的基本指令级并行架构，采用流水线和超标量体系结构的处理也让SIMD 操作的特定的多媒体数据类型以及
11、双核心能力，允许一个真正的并行线程的执行由操作系统调度近年来的一些重要的硬件和软件的发展已经确立了自己作为采用并行与分布式处理的主要方式：集群计算：这种方法属于线程/进程级并行体系结构分类（通常是分布式存储MIMD）最初被称为“穷人的超级计算机”的想法是使用一个相对大量的廉价的现成的微处理器，如英特尔奔腾或DEC 阿尔法和互连使用普通以太网的性能增益是不显着一个真正的超级计算机，使用专门的处理器和互连网络的路由算法的优化，但是成本的集群是许多倍低于一个典型的超级计算机在最近几年，集群计算已经成为主要的方式实现高性能的系统大多数计算机制造商如戴尔惠普IBM和英特尔现在提供相对便宜的集群不等的价格
12、从20000 美元到100000 美元到一个更高的水平的想法，集群计算已经成为基础的设计和实施的许多当今最强大的机器NES 如蓝色基因/L 2 ASC紫色 3 和 ASCI 红色 4 消息传递接口（MP）5 ：消息传递是进程/线程交换数据时，合作解决一个大问题，最有效的方法是MPI 消息传递，已成为事实上的标准的并行处理中的一个库规范（特别是MIMD）社区推开所有的大消息通过方法如PVM MPI 规范已经实施到C C+和 Fortran 库，Java 不直接支持但最近开发的mpiJava 6 接口提供的能力，接口的 Java 程序标准的MPI MPI 的使用允许创建极其复杂和强大的并行程序的M
13、PI 是普遍使用的时写作大规模计算模拟生物过程，如蛋白质折叠或天体物理过程，如N-体相互作用的其他应用程序，严重依赖于使用的MPI 是天气预报软件的流体动力学计算软件包甚至地震搜索工具。线程：分裂能力的过程分成若干轻量级的独立和并行的子进程的线程具有革命性的软件开发-在所有平台上开发多线程应用程序需要一套新的技能和一种新的算法思想一方面线程提供程序员方便集中在执行一项特定的任务而不必担心如何将在更大范围内的应用程序如果两个任务需要同时执行每个被设计为一个单独的线程并开始独立于其他另一方面线程编程并不是没有自己的挑战，线程通常需要同步多线程不能同时更新一个对象或者一个线程可以通过另一个线程以及两
14、者之间的相互作用所需的计算必须精心策划的实时应用程序的线程在嵌入式系统中增加了一些额外的挑战，如时序约束的死锁避免与通用软件质量控制等等新的标准和语言的子集，如Java 2 微型版是专为嵌入式系统的线程处理的需要。高性能 Fortran 代码并行体系结构：当我们重新地由线程处理和消息传递的数据并行体系结构需要不同的套标准和语言，包括方便的原始数据（矢量矩阵为分配等）之间的处理器so that it can be in the manipulated并行高性能Fortran 论坛 7 has developed a number of 扩张 Fortran 90 known统称为有高性能Fort
15、ran（HPF）to help programmers写数据并行程序的一些复杂的流体动力和高能天体物理模拟have been implemented使用HPF considering the overall目的和消息传递MIMD架构优势的现代supercomputing the significance of HPF is somewhat减少名师资料总结-精品资料欢迎下载-名师精心整理-第 3 页，共 7 页 -鉴于这些趋势并行与分布式计算课程集中在集群计算线程处理消息传递我们的目标是使我们的学生在这些领域的基本概念和挑战的基本认识和从事的项目，使用上述语言库和技术的学生提供实践经验2.并行
16、与分布式计算过程本课程包括讲座，实验室和工程构件的演讲涵盖的并行计算的基本理论以及具体的建筑设计决策和权衡的软件范例等实验室让学生细节获得亲身的经验，提出的材料在讲座过程中应用的上下文中的小案例研究和编程任务课程还包括几个较大规模的项目，学生必须独立完成或团体：2.1 The Lecture Component 前几课集中在性能问题：估计相比，使用 amdalh 定律用于并行处理的并行复杂性类的研究探索通信和IO 并行程序的性能的影响等理念的串行实现并行程序的执行时间的加速比是给学生尽可能早的程序的性能评价工具，让他们习惯等因素的考虑处理器的数目的IO 瓶颈等，当决定如何最好的并行化的程序下一
17、个弗林的分类介绍和平行的主要类别及分布式的架构进行了讨论，这里强调的是理解的概念上的差异，不同类型的建筑，在这一点上的向量处理和消息传递的概念进行了介绍和说明的几个简单的HPF 和 MPI 程序的执行跟踪的细节编译器的作用和处理并行操作系统也讨论了这一自然的线程的讨论线程是指个体在执行顺序控制流分析程序的用户级与内核级线程和各自的优点和缺点的的上下文切换开销合作任务线程同步问题等角度讨论了在经典的生产者消费者问题研究的背景下：一个生产和消费的过程和可能出现的不足之间的数据交换握手协议进行了详细和具体的例子代码等其它问题，防止同时写访问共享资源和线程死锁避免被认为是线程的基于Web 的应用程序，
18、以及在各种嵌入式系统的使用说明进行了研究其次探讨集群计算的体系结构和互连网络模式的一个典型的集群被认为是和各种设计决策的潜在问题和瓶颈进行了讨论一个特定的MPI 程序用于演示的效果的程度的IO 和进程间通信的速度程序执行这一方面涉及的理论内容的讨论在课程开始时一个非常实用的现实世界的例子，同时导致了讨论最优网络结构的并行处理一些真正的集群体系结构以及研究集群计算的讨论，向学生们介绍了消息传递接口（MPI）的并行虚拟机的一个简单的比较（PVM）图书馆进行了MPI 的各方面进行了具体的科学问题，特别是经典的N 体问题提出各种解决方案被认为是和比较的基础上的并行实现效率，如果时间允许的教师可以选择现
19、有的科学兴趣，如蛋白质折叠问题在生物化学和讨论设计并行仿真算法从数学的规范的并行实现策略和调试其他主题背景。与非传统的大规模并行计算模型的人工神经网络的过程的最后部分处理相比，元胞自动机取决于可用的时间不同的神经网络模型可以讨论如感知器的反向传播网络霍普菲尔德网络等一般理论探讨元胞自动机可以导致一个实施Conway游戏二维元胞自动机项目对比生活2.2 实验室的组成部分实验室组件与教材同步的同时更注重实践活动和任务的第一个实验室给学生一个机会，评估的几个简单的并行程序接下来的几个实验室专注于线程的性能，为学生提供了一套越来名师资料总结-精品资料欢迎下载-名师精心整理-第 4 页，共 7 页 -越
20、具有挑战性的任务实施暂停和重新启动线程同步等除了学习线程学生们的Java 和摆动的API 是为后来的任务的复杂性变得重要和知识在以前的编程课程获得增强是必不可少的从之前的学期学生中间被正式引入MPI 各方面的MPI 的点对点和广播消息的分组数据通信的派生类型的先进的IO 和文件IO 问题包括在连续的实验室通过要求学生对老师准备了 MPI 程序实验室部分过程中完成或写出完整的程序独立实验室作业，不能被分配的实验期间完成预计在接下来的实验期间2.3 项目项目的并行分布式计算过程的重要组成部分，它们不仅提供了额外的经验之外，在实验室中获得的学生，让他们看到“大图片”-应用并行计算的大型计算密集型问题
21、的顺序解决方案太费时，另外的研究如生物化学物理学其他领域，强调的是计算机科学在科学的整体语境的作用是突出的连接通常是三至四的项目进行过程中的第一个项目是一个多线程执行的握手通信协议前面讨论的协议指定一组为发送器和接收器通过共享缓冲器的缓冲能力可能是一个单字节或一个字节的数据缓冲器的缓冲区状态的数据标志的情况下，循环队列之间的数据交换规则：0缓冲区空 1缓冲区已满的情况下实现循环队列的缓冲区共享“计数”变量是用来监测在发送者和接收者都作为单独的线程和适当的同步实现缓冲区项目的实际数量强调的是第二个项目是一个MPI 实现的主客体问题的求解算法从物理学和天文学和化学N 体问题描述了一组对象的相互作用
22、（行星颗粒的原子或分子等）通过武装，他们对彼此的行为和这些力量的每个对象的改变物体的加速度，因此其空间位置相对于其他物体由于变化的相互作用力的强度变化等解决对象的大型集合N 体问题是一个非常计算密集型任务和许多不同的算法被设计来处理与主/客算法是一种比较简单问题（但不是特别有效），讨论了在授课，给学生一个基于MPI 的工程算法第三工程是一个基于MPI Conway 游戏实施生命的二维元胞自动机的这个项目是特别有趣的学生，他们中的许多人选择实现一个图形化的界面，允许他们在迭代中显示的CA 的殖民地的演变3.课程相关的挑战和障碍在并行现在需要上下文和分布式计算机执行的并行和分布式计算的课程对学生的
23、发展是至关重要的知识和技能的设计师和用户的并行和分布式软件和硬件，但是实施过程并将其内的课程也提出了一系列的挑战和障碍第一个并行计算过程意味着可用的并行系统的材料可以和学生被允许实验表明早期的许多硬件制造商和供应商提供价格合理的集群和另外一些公司，教育机构和组织提供设备给合格的学校提供的并行平台的需求可以清楚地证明和教学水平的国家科学基金会（NSF）研究的折扣也会授予使用该设备可在许多国家超级计算机中心，即使专业集群设备不可用MPI可以安装在任何网络上的工作站/PC 和操作系统（UNIX/Linux/Windows）甚至在站在单独的机器之间的消息传递MPI 可以模拟虚拟过程虽然从计算效率的角度
24、来看这是没有好处的挑战之二是学生的背景和现有的知识和技能，这当然需要一个扎实的至少有两个主要的编程语言（Java 和 C/C+）企业了解计算机体系结构的一个良好的工作知识的离散数学名师资料总结-精品资料欢迎下载-名师精心整理-第 5 页，共 7 页 -的某些方面的演算和至少一些背景的科学领域，这种物理化学和生物学虽然这可能看起来像很多的先决条件，大多数学生的时候，他们的资深年掌握至少一种编程语言，学过离散数学微积分和物理学以及计算机体系结构课程的并行和分布式计算的过程不是超出了大多数计算机科学的毕业生，事实上会起到整合他们的物质覆盖所有的其他课程，成一个连贯的知识。然而有一些非计算机专业的人可
25、能有重大利益的过程中因为它为他们提供工作的技能对这些学生在其他科学领域的复杂问题的必要的科学和数学的先决条件，但缺乏坚实的编程技巧和计算机体系结构知识为这些学生的最好方法是提供集中在并行计算和模拟这样的学生都必须参加两个或三个编程课程（CS1 CS2 等数据结构和算法）之前，并行和分布式计算过程下一个挑战是制备该课程的教师面临的课程量跨越几个计算机科学学科，如计算机体系结构的编程语言，操作系统等的界限，提出的想法从其他科学领域，如化学、物理和生物学教师必须精通所有这些领域，以提供学生一个真正有用的经验的一些书籍和文章有助于教师在文章 8-16 参考部分上市。整合课程也提出了挑战，同时一些部门会
26、同意并行处理提供一门必修课，另一方面的选修课程，特别是文科院校的数量通常很小的描述并行与分布式计算过程的优点4学分（3讲座和 1实验室）一四学分可以不被认为是可以接受的管理尤其是因为它有助于教师，可能需要额外的课程教这些挑战的答案是强调主题的复杂性的广度和深度，在制备的现代工作场所的需求背景下，其最大的意义学生教学负荷明显的。IV 结论本文概述了一个过程的并行和分布式计算的发展作为一个高级选修讲座，实验室和工程组件的过程来自于日益增加的需要的计算机科学家，工程师和医生精通现代并行处理复杂谁能将自己和协助计算密集型项目的国家和国际意义如DNA 分析的生物医学应用的发展乃至太空探索的过程提出了挑战
27、，对教师和学生，是一个全面的有价值的经验。参考文献1 T Ashley et al“Novel InSb based Quantum Well Transistors for Ultra-High-Speed Low Power Logic Applications”Int Conf on Solid-State and IC Technology Beijing 2004 2 http:/ 3 http:/www.llnl.gov/asci/platforms/purple/4 http:/www.sandia.gov/ASCI/Red/5 http:/www-unix.mcs.anl.go
28、v/mpi/6 http:/aspen.ucs.indiana.edu/pss/HPJava/mpiJava.html 7 http:/dacnet.rice.edu/Depts/CRPC/HPFF/index.cfm 8 D.Culler J.Singh A.Gupta“Parallel Computer Architecture:A Hardware/Software Approach”Morgan Kaufmann 9 G.Almasi A Gottlieb“Highly Parallel Computing”2nd edition Addison Wesley Longman 10 D
29、.Sima T.Fountain P.Kacsuk“Advanced Computer Architecture:A Design Space Approach”Addison-Wesley 11 P.Pacheco“Parallel Programming with MPI”Morgan Kaufmann 12 W.Gropp E.Lusk A.Skjellum“Using MPI:Portable Parallel Programming with the nd Message Passing Interface”2 edition MIT Press 名师资料总结-精品资料欢迎下载-名师
30、精心整理-第 6 页，共 7 页 -13 G.Karniadakis R.Kirby II“Parallel Scientific Computing in C+and MPI:A Seamless Approach to Parallel Algorithms and their Implementation”Cambridge University Press rd 14 S.Oaks H.Wong“Java Threads”3 Edition OReilly Media Inc.15 V.Garg“Concurrent and Distributed Computing in Java”Wiley-IEEE Press 16 A.Wellings“Concurrent and Real-Time Programming in Java”Wiley Publishing 名师资料总结-精品资料欢迎下载-名师精心整理-第 7 页，共 7 页 -