《网格计算及其在高能物理中的应用概况省公共课一等奖全国赛课获奖课件.pptx》由会员分享，可在线阅读，更多相关《网格计算及其在高能物理中的应用概况省公共课一等奖全国赛课获奖课件.pptx（89页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、网格计算及其在高能物理中应用概况高能物理所计算中心第1页本汇报参考了：CERN钱思进教授207月汇报GridComputinganditsApplicationIHEP孙功星副研究员准备年11月8日在韩国召开“国际高能物理数据网格研讨会上所作汇报GridActivityinchinaIHEP杨大鉴研究员博士生蒋文保汇报GridComputing美国加州理工大学HarveyBNewman在2010月9日ICFA讨论会上作汇报ReportfromICFAStandingCommitteeonInterregionalConnectivity许榕生研究员为此次大会准备汇报高能物理网格发展动态第2页网
2、络技术三次浪潮什么是网格计算为何现在会发展网格计算哪些行业需要网格计算高能物理对计算需求网格计算基本技术国际网格计算技术发展现实状况国内网格计算现实状况及发展前景第3页网络技术发展三次浪潮第一次浪潮：第一次浪潮：InternetInternet产生（产生（8080年代）年代）计算机相互连接发展产生了局域网计算机相互连接发展产生了局域网 FTPFTP、TelnetTelnet、EmailEmail newsgroupnewsgroup、BBSBBS第二次浪潮：第二次浪潮：WWWWWW（8080年代末年代末-90-90年代中期）年代中期）超文本文件由超文本文件由httphttp协议连接协议连接 W
3、WWWWW产生（产生（19891989年由年由CERNCERN科学家创造）科学家创造）第三次浪潮：第三次浪潮：GridGrid（9090年代后半期年代后半期-.-.）各种资源统一经过网格技术连接各种资源统一经过网格技术连接 依据用途不一样分为数据网格、计算网格依据用途不一样分为数据网格、计算网格.第4页什么是网格ArgonneArgonne试验室试验室I.FosterI.Foster认为认为网格是一个规模大小可变网格是一个规模大小可变虚拟组织：由动态合作个体、研究单位和资源全部者虚拟组织：由动态合作个体、研究单位和资源全部者之间灵活、安全、协调资源共享之间灵活、安全、协调资源共享 虚拟组织组员
4、虚拟组织组员分布在世界各地，为了完成同一件分布在世界各地，为了完成同一件事情研究机构、大学、科学家个体事情研究机构、大学、科学家个体 资源资源计算机、存放设备、网络、大型科学仪器、计算机、存放设备、网络、大型科学仪器、数据库、软件、信息数据库、软件、信息用户观点：用户观点：希望使用网上资源像使用电力、自希望使用网上资源像使用电力、自来水那样方便，无须关心是从哪里来资源，也来水那样方便，无须关心是从哪里来资源，也无须考虑用多用少，总能满足需求。无须考虑用多用少，总能满足需求。第5页与电力网比较与电力网比较主动，能够是提供共享资源节点被动最终用户规则最终用户规则无须中心控制是，在很多国家和地域由政
5、府单一控制中心控制全世界国家或地域（基于政治或经济原因等）共享地域共享地域地理分布、研究或工业领域、研究机构地理分布共享范围共享范围计算机、数据存放设备、数据库、大型仪器设备、网络、软件发电站、高压线、变电站 共享资源共享资源计算网格电力网格第6页为何现在会发展网格计算需求计算密集型、I/O密集型、数据密集型计算需求需要使用位于远处大型、位置固定仪器设备在不一样地域使用含有不一样政策已经有技术复杂需求大型国际合作项目标需求可能性计算机工业技术符合摩尔定律发展网络基础设施飞速发展，发达国家、地域高速网络及跨大洋洲际光缆已经具备相当规模软件技术新发展第7页哪些行业需要网格计算生物、生化研究人类基因
6、研究爱滋病药品研究地震仿真研究大气物理与气象预报高能物理理论与试验第8页社团组成:数千家庭计算机用户慈善机构提供计算能力(Entropia)研究组(Scripps)共同目标=促进爱滋病研究家庭中计算机用来评价爱滋病药品家庭中计算机用来评价爱滋病药品_ image courtesy from第9页地震工程和仿真地震工程和仿真NEESgrid（地震工程和仿真网格）:将地震工程师与试验设施、数据库、计算机结合体系结构按需地使用试验、数据流、计算设施、档案、合作NEESgrid:Argonne,Michigan,NCSA,UIUC,USC第10页高能物理对计算需求以LHC试验为例第11页 Large
7、Hadron Collider（大型强子对撞机）（大型强子对撞机）能量能量.:14 TeV(质子-质子)1250 TeV(铅核-铅核)亮度亮度:1034 cm-2s-1(质子-质子)1027 cm-2s-1(铅核-铅核)周长:26.6 km主要试验:4个第12页4 主要主要 LHC 试验试验ATLAS CMSALICELHCb第13页LHC 计算需求计算需求数据存放数据存放 原始数据率原始数据率 0.1 1 GByte/sec 相当于相当于 5-8 PetaBytes/year 需要磁盘容量需要磁盘容量 10 PetaBytes处理能力处理能力 200,000 个当前个当前()最快最快 PC机
8、机 第14页LHCLHC高能物理试验数据处理示意图高能物理试验数据处理示意图层层 1Tier2 Center在线取数在线取数 CERN 700k SI95 1 PB Disk;Tape RobotFNAL:200k SI95;600 TBIN2P3 Center INFN Center RAL Center InstituteInstituteInstituteInstitute 0.25TIPSPC或工作站或工作站100-400 MBytes/sec2.5 Gbps100-1000 Mbits/sec-8年年达几十达几十 Pbyte/sec.5年年左右到达左右到达1000PByte/sec离
9、线物理数据离线物理数据PByte/sec2.5 Gbits/secTier2 CenterTier2 CenterTier2 Center2.5 Gbps层层 0+1层层 3 层层 4层层 2中心中心 层层 2对撞试验对撞试验CERN内部内部/外部外部 百分比百分比 1:2层层 0/(层层 1)/(层层 2)1:1:1第15页世界上参加高能物理试验合作单位世界上参加高能物理试验合作单位欧洲欧洲:267 个研究单位个研究单位,4603 个用户个用户其它地域其它地域:208 个研究单位个研究单位,1632 用户用户ICFA ICFA 国际未来加速器委员会国际未来加速器委员会国际未来加速器委员会国际
10、未来加速器委员会SCIC SCIC 地域间连接标准委员会地域间连接标准委员会地域间连接标准委员会地域间连接标准委员会第16页高能物理对网络需求高能物理对网络需求ICFA于1996年开启各国之间高速网络互联计划ICFA 要求参加国际高能物理合作国家和机构必须：q 检验他们运行方法方便确保与远方合作者完全连接q 争取提供必要通信设施和足够国际带宽第17页ICFA ICFA 19981998联网带宽计划联网带宽计划(Mbps)(Mbps)预计1998-年期间将增加1001000倍带宽需求每个物理学家使用带宽（所用峰值带宽）大学组使用带宽中心试验室，包含一个或几个主要试验使用带宽当地试验室或地域中心跨
11、大洋连接带宽第18页 跨越大西洋带宽要求跨越大西洋带宽要求*按最大占用按最大占用按最大占用按最大占用50%50%算算算算 http:/gate.hep.anl.gov/lprice/TAN http:/gate.hep.anl.gov/lprice/TAN第19页网格技术产生技术基础高性能计算技术发展CPU技术飞速发展超级计算机与计算机集群大规模共享资源网络基础设施高度发达发达国家高速光纤网已四通八达跨大洋海底光缆连接已经含有相当规模软件技术新发展异构平台体系和语言广域网资源共享软件中间件网络安全技术第20页CPU计算速度每18个月翻一番你家里PC机CPU计算能力已经相当服务器CPU了你办公室
12、和你家里计算机CPU经常无事可做，或负荷很低它们在网格里能够提供给需要人使用，而对你毫无影响第21页中国计算机TOP50排行榜第一：“深腾1800”，联想研制，安装于科学院数学院，含有512个IntelXeon2.0GCPU，峰值计算能力2048Gflops第三：HPSuperDome，用于北京社会保险，含有256个CPU，峰值计算能力384Gflops第42：北京大学数学学院在国内最早自行组装大型PC-Farm，含有60个PIII-700CPU，峰值计算能力42Gflops第22页网络基础设施高度发达网络速度每9个月翻一番（技术）网络带宽每5年提升一个数量级（实际）发达国家高速光纤网已四通八
13、达跨大洋海底光缆连接已经含有相当规模第23页主干网与各国连接进展主干网与各国连接进展欧洲 GEANT 主干网联结31个国家，速率 2.5 and 10 Gbps英国:JANET 网，速率10 Gbps2.5 Gbps NY-London,with 622 Mbps to ESnet and Abilene法国(IN2P3):2.5 Gbps RENATER里昂-日内瓦（CERN）连接千兆以太网1.0G计划年改用光纤 SuperSINET(日本):10 Gbps IP and 10 Gbps Wavelength Core东京-纽约连接:2 x 2.5 Gbps;需要到StarlightCA*n
14、et4(加拿大):国内光纤，速率10 Gbps“Lambda-Grids”计划205月实现GWIN(德国):2.5 Gbps 骨干;到美国 2 x 2.5 Gbps;俄罗斯:155 Mbps 连到莫斯科到GEANT 155 Mbps第24页（续）（续）美国Abilene(Internet2)从 2.5G 正升级到10 GbpsEncourage high throughput use for targeted applications 美国能源部ESNET:升级到 10 Gbps美国与西欧中心（CERN）622 Mbps;到STARLIGHT2.5G 三地STARLIGHT-CERN-NL连接
15、20到10G 美国SLAC到法国IN2P3(BaBar)100 Mbps经过US-CERN到Renater600 Mbps 今年BaBar目标美国费米试验室（FNAL）与Esnet 连接升级到622 Mbps用光纤连到STARLIGHT纽约到阿母斯特丹由Tyco企业捐助（IEEAF）计划,年由IEEAF安排 622 Gbps+10 Gbps Research Wavelength 第25页One of the mosthomogeneous bandwidth distribution第26页NLSURFnetGENEVAUKSuperJANET4ABILENEESNETCALRENItGAR
16、R-BGEANTNewYorkFrRenaterSTAR-TAPSTARLIGHTDataTAG ProjectEU-SolicitedProject.CERN,PPARC(UK),Amsterdam(NL),andINFN(IT);andUS(DOE/NSF:UIC,NWUandCaltech)partnersMainAims:EnsuremaximuminteroperabilitybetweenUSandEUGridProjectsTransatlanticTestbedforadvancednetworkresearch2.5GbpsWavelengthTriangle7/02(10G
17、bpsTrianglein)Wave Triangle第27页纽约纽约-欧洲欧洲 9/02加州加州-东京东京 1/03(研究研究)第28页软件技术新发展异构平台体系与程序语言Java语言、Java虚拟机中间件代理、可移动代理、CORBA广域网资源共享软件文件共享，如AFS数据库，如Objectivity网络安全技术0SSH、SSL0认证/授权技术0加密技术0数字署名、防抵赖技术第29页网格计算基本技术（服务功效）通信服务 信息服务 安全认证 名字服务 监视系统 资源管理和调度 资源交易机制 编程工具 用户图形界面 第30页GRID协议分层体系结构应用层汇聚层资源层连接层基础层应用层TCP层IP
18、层链路层Grid协议体系结构Internet协议体系结构第31页计算网格是怎样实现计算网格是怎样实现ApplicationFabric“Controlling things locally（当地控制东东）”:访问与控制、资源Connectivity“Talking to things（与东东对话）”:通信(Internet 协议)与 安全Resource“Sharing single resources（共享单一资源）”:协商访问、控制使用Collective“Coordinating multiple resources（汇聚多个资源）”:普及体系结构服务、应用特定分布式服务For more
19、 info:www.globus.org/research/papers/anatomy.pdfGrid 结构结构Globus Toolkit第32页GRID技术关键点组成结构网格结点中间件开发环境和工具层 应用层第33页国际网格计算技术发展现实状况科学界i美国Argonne试验室:Globusi欧盟数据网格:EUDataGridi物理学网格:GriPhyNi地震工程与仿真网格:NEESgrid政府i美国能源部(DOE):DOEScienceGridi美国国家航天局(NASA):InformationPowerGridi美国国家科学基金会(NSF)国家计算科学联盟(NCSA):National
20、TechnologyGridi德意志联邦教育科研部(BMBF):UNICORE厂商iIBMiSUNiPlatform第34页HEP领域中GRID技术 高能物理领域对计算技术需求从来走在时高能物理领域对计算技术需求从来走在时代前列，关于代前列，关于GRID技术研究也不例外技术研究也不例外举例：美国粒子物理数据网格美国粒子物理数据网格 PPDG欧盟数据网格欧盟数据网格(EU DataGrid)西欧核子研究中心西欧核子研究中心CERNLCG计划计划 第35页PPDG-参加者 加州理工大学阿槓国家试验室劳伦斯伯克利试验室布鲁克海文国家试验室费米国家试验室圣地亚哥超级计算机中心斯坦福直线加速器中心威斯康
21、星大学第36页PPDG-主要目标 为成千个物理学家提供广域分布PB量级（1015Byte）数据粒子物理数据分析体系结构加速广泛针对数据密集型科学合作网络加速广泛针对数据密集型科学合作网络和中间件体系结构发展和中间件体系结构发展第37页PPDG-体系框图第38页PPDG-技术方案 第一步（1999年）：提供两个不一样地点间高速文件复制服务提供多地点高速缓存文件存取服务第39页PPDG-技术方案第二步（2000-年）：开发一个普通化文件迁移框架（支持 QoS）作为透明写访问和代理技术所需要基础，作到目录、资源代理和匹配服务实现/通用化实现文件透明写访问实现对代理有限支持实现数据网格分布资源管理在组
22、件级和结构级主要努力作到健壮性和快速问题诊疗第40页PPDG-技术方案久远目标:系统必须使用静态和移动独立代理去执行定义好任务系统必须是有弹性、预测性/自适应任务优先级必须是基于策略和边界效用二者必须使用辅助调度算法（匹配）在一定时间限额内将请求配给资源，匹配结果将影响用于度量边界效用索引事务管理必须使用上述价格估算法，比如抽查/重算机制第41页PPDG-已经有技术基础ANL:Globus网格中间件服务SLAC:对象开放文件系统(OOFS)Caltech:全球互连对象数据库(GIOD)项目FNAL:数据访问架构(SAM)LBNL:存放访问协作系统(STACS)ANL:规模可伸缩目标存放和访问S
23、calableObjectStorageandAccess威斯康星大学:Condor分布资源管理系统SDSC:存放资源代理(SRB)第42页欧盟数据网格计划欧盟数据网格计划为进行数据密集型科学研究给大型分布科学组织提供世界级网格从计划构思和机构人员编制看主要包括CERN和粒子物理界(由LHC计划推进)由地球观察和生物学共享第43页EU DataGrid 计划目标计划目标特定计划目标：构架中间件和网格管理软件（大部分由欧盟资助）大规模试验床（大部分由参加单位资助）含有产品质量级别演示（部分由欧盟资助）与欧洲和美国项目合作并提供补充为开放标准和国际实体作出贡献：第44页EU DataGrid 主要
24、参加者主要参加者CERN International(Switzerland/France)CNRS FranceESA/ESRIN International(Italy)INFN ItalyNIKHEF The NetherlandsPPARC-UK第45页项目计划项目计划计划从201月1日开始测试床 0（20前期）布署国际试验床0体系结构（仅用Globus 1 -未用欧洲数据网格中间件）测试床 1（20前期）第一版EU DataGrid 软件在项目内部定义了用户：高能物理试验（工作组8）、地球观察（工作组9）、生物医学（工作10）203月1日成功经过欧盟项目评审测试床 2（2010月）在
25、试验床 1上建立，扩充数据网格功效测试床 3（203月）和 测试床 4（209月）计划到2012月31日停顿第46页EU DataGrid计划各工作组分工计划各工作组分工中间件中间件WP1 网格工作负载管理网格工作负载管理WP2 网格数据管理网格数据管理WP3 网格监控服务网格监控服务WP4 构架管理构架管理WP5 海量存放管理海量存放管理测试床测试床WP6 测试床集成测试床集成WP7 网络服务网络服务科学应用科学应用WP8 高能物理高能物理WP9 地球观察地球观察WP10 生物学生物学宣传宣传 WP11项目管理项目管理 WP12第47页EU DataGrid 软件结构软件结构Collecti
26、ve ServicesUnderlying Grid ServicesGrid Application LayerInformation&MonitoringReplica ManagerGrid SchedulerLocal ApplicationLocal DatabaseComputing Element ServicesAuthorization Authentication and AccountingReplica CatalogStorage Element ServicesSQL Database ServicesFabric servicesConfigurationMana
27、gementNode Installation&ManagementMonitoringandFault ToleranceResource ManagementFabric StorageManagementGridFabricLocal ComputingGridData ManagementJob ManagementMetadata ManagementObject to File MappingService Index第48页Web 用户界面用户界面(1)第49页RobertoBarbera4thDataGridConference,04-08.03.Web 用户界面用户界面(2)
28、第50页Web 用户界面用户界面(3)第51页LHC 计算网格计划计算网格计划 LCG开始称为MONARC计划，其任务是规划LHC计算目标：每一个物理学家应该含有对于数据和资源相同访问通道LHC 计算网格（LCG）计划是CERN理事会于年9月同意一个LCG计划研讨会于203月在CERN召开CERN人工计划：147 人年材料预算:7千5百万瑞士法郎它并不是另一个网格技术计划，而是一个网格布署计划第52页LCG 计划目标计划目标准备和布署LHC计算环境应用-工具、框架、环境、持久性计算系统机群合作计算机中心以CERN为中心物理分析助长合作，LHC与区域计算中心结合使用datachallenges项
29、目标规则第53页Tier2 Centre 1 TIPSData Grid for LHC ComputingOnline SystemOffline Processor Farm 20 TIPSCERN Computer CentreFermiLab 4 TIPSFrance Regional Centre Italy Regional Centre Germany Regional Centre InstituteInstituteInstituteInstitute 0.25TIPSPhysicist workstations100 MBytes/sec100 MBytes/sec622
30、Mbits/sec1 MBytes/secThere is a“bunch crossing”every 25 nsecs.There are 100“triggers”per secondEach triggered event is 1 MByte in sizePhysicists work on analysis“channels”.Each institute will have 10 physicists working on one or more channels;data for these channels should be cached by the institute
31、 serverPhysics data cachePBytes/sec 622 Mbits/sec or Air Freight(deprecated)Tier2 Centre 1 TIPSTier2 Centre 1 TIPSTier2 Centre 1 TIPSCaltech 1 TIPS622 Mbits/secTier Tier 0 0Tier Tier 1 1Tier Tier 2 2Tier Tier 4 41 TIPS is approximately 25,000 SpecInt95 equivalents_ Image courtesy Harvey Newman,Calte
32、ch第54页Summary of LHC Computing GridLCG是一个在世界范围为LHC计算布署专有体系结构计划，而且是全部LHC试验计算共同工作场所LCG面临许多技术挑战并需要在布署前今后几年内处理它们LCG需要经过其它相关Grid计划向全部参加国和他们责任人、向其它科学、向工业界伸手来聚集资源LCG作为LHC计划一部分在CERN享受最高优先级不论怎样，LCG对于它参加者、他们合作者和贡献者都是非常主要第55页国内网格计算现实状况及发展前景第56页中国网格计划织女星网格计划（计算所、科技部）863计划国家高性能计算环境（科技部与许多参加者）网格体系结构建设(教育部)科学数据网格（
33、科学院、科技部）高能物理数据网格（高能所）第57页中国网格计划一览为主要网格基地研制超级服务器建设一些高性能计算中心为网格系统开发系统软件在网格上开发应用示例在100个大学之间建设2Gbps带宽网络互连第58页织女星计划1.设计目标:设计和实现网格级软件建立一个国家级由高性能计算中心支持体系结构开发在试验床上运行应用2.研究制造面向网格超级服务器曙光4000,5000,等等3.它将是一个服务网格，提供计算能力和其它服务第59页曙光超级计算机第60页织女星网格批处理系统第61页旅游在线事务系统旅游在线事务系统-在中国旅游h基于网格操作系统应用h在网格上注册了四种基本服务天气预报飞机票预订景点门票
34、预订收费h将这四种服务推向应用第62页旅游在线事务系统第63页旅游在线事务系统第64页国家高性能计算项目一览在中国各地建立若干个高性能计算基地将这些基地用现有网络相互连接起来(CERnet&CSTnet)为每个基地提供曙光、银河、Sun等超级计算机和PC集群第65页国家高性能计算项目网格软件一览在节点操作系统之上功效层资源、用户和任务管理认证与授权使用硬件加强加密方法基于Web用户界面第66页网格系统软件第67页用户管理第68页任务管理（提交）第69页资源管理（寻找用户）第70页网格系统监视第71页网格实用命令第72页国家高性能计算网格应用气象预报石油库仿真生物信息数据库与应用数字风洞仿真汽车
35、撞击模拟船舶结构分析国家科学数据库与应用数字图书馆第73页AudioNotebookHPCBP,MobilephoneVideoCameraTel.GameTVDVDPCInternetGigabitIPNetworkNodeNodeNodeNodeDBInfolib.Instr.NHPCE国家高性能计算网格示意图第74页科学数据网格项目在科学数据库之上建立属于中国科学院，向全世界开放计划在-提供服务第75页科学数据库（SDB）科学院从1986年开始建立科学数据库科学数据库是一组各种学科数据库，包含化学、生物学、地学、天文学、生态学、等等到，科学院在全国有400多个研究所有分布在全国300多个
36、各种数据库有10TB以上数据内容第76页为何要搞科学数据网格（SDG）？资源层共享和开发0使数据更轻易访问使数据更轻易访问0数据一体化数据一体化0更轻易做到：数据更轻易做到：数据-信息信息-知识知识应用层新兴应用0能够做以前做不到应用能够做以前做不到应用0多数据库多数据库/多学科交叉应用多学科交叉应用0需要更多资源（周期、带宽、仪器，等等）需要更多资源（周期、带宽、仪器，等等）应用应用 第77页任务建立试验床1个数据中心3个子数据中心中间件信息服务安全用户界面应用0化学/地学/天文学/生物学第78页生物中心北京数据中心(CNIC)地学中心北京1000M化学中心上海SDG资源155M1000M第
37、79页高能所GRID研究基础网络环境建设千兆校园网建设增加网络出口带宽加强网络管理和网络安全高性能计算环境建设PC集群系统建设海量分级存放系统研究广域网资源共享软件研究GRID中间件研究主动争取国内、国际合作第80页高能所千兆骨干网关键交换机第81页北京谱仪数据处理PC集群系统3台数据服务器、17台计算节点机，共有25个CPU、4TBRAID磁盘组第82页LHC国际合作组PC集群系统1台数据服务器、15台双CPU计算节点机，共有32个CPU、1TBRAID磁盘组第83页高能所数据网格研究当前由高能所知识创新课题支持在高能所校园网环境上为北京谱仪建立一个BES虚拟组织如有可能未来为CMS和Atl
38、as合作增加两个虚拟组织为羊八井ARGO试验建立ARGO-YBJ虚拟组织第84页高能网格试验床拓扑图GIISGRISGRISCondorPBSTwo6CPUsPC-FARM第85页当前主要任务大规模Linux平台配置与维护管理LCFG.认证/授权GSI.资源信息管理MDS.网格资源配置管理GRAM.数据复制管理GDMP.高能物理分析软件网格化Appln.第86页未来工作建设高能所校园网格环境，共享大约10个PC-Farm促进与国家网格项目和国际网格界合作为在中国建立LHC计算合作2级区域中心而努力第87页结论Grid是继Internet和WWW之后网络技术新发展当前Grid技术还未成熟，许多问题有待处理各国科学家和IT业正在努力发展Grid相关技术Grid将在科学研究、工商业及生活中得到广泛应用Grid将在几年内走到你身边第88页谢谢！第89页