中国首个LHCb 网格计算二级站点建成并顺利运行

粒子物理实验组


       2018年12月,经过了半年时间的努力,中国首个LHCb网格计算二级站点(LHCb-Tier2)在北京中国科学院高能物理研究所计算中心建成后通过调试验收,并立即投入运行。至今1个月时间,各项性能状态稳定,运行良好。

       该网格计算站点的建设由LHCb中国组各合作单位共同斥资建设运维,由中国科学院高能物理研究所计算中心提供安装、维护和运行服务,初期建设包含约1000个计算内核和约500TB的存储资源。该二级站点通过网格计算系统远程与欧洲核子研究中心(CERN)连接,为LHCb实验提供重要的计算资源。同时,该站点包含一个较小规模的三级节点,用于为中国LHCb各合作单位的课题组成员提供本地计算和存储服务。该网格计算站点的建成运行,对于中国更好的参与LHCb国际合作实验、增强中国LHCb团队的国际影响力具有重要意义。LHCb中国组各合作单位将在今后LHCb实验运行的十余年中陆续提供资源,用于该网格计算站点的设备更新与升级。

20190117101 20190117102
图1:该网格计算站点的刀片式计算服务器。   图2:该网格计算站点的存储磁盘阵列和管理服务器。

       中国科学院大学贡献了整个网格站点硬件的三分之一,物理科学学院粒子物理实验组钱文斌吕晓睿等参与了该网格站点的规划、建设和测试。经过与高能所、供货商和LHCb中国组各单位等各方面沟通之后,确定了采用DELL MD3860F磁盘阵列作为存储设备,并协调高能所计算中心进行了安装;针对该Tier3站点与本地其他已有计算集群的共享资源的问题,在共享管理、用户权限和安全策略等方面进行了实施方案的协调和确定。粒子物理实验组此前也依托高能所建立了专用分析节点,此次在学校的支持下也对其进行了升级,以满足日益增加的数据分析需求。

20190117103

图3:近30天该网格站点的作业运行状态。纵坐标为运行的作业数目,横坐标为日期。

       LHCb国际合作组是位于瑞士日内瓦附件的欧洲核子研究中心(CERN)大型强子对撞机上的四个主要实验之一,主要用于研究底夸克相关物理研究,这些研究将加深人类对于物质的基本组成及其相互作用的理解。LHCb国际合作组目前由来自18个国家的79家单位组成,共有1250名成员。

       LHCb实验现在运行期间每秒采集约0.5 GB对撞数据,考虑进备份、数据重建等,现阶段对撞数据储存需求约为100 PB。此外在进行具体分析工作过程中需要产生大量后续数据子集及相应的模拟数据,其所需储存空间也在此量级。LHCb实验将于2019年进行第一次升级,探测器升级之后每秒采集数据提升到5 GB,相应的对数据储存的需求也提高了一个量级。这些数据将被合作组成员在世界各地使用。为了实现海量对撞数据样本的储存及分析,LHCb实验采用分布式网格计算的方式将数据储存在合作组各成员单位,并利用当地的分析节点进行分析运算。其中欧洲核子中心为数据主要储存及分析节点,各国国家实验室(如英国的卢瑟福实验室、法国的粒子物理核物理国家实验室等)为一级储存及分析节点。各国院校等为二级或三级节点。LHCb中国组二级节点的成功建成基本满足了中国组现阶段物理分析资源的需求。

      国科大LHCb组的相关科研工作得到了科技部国家重点研发计划“大型强子对撞机LHCb实验的物理研究”项目(课题“双重味重子寻找”)、国家自然科学基金委“杰出青年基金”、“优秀青年基金”和面上项目、中国科学院前沿科学重点研究计划、中国科学院国际人才计划,和国科大自主科研经费等支持。