客观日本

NTT的算法使“富岳”的大规模图表探索性能提高约20%,助力“富岳”连续9期蝉联世界第一

2024年08月02日 信息通信

在2024年5月发布的超级计算机性能排行榜“Graph500”的BFS部门中,理研的“富岳”连续9期位居世界第一,NTT开发的图表计算高速算法在其中做出了巨大贡献。NTT于6月25日召开了在线说明会,介绍了具体内容。

title

图 1:使用Forest Pruning技术构建 BFS 树的流程(NTT 提供)。

图表是通过顶点和分支显示事物之间关系的数据。NTT开发了一种被称为“Forest Pruning”的高速算法,从顶点开始按远近顺序计算顶点整体的联系(BFS、广度优先算法)。

NTT计算机与数据科学研究所主任研究员新井淳介绍相关成果时表示:“该技术在今年5月的超级计算机性能排行榜Graph500的BFS部门中做出了很大贡献,使富岳将其保持的首位记录又进一步提高了约20%。通过使用该技术,有望提高数据挖掘和AI等使用大规模图形数据的各种处理的性能。”

包括该技术在内,NTT与理化学研究所等的联合研究小组开发的成果将于11月17日至22日在美国亚特兰大举行的高性能计算领域顶级会议“The International Conference for High Performance Computing, Networking, Storage,and Analysis(SC24)”上发表。

现实世界中的许多复杂信息都是用图表表示的,典型的例子就是路线图和道路网络,其他的例如知识、购物记录、通话记录和金融交易等,也是用图表表示。

计算从出发地到目的地的最短路径问题也属于图表计算。多年来,NTT一直致力于研究如何以更短的时间和更低的功耗处理大型图表,并设计了一种快速算法“Forest Pruning”,以实现高效的BFS。

在去年11月公布的Graph500绿色大数据部门的排名中,利用NTT的图表处理技术(包括GPU上的“Forest Pruning”技术),获得了商用处理器的最高能效记录。

NTT还参与了在超级计算机“富岳”上挑战Graph500的联合研究小组,并为“富岳”安装了“Forest Pruning”技术,从而取得了九次蝉联第一的成果。

对于这种高速算法的概要,新井先生介绍时表示:“Graph500的任务是构建一棵BFS树,从给定的顶点(起点)开始,按照由近到远的顺序跟随顶点。为了高效地完成这一任务,‘Forest Pruning’在输入图表时,就会分离图表中原本为树形结构的部分(森林)。然后,在指定起点时,通过仅在非图表树的部分跟随顶点,构建一棵局部BFS树,再将分离出来的森林连接起来,就能构建完整的BFS树。”

这样,与以往保持原BFS树的状态进行计算处理相比,能够减少步骤的数量,缩短计算处理时间,还能减少计算所要消耗的内存。

除了“Forest Pruning”,NTT还于5月在Graph500 BFS基准程序中为“富岳”安装了新开发的图形数据压缩技术。由此,使用“富岳”的152,064个计算节点(约占总数的96%),计算了Graph500规定的图形规模SCALE42和SCALE43的性能。

得到的结果是,对于拥有约4.4兆个顶点和70.4兆条边的SCALE42,性能(GTEPS:Giga TEPS)达到166,029GTEPS,比上次创下的记录(2023年11月、138,867GTEPS)提高了约 20%,平均处理时间缩短至0.42秒。

对于规模更大、约有8.8兆个顶点和140.7兆条边的SCALE43,其性能为198,321GTEPS,也比上次的记录提高了43%,处理时间缩短至0.71秒。

至此,“富岳”在5月的Graph500排名的SCALE42计算中连续第九次位列第一。

至于SCALE43,为了减少性能测量所需的时间,省略了Graph500要求的BFS树的验算,所以此次没有向该排名提交计算结果。新井先生表示,希望在以后的Graph500排名中提交。

原文:《科学新闻》
翻译:JST客观日本编辑部