富士通・理研ら、スーパーコンピュータ「富岳」を利用した史上最大規模の気象計算を実現

本研究が行った計算の規模は、世界の気象機関が日々行っている気象予測のためのアンサンブルデータ同化計算と比較して、およそ500倍の大きさのものだ。この成果は「富岳」の高い総合性能を実証し、最新のスーパーコンピュータとシミュレーションモデル、そしてデータ同化システムが互いに協調しながら開発を進めることによって、今よりも更に大規模な気象予報システムが実現可能であることを指し示した。これにより、将来の気象予報・気候変動予測の精度向上に繋がることが期待されるという。

本研究は、計算科学において最も栄誉ある賞のひとつであるゴードン・ベル賞のファイナリストに選出され、2020年11月9日から19日の日程でオンライン開催されたスーパーコンピュータの国際学会SC20において内容に関する講演が行われた。ゴードン・ベル賞は国際的な計算機科学の学会であるACMとIEEE Computer Societyが共同で主催し、その年において、高性能並列計算を科学技術分野へ適用することに関してイノベーションの功績が最も顕著な研究に与えられる。

気象情報は日々の我々の生活に欠かせない情報だ。毎年のように集中豪雨や台風の被害が国内外で報告されており、それら気象災害から私たちの命と財産を守るために、より精度の高い気象予測が求められている。現在の気象予測は、世界中で毎時刻行われている気象観測の情報と、コンピュータを用いた数値シミュレーション、そして観測データとシミュレーションを数学的な手法を用いて繋ぎ合わせるデータ同化によって支えられている。さらなる気象予測の精度向上のために、観測データの利用効率を上げ、よりメッシュの細かい数値シミュレーションを実行し、より多くのアンサンブル計算を行う必要があるが、そのどれもがより多くの計算を必要とするため、限られた計算機資源の制約の中で可能な計算が行われてきた。計算だけでなく、シミュレーションが出力するデータサイズも爆発的に大きくなるため、それらのデータの転送を現実的な時間内に終わらせることについても、これまでは限界があった。

日本の新たなフラッグシップマシンであるスーパーコンピュータ「富岳」は、スーパーコンピュータ「京」の後継機として2014年より設計開発が開始され、2020年6月と11月に様々な計算性能を競う世界ランキングの4つの部門で1位を獲得した。しかし「富岳」が目指してきた真の目標は、単純なベンチマーク性能だけではなく、さまざまな研究分野で実際に使われているプログラムを高速に実行し、「京」と比較して最大100倍のアプリケーション実効性能を実現することだ。この目標の達成のために、スーパーコンピュータシステム（スパコン）と科学計算ソフトウェアとの間の協調設計（コデザイン）が進められてきた。スパコンの技術トレンドは目まぐるしく変化しており、新しいスパコンという理由だけではソフトウェアの実行速度は速くならず、遅くなることすらあるという。本研究で用いた全球高解像度大気モデルNICAMと局所アンサンブル変換カルマンフィルタLETKFは、コデザインを進めるために選出された代表アプリケーション群の一部だ。我々の研究グループはこれらのアプリケーションを題材に、どのようなアルゴリズム、計算最適化を選択すれば、最新のスパコンの性能を引き出すことが可能であるかについて研究開発を行ってきた。本研究は、これらのコデザインの成果の集大成として、「富岳」を用いて実行可能な最大規模の、高解像度・大アンサンブルデータ同化実験を実施した結果によるものだ。

アンサンブルデータ同化では、少しずつ計算結果の異なる複数のシミュレーション（アンサンブル）を実行し、それらの結果と実際の観測データとつきあわせ、シミュレーションの軌道を修正して「確からしさ」を高めることが行われている。これにより、より現実の大気に近い状態からの気象予測を可能にする。本研究では、現在気象庁等が行っている計算から30倍以上多い1024個のアンサンブル計算を行った。アンサンブル数の増加によって、効果的に観測データの情報を活用することができるようになり、実際の天気予報の精度向上が期待できる。以下に、計算の流れとそれぞれの計算で行なわれるデータの入出力量を示す。まず先に、256個ずつのシミュレーション計算を実行し、これを4回繰り返すことで、1024個のアンサンブル結果を得る。それぞれの計算は異なる初期値を元に計算され、出力されるデータはのべ1.4ペタバイト、ファイル数は100万個に達す。次に続くデータ同化パートでは、出力されたデータを一気に読み込み、解析を行った。このデータの読み書きと、シミュレーションパートとデータ同化パートで大がかりなデータの持ち替えを行なわなければいけない点が、全体の計算時間に大きな影響を与えるとのことだ。

本研究ではまず、全く別々に開発されたプログラムである大気シミュレーションモデルNICAMとLETKFデータ同化システムの間のコデザインを行った。なるべく同時にたくさんのファイルを、それぞれの計算機の近くにある高速なディスク（SSD）を使って読み書きすることを徹底し、データの持ち替えに伴う移動も最小限になるように改良した。これにより、たくさんの計算機を同時に利用する場合にも、ファイルの読み書きにかかる時間を劇的に削減することに成功したという。次に取り組んだのが、実数の桁数を減らした計算だ。コンピュータの中では数字を二進数で表しており、有効数字の桁数が多い実数を表現するには、より多くの0と1の並びを準備しなければならない。この実数の精度を落とし桁数を減らすことによって、移動するべきデータのサイズを減らし、また計算機が一回の命令で処理するデータの数を増やすことが出来る。一方で、精度を落とした計算ではシミュレーションの結果が劣化するため、理想化した実験等を用いて結果を劣化させる恐れのある計算区間を検証。これもまた、科学的な性能の要請と計算速度性能の要請の間のコデザインといえるとのことだ。

システムとアプリケーションのコデザインでは、コンパイラと呼ばれるプログラムコードを機械語に翻訳するシステムソフトウェアの改良を富士通と共同で進め、一部の計算高速化が自動で適用されるようにした。また、「家計簿法」と名付けた、数十万行あるプログラムコードの中に潜むたくさんの小さな「無駄な時間消費」を効率よく見つけ出す手法や、我々の用途に合わせた数値計算ライブラリの改良を進めた。これらの研究開発によって得られたソフトウェアと知見は、他の多くのソフトウェアにも適用可能なものだ。

計算結果の一例として、データ同化部分の計算時間についてまとめたものを以下に示す。横軸がアンサンブルメンバーの数、縦軸が経過時間で、点線が倍精度（8バイト）実数、実線が大部分を単精度（4バイト）実数で計算した結果だ。各色はシミュレーションモデルの水平解像度を56km, 14km, 3.5kmと変えて行った結果を示している。アンサンブル数を増やすと計算にかかる時間が増加していくことがわかるが、その内訳として、ファイル入出力にかかる時間はほとんど増えなかった。また、単精度実数を用いた計算は倍精度実数を用いた計算よりも高速で、かつアンサンブル数の増大に伴う計算時間の増加を小さく抑えられることがわかった。シミュレーションパートにおいても単精度を用いた計算では、実行速度を倍精度実数を用いた計算より1.6倍高速化することに成功した。最大規模の計算である3.5kmメッシュ・1024メンバーの計算では、「富岳」の総計算ノード数の82%である131,072ノード（6,291,456個の計算コア）を利用して、シミュレーション部分では29ペタフロップス、データ同化部分では79ペタフロップスの計算性能を得た。一連の計算全体は4時間弱で終わらせることができる見積もりだという。

本研究の結果は、「富岳」のような演算性能とデータ転送性能のバランスの取れたスパコンを用いることで、単純な流体計算だけでは済まない、気象予報システムのような複雑なソフトウェアの計算を大規模化・高速化することが可能であるということを示している。単純な四則演算の速度にとどまらない、「富岳」の性能の地力を反映したものであり、今後の様々な科学分野での成果が期待される。計算気象学の分野においては、本計算結果は大きな達成点の一つであり、将来、今よりも更に精度の高い気象予報を提供するための道筋が付けられたといえるとのことだ。データ同化は気象予報だけでなく、シミュレーションモデルそのものの性能改善や、温室効果ガスや大気汚染物質の吸収・排出量の推定にも用いられる手法だ。今後、本研究によって革新的な改良が施されたプログラムの用途をさらに拡げ、気象・気候・地球環境の研究に活用していく予定とのことだ。