東工大のスパコンTSUBAME3.0が今夏稼働開始―半精度演算性能47.2ペタフロップス、人工知能分野における需要急増へ対応―

概要

東京工業大学（以下、東工大）学術国際情報センター（以下、GSIC）の次世代スパコン「TSUBAME3.0^[用語1]」が今夏稼動に向けて開発・構築を開始します。TSUBAME3.0の理論演算性能は16 bitの半精度^[用語2]以上で47.2ペタフロップス^[用語3]で、TSUBAME2.5とTSUBAME3.0を併せて運用することにより、東工大GSICは半精度以上で64.3ペタフロップスの演算性能を提供できる国内最大のスパコンセンターとなります。科学技術計算の多くはデータサイズ64 bitの倍精度を必要としますが、人工知能（AI）やビッグデータ分野では16 bitの半精度での処理が可能であり、TSUBAME3.0は需要が急増しているこれらの分野での利用が大きく期待されます。

図1. TSUBAME3.0の完成予想図

TSUBAME2.0/2.5は2010年11月に我が国最速のスパコンとして稼働して以来、6年以上にわたり「みんなのスパコン」として国内外の産学官の研究開発を支えてきており、東工大GSICは世界でも最先端のスパコンセンターとして注目されています。また、東工大GSICは関連各社とともに高性能科学技術計算（HPC^[用語4]）に加え、近年需要が増大しているビッグデータやAIの各分野の研究を進めており、それらの研究成果やTSUBAME2.0/2.5、省電力スパコンTSUBAME-KFC^[用語5]のシステム運用経験を踏まえ、後継となるTSUBAME3.0の設計を行いました。

TSUBAME3.0の開発にあたっては政府調達「クラウド型ビッグデータグリーンスーパーコンピュータ（TSUBAME3.0）」が実施され、日本SGI株式会社（以下、SGI）が落札しました。今後、東工大はSGI、米国NVIDIA社、関連各社とともに開発を進めていきます。

TSUBAMEシリーズは、TSUBAME1.2のTesla、TSUBAME2.0のFermi、TSUBAME2.5のKeplerと最新のNVIDIA社製GPU^[用語6]をいち早く採用しており、今回のTSUBAME3.0では第4世代となるPascal GPUを採用し、高い互換性を確保しています。TSUBAME3.0のGPU数は2,160であり、TSUBAME2.5およびTSUBAME-KFCのGPUと併せて総数6,720ものGPUがGSICで稼働することになります。

NVIDIAのアクセラレーテッド・コンピューティング事業を担当する副社長、イアン・バック（Ian Buck）は、次のように述べています。「スーパーコンピューティングの分野において、AIは急速に重要なアプリケーションとなりつつあります。NVIDIAのGPUコンピューティングプラットフォームは、AIとハイパフォーマンス・コンピューティングを融合し、これまで科学者や研究者を悩ませたさまざまな課題を解決できるよう、演算処理を加速させます。Pascal世代のGPUを2,000基以上搭載した東工大のTSUBAME3.0は、医療、エネルギー、そして交通など、さまざまな分野において人々の生活を変えるような進歩をもたらすでしょう。」

TSUBAME3.0の倍精度の理論演算性能は12.15ペタフロップス（1秒間に12,150兆回の浮動小数点演算が可能）と、スーパーコンピュータ「京」を上回る世界最高レベルの性能となります。単精度での演算性能は24.3ペタフロップス、半精度での演算性能は47.2ペタフロップスです。最新GPUの採用による性能および電力効率の向上、ストレージの高速化および大容量化、計算ノードに搭載されるNVMe対応高速SSDの合算容量は1.08 PBと容量、速度ともに強化され、ビッグデータアプリケーションの処理速度を大幅に加速できます。また仮想化など多くのクラウド技術を取り入れ、我が国最高峰のサイエンスクラウドとしての役割も果たします。

TSUBAME3.0ではシステムの冷却効率も最適化されています。屋外に設置される冷却塔によって外気に近い温度の冷却水を少ない電力消費で供給することができ、これを主要なプロセッサの冷却に使用します。冷却効率を示す指標の一つであるPUE（Power Usage Effectiveness）の値は1.033と極めて高い効率となり、より多くの電力を計算に使用することができます。

TSUBAME3.0のシステムの計算ノード部にはSGI社のSGI ICE® XAを採用し、540台の計算ノードを収容します。各計算ノードはインテル® Xeon® プロセッサー E5-2680 v4 を2基、NVIDIA社製GPUのTESLA P100 for NVLink-Optimized Serversを4基、256 GiBの主記憶、ネットワークインターフェイスとしてインテル社製のOmni-Pathを4ポート搭載します。ストレージシステムにはDataDirect Networks社の容量15.9 PBのLustreファイルシステム、これに加えて各計算ノードにも容量2 TBのNVMe対応高速SSDを搭載。計算ノード及びストレージシステムはOmni-Pathによる高速ネットワークに接続され、またSINET5を経由し100 Gbpsの速度でインターネットに接続されます。

TSUBAME3.0の豊富な計算パワーを、学内での教育や先端研究での利用にとどめることなく、「みんなのスパコン」の理念を継承し、我が国のトップ大学の情報基盤センターとして学際大規模情報基盤共同利用・共同研究拠点（JHPCN）や革新的ハイパフォーマンス・コンピューティング・インフラ（HPCI）およびGSICが運営するTSUBAME共同利用制度を通じ、学外の研究者や企業の研究開発にも提供することで、最先端の科学技術の発展、国際競争力の強化に寄与していきます。