MLIPはどれを選べばよい？ MLIP Arenaで学ぶ、ベンチマークの読み方

本記事は、MLIP Arenaを題材に、機械学習原子間ポテンシャルを比較して選ぶときのベンチマークの読み方を、初心者向けに解説します。ランキングだけで決めず、自分の系で確かめる実践的な流れも紹介します。

MLIPを動かせても、「自分の計算にはどれが合うのか」は別の問題です。機械学習原子間ポテンシャル（MLIP）を使い始めると、ほどなくして悩むのが「結局、どのモデルを使えばよいのだろう？」という点です。モデル名は増え、論文の誤差指標も多く、初めて比較表を見ると少し圧倒されます。

そこで役立つのが MLIP Arena です。MLIP Arenaは、複数のMLIPを同じ形式で扱い、解離曲線・状態方程式・分子動力学（MD）の安定性など、共通の課題で比較するためのオープンソース基盤です。公式ドキュメントでは、15種類以上の基盤MLIPをASEのCalculatorという共通インターフェースで扱う仕組みが説明されています。

この記事では、ランキングの数字をそのまま「勝者モデル」と受け取らず、自分の計算に使える候補を絞るための地図として読む方法を紹介します。

この記事でわかること
MLIP Arenaは、モデルを直接提供するサービスではなく、比較・評価のための基盤であること
解離曲線、ライブランキング、MD安定性の画面から何を読めばよいか
ベンチマークの後に、自分の系でどのように確かめればよいか

動作検証済み環境

Google Colab (2025-05-26), Python 3.10, Torch 2.3.0+cu118, TorchANI 2.2.4, ASE 3.22.1, Matplotlib 3.7.1

PySCFを使った無料で始められる量子化学計算の技術書を販売中

PySCFを使い構造最適化や振動数計算、物性解析など高度な量子化学計算ができます！

技術書ページへ

Gaussianを使った量子化学計算の初心者向け技術書を販売中

しばしば出くわすエラーへの対処法をはじめ
Gaussianと無料ソフトウェア Avogadro を組み合わせた物性解析手法が学べます！

技術書ページへ

機械学習ポテンシャル（MLP）実践本を販売中

第一原理計算の精度を保ちつつ、大規模な材料シミュレーションを現実に！公開モデル（UMA など）を使って、再現性のある計算手順を手元に作れます

技術書ページへ

マテリアルズインフォマティクス（MI）入門：Pythonによる物性予測から逆問題設計まで

PySCFを使ったマテリアルズ・インフォマティクス入門の技術書を販売中

Pythonを用いてマテリアルズ・インフォマティクスの一連のワークフローをハンズオンで学べます！

技術書ページへ

まず結論：ランキングは「採用決定」ではなく「最初のふるい」

最初に結論を言うと、MLIP Arenaの使い方は次の流れがよいでしょう。

自分の計算目的に近い評価項目を選ぶ
上位だけでなく、安定性や速度も見て候補を2〜3個に絞る
その候補を、自分の構造・組成・温度・初期配置で小さく試す
最終候補はDFTなどの基準計算で検証する

つまり、MLIP Arenaは「このモデルを使えば必ず正しい」と教えてくれる場所ではありません。各モデルが、基本的な物理的ふるまいをどこまで安定して再現できるかを比べる場所です。

MLIP Arenaは、各モデルをひとつのクラウドAPIとして提供するサービスではありません。モデルごとに必要なパッケージや重みを用意したうえで、ASEのCalculatorという同じ形式で扱い、同一条件で比較しやすくするオープンソース基盤です。

MLIP Arenaとは何か

MLIPは、原子の種類と座標からエネルギーや力を予測するモデルです。正式にはMachine Learning Interatomic Potentialの略で、本稿ではこのMLIPを使います。構造最適化やMDでは、予測された力を何度も使うため、単発の誤差が小さいだけでは安心できません。原子間距離を広げたときのエネルギー曲線が不自然だったり、MDで計算が途中で発散したりすれば、実際の研究には使いにくいからです。

MLIP Arenaは、こうした「実際に計算を回したときの性質」を比較しようとしています。公式のモデル画面では、モデルがMLIPEnumに登録され、ASEのCalculatorとして扱われる構造が示されています。

図1　MLIP Arenaでは、複数のモデルをASE Calculatorという共通の窓口で扱う。出典：MLIP Arena Docs — Models（スクリーンショット、2026年8月24日取得）

ここで大切なのは、「比較できる」ことと「すべてのモデルが手元ですぐ動く」ことは別だという点です。公式ドキュメントによると、MLIPEnumには現在の環境で依存パッケージが入っているモデルだけが登録されます。モデルの重みや追加パッケージ、GPUが必要なケースもあるため、まずは比較画面を読み、必要な候補だけを導入するのが現実的です。

なぜ、テストセットの誤差だけでは選べないのか

論文やモデルカードには、エネルギーMAEや力MAEがよく掲載されています。もちろん大事な数字ですが、それだけで「自分の系でも大丈夫」とは限りません。

公式ドキュメントは、従来の誤差中心の比較には次のような限界があると説明しています。

学習データとよく似たテストデータでは、実力よりよく見えることがある
力の誤差が小さくても、未知の構造や温度・圧力条件で安定に振る舞うとは限らない
学習に使ったDFTの汎関数が異なるモデル同士は、ひとつの参照値だけで単純比較しにくい

そこでMLIP Arenaでは、固定構造での基礎的な比較（Fundamentals）と、MDを実際に走らせる比較（Molecular Dynamics）を分けています。

図2　比較対象は静的な曲線だけではない。解離曲線や状態方程式に加え、加熱・圧縮下のMD安定性も確認する。出典：MLIP Arena Docs — Benchmarks overview（スクリーンショット、2026年8月24日取得）

初心者のうちは、「誤差が一番小さいモデルを探す」と考えがちです。しかし実務では、目的の計算を最後まで破綻なく回せるかも同じくらい大切です。

まず見るべき画面1：解離曲線

原子を少しずつ引き離したとき、エネルギーがどのように変化するかを描いたものが解離曲線です。曲線がなめらかで、平衡距離付近に妥当な谷があり、遠ざけたときに不自然な振動や発散がないかを見ます。

これは、一見すると単純なテストです。しかし、原子間ポテンシャルの基本的な形を見抜くにはとても役立ちます。構造最適化やMDでは、こうした局所的なエネルギーと力の形を何度も使うためです。

図3　同じ二原子分子でも、モデルによって曲線の形は異なる。ここでは「線が近いか」だけでなく、平衡距離付近と遠距離側が自然につながっているかを見る。出典：MLIP Arena — Homonuclear diatomics（スクリーンショット、2026年8月24日取得）

見る場所：平衡距離付近の谷と、原子を遠ざけた側の曲線です。
読めること：原子間相互作用の基本的な形が、極端に不自然ではないかを確認できます。
ここだけで判断しないこと：曲線が近いモデルを、そのまま自分の材料・分子の最良モデルとは決めません。

ただし、曲線を読むときに注意したいことがあります。画面に表示されるPBE曲線などは、モデル間の順位を機械的に決めるための唯一の正解ではありません。モデルごとに学習時の参照計算やデータ分布が異なるためです。曲線は「物理として大きく不自然な挙動がないか」を知るための材料として読みましょう。

まず見るべき画面2：ライブランキング

ライブランキングは、複数のベンチマーク結果を横断して候補を眺める入口です。ここで最初に確認したいのは、総合順位そのものよりも、自分の目的に必要な列で結果が揃っているかです。

図4　ライブランキングは候補を広く眺めるための入口。順位はベンチマーク結果が追加・更新されると変わり得る。出典：MLIP Arena Live Leaderboard（スクリーンショット、2026年8月24日取得）

見る場所：自分の目的に関係する評価列と、候補モデルの結果が揃っているかです。
読めること：次に手元で試すべき2〜3個の候補を、広く絞り込めます。
ここだけで判断しないこと：総合順位だけで、特定の組成・温度・構造に対する正しさは決められません。

例えば、あなたが結晶の圧縮や高温MDを扱うなら、二原子分子の順位だけで決める理由はありません。逆に、分子の結合解離を中心に見るなら、MDの速度だけで選ぶのも危険です。

また、表に順位がない欄があっても、すぐに「そのモデルは性能が悪い」とは結論づけられません。未実行、非対応、比較対象外など、結果が載らない理由はいくつかあります。空欄は悪い点数ではなく、まず条件を確認する合図として扱いましょう。

まず見るべき画面3：MDで最後まで走り切れるか

MDでは、初期構造の近くでは問題なく見えたモデルが、温度や圧力を変えるうちに破綻することがあります。原子が異常に近づく、エネルギーが急に跳ね上がる、計算が止まる、といった現象です。

MLIP ArenaのMD Stabilityは、加熱・圧縮の条件でNVT/NPTシミュレーションがどの程度生き残るかを見ます。さらに、推論速度も合わせて表示されます。

図5　MDの安定性と速度は別々の軸で読む。速くても計算が維持できなければ長いMDには使いにくく、安定でも遅すぎれば探索回数を増やしにくい。出典：MLIP Arena — Stability（スクリーンショット、2026年8月24日取得）

見る場所：有効に最後まで実行できた割合と、推論速度です。
読めること：長時間MDに進む前に、速度と安定性のトレードオフを把握できます。
ここだけで判断しないこと：このベンチマークで安定でも、自分の温度・圧力・化学組成での安定性は別途確認します。

ここでのポイントは、最速のモデルを選ぶことではありません。自分の計算では、次のどれがボトルネックになるかを考えます。

計算したいこと	優先して見るもの
数百〜数千構造の予備スクリーニング	推論速度、導入しやすさ
構造最適化	力の自然さ、収束のしやすさ
長時間MD	有効に最後まで走る割合、エネルギーの安定性
候補の最終比較	自分の系に対するDFTとの整合性

モデル一覧は「対応範囲」と「導入コスト」を見るために使う

モデルの一覧画面には、モデル名だけでなく、パッケージや実行対象に関する情報もあります。ここは、「有名だから使う」のではなく、自分の環境で現実に導入・比較できるかを確かめる場所です。

図6　モデルごとに必要なパッケージや実装は異なる。比較を始める前に、GPUの有無や依存関係、対象元素・系を確認しておく。出典：MLIP Arena Docs — Models（スクリーンショット、2026年8月24日取得）

特に、次の3点はメモしておくと後から迷いにくくなります。

対象系：分子、結晶、表面、イオン、MOFなど、どの領域に近いか
計算条件：CPUでも試せるか、CUDA GPUが必要か
出力：エネルギーだけでなく、力・応力が必要な計算に対応できるか

手元で最初に試すなら：モデルを「数える」だけでよい

MLIP Arenaは、ベンチマークを一気に全部走らせるためだけのツールではありません。最初の一歩としては、現在のPython環境で認識されるモデルを確認するだけでも十分です。

pip install mlip-arena

from mlip_arena.models import MLIPEnum
for model in MLIPEnum: print(model.name)

この短いコードで、依存パッケージがそろっているモデル名を確認できます。公式ドキュメントでは、依存関係が不足しているモデルは警告とともに一覧から除かれる仕様になっています。そのため、空の一覧や一部だけの一覧が出ても、すぐに失敗と判断する必要はありません。

本格的にベンチマークを走らせるには、モデルの重み、追加の依存関係、場合によってはGPUやHPC環境が必要です。公式の案内では、重みを使うベンチマークはソースからの導入を案内しており、StabilityやEOSはSLURM/Dask-JobQueueを使うHPC向けに設計されています。Benchmarks overviewの各ベンチマーク手順を確認してから進めましょう。

実際にGoogle Colabで試してみた

ここまでは画面とドキュメントを読む話でした。そこでこの記事のために、GPUを使わないGoogle Colab上で、MLIP Arena経由のMACE-MP(M)を実際に動かしてみました。

検証に使ったのは、Python 3.13.15、CPUランタイム、mlip-arena 0.2.0、mace-torch 0.3.16です。まずArenaが登録するモデルを一覧にし、次にダイヤモンド構造のSi原始セル（2原子）へMACE-MP(M)をASE Calculatorとして設定しました。get_potential_energy()とget_forces()が、有限の値を返すかを確認しています。

import numpy as np
from ase.build import bulk
from mlip_arena.models import MLIPEnum
from mlip_arena.tasks.utils import get_calculator
atoms = bulk("Si", "diamond", a=5.43)
atoms.calc = get_calculator(MLIPEnum["MACE-MP(M)"], device="cpu")
energy_eV = atoms.get_potential_energy()
forces_eV_per_A = atoms.get_forces()
assert np.isfinite(energy_eV)
assert forces_eV_per_A.shape == (len(atoms), 3)
assert np.isfinite(forces_eV_per_A).all()

図7　筆者がGoogle ColabのCPUランタイムで実行した結果。MACE-MP(M)がASE Calculatorとして読み込まれ、エネルギーと(2, 3)形状の力を返して、smoke testを通過した。スクリーンショット、2026年8月取得。

この実行では、エネルギーは-10.682180404663086 eV、力の配列は(2, 3)で、どちらも有限値でした。これはSiに対する精度を証明する結果ではありません。ここで確かめたのは、Arena → モデルアダプター → ASE → エネルギー・力という経路が、Colab上で最後までつながることです。

起動確認で終わらせず、どこまで試したか

その後、同じCPUランタイムで検証を広げました。重要なのは、「動いた」という一言ではなく、どの機能を、どの範囲で確認したかを分けて残すことです。

確認したこと	条件	結果
2つのモデルを同じ入口で呼べるか	MACE-MP(M)、MACE-OFF(M)、H₂	どちらも`get_calculator()`経由でエネルギー・力を返した
解離曲線の公式タスク	H₂、344距離点、2モデル	曲線を保存し、全エネルギー・力が有限。公式解析まで実行した
同じ条件での再現性	MACE-MP(M)のH₂曲線を同一ランタイムで再実行	エネルギー・力の最大絶対差はともに`0.0`だった
EOSの数値手順	Cu fcc、6体積点、逐次最適化	6点の体積・エネルギーとBirch–Murnaghanフィットを得た。平衡体積は`11.9149 Å³`
短時間MD	Cu 8原子、NVE、5 fs、固定シード	7フレームの軌跡を保存し、再評価した座標・力・エネルギーはすべて有限

H₂の曲線解析では、MACE-MP(M)とMACE-OFF(M)で力の総変動や不連続性の指標が大きく異なりました。ここで順位を付けるのではなく、同じ入力でもモデルごとに見えるふるまいが変わることを確認できた、と読むのが正しい使い方です。用途・元素・参照計算が異なるので、この小さな実行だけで「どちらが優秀」とは結論づけません。

一方で、Python 3.13のColabでは、ArenaのPrefect実行ラッパーが一時サーバーの500エラーで止まりました。EOSは、公式と同じ「初期緩和 → ひずみごとの逐次最適化 → Birch–Murnaghanフィット」という数値手順を、Prefectなしの逐次実行で確認しています。したがって、ここで検証できたのはEOSの数値計算本体であり、Prefectの並列化・キャッシュ・公式CI相当のワークフローではありません。

実際に使った感想

最初に感じたのは、MLIP Arenaは「すぐ使えるモデルAPI」ではなく、比較のための共通の入り口だということです。pip install mlip-arenaだけで全モデルの重みがそろうわけではなく、今回はMACE用にmace-torchも追加しました。モデルごとの依存関係、重み、実行条件を意識する必要があります。

一方で、依存関係がそろった後は気持ちよく短くなります。モデル名をMLIPEnum["MACE-MP(M)"]で選び、get_calculator()を通してatoms.calcへ渡せば、あとは普段のASEと同じget_potential_energy()、get_forces()で進められました。異なるMLIPを比べるときに、この入口がそろっている価値はかなり大きいと感じます。

小さなつまずきもありました。実行したPyPI版では、MLIPEnumの各値はCalculatorクラスそのものではなく設定辞書でした。そのため、古い形のmodel.value.__name__という列挙コードはAttributeErrorになりました。model.nameを使う、または設定辞書のmodule・family・classを見る形に直せば問題ありません。ドキュメントのコードをそのまま写すだけでなく、パッケージ版と実行ログを残すことの大切さを実感した点です。

CPUだけの今回の環境では、H₂の344点の曲線計算は1モデルあたり約20〜23秒、Cuの6点EOSは約2秒、5 fsの短時間MDも確認できました。小さい系の動作確認には十分ですが、長時間MDや多数構造・多数モデルの比較をこのままCPUで回すのは現実的ではありません。候補を2〜3個に絞る予備確認はColab、まとまったベンチマークはGPU/HPC、という役割分担がよさそうです。

なお、Arenaのタスクを読み込む際には、今回使わなかったPhonopyに関する警告や、アクセラレーションが使えないという警告も表示されました。それでも今回のエネルギー・力のassertionは通っています。コンソールに警告が出たらすべてを失敗と見るのではなく、自分が実行したタスクに必要な出力と品質条件が通ったかを確認するのが大切です。MACEではモデルの既定dtypeをfloat32へ変換したという表示も出たため、最終的な数値比較ではdtypeとモデルの推奨条件を別途確認します。また、導入時にはColabのrequests依存関係とPrefectの一時サーバーに関する警告・エラーも出ました。このような検証は使い捨ての新しいランタイムで行い、パッケージ版・Python版・実行できなかった経路も一緒に残すのが安全です。

MOF吸着計算では、次に何をすればよいか

たとえば、MOFへのCO₂吸着のように、実際の研究対象がはっきりしている場合を考えます。MLIP Arenaの結果だけで、あるモデルがその系に最適だとは決められません。ベンチマークは一般的な健康診断であり、あなたのMOF・吸着分子・初期配置そのものを評価しているわけではないからです。

おすすめの順番は次のとおりです。

MLIP Arenaで、曲線・MD安定性・必要な出力を見て候補を2〜3個に絞る
自分のMOFと吸着分子で、数個の初期配置を用意する
各候補で構造最適化し、吸着距離・エネルギー・最大力・収束の有無を記録する
良い候補だけを、複数の初期配置やDFTの基準計算で確かめる

この流れなら、ランキングのために計算するのではなく、自分の問いに答えるために比較する形になります。特に吸着系では、ひとつの初期配置だけがたまたまうまくいった、ということを避けるため、初期配置を変えた複数回の確認が有効です。

よくある誤解と注意点

1. 総合順位が高ければ、どの系にも使える？

いいえ。ベンチマークは重要な参考情報ですが、対象元素、電荷・スピン、周期境界条件、温度・圧力、訓練データとの距離によって結果は変わります。使う前に、目的の系で小さく検証しましょう。

2. ランキングにないモデルは悪い？

そうとは限りません。未実行、依存関係、ベンチマークとの相性、表示条件などを確認する必要があります。空欄と低いスコアは区別して扱います。

3. ベンチマークを通ればDFTは不要？

いいえ。ベンチマークは候補を絞る道具です。研究上の結論を出す場面では、少なくとも代表構造についてDFTなどの基準計算と比べ、結果の妥当性を確認します。

4. スクリーンショットの順位は今も同じ？

ライブリーダーボードは結果が追加・更新されると変わります。本記事の図は2026年8月24日に取得した画面です。公開時には、リンク先の最新表示と取得日を併記してください。

まとめ

MLIP Arenaは、モデルを一発で決めるためのランキングサイトではありません。複数のMLIPを同じ土俵で眺め、「どれを自分の系で試すべきか」を合理的に絞るための基盤です。

まずは、解離曲線で基本的な形を見て、ライブランキングで候補を広く眺め、MD安定性で実際に走り切れそうかを確認します。その後に、自分の系の小さな実験とDFT検証へ進む。この順番にすると、モデル選びが「名前や順位で決める作業」から「根拠を持って候補を絞る作業」に変わります。ぜひ試してみてください！

参考文献

Y. Chiang et al., “MLIP Arena: Advancing Fairness and Transparency in Machine Learning Interatomic Potentials via an Open, Accessible Benchmark Platform,” The Thirty-ninth Annual Conference on Neural Information Processing Systems Datasets and Benchmarks Track (2025). https://openreview.net/forum?id=SAT0KPA5UO
atomind-ai, “MLIP Arena,” GitHub Repository (accessed 2026-09-01). https://github.com/atomind-ai/mlip-arena
atomind-ai, “Models,” MLIP Arena Documentation (accessed 2026-09-01). https://atomind-ai-mlip-arena.mintlify.app/concepts/models
atomind-ai, “Benchmarks overview,” MLIP Arena Documentation (accessed 2026-09-01). https://atomind-ai-mlip-arena.mintlify.app/benchmarks/overview
atomind-ai, “MLIP Arena Live Leaderboard,” Hugging Face Space (accessed 2026-09-01). https://atomind-mlip-arena.hf.space/
atomind-ai, “Homonuclear diatomics,” MLIP Arena Live Leaderboard, Hugging Face Space (accessed 2026-09-01). https://atomind-mlip-arena.hf.space/homonuclear-diatomics
atomind-ai, “Stability,” MLIP Arena Live Leaderboard, Hugging Face Space (accessed 2026-09-01). https://atomind-mlip-arena.hf.space/stability