すべてのベンチマーク

GPQA Diamond

GPQA Diamond は、生物学、物理学、化学の大学院レベルの多肢選択式ベンチマークです。各設問は分野の専門家が作成し、その分野の専門家でも正解を特定するために慎重な推論が必要になるよう設計されています。同じ固定の設問セットを各プロバイダーのエンドポイントで実行し、モデルの能力、ルーティング、難しい科学的問題を解くための実際のコストを比較します。

ベンチマークの最終実行

モデル比較

最高精度

最高のコストパフォーマンス

openai のファビコン
OpenAI: GPT-6.1 Sol

$0.021/質問

正確性
代表的な実行の正解率を、高い順に表示します。
質問あたりのコスト
質問あたりの平均コストを安い順に表示します。
質問あたりの時間
質問ごとの平均実経過時間を、速い順に表示しています。

コスト効率

精度とコスト(パレートフロンティア)
各モデルを点で示し、利用可能な場合はデフォルトのルーティング(プロバイダーに固定しない方式)を使用しています。線はパレートフロンティアを示し、精度とコストの両方でこれらを上回るモデルはありません。

リーダーボード

最上位の行では利用可能な場合にデフォルトのルーティングを使用し、行をクリックするとプロバイダーを固定した結果を展開できます。

問題例

GPQA は、定義を思い出すだけでは解けない四択問題を使用しています。これらの代表例は、ベンチマークの保護された問題プールの項目を転載せずに、形式と科学分野の幅を示しています。

Biology

A researcher observes that a membrane protein is synthesized on ribosomes attached to the rough endoplasmic reticulum. Which destination is most consistent with this protein entering the secretory pathway?

  1. A.The cytosol, where it remains soluble
  2. B.The nucleus, after import through a nuclear pore
  3. C.A membrane of the endomembrane system or the cell surface
  4. D.The mitochondrial matrix through a TOM/TIM complex

回答: C

Ribosomes on the rough ER synthesize proteins destined for secretion or insertion into the endomembrane system, including the plasma membrane.

Physics

A spacecraft is far from other bodies and fires its engine in the direction opposite to its velocity. Ignoring mass loss during the brief burn, what happens immediately to its speed?

  1. A.It increases because the exhaust carries away backward momentum
  2. B.It decreases because the thrust points opposite to its velocity
  3. C.It remains unchanged because thrust only changes direction
  4. D.It becomes zero because the spacecraft is in free space

回答: B

An impulse opposite the velocity vector reduces the spacecraft’s momentum and therefore its speed during the burn.

Chemistry

Why does adding a small amount of a common ion generally reduce the solubility of a sparingly soluble ionic solid in water?

  1. A.The common ion increases the solid’s lattice energy
  2. B.The common ion shifts the dissolution equilibrium toward the solid
  3. C.The common ion converts every dissolved ion into a neutral molecule
  4. D.The common ion removes solvent molecules from the solution

回答: B

The added ion raises the concentration of a dissolution product, so Le Chatelier’s principle shifts the equilibrium toward the undissolved solid.

このベンチマークを実施する理由

GPQA は生物学、物理学、化学にわたる幅広い大学院レベルの推論テストであり、デプロイが正常であることを低コストで示す、信頼性の高い基本的な指標になります。通常はこれらの問題に正解するモデルの成績が突然低下した場合、問題自体ではなく、エンドポイントやルーティングの不具合を示していることが一般的です。

各プロバイダーのエンドポイントで同じ固定の問題セットを実行するため、同じモデルを提供するプロバイダー間で正解率に大きな差があれば、設定ミスや性能低下のあるエンドポイントをすばやく検出できます。コストとレイテンシの列は、その推論品質を提供する際にかかるコストとレイテンシを示します。

スコアからわかることとわからないこと

GPQA は対象範囲が狭く難易度の高い評価であり、汎用的な知能や有用性を完全に測定するものではありません。スコアは専門家が作成した科学分野の多肢選択問題に対する性能を反映しており、コーディング、指示への追従、事実性などの評価と併せて検討する必要があります。

スコアは、サンプリング設定、回答の選択肢位置の扱い、繰り返し実行の回数に左右されることがあります。モデル間でサンプル数が同程度の場合、小さな差には意味がない可能性があるため、リーダーボードでは正答率だけでなく、実行ごとのばらつきやコストの情報も示しています。

このベンチマークの内容は公開されており、一部の問題は将来、学習データに含まれる可能性があります。ここでは非公開の問題プールの転載を避けていますが、公開ベンチマークでは、将来のすべての評価項目について学習データへの混入がないことを保証できません。

方法論

スコアは直近の 90 日間の成功した実行を問題数で重み付けして集計し、モデルとプロバイダーの組み合わせごとに最小サンプル数のしきい値を適用しています。モデルの代表スコアには、利用可能な場合はデフォルトのルーティングを使用し、そうでない場合は中央値のプロバイダーにフォールバックします。コスト、時間、出力トークン数は、同じ実行における問題ごとの平均値です。最もコストパフォーマンスが高いモデルは、最高スコアとの差が五パーセントポイント以内のパレート最適なモデルのうち、最も安価なものです。

GPQA Diamond については 原著論文で説明されています。ルーティングの詳細は ドキュメント を参照するか、 すべてのモデル を閲覧してお試しください。

API アクセス

これらのスコアは OpenRouter の公開ベンチマーク API で利用できるため、同じモデル単位の結果をプログラムで取得できます。

GET https://orr.api.report.finance/api/v1/benchmarks?source=openrouter
Authorization: Bearer <API key>

絞り込みに task_type=intelligence を使用して gpqa_diamond を指定します。各項目はモデルを表し、 accuracy、 accuracy_stddev、 avg_cost_per_task、 total_tasks、 last_run_timestamp が含まれます。詳細は ベンチマーク API ドキュメントを参照してください。

ダウンロードと引用

このランキングのスナップショットは、 benchmark-leaderboard の公開データセットに掲載されており、フィルタリング対象は benchmark 列で、再生成の頻度は daily で、APIキーなしで利用できます。 現在のスナップショットの生成日は です。 ライセンスは CC BY 4.0で、OpenRouter への帰属を明記すれば再利用や再公開ができます。

列定義、手法、マスキングルールは、 データセットの READMEに記載されています。

このリーダーボードを引用

OpenRouter(2026)。OpenRouter での GPQA Diamond の結果、2026-11-19 時点のスナップショット。https://orr.api.report.finance/benchmarks/gpqa-diamond。CC BY 4.0 に基づいてライセンスされています。

よくある質問