すべてのベンチマーク

τ²-Bench: Airline

τ²-Bench Airline は、ポリシーマニュアルに従い、模擬顧客と対話し、適切なツールを呼び出してフライトの検索、予約の変更、払い戻しを行うという、航空会社のサポート担当者の業務をモデルが遂行できるかをテストします。モデルに専門知識は不要で、複数ステップのタスクの一連の過程でツール呼び出しをどれだけ適切に実行できるかのみで採点されます。OpenRouter のトラフィックを処理するものと同じプロバイダーのエンドポイントに対して継続的に実行しているため、スコアにはモデルとそれを実行するプロバイダーの両方が反映されます。このベンチマークはスコアの下限が高いため、モデルの能力ではなくプロバイダー間のばらつきを評価するために使用しています。ツール呼び出しリクエストのルーティングアルゴリズムは、これらと同じシグナルを使用して、最もパフォーマンスの高いエンドポイントにトラフィックを送信します。

ベンチマークの最終実行

ツール呼び出しエラー:Auto Exacto 導入前 → 導入後

3.9% → 1.4%

ツール呼び出しリクエスト向けにプロバイダーを自動最適化する OpenRouter の機能である Auto Exactoに登録されたモデルのツール呼び出しエラー率です。

モデル比較

最高精度

最高のコストパフォーマンス

xiaomi のファビコン
Xiaomi: MiMo-V2.6-Flash

$0.015/タスク

正確性
代表的な実行の正解率を、高い順に表示します。
タスクあたりのコスト
採点対象タスクあたりの平均コストを、安い順に表示しています。
タスクあたりの時間
タスクあたりの平均実経過時間を短い順に表示しており、ループや停滞が発生するエージェントは時間が長くなります。

コスト効率

精度とコスト(パレートフロンティア)
各モデルを点で示し、利用可能な場合はデフォルトのルーティング(プロバイダーに固定しない方式)を使用しています。線はパレートフロンティアを示し、精度とコストの両方でこれらを上回るモデルはありません。

ツール呼び出しの信頼性

リーダーボード

最上位の行では利用可能な場合にデフォルトのルーティングを使用し、行をクリックするとプロバイダーを固定した結果を展開できます。

このベンチマークを実施する理由

不正にスコアを上げることが難しいツール呼び出しのベンチマークです。採点は暗記した回答ではなく、実際のツール呼び出しの軌跡に基づくため、Q&A 形式の評価よりも学習データの漏洩に強い仕組みです。実行あたりのコストを比較的低く抑えながら、ツール呼び出しのあらゆる失敗パターン(誤った引数、ポリシーチェックの省略、断念、確認結果の幻覚)を検証します。また、絶対スコアよりも相対スコアのほうが多くの情報を含みます。同じモデルでもプロバイダーによってスコアが異なる場合があり、この差を Exacto ルーティングが利用して、より精度の高いエンドポイントを選択します。

各タスクは、台本に沿って応答するユーザー、ツールボックス(フライト検索、予約変更、払い戻し、ロイヤルティプログラムのポリシー)、正解となる参照解答を備えた、航空会社のサポート会話のシミュレーションです。タスクは最終的なデータベースの状態とユーザーへのメッセージが参照解答と一致した場合にのみ合格となり、部分点は付与されません。

スコアからわかることとわからないこと

まだ改善の余地があります。上位モデルでもおよそ五件に一件のタスクで失敗し、航空分野は τ²-Bench で最も難しい区分です。ここでの精度の違いは、複数ステップのポリシーに従うモデルと、単に会話が得意なモデルを分けます。

ただし、スコアの下限は高めです。多くのタスクでは何もしないことが評価されます。正解のアクションリストが空の拒否タスクでは、何も変更しないエージェントはすべて合格します。性能の低いモデルでもゼロを大きく上回るスコアを獲得するため、意味のある差はスコア範囲の上位に集中しています。

ベンチマークは公開されているため、タスクが学習コーパスに含まれる可能性があります。ただし、流出したタスクでも実際のデータベースに対して段階的に正しく実行する必要があるため、ここでは Q&A 形式の評価ほどデータ汚染によるスコアの水増しは起きません。

採点の忠実性には限界があります。チェッカーが検証するのは、最終的なデータベースのハッシュと、エージェントのメッセージ内の部分文字列の完全一致の二点です。各タスクの自然言語によるアサーション(「エージェントはキャンセルを拒否するべきです」)はメタデータであり、判定モデルが会話記録を読むことはありません。そのため、チェッカーが「23553」を検索しているときにエージェントが「$23,552.50」と回答すると、節約額の計算は不合格になります。

ユーザーシミュレーターも重要です。エージェントのスコアを比較可能に保つため gemini-2.5-flash に固定していますが、シミュレーター自体も LLM であり、固有の失敗パターンがあります。エージェントが完了する前に会話を終了したり、隠されたタスク指示を漏らしたり、行き詰まったエージェントのループを続けさせて 200 ステップの上限で実行が強制終了されることがあります。シミュレーターモデルを変更すると絶対スコアが変わるため、異なる論文の τ²-Bench の数値が完全に一致することはほとんどありません。

タスクの採点方法

各タスクには、ツール呼び出しのリスト、エージェントが発言しなければならない文字列、自然言語のアサーションからなる正解例が付属しています。会話が終了すると、チェッカーは新しいデータベースに対して正解例のツール呼び出しを再実行し、エージェントの最終的なデータベースとハッシュを比較します。次に、エージェントのメッセージに対して grep を実行し、必須の各文字列を検索します。報酬は、これらのチェックの結果を掛け合わせたものです:

reward = db_match × communicate_met   // each ∈ {0, 1}
db_match        = hash(agent DB) == hash(gold DB)
communicate_met = every required string appears in an agent message
any run that hits MAX_STEPS instead of a clean stop scores 0 outright

以下のロールアウトは実際の実行によるもので、すべてユーザーシミュレーターとして gemini-2.5-flash を使用しています。

報酬 = 1

合格:ひとつのリクエストで三つの変更を行い、三つすべてが反映されます

タスク 17 のエージェント: openai/gpt-5.1

予約 FQ8APE について、預け入れ手荷物を 3 個追加し、搭乗者を Omar Rossi に変更し、ベーシックエコノミーからエコノミーにアップグレードして、ギフトカードで支払ってください。

  • データベースは正解状態と一致する必要があります:update_reservation_flights(エコノミーへのアップグレード)、update_reservation_passengers、update_reservation_baggages を正確な引数で実行してください
  • communicate_info が空のため、文字列チェックは適用されません
db ✓
communicate ✓
USER_STOP

エージェントはユーザーを検索し、複数の予約の中から正しい予約を見つけ、変更内容と支払い方法を確認した後、搭乗者の変更、キャビンのアップグレード、手荷物という三つの書き込みをすべて実行しました。最終的なデータベースのハッシュは正解の状態と一致し、実行は USER_STOP で終了するため、報酬は 1 です。この評価は、ポリシーの制約下で複数ステップのツール使用を正しく実行できるかを測定するように設計されています。

方法論

スコアは直近 90 日間の成功した実行をタスク数で重み付けして集計し、モデルとプロバイダーの組み合わせごとに最低 45 件の採点済みタスクを必要とします。モデルの主要スコアには、デフォルトのルーティング(プロバイダーに固定されていないもの)が存在する場合はそれを使用し、存在しない場合は中央値のプロバイダーを使用します。標準偏差は、その代表的な結果の実行間で測定されます。コスト、時間、トークン数は、同じ実行におけるタスクごとの平均値です。最も費用対効果が高いモデルは、最高スコアとの差が 5 ポイント以内のパレート最適なモデルのうち、最も安価なものです。

これらは、次の機能の基盤となる測定値と同じです: Exacto ルーティング。ルーティングの仕組みについては、 ドキュメント を参照するか、次の一覧から試すモデルを探してください: すべてのモデル 。

API アクセス

これらのスコアは OpenRouter の公開ベンチマーク API で利用できるため、同じモデル単位の結果をプログラムで取得できます。

GET https://orr.api.report.finance/api/v1/benchmarks?source=openrouter
Authorization: Bearer <API key>

フィルタリングに task_type=agentic を使用して絞り込む対象は tau_bench_verified_airline です。各項目はモデルを表し、次の情報を含みます: accuracy、 accuracy_stddev、 avg_cost_per_task、 total_tasks、および last_run_timestamp。詳細は ベンチマーク API ドキュメントを参照してください。

ダウンロードと引用

このランキングのスナップショットは、 benchmark-leaderboard の公開データセットに掲載されており、フィルタリング対象は benchmark 列で、再生成の頻度は daily で、APIキーなしで利用できます。 現在のスナップショットの生成日は です。 ライセンスは CC BY 4.0で、OpenRouter への帰属を明記すれば再利用や再公開ができます。

列定義、手法、マスキングルールは、 データセットの READMEに記載されています。

このリーダーボードを引用

OpenRouter(2026)。τ²-Bench:OpenRouter での Airline の結果、2026-11-19 時点のスナップショット。https://orr.api.report.finance/benchmarks/tau2-bench-airline。CC BY 4.0 に基づいてライセンスされています。

よくある質問