すべてのベンチマーク

モデルルーティングのベンチマーク

モデルルーター、複合モデル、その他の種類のマルチモデル切り替えロジックの性能を比較できます。

Auto Router は Jev Router を搭載するようになりました。 仕組みを見る →
ルーター
nvidia のファビコン
openrouter のファビコン
sakana のファビコン
unbiased のファビコン
6 個のルーター
Auto、Fugu Max、Pareto、Auto Code、Fugu Ultra v2 と Switchyard によるモデル切り替え
モデル
anthropic のファビコン
deepseek のファビコン
google のファビコン
moonshotai のファビコン
21 個のモデル
ルートモデルとベースラインモデルのみで、ルーターモデルの選択肢は利用できません
結果
176
公開済みのルーターとベースラインの実行

ベンチマークの最終実行

モデルルーティングのフロンティア

デフォルトでは、各点はベンチマーク全体で平均したモデルルーターの品質を表します。マトリックス内のモデルルーティング指標とは異なり、コストと速度は品質に組み込まれず、横軸に表示されます。ベンチマークを選択してそのベンチマークでの品質を比較するか、横軸で測定する項目を変更してください。

品質フロンティア

評価されたタスクごとの記録されたコストを対数スケールで示します。 品質スコアは、各ベンチマークで最良のルーターに対する相対的な精度(0–10)を、ベンチマーク全体で平均した値です。すべてのルーターを上回るベースラインのスコアは、上限を 10 とします。 白抜きの点は単一モデルのベースラインで、参考として表示しています。 スコアが軸の下限を下回るベースラインは表示しませんが、結果テーブルには引き続き含まれます。

ベンチマークマトリックス

モデルルーティング指標は、品質、速度、コストを組み合わせ、各ベンチマークの最高結果を基準とした 0–10 のスコアで表します。 モデルルーティングのフロンティアを探索.

より良いより低い単一モデルのベースラインは参考として表示され、ランキングには含まれません。

モデルルーティングの結果