Todos os testes de desempenho

Avaliações de desempenho de roteamento de modelos

Compare o desempenho de roteadores de modelos, modelos compostos e outros tipos de lógica de alternância entre múltiplos modelos.

O Auto Router agora usa o Jev Router. Saiba como funciona →
Roteadores
Favicon de nvidia
Favicon de openrouter
Favicon de sakana
Favicon de unbiased
6 roteadores
Auto, Fugu Max, Pareto, Auto Code e Fugu Ultra v2 mais alternância de modelos do Switchyard
Modelos
Favicon de anthropic
Favicon de deepseek
Favicon de google
Favicon de moonshotai
21 modelos
Somente modelos de rota e de referência; as opções de modelo do roteador estão indisponíveis
Resultados
176
execuções publicadas do roteador e da linha de base

Última execução da avaliação comparativa

Fronteira de roteamento de modelos

Por padrão, cada ponto representa a qualidade média de um roteador de modelos nas avaliações comparativas. O custo e a velocidade permanecem no eixo horizontal em vez de serem incorporados à qualidade, ao contrário do Índice de roteamento de modelos na matriz. Selecione uma avaliação comparativa para comparar a qualidade nela ou altere o que o eixo horizontal mede.

Fronteira de qualidade

Custo registrado por tarefa avaliada, em escala logarítmica. A pontuação de qualidade é a acurácia em relação ao melhor roteador em cada avaliação comparativa (0–10), calculada como média entre as avaliações comparativas. Uma referência que supera todos os roteadores tem sua pontuação limitada a 10. Os pontos vazados são linhas de base de modelos individuais, exibidas como referência. As referências com pontuação abaixo do eixo são omitidas; elas continuam na tabela de resultados.

Matriz de avaliações de desempenho

O índice de roteamento de modelos combina qualidade, velocidade e custo em uma pontuação de 0–10 relativa aos melhores resultados em cada teste de desempenho. Explore a Fronteira de roteamento de modelos.

MelhorPiorAs referências de modelos individuais são exibidas para comparação e não são classificadas.

Resultados de roteamento de modelos