Todas las pruebas de referencia

VGI-Bench

VGI-Bench (Video General Intelligence Bench, de Seldon) plantea preguntas de opción múltiple sobre vídeos de larga duración: qué apareció primero, qué se mostraba en pantalla al mismo tiempo que otra cosa, qué dijo un narrador mientras se mostraba un plano específico y preguntas cuya premisa nunca ocurre. Cada ejemplo que aparece a continuación es una ejecución real a través de OpenRouter. El modelo recibió el vídeo completo y la pregunta en un solo turno con temperatura 0, y la respuesta evaluada es la letra de su última línea Answer: .

Última ejecución de la evaluación comparativa

Comparación de modelos

Mayor precisión

Mejor relación calidad-precio

Favicon de bytedance-seed
ByteDance Seed: Seed 1.6

0,039 US$/pregunta

Exactitud
Precisión de la ejecución representativa, de mayor a menor.
Coste por pregunta
Coste medio por pregunta, de menor a mayor.
Tiempo por pregunta
Tiempo real transcurrido medio por pregunta, de menor a mayor.

Eficiencia de costes

Exactitud frente a coste (frontera de Pareto)
Un punto por modelo, con el enrutamiento predeterminado (sin fijarlo a un proveedor) cuando está disponible. La línea es la frontera de Pareto: ningún modelo supera a estos tanto en precisión como en coste.

Clasificación

Precisión en la partición pública (439 preguntas; las ejecuciones deben tener al menos 395 respondidas para aparecer en la lista), con el coste, el tiempo y los tokens de entrada y salida por pregunta para cada endpoint de proveedor en el que se ejecutó el modelo. Las puntuaciones agregan las ejecuciones satisfactorias de los últimos 90 días.

Trayectorias

La traza de razonamiento refleja la percepción del modelo: los momentos que afirma haber visto y las marcas de tiempo que les asigna. Compararla con el vídeo muestra cómo se llegó a la respuesta y, en las ejecuciones fallidas, dónde la descripción se aparta de las imágenes.

correcto

La ventana sobre la que permanece el puntero durante más tiempo

Escenario ideal: El modelo localiza el momento y lo interpreta correctamente.

Pregunta 1187 global-graph/interaction_partner Qwen3.8 27B

El video completo que se envió al modelo, servido desde la réplica de OpenRouter utilizada por el harness.

¿Sobre qué opción se sitúa el puntero del ratón con mayor frecuencia?

  1. A)Windhawk application windowclave, modelo
  2. B)Install button
  3. C)Adobe Premiere Pro window
  4. D)Windows taskbar
respondió A ✓clave A

La traza sigue el puntero a lo largo de toda la grabación en lugar de un solo fotograma, identifica la breve aparición de Premiere Pro cerca del final como un distractor y se decide por la ventana que domina la sesión.

The question asks which option the mouse pointer hovers over most often. Let me think about the video content. The video is a tutorial about Windhawk, a customization tool for Windows. Throughout the video, the user is constantly interacting with the Windhawk application window - browsing mods, installing them, configuring settings, etc. Let me consider each option: - A) Windhawk application window - This is the main focus of the video. The user opens Windhawk, browses mods, clicks on details, settings, installs mods, etc. The mouse is frequently over this window. - B) Install button - The install button is clicked a few times but not hovered over most often. - C) Adobe Premiere Pro window - This appears only briefly near the end (around 13:20-13:40) as a joke about the title bar color. - D) Windows taskbar - The taskbar is shown but the mouse isn't constantly hovering over it. The dominant interaction is with the Windhawk application window. The mouse pointer is over it for the majority of the video as the user navigates through mods, settings, etc. So the answer is A. Let me double check by reviewing timestamps. From 1:20 onwards, the Windhawk window is open and the mouse moves around it constantly - clicking Mods, Explore, scrolling, clicking Details, Settings, etc. This continues through most of the video. The taskbar is shown at times but the mouse hovers over the Windhawk window more. Thus A is correct.