Favicon de meta-llama

Meta: Llama 3.1 8B Instruct

meta-llama/llama-3.1-8b-instruct

Pesos del modelo

Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 8B instruct-tuned version is fast and efficient.

It has demonstrated strong performance compared to leading closed-source models in human evaluations.

To read more about the model release, click here. Usage of this model is subject to Meta's Acceptable Use Policy.

Modalidades
Precio de entrada / salida
0,02 US$ / 0,04 US$por 1M
Contexto
131K
Publicado
23 jul 2024
Fecha límite de conocimiento
dic 2023

Proveedores

Distintas empresas alojan el mismo modelo. OpenRouter enruta su solicitud a una de ellas según el modo de enrutamiento que elija: Balanced (precio + velocidad), Nitro (el más rápido) o Floor (el más económico).

Precios

El precio medio que los clientes pagan realmente por este modelo, junto a los precios que publican los proveedores. El uso de caché y los descuentos hacen que el precio realmente pagado a menudo sea muy inferior al publicado.

Media ponderada

Entrada
0,05939 US$/M tokens
Salida
0,1024 US$/M tokens
Historial de precios
No hay datos de precios efectivos para esta selección

Rendimiento

La velocidad de generación indica lo rápido que escribe el modelo (tokens por segundo: cuanto mayor, mejor). La latencia es el tiempo total de ida y vuelta (cuanto menor, mejor). TTFT es el tiempo hasta el primer token: cuánto tarda en aparecer algo en pantalla (cuanto menor, mejor).

Rendimiento
368tok/s

P50, el mejor entre los proveedores

Latencia
0,18s

P50, mejor proveedor

Pruebas de rendimiento de AutoExacto
GPQA DiamondTAU-BenchGroq30,7 %--auto-routing24,6 %33,7 %CoreWeave27,2 %--Novita26,3 %--DeepInfra26,0 %--
+1 proveedores más

Tiempo de actividad

El tiempo de actividad es el porcentaje de los últimos 3 días en que al menos un proveedor respondía a las solicitudes. La disponibilidad es el porcentaje de tiempo en que la inferencia se sirvió correctamente. OpenRouter supervisa continuamente y utiliza el siguiente mejor proveedor cuando uno devuelve un error.

Tiempo de actividad (3 d)El modelo estaba accesible. Solicitud enrutada a un proveedor.
100,00 %
Disponibilidad (3 d)El modelo devolvió una inferencia de cualquier proveedor. Los errores y las respuestas vacías cuentan en su contra.
99,95 %

Disponibilidad durante los últimos 3 días

Últimas 72 horas
Disponibilidad 99,95 %
Hace 3 díasHace 2 díasAyerAhora

Disponibilidad en las últimas 24 horas

OpenRouter Availability
99,93 %
Without Routing
95,16 %

Cuando se produce un error en un proveedor ascendente, podemos recuperarnos enrutando la solicitud a otro proveedor que funcione correctamente, si los filtros de su solicitud lo permiten. Puede acceder mediante programación a los datos de tiempo de actividad de cada proveedor a través de la API de endpoints. Obtenga más información sobre nuestras opciones de equilibrio de carga y enrutamiento de proveedores.

Pruebas de rendimiento

Puntuaciones en evaluaciones estandarizadas y respuestas de este modelo a instrucciones compartidas de las pruebas de referencia. Los porcentajes más altos son mejores, y cada posición indica dónde se sitúa este modelo entre los modelos evaluados en esa fuente.

Aplicaciones

Aplicaciones públicas que envían más tráfico a este modelo. Una buena señal de cómo son las cargas de trabajo reales en producción, y una pista sobre los casos de uso para los que este modelo es más adecuado.

1.
Favicon de https://swoony.ai/
Swoony
nuevo
5,8Btókenes
3.
1,73Btókenes
4.
1,67Btókenes
5.
1,22Btókenes
Resto de OpenRouter
3,26B
Las 5 aplicaciones principales
461M

Actividad

Volumen de tokens y tráfico de solicitudes a este modelo a lo largo del tiempo.

API

Código listo para usar para llamar a este modelo. La API de OpenRouter es compatible con OpenAI: la mayoría de los SDK funcionan con solo cambiar la URL base. Lo único que cambia entre modelos es el identificador del modelo que aparece a continuación.

Actualmente no está disponible mediante el enrutamiento dentro de la región de la UE. Documentación de enrutamiento dentro de la región

Preguntas frecuentes