
Meta: Llama 3.1 70B Instruct
meta-llama/llama-3.1-70b-instruct
Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 70B instruct-tuned version is optimized for high quality dialogue usecases.
It has demonstrated strong performance compared to leading closed-source models in human evaluations.
To read more about the model release, click hereOpens in new tab. Usage of this model is subject to Meta's Acceptable Use PolicyOpens in new tab.
Proveedores
Este modelo está alojado por un único proveedor. OpenRouter reenvía todas las solicitudes sin enrutamiento.
| 0,72 US$ | 0,72 US$ | 0,37s | 73 tok/s |
- Entrada 0,72 US$ / Salida 0,72 US$73 tok/s100,00 % de tiempo de actividad
Precios
El precio medio que los clientes pagan realmente por este modelo, junto a los precios que publican los proveedores. El uso de caché y los descuentos hacen que el precio realmente pagado a menudo sea muy inferior al publicado.
Media ponderada
Llama 3.1 70B Instruct — Historial de precios
| 0,719 US$ | 0,716 US$ | 0,0 % | 100,0 % |
- En vigor en 0,719 US$ / Salida efectiva 0,716 US$Proporción de tókenes100,0 %
Rendimiento
La velocidad de generación indica lo rápido que escribe el modelo (tokens por segundo: cuanto mayor, mejor). La latencia es el tiempo total de ida y vuelta (cuanto menor, mejor). TTFT es el tiempo hasta el primer token: cuánto tarda en aparecer algo en pantalla (cuanto menor, mejor).
P50, el mejor entre los proveedores
P50, mejor proveedor
Tiempo de actividad
El tiempo de actividad es el porcentaje de los últimos 3 días en que al menos un proveedor respondía a las solicitudes. La disponibilidad es el porcentaje de tiempo en que la inferencia se sirvió correctamente. OpenRouter supervisa continuamente y utiliza el siguiente mejor proveedor cuando uno devuelve un error.
Disponibilidad durante los últimos 3 días
Últimas 72 horasDisponibilidad en las últimas 24 horas
Cuando se produce un error en un proveedor ascendente, podemos recuperarnos enrutando la solicitud a otro proveedor que funcione correctamente, si los filtros de su solicitud lo permiten. Puede acceder mediante programación a los datos de tiempo de actividad de cada proveedor a través de la API de endpoints. Obtenga más información sobre nuestras opciones de equilibrio de carga y enrutamiento de proveedores.
Pruebas de rendimiento
Puntuaciones en evaluaciones estandarizadas y respuestas de este modelo a instrucciones compartidas de las pruebas de referencia. Los porcentajes más altos son mejores, y cada posición indica dónde se sitúa este modelo entre los modelos evaluados en esa fuente.
| Fuente | Prueba de rendimiento | Puntuación |
|---|---|---|
| Artificial Analysis | Llama 3.1 Instruct 70B GPQA Diamond | 40.9% |
| Artificial Analysis | Llama 3.1 Instruct 70B HLE | 4.5% |
| Artificial Analysis | Llama 3.1 Instruct 70B IFBench | 34.4% |
| Artificial Analysis | Llama 3.1 Instruct 70B τ²-Bench Telecom | 15.2% |
| Artificial Analysis | Llama 3.1 Instruct 70B CritPt | 0.0% |
| Artificial Analysis | Llama 3.1 Instruct 70B Terminal-Bench Hard | 3.0% |
Aplicaciones
Aplicaciones públicas que envían más tráfico a este modelo. Una buena señal de cómo son las cargas de trabajo reales en producción, y una pista sobre los casos de uso para los que este modelo es más adecuado.
Actividad
Volumen de tokens y tráfico de solicitudes a este modelo a lo largo del tiempo.
API
Código listo para usar para llamar a este modelo. La API de OpenRouter es compatible con OpenAI: la mayoría de los SDK funcionan con solo cambiar la URL base. Lo único que cambia entre modelos es el identificador del modelo que aparece a continuación.
Actualmente no está disponible mediante el enrutamiento dentro de la región de la UE. Documentación de enrutamiento dentro de la región
Preguntas frecuentes
Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 70B instruct-tuned version is optimized for high quality dialogue usecases. It has demonstrated strong performance compared to leading closed-source models in human evaluations. To read more about the model release, click here. Usage of this model is subject to Meta's Acceptable Use Policy.
Llama 3.1 70B Instruct cuesta 0,72 US$/M de tokens de entrada y 0,72 US$/M de tókenes de salida.
Llama 3.1 70B Instruct tiene una ventana de contexto de 131.072 tókenes. Admite hasta 8192 tókenes de respuesta.
Sí. Llama 3.1 70B Instruct admite tools y tool_choice para llamadas a funciones. No admite response_format, por lo que no se fuerza la salida en JSON.
Llama 3.1 70B Instruct está disponible a través de 1 proveedor en OpenRouter: Amazon Bedrock.
Llama Guard 4 12B, Llama 4 Maverick, Llama 4 Scout y 4 más son otros modelos de texto de Meta Llama.
Llama 3.1 70B Instruct se lanzó el 23 de julio de 2024. Su fecha límite de conocimientos es 31 de diciembre de 2023.