
Meta: Llama 3.1 70B Instruct
meta-llama/llama-3.1-70b-instruct
Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 70B instruct-tuned version is optimized for high quality dialogue usecases.
It has demonstrated strong performance compared to leading closed-source models in human evaluations.
To read more about the model release, click hereOpens in new tab. Usage of this model is subject to Meta's Acceptable Use PolicyOpens in new tab.
Fournisseurs
Ce modèle est hébergé par un seul fournisseur. OpenRouter transmet chaque requête sans routage.
| 0,72 $US | 0,72 $US | 0,37s | 73 tok/s |
- Entrée 0,72 $US / Sortie 0,72 $US73 tok/s100,00 % de disponibilité
Tarification
Le prix moyen que les clients paient réellement pour ce modèle, à côté des prix affichés par les fournisseurs. Grâce à la mise en cache et aux remises, le prix réellement payé est souvent bien inférieur au prix affiché.
Moyenne pondérée
Llama 3.1 70B Instruct — Historique des prix
| 0,719 $US | 0,716 $US | 0,0 % | 100,0 % |
- Prix effectif en entrée 0,719 $US / Sortie effective 0,716 $USPart des jetons100,0 %
Performances
Le débit est la vitesse à laquelle le modèle écrit (jetons par seconde — plus il est élevé, mieux c’est). La latence est le temps total d’aller-retour (plus il est faible, mieux c’est). Le TTFT est le délai avant le premier jeton — le temps avant de voir quelque chose apparaître (plus il est faible, mieux c’est).
P50, meilleur résultat tous fournisseurs confondus
P50, meilleur fournisseur
Disponibilité
La disponibilité correspond au pourcentage des 3 derniers jours pendant lequel au moins un fournisseur répondait aux requêtes. La disponibilité du service correspond au pourcentage de temps pendant lequel l’inférence a été assurée avec succès. OpenRouter surveille en continu les fournisseurs et utilise le meilleur fournisseur suivant lorsque l’un d’eux renvoie une erreur.
Disponibilité au cours des 3 derniers jours
72 dernières heuresDisponibilité au cours des dernières 24 heures
Lorsqu’une erreur survient chez un fournisseur en amont, nous pouvons rétablir le service en routant la requête vers un autre fournisseur opérationnel, si les filtres de votre requête le permettent. Vous pouvez accéder par programmation aux données de disponibilité de chaque fournisseur via l’ API des points de terminaison. Découvrez nos options d’ équilibrage de charge et de routage des fournisseurs.
Évaluations comparatives
Scores aux évaluations standardisées et réponses de ce modèle aux prompts communs des tests de référence. Des pourcentages plus élevés sont meilleurs — et chaque rang indique la position de ce modèle parmi les modèles évalués sur cette source.
| Source | Test de performance | Score |
|---|---|---|
| Artificial Analysis | Llama 3.1 Instruct 70B GPQA Diamond | 40.9% |
| Artificial Analysis | Llama 3.1 Instruct 70B HLE | 4.5% |
| Artificial Analysis | Llama 3.1 Instruct 70B IFBench | 34.4% |
| Artificial Analysis | Llama 3.1 Instruct 70B τ²-Bench Telecom | 15.2% |
| Artificial Analysis | Llama 3.1 Instruct 70B CritPt | 0.0% |
| Artificial Analysis | Llama 3.1 Instruct 70B Terminal-Bench Hard | 3.0% |
Applications
Applications publiques qui envoient le plus de trafic à ce modèle. Un bon indicateur des charges de travail réelles en production — et un aperçu des cas d’usage auxquels ce modèle convient le mieux.
Activité
Volume de jetons et trafic des requêtes vers ce modèle au fil du temps.
API
Code prêt à l’emploi pour appeler ce modèle. L’API d’OpenRouter est compatible avec OpenAI — la plupart des SDK fonctionnent en remplaçant simplement l’URL de base. Seul le slug du modèle ci-dessous change d’un modèle à l’autre.
Actuellement indisponible via le routage dans la région UE. Documentation sur le routage intrarégional
Questions fréquentes
Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 70B instruct-tuned version is optimized for high quality dialogue usecases. It has demonstrated strong performance compared to leading closed-source models in human evaluations. To read more about the model release, click here. Usage of this model is subject to Meta's Acceptable Use Policy.
Llama 3.1 70B Instruct coûte 0,72 $US/M de jetons d’entrée et 0,72 $US/M de jetons de sortie.
Llama 3.1 70B Instruct dispose d’une fenêtre de contexte de 131 072 jetons. Il prend en charge jusqu’à 8 192 jetons de complétion.
Oui. Llama 3.1 70B Instruct accepte tools et tool_choice pour l’appel de fonctions. Il ne prend pas en charge response_format, le format JSON n’est donc pas imposé en sortie.
Llama 3.1 70B Instruct est servi par 1 fournisseur sur OpenRouter : Amazon Bedrock.
Llama Guard 4 12B, Llama 4 Maverick, Llama 4 Scout et 4 de plus sont d’autres modèles de type texte de Meta Llama.
Llama 3.1 70B Instruct est sorti le 23 juillet 2024. Ses connaissances s’arrêtent au 31 décembre 2023.