meta-llama のファビコン

Meta: Llama 3.1 70B Instruct

meta-llama/llama-3.1-70b-instruct

モデルの重み

Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 70B instruct-tuned version is optimized for high quality dialogue usecases.

It has demonstrated strong performance compared to leading closed-source models in human evaluations.

To read more about the model release, click here. Usage of this model is subject to Meta's Acceptable Use Policy.

モダリティ
入力 / 出力料金
$0.72 / $0.721M あたり
コンテキスト
131K
公開日
2024年7月23日
知識のカットオフ
2023年12月

プロバイダー

このモデルは単一のプロバイダーでホストされています。OpenRouter はルーティングせずにすべてのリクエストを転送します。

料金

プロバイダーが提示する価格と並べて、このモデルに対して顧客が実際に支払う平均価格を表示しています。キャッシュと割引により、実際の支払価格は表示価格を大幅に下回ることがよくあります。

加重平均

入力
$0.7193/百万トークン
出力
$0.716/百万トークン
料金の推移
この選択に対応する実効価格データはありません

パフォーマンス

スループットはモデルが出力する速さです(毎秒のトークン数で、数値が高いほど優れています)。レイテンシは往復にかかる合計時間です(短いほど優れています)。TTFT は最初のトークンが出力されるまでの時間、つまり何かが表示され始めるまでの時間です(短いほど優れています)。

スループット
75トークン/秒

P50、プロバイダー全体での最良値

レイテンシ
0.36秒

P50、最適なプロバイダー

稼働率

稼働率は、過去 3 日間に少なくとも一社のプロバイダーがリクエストに応答していた時間の割合です。可用性は、推論が正常に提供された時間の割合です。OpenRouter は継続的に監視し、プロバイダーがエラーを返すと、次に最適なプロバイダーを使用します。

稼働率(3 日間)モデルに接続できました。リクエストはプロバイダーにルーティングされました。
100.00%
可用性(3 日間)モデルがいずれかのプロバイダーから推論結果を返しました。エラーと空のレスポンスはマイナスとして集計されます。
99.98%

過去 3 日間の可用性

過去 72 時間
可用性 99.98%
3 日前2 日前昨日現在

過去 24 時間の可用性

OpenRouter Availability
99.99%

上流のプロバイダーでエラーが発生した場合、リクエストフィルターが許可していれば、別の正常なプロバイダーにルーティングして復旧できます。プロバイダーごとの稼働率データにプログラムでアクセスするには Endpoints APIを利用できます。詳しくは、 負荷分散とプロバイダールーティングのオプションをご覧ください。

ベンチマーク

標準化された評価のスコアと、共通のベンチマークプロンプトに対するこのモデル自身の出力です。パーセンテージが高いほど優れており、各順位は、その情報源で評価されたモデルの中でのこのモデルの位置を示します。

アプリ

このモデルに最も多くのトラフィックを送信している公開アプリです。実際の本番ワークロードを把握するための有力な指標であり、このモデルに最も適したユースケースを知る手がかりにもなります。

1.
160Mトークン
2.
https://sillytavern.app/ のファビコン
SillyTavern
76.6Mトークン
3.
47.2Mトークン
4.
https://nousresearch.com のファビコン
Hermes Agent
35.6Mトークン
5.
https://art-from-the-machine.github.io/ のファビコン
Mantella
32.7Mトークン
OpenRouter のその他のアプリ
57.9M
上位 5 アプリ
3.29M

アクティビティ

このモデルのトークン量とリクエストトラフィックの経時変化です。

API

このモデルを呼び出すために、そのまま使えるコードです。OpenRouter の API は OpenAI 互換のため、ほとんどの SDK はベース URL を変更するだけで動作します。モデル間で変わるのは、下記のモデルスラッグだけです。

現在、EU 域内ルーティングでは利用できません。 リージョン内ルーティングのドキュメント

よくある質問