Meta: Llama-Guard-3-8B

基于 Llama 3.1 的安全分类模型,用于审核提示词和模型回复。

研发机构
Meta
模型系列
llama

模型资料

输入与输出文本 → 文本
上下文窗口128,000
最大输出4,096
输入USD 0.044 / 1M token
输出USD 0.044 / 1M token

快速接入

使用你的 Moduck API Key,将 API 基础地址设置为 https://api.moduck.ai/v1,并将 model 参数设置为 meta/llama-guard-3-8b。

import os
import requests

base_url = "https://api.moduck.ai/v1"
api_key = os.environ["MODUCK_API_KEY"]
model_id = "meta/llama-guard-3-8b"

response = requests.post(
    f"{base_url}/chat/completions",
    headers={
        "Authorization": f"Bearer {api_key}",
        "Content-Type": "application/json",
    },
    json={
        "model": model_id,
        "messages": [{"role": "user", "content": "Hello!"}],
        "stream": False,
    },
    timeout=60,
)
response.raise_for_status()
print(response.json())

采用 OpenAI 风格的聊天请求格式,沿用熟悉的调用方式,让模型接入更简单。

Llama-Guard-3-8B API 价格

规格价格资料
输入USD 0.044 / 1M token
输出USD 0.044 / 1M token

性能

性能走势

输出速度87.3 tok/s当前
首 token 延迟1.3 s当前
端到端延迟8.0 s当前
输出速度
当前87.3 tok/s
窗口均值88.9 tok/s
首 token 延迟
当前1.3 s
窗口均值1.4 s
端到端延迟
当前8.0 s
窗口均值7.5 s
长尾延迟(P99)
当前14.4 s
窗口均值16.8 s
提示词缓存命中率
当前19.4%
窗口均值22.5%
错误率
当前0.0%
窗口均值0.1%

可用性

运行时间100%至少一个服务方有响应
可用率100%实际成功服务的请求
错误率0%失败请求占比
服务请求 · 按小时
24 小时前现在

Llama-Guard-3-8B 模型对比

模型输入价格输出价格上下文窗口主要能力
Llama-Guard-3-8B当前模型USD 0.044 / 1M tokenUSD 0.044 / 1M token128,000文本输出
Llama-3.3-70B-InstructUSD 0.08 / 1M tokenUSD 0.256 / 1M token128,000文本输出 · 工具调用
Llama-3.2-1BUSD 0.08 / 1M tokenUSD 0.08 / 1M token131,072文本输出
Llama-3.2-3BUSD 0.08 / 1M tokenUSD 0.08 / 1M token131,072文本输出
Llama 3.2 1B InstructUSD 0.0216 / 1M token · 上下文 ≤ 60000 token · 最大输出 32000 tokenUSD 0.1608 / 1M token · 上下文 ≤ 60000 token · 最大输出 32000 token131,072文本输出 · 工具调用

模型规格

输入
文本
输出
文本
上下文窗口
128,000
最大输出
4,096
发布日期
2024-07-23
附件输入
不支持
推理
不支持
工具调用
不支持
温度参数
支持
开放权重
支持

常见问题

Llama-Guard-3-8B 适合做什么?

基于 Llama 3.1 的安全分类模型,用于审核提示词和模型回复。

Llama-Guard-3-8B 支持哪些输入和输出?

资料记录的输入:文本;输出:文本。

Llama-Guard-3-8B 如何计费?

本页价格表展示当前记录的 Moduck 价格。例如:输入 USD 0.044 / 1M token;输出 USD 0.044 / 1M token。完整计费单位、规格和条件请查看本页价格表。

Llama-Guard-3-8B 的已记录规格是什么?

当前资料记录:上下文窗口 128,000 tokens;最大输出 4,096 tokens。

快速接入示例中的 model 参数是什么?

示例使用 meta/llama-guard-3-8b。这个值来自页面标识,尚未核定为可调用的 Moduck 公共 ID。

现在能通过 Moduck API 调用这款模型吗?

本页没有这款模型已通过 Moduck API 实际调用的验证记录。接入示例和预留 ID 不代表已经开放,请以账户可用模型列表为准。