Meta: Llama 3.2 1B Instruct

快速接入

使用你的 Moduck API Key，将 API 基础地址设置为 https://api.moduck.ai/v1，并将 model 参数设置为 meta/llama-3.2-1b-instruct。

import os
import requests

base_url = "https://api.moduck.ai/v1"
api_key = os.environ["MODUCK_API_KEY"]
model_id = "meta/llama-3.2-1b-instruct"

response = requests.post(
    f"{base_url}/chat/completions",
    headers={
        "Authorization": f"Bearer {api_key}",
        "Content-Type": "application/json",
    },
    json={
        "model": model_id,
        "messages": [{"role": "user", "content": "Hello!"}],
        "stream": False,
    },
    timeout=60,
)
response.raise_for_status()
print(response.json())

采用 OpenAI 风格的聊天请求格式，沿用熟悉的调用方式，让模型接入更简单。

Llama 3.2 1B Instruct API 价格

模型评测

性能

这些数据基于 Moduck 网关过去 24 小时的实际请求流量，按小时测量。首个 Token 延迟是内容开始出现前的等待时间；吞吐量是此后答案生成的速度；端到端延迟是整个请求往返所需的时间。除非卡片另有说明，所列数值均为中位数。

可用性

运行时间是指至少一家为此模型提供服务的服务商作出响应的时间占比。可用率的口径更严格：它表示实际得到服务的请求占比。某家服务商即使作出了响应，只要未能处理部分请求，可用率就会下降，而运行时间不会下降。两项指标均统计过去三天。

Llama 3.2 1B Instruct 模型对比

模型规格

输入

文本

输出

文本

上下文窗口

131,072

最大输出

32,000

发布日期

2024-09-25

附件输入

不支持

推理

不支持

工具调用

支持

温度参数

支持

开放权重

支持

常见问题

相关模型

Llama-3.3-70B-InstructMeta输入USD 0.08 / 1M token输出USD 0.256 / 1M token查看模型Llama-3.2-1BMeta输入USD 0.08 / 1M token输出USD 0.08 / 1M token查看模型Llama-3.2-3BMeta输入USD 0.08 / 1M token输出USD 0.08 / 1M token查看模型