Tencent Hunyuan Hy3 Preview API 接口、模型参数 & 代码示例
tencent/hy3-preview
Hunyuan Hy3 preview 面向 Agent 工作负载设计,采用 295B/21B 激活的 MoE 架构。在同一个模型内提供 no_think(极速响应)、think_low(快速思考)、think_high(深度推理)三档模式,适配从高频交互到复杂工程任务的不同延迟与深度需求。在 SWE-bench Verified 等代码基准上接近当前最强水平,256K 上下文支持跨文件代码重构与长文档分析。
- 模型 ID
- tencent/hy3-preview
- 模型系列
- Hunyuan
- 更新日期
- 模型能力
- 文本生成、深度思考
- 上下文长度
- 256 K
- 模型价格(每 1000 tokens 输入)
- ¥ 0.0013
- 模型价格(每 1000 tokens 输出)
- ¥ 0.0043
- 模型价格(每 1000 tokens 输入)
- ¥ 0.0017
- 模型价格(每 1000 tokens 输出)
- ¥ 0.0069
- 模型价格(每 1000 tokens 输入)
- ¥ 0.0021
- 模型价格(每 1000 tokens 输出)
- ¥ 0.0086
阶梯计费: 输入 <= 16 k
阶梯计费: 16 k < 输入 <= 32 k
阶梯计费: 输入 > 32 k
Tencent Hunyuan Hy3 Preview 模型介绍:
Hunyuan Hy3 preview 是由腾讯混元团队开发的一款 2950 亿参数的专家混合(Mixture-of-Experts, MoE)模型,其中 210 亿参数为活跃参数,MTP 层参数为 38 亿。Hunyuan Hy3 preview 是在腾讯混元团队重建的基础设施上训练的首个模型,也是迄今为止 Hy 团队发布的最强模型。它在复杂推理、指令执行、上下文学习、编程以及智能体任务上都有显著提升。
| 属性 | 值 |
|---|---|
| 架构 | 混合专家(MoE) |
| 总参数量 | 295B |
| 激活参数量 | 21B |
| MTP层参数量 | 3.8B |
| 层数(不含MTP层) | 80 |
| MTP层数 | 1 |
| 注意力头 | 64(GQA,8 个 KV 头,head dim 128) |
| 隐藏层维度 | 4096 |
| FFN 中间层维度 | 13312 |
| 上下文长度 | 256K |
| 词表大小 | 120832 |
| 专家数量 | 192 个专家,top-8 激活 |
| 支持精度 | BF16 |
模型亮点:
-
STEM 与推理 — 复杂推理是其他能力的基础。Hy3 preview 在 FrontierScience-Olympiad 和 IMOAnswerBench 等挑战性 STEM 基准测试中表现优异,并在清华求真学院数学博士资格考试(2026 年春季)以及中国高中生生物奥林匹克竞赛(CHSBO 2025)中取得出色成绩,展现了高度可迁移的推理能力。
-
上下文学习与指令执行 — 真实任务要求模型能够理解杂乱、冗长的上下文,并遵循复杂规则。我们从自身业务场景中构建了 CL-bench 和 CL-bench-Life,用以创新性地评估模型的上下文学习能力。Hy3 preview 在上下文学习和指令执行能力上都有稳健提升。
-
编程与智能体 — 编程和智能体任务提升最为明显。借助重建的强化学习基础设施和大规模训练任务,我们在主流编程智能体基准(SWE-bench Verified、Terminal-Bench 2.0)和搜索智能体基准(BrowseComp、WideSearch)上取得了竞争力成绩。
预训练模型性能:
| Category | Benchmark (Metric) | # Shots | Kimi-K2 BASE | DeepSeek-V3 BASE | GLM-4.5 BASE | Hy3 preview-Base |
|---|---|---|---|---|---|---|
| #ActivatedParams | - | 32B | 37B | 32B | 21B | |
| #TotalParams | - | 1043B | 671B | 355B | 295B | |
| English | MMLU | 5-shot | 88.24 | 87.68 | 87.73 | 87.42 |
| MMLU-Pro | 5-shot | 65.98 | 63.98 | 63.67 | 65.76 | |
| MMLU-Redux | 5-shot | 87.18 | 86.81 | 86.56 | 86.86 | |
| ARC-Challenge | 0-shot | 96.66 | 94.65 | 96.32 | 95.99 | |
| DROP | 5-shot | 86.40 | 86.50 | 82.90 | 85.50 | |
| PIQA | 4-shot | 84.93 | 84.22 | 84.71 | 84.39 | |
| SuperGPQA | 5-shot | 51.10 | 46.17 | 49.64 | 51.60 | |
| SimpleQA | 5-shot | 34.37 | 26.15 | 29.26 | 26.47 | |
| Code | MBPP-plus | 3-shot | 81.35 | 75.47 | 78.05 | 78.71 |
| CRUXEval-I | 3-shot | 68.01 | 67.79 | 68.51 | 71.19 | |
| CRUXEval-O | 3-shot | 69.62 | 71.00 | 67.75 | 68.38 | |
| LiveCodeBench-v6 | 1-shot | 30.86 | 29.31 | 27.43 | 34.86 | |
| Math | GSM8K | 4-shot | 93.46 | 88.15 | 90.06 | 95.37 |
| MATH | 4-shot | 71.20 | 59.37 | 61.00 | 76.28 | |
| CMath | 4-shot | 90.83 | 85.50 | 89.33 | 91.17 | |
| Chinese | C-Eval | 5-shot | 91.51 | 90.35 | 85.84 | 89.80 |
| CMMLU | 5-shot | 90.72 | 87.90 | 86.46 | 89.61 | |
| Chinese-simpleQA | 5-shot | 74.58 | 68.72 | 68.49 | 69.73 | |
| Multilingual | MMMLU | 5-shot | 77.63 | 79.54 | 79.26 | 80.15 |
| INCLUDE | 5-shot | 75.66 | 77.86 | 76.27 | 78.64 |
Instruct 模型性能:
- 复杂推理(STEM & Reasoning)
复杂推理是其他能力的基础。Hy3 preview 在 FrontierScience-Olympiad 和 IMOAnswerBench 等挑战性 STEM 基准测试中表现优异,并在清华求真学院数学博士资格考试(2026 年春季)以及中国高中生生物奥林匹克竞赛(CHSBO 2025)中取得出色成绩,展示了高度可迁移的推理能力。
- 上下文学习与指令执行
真实任务要求模型能够理解杂乱、冗长的上下文,并遵循复杂规则。我们从自身业务场景中构建了 CL-bench 和 CL-bench-Life,用以创新性地评估模型的上下文学习能力。Hy3 preview 在上下文学习和指令执行能力上都有稳健提升。
- 编程与智能体
编程和智能体任务提升最为明显。借助重建的强化学习基础设施和大规模训练任务,我们在主流编程智能体基准(SWE-bench Verified、Terminal-Bench 2.0)和搜索智能体基准(BrowseComp、WideSearch)上取得了竞争力成绩。
编程关注模型是否能在开发环境中执行任务,搜索则关注其是否能从开放网络中获取并整合信息。这两者对于 OpenClaw 等复杂智能体场景都至关重要。Hy3 preview 在 ClawEval 和 WildClawBench 上表现优异,显示其智能体能力正逐步走向实用化。
除了公共基准外,我们还构建了内部评估集,以测试模型在真实开发场景中的表现。在 Hy-Backend(后端任务)、Hy-Vibe Bench(真实用户开发工作流)和 Hy-SWE Max 上,Hy3 preview 在与其他开源模型的对比中取得了竞争力成绩。
API 接口地址:
-
Chat Completions API:
https://wcode.net/api/gpt/v1/chat/completions
-
Anthropic API:
https://wcode.net/api/anthropic/v1/messages
此 API 接口兼容 OpenAI 的 API 接口规范,可直接使用 OpenAI 的 SDK 来调用各个模型。仅需替换以下配置即可:
base_url替换为https://wcode.net/api/gpt/v1api_key替换为从 https://platform.wcode.net 获取到的 API Key具体可参考下方的各编程语言代码示例中的 OpenAI SDK 调用示例。
此模型支持 Anthropic / Claude 的 API 接口规范,可直接使用 Anthropic 的 SDK 来调用此模型。仅需替换以下配置即可:
ANTHROPIC_BASE_URL替换为https://wcode.net/api/anthropicANTHROPIC_API_KEY(或ANTHROPIC_AUTH_TOKEN)替换为从 https://platform.wcode.net 获取到的 API KeyANTHROPIC_MODEL(或model)替换为tencent/hy3-preview
请求方法:
POST
各编程语言代码示例:
# TODO: 以下代码中的 API_KEY 需要替换,获取 API Key 入口:https://platform.wcode.net
curl --request POST 'https://wcode.net/api/gpt/v1/chat/completions' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer API_KEY' \
--data '{
"model": "tencent/hy3-preview",
"messages": [
{
"role": "user",
"content": "你好"
}
]
}'
import Foundation
let headers = [
"Authorization": "Bearer API_KEY", // TODO: 这里的 API_KEY 需要替换,获取 API Key 入口:https://platform.wcode.net
"content-type": "application/json"
]
let parameters = [
"model": "tencent/hy3-preview",
"messages": [
[
"role": "user",
"content": "你好"
]
]
] as [String : Any]
let postData = JSONSerialization.data(withJSONObject: parameters, options: [])
let request = NSMutableURLRequest(url: NSURL(string: "https://wcode.net/api/gpt/v1/chat/completions")! as URL,
cachePolicy: .useProtocolCachePolicy,
timeoutInterval: 60.0)
request.httpMethod = "POST"
request.allHTTPHeaderFields = headers
request.httpBody = postData as Data
let session = URLSession.shared
let dataTask = session.dataTask(with: request as URLRequest, completionHandler: { (data, response, error) -> Void in
if (error != nil) {
print(error as Any)
} else {
let httpResponse = response as? HTTPURLResponse
print(httpResponse)
}
})
dataTask.resume()
var headers = {
'Content-Type': 'application/json',
'Authorization': 'Bearer API_KEY' // TODO: 这里的 API_KEY 需要替换,获取 API Key 入口:https://platform.wcode.net
};
var request = http.Request('POST', Uri.parse('https://wcode.net/api/gpt/v1/chat/completions'));
request.body = json.encode({
"model": "tencent/hy3-preview",
"messages": [
{
"role": "user",
"content": "你好"
}
]
});
request.headers.addAll(headers);
http.StreamedResponse response = await request.send();
if (response.statusCode == 200) {
print(await response.stream.bytesToString());
}
else {
print(response.reasonPhrase);
}
require 'uri'
require 'net/http'
url = URI("https://wcode.net/api/gpt/v1/chat/completions")
http = Net::HTTP.new(url.host, url.port)
http.use_ssl = true
request = Net::HTTP::Post.new(url)
request["Authorization"] = 'Bearer API_KEY' # TODO: 这里的 API_KEY 需要替换,获取 API Key 入口:https://platform.wcode.net
request["content-type"] = 'application/json'
request.body = "{\"model\":\"tencent/hy3-preview\",\"messages\":[{\"role\":\"user\",\"content\":\"你好\"}]}"
response = http.request(request)
puts response.read_body
use serde_json::json;
use reqwest;
#[tokio::main]
pub async fn main() {
let url = "https://wcode.net/api/gpt/v1/chat/completions";
let payload = json!({
"model": "tencent/hy3-preview",
"messages": (
json!({
"role": "user",
"content": "你好"
})
)
});
let mut headers = reqwest::header::HeaderMap::new();
headers.insert("Authorization", "Bearer API_KEY".parse().unwrap()); // TODO: 这里的 API_KEY 需要替换,获取 API Key 入口:https://platform.wcode.net
headers.insert("content-type", "application/json".parse().unwrap());
let client = reqwest::Client::new();
let response = client.post(url)
.headers(headers)
.json(&payload)
.send()
.await;
let results = response.unwrap()
.json::<serde_json::Value>()
.await
.unwrap();
dbg!(results);
}
CURL *hnd = curl_easy_init();
curl_easy_setopt(hnd, CURLOPT_CUSTOMREQUEST, "POST");
curl_easy_setopt(hnd, CURLOPT_URL, "https://wcode.net/api/gpt/v1/chat/completions");
struct curl_slist *headers = NULL;
headers = curl_slist_append(headers, "Authorization: Bearer API_KEY"); // TODO: 这里的 API_KEY 需要替换,获取 API Key 入口:https://platform.wcode.net
headers = curl_slist_append(headers, "content-type: application/json");
curl_easy_setopt(hnd, CURLOPT_HTTPHEADER, headers);
curl_easy_setopt(hnd, CURLOPT_POSTFIELDS, "{\"model\":\"tencent/hy3-preview\",\"messages\":[{\"role\":\"user\",\"content\":\"你好\"}]}");
CURLcode ret = curl_easy_perform(hnd);
package main
import (
"fmt"
"strings"
"net/http"
"io"
)
func main() {
url := "https://wcode.net/api/gpt/v1/chat/completions"
payload := strings.NewReader("{\"model\":\"tencent/hy3-preview\",\"messages\":[{\"role\":\"user\",\"content\":\"你好\"}]}")
req, _ := http.NewRequest("POST", url, payload)
req.Header.Add("Authorization", "Bearer API_KEY") // TODO: 这里的 API_KEY 需要替换,获取 API Key 入口:https://platform.wcode.net
req.Header.Add("content-type", "application/json")
res, _ := http.DefaultClient.Do(req)
defer res.Body.Close()
body, _ := io.ReadAll(res.Body)
fmt.Println(res)
fmt.Println(string(body))
}
using System.Net.Http.Headers;
var client = new HttpClient();
var request = new HttpRequestMessage(HttpMethod.Post, "https://wcode.net/api/gpt/v1/chat/completions");
request.Headers.Add("Authorization", "Bearer API_KEY"); // TODO: 这里的 API_KEY 需要替换,获取 API Key 入口:https://platform.wcode.net
request.Content = new StringContent("{\"model\":\"tencent/hy3-preview\",\"messages\":[{\"role\":\"user\",\"content\":\"你好\"}]}", null, "application/json");
var response = await client.SendAsync(request);
response.EnsureSuccessStatusCode();
Console.WriteLine(await response.Content.ReadAsStringAsync());
var client = new RestClient("https://wcode.net/api/gpt/v1/chat/completions");
var request = new RestRequest("", Method.Post);
request.AddHeader("Authorization", "Bearer API_KEY"); // TODO: 这里的 API_KEY 需要替换,获取 API Key 入口:https://platform.wcode.net
request.AddHeader("content-type", "application/json");
request.AddParameter("application/json", "{\"model\":\"tencent/hy3-preview\",\"messages\":[{\"role\":\"user\",\"content\":\"你好\"}]}", ParameterType.RequestBody);
var response = client.Execute(request);
const axios = require('axios');
let data = JSON.stringify({
"model": "tencent/hy3-preview",
"messages": [
{
"role": "user",
"content": "你好"
}
]
});
let config = {
method: 'post',
maxBodyLength: Infinity,
url: 'https://wcode.net/api/gpt/v1/chat/completions',
headers: {
'Content-Type': 'application/json',
'Authorization': 'Bearer API_KEY' // TODO: 这里的 API_KEY 需要替换,获取 API Key 入口:https://platform.wcode.net
},
data : data
};
axios.request(config).then((response) => {
console.log(JSON.stringify(response.data));
}).catch((error) => {
console.log(error);
});
OkHttpClient client = new OkHttpClient();
MediaType mediaType = MediaType.parse("application/json");
RequestBody body = RequestBody.create(mediaType, "{\"model\":\"tencent/hy3-preview\",\"messages\":[{\"role\":\"user\",\"content\":\"你好\"}]}");
Request request = new Request.Builder()
.url("https://wcode.net/api/gpt/v1/chat/completions")
.post(body)
.addHeader("Authorization", "Bearer API_KEY") // TODO: 这里的 API_KEY 需要替换,获取 API Key 入口:https://platform.wcode.net
.addHeader("content-type", "application/json")
.build();
Response response = client.newCall(request).execute();
$client = new \GuzzleHttp\Client();
$headers = [
'Content-Type' => 'application/json',
'Authorization' => 'Bearer API_KEY', // TODO: 这里的 API_KEY 需要替换,获取 API Key 入口:https://platform.wcode.net
];
$body = '{
"model": "tencent/hy3-preview",
"messages": [
{
"role": "user",
"content": "你好"
}
]
}';
$request = new \GuzzleHttp\Psr7\Request('POST', 'https://wcode.net/api/gpt/v1/chat/completions', $headers, $body);
$response = $client->sendAsync($request)->wait();
echo $response->getBody();
$curl = curl_init();
curl_setopt_array($curl, [
CURLOPT_URL => "https://wcode.net/api/gpt/v1/chat/completions",
CURLOPT_RETURNTRANSFER => true,
CURLOPT_ENCODING => "",
CURLOPT_MAXREDIRS => 5,
CURLOPT_TIMEOUT => 300,
CURLOPT_CUSTOMREQUEST => "POST",
CURLOPT_POSTFIELDS => json_encode([
'model' => 'tencent/hy3-preview',
'messages' => [
[
'role' => 'user',
'content' => '你好'
]
]
]),
CURLOPT_HTTPHEADER => [
"Authorization: Bearer API_KEY", // TODO: 这里的 API_KEY 需要替换,获取 API Key 入口:https://platform.wcode.net
"content-type: application/json",
],
]);
$response = curl_exec($curl);
$error = curl_error($curl);
curl_close($curl);
if ($error) {
echo "cURL Error #:" . $error;
} else {
echo $response;
}
import requests
import json
url = "https://wcode.net/api/gpt/v1/chat/completions"
payload = {
"model": "tencent/hy3-preview",
"messages": [
{
"role": "user",
"content": "你好"
}
]
}
headers = {
"Authorization": "Bearer API_KEY", # TODO: 这里的 API_KEY 需要替换,获取 API Key 入口:https://platform.wcode.net
"content-type": "application/json"
}
response = requests.post(url, json=payload, headers=headers)
print(json.dumps(response.json(), indent=4, ensure_ascii=False))
from openai import OpenAI
client = OpenAI(
base_url="https://wcode.net/api/gpt/v1",
api_key="API_KEY" # TODO: 这里的 API_KEY 需要替换,获取 API Key 入口:https://platform.wcode.net
)
completion = client.chat.completions.create(
model="tencent/hy3-preview",
messages=[
{
"role": "user",
"content": "你好"
}
]
)
print(completion.choices[0].message.content)
各 AI 产品/工具/第三方应用接入示例:
配置 Hermes Agent 使用 Tencent Hunyuan Hy3 Preview 模型:
注意事项:以下配置中的
<API_KEY>需要替换为从 https://platform.wcode.net 获取(创建)的 API Key
方式一:交互式配置
在命令行输入 hermes model,然后选择 Custom endpoint 选项,根据交互式命令引导,分别配置以下信息:
- API base URL:
https://wcode.net/api/gpt/v1 - API Key:
<API_KEY> - Model:
tencent/hy3-preview
方式二:手动配置
修改 config.yaml(通常位于~/.hermes/config.yaml)
model:
default: "tencent/hy3-preview"
provider: custom
base_url: "https://wcode.net/api/gpt/v1"
api_key: "<API_KEY>"
context_length: 256000
配置完成后,就可以开始使用 Hermes Agent ~
配置 Roo Code 使用 Tencent Hunyuan Hy3 Preview 模型:
注意事项:以下配置中的
<API_KEY>需要替换为从 https://platform.wcode.net 获取(创建)的 API Key
- API Provider:
OpenAI Compatible - Base URL:
https://wcode.net/api/gpt/v1 - API Key:
<API_KEY> - Model:
tencent/hy3-preview
配置完成后,就可以开始使用 Roo Code ~
配置 Kilo Code 使用 Tencent Hunyuan Hy3 Preview 模型:
注意事项:以下配置中的
<API_KEY>需要替换为从 https://platform.wcode.net 获取(创建)的 API Key
选择 Use your own API key,然后配置以下信息:
- API Provider:
OpenAI Compatible - Base URL:
https://wcode.net/api/gpt/v1 - API Key:
<API_KEY> - Model:
tencent/hy3-preview
配置完成后,就可以开始使用 Kilo Code ~
配置 Cline 使用 Tencent Hunyuan Hy3 Preview 模型:
注意事项:以下配置中的
<API_KEY>需要替换为从 https://platform.wcode.net 获取(创建)的 API Key
- API Provider:
OpenAI Compatible - Base URL:
https://wcode.net/api/gpt/v1 - API Key:
<API_KEY> - Model ID:
tencent/hy3-preview
配置完成后,就可以开始使用 Cline ~
注:以下安装和配置过程以 Ubuntu Server 24.04 (root 用户) + Node 22 安装 OpenClaw 🦞 2026.3.8 为例
安装 🦞 OpenClaw(龙虾),步骤如下:
- 命令行执行
npm install -g openclaw@latest - 命令行执行
openclaw onboard --install-daemon - I understand this is personal-by-default and shared/multi-user use requires lock-down. Continue? 选择
yes - Onboarding mode 选择
QuickStart - Model/auth provider 选择
Skip for now - Default model 选择
Keep current (default: ...) - Select channel (QuickStart) 选择
Skip for now - Web search 选择
Skip for now - Configure skills now? (recommended) 选择
No - Enable hooks? (这是一个多选,按空格键可选中选项)按空格键选中
📝 command-logger和💾 session-memory这两个选项,然后按回车键进入下一步 - (如有) How do you want to hatch your bot? 选择
Hatch in TUI (recommended)
配置 🦞 OpenClaw(龙虾)使用 Tencent Hunyuan Hy3 Preview 模型:
注意事项:以下配置中的
<API_KEY>需要替换为从 https://platform.wcode.net 获取(创建)的 API Key
推荐方式:修改 openclaw.json(通常位于~/.openclaw/openclaw.json)
找到openclaw.json的第一层级的models和agents属性(如果没有则在第一层级添加models和agents属性),改为如下配置:
{
...其他配置,
"models": {
"mode": "merge",
"providers": {
"wcode": {
"baseUrl": "https://wcode.net/api/gpt/v1",
"apiKey": "<API_KEY>",
"api": "openai-completions",
"models": [
{
"id": "tencent/hy3-preview",
"name": "Tencent Hunyuan Hy3 Preview",
"reasoning": false,
"input": ["text"],
"contextWindow": 256000,
"maxTokens": 128000
}
]
}
}
},
"agents": {
"defaults": {
"model": {
"primary": "wcode/tencent/hy3-preview"
}
}
},
...其他配置
}
完成以上配置后,
- 执行以下命令,即可通过命令行的方式开始对话:
openclaw tui
- 执行以下命令,即可通过 Web 界面的方式开始对话:
openclaw dashboard
配置 OpenCode 使用 Tencent Hunyuan Hy3 Preview 模型:
推荐方式:修改 opencode.json(通常位于~/.config/opencode/opencode.json)
注意事项:以下配置中的
<API_KEY>需要替换为从 https://platform.wcode.net 获取的 API Key
配置如下:
{
"$schema": "https://opencode.ai/config.json",
"provider": {
"myprovider": {
"npm": "@ai-sdk/openai-compatible",
"name": "wcode",
"options": {
"baseURL": "https://wcode.net/api/gpt/v1",
"apiKey": "<API_KEY>"
},
"models": {
"tencent/hy3-preview": {
"name": "Tencent Hunyuan Hy3 Preview"
}
}
}
}
}
完成以上配置后,执行以下命令,即可启动 OpenCode:
opencode
输入 /models,选择配置的 tencent/hy3-preview 模型并在 OpenCode 中使用。
API 响应示例(curl):
{
"id": "chatcmpl-t1776933406s208r4543f7c8b0fb91a01b1bac67",
"object": "chat.completion",
"model": "hy3-preview",
"created": 1776933406,
"choices": [
{
"index": 0,
"message": {
"role": "assistant",
"content": "你好!我是 **混元**,是由腾讯自研的通用大语言模型,具备多模态理解、逻辑推理、文本生成等能力,可应用于知识问答、内容创作、信息整合等场景。\n\n如果你有具体需求(比如代码编写、数据分析、创意写作等),可以随时告诉我,我会尽力帮你解答~ 😊"
},
"finish_reason": "stop"
}
],
"usage": {
"prompt_tokens": 28,
"completion_tokens": 102,
"total_tokens": 130,
"prompt_tokens_details": {
"cached_tokens": 0
},
"completion_tokens_details": {
"reasoning_tokens": 0
}
}
}
可选参数:
- 温度(Temperature)
- Top-P
- Top-K
- 频率惩罚
- 存在惩罚
- 重复惩罚
- Min-P
- Top-A
- 种子
- 最大 tokens 数
- Logit Bias
- 对数概率
- 最高对数概率
- 响应格式
- 结构化输出
- 停止
- 工具
- 工具选择
- 并行工具调用
- 冗长程度
重要提示:由于模型架构不同,部分参数可能仅适用于特定的模型。
温度(Temperature)
-
参数:
temperature -
可选,浮点数,0.0 到 2.0
-
默认:
1.0
此设置影响模型回复的多样性。较低的值会使回复更可预测、更常见;较高的值会鼓励更具多样性且较不常见的回复。当设置为 0 时,模型对相同输入将尽可能的给出相同的回复。
Top-P
-
参数:
top_p -
可选,float,0.0 至 1.0
-
默认值:
1.0
top_p 参数控制模型在生成文本时的候选词选择范围。具体来说,模型会生成一组候选 token,然后从累积概率达到或超过 p 的 token 中随机选择一个作为输出。通过这种方式,top_p 能够在保证生成内容的多样性的同时,考虑到概率分布的合理性。
由于 temperature 与 top_p 均可以控制生成文本的多样性,因此建议您只设置其中一个值。
Top-K
-
参数:
top_k -
可选,int,>= 0
-
默认值:
0
top_k 会限制模型在每一步对 token 的选择,使其从较小的集合中进行选择。值为 1 表示模型将始终选择最有可能的下一个 token,从而得到可预测的结果。
频率惩罚
-
参数:
frequency_penalty -
可选,float,-2.0 至 2.0
-
默认值:
0.0
frequency_penalty 可根据词条在输入中出现的频率来控制其重复使用。它会尝试减少那些在输入中出现频率较高的词条的使用频率,这与它们出现的频率成正比。词条惩罚会随着出现次数的增加而增加。负值将鼓励词条重复使用。
存在惩罚
-
参数:
presence_penalty -
可选,float,-2.0 至 2.0
-
默认值:
0.0
presence_penalty 调整模型重复输入中已使用的特定标记的频率。值越高,重复的可能性就越小,负值则相反。标记惩罚不会随着出现次数而变化。负值会鼓励标记重用。
重复惩罚
-
参数:
repetition_penalty -
可选,float,0.0 至 2.0
-
默认值:
1.0
repetition_penalty 有助于减少输入中标记的重复。较高的值会降低模型重复标记的可能性,但过高的值会使输出不够连贯(通常会出现缺少小词的连续句子)。标记惩罚会根据原始标记的概率进行调整。
Min-P
-
参数:
min_p -
可选,float,0.0 至 1.0
-
默认值:
0.0
min_p 表示某个 token 被考虑的最小概率,该概率是相对于最可能的 token 的概率而言的。如果 min_p 设置为 0.1,则意味着它只允许概率至少为最佳选项十分之一的 token 被考虑。
Top-A
-
参数:
top_a -
可选,float,0.0 到 1.0
-
默认值:
0.0
top_a 仅考虑概率“足够高”的 top tokens,该概率基于最可能的 token 概率。可以将其视为一个动态的 Top-P。较低的 Top-A 值会根据概率最高的 token 集中选择,但范围会更窄。较高的 Top-A 值不一定会影响输出的创造性,但会根据最大概率优化过滤过程。
种子
-
参数:
seed -
可选,int
如果指定了 seed 参数,推理将确定性地进行采样,即使用相同种子和参数的重复请求应该返回相同的结果。某些模型无法保证确定性。
最大 tokens 数
-
参数:
max_tokens -
可选,int,>= 1
max_tokens 可设定模型在响应中可以生成的 token 数量的上限。模型不会生成超过此限制的 token。其最大值等于上下文长度减去 prompt 长度。
Logit Bias
-
参数:
logit_bias -
可选,object
logit_bias 是一个可选参数,用于修改指定 token 在模型生成输出中出现的可能性。
对数概率
-
参数:
logprobs -
可选,boolean
logprobs 设置是否返回输出 token 的对数概率。如果为 true,则返回每个输出 token 的对数概率。
最高对数概率
-
参数:
top_logprobs -
可选,int
top_logprobs 是一个介于 0 和 20 之间的整数,指定在每个 token 位置要返回的最可能 token 的数量,每个 token 都会带有相应的对数概率。如果使用此参数,则必须将 logprobs 设置为 true。
响应格式
-
参数:
response_format -
可选,object
response_format 强制模型产出特定的输出格式。将其设置为 { "type": "json_object" } 可启用 JSON 模式,保证模型生成的消息为有效的 JSON。
注意:使用 JSON 模式时,应同时通过 system 或 user 提示词指示模型生成 JSON。
结构化输出
-
参数:
structured_outputs -
可选,boolean
指示模型是否能够使用 response_format 中的 json_schema 返回结构化输出。
停止
-
参数:
stop -
可选,array
如果模型遇到 stop 数组中指定的任意 token,则立即停止生成。
工具
-
参数:
tools -
可选,array
工具调用参数,遵循 OpenAI 的工具调用请求格式。对于非 OpenAI 提供者,会相应地进行转换。
工具选择
-
参数:
tool_choice -
可选,array
控制模型调用哪个工具。'none' 表示模型不会调用任何工具,而是生成一条消息。'auto' 表示模型可以在生成消息或调用一个或多个工具之间进行选择。'required' 表示模型必须调用一个或多个工具。通过 {"type": "function", "function": {"name": "my_function"}} 指定特定工具会强制模型调用该工具。
并行工具调用
-
参数:
parallel_tool_calls -
可选,boolean
-
默认:true
是否在使用工具时启用并行函数调用。如果为 true,模型可以同时调用多个函数。如果为 false,函数将按顺序依次调用。
冗长程度
-
参数:
verbosity -
可选,enum,
lowmediumhigh -
默认:medium
控制模型响应的冗长程度和长度。较低的值会生成更简洁的回答,而较高的值会生成更详细、更全面的回答。
以上文档为标准版 API 接口文档,可直接用于项目开发和系统调用。如果标准版 API 接口无法满足您的需求,需要定制开发 API 接口,请联系我们的 IT 技术支持工程师:
(沟通需求✅ → 确认技术方案✅ → 沟通费用与工期✅ → 开发&测试✅ → 验收交付✅ → 维护升级✅)
![]()