模型与定位
适合需要统一接入多个模型、快速上线和成本控制的团队。可作为应用层的模型网关。
参数速览
| 项目 | 说明 |
|---|---|
| 输入模态 | 文本为主,部分模型支持多模态 |
| 输出能力 | 文本、结构化输出、工具调用(按模型) |
| 推理模式 | 平台路由 + 后端模型能力 |
| 典型模型名 | 以平台模型广场为准 |
| 上下文窗口 | 由具体模型决定 |
常用请求参数
| 参数 | 作用 | 常见建议 |
|---|---|---|
model | 选择模型 | 按业务等级做分层 |
temperature | 随机性控制 | 结构化任务建议低温 |
top_p / top_k | 采样截断 | 避免同时大幅调参 |
max_tokens | 最大输出 | 与超时策略联动 |
stream | 流式输出 | 对话产品建议开启 |
response_format | 结构化返回 | 机器消费场景建议使用 |
调用与兼容性
通常提供 OpenAI 风格调用方式,便于已有项目迁移;但不同模型的参数支持范围不完全一致。
版本与下线注意
聚合平台会动态上下架模型,建议在服务端维护“可用模型白名单 + 自动降级策略”。
选型建议
如果团队希望降低多模型接入成本,可先用 SiliconFlow 做统一网关,再根据效果沉淀长期主模型。