模型与定位
适合对吞吐和响应速度有明确要求的在线业务，尤其是高并发问答和自动化流水线。
参数速览
| 项目 | 说明 |
|---|---|
| 输入模态 | 文本 |
| 输出能力 | 文本生成、结构化响应（按接口能力） |
| 推理模式 | 高性能推理加速 |
| 典型模型名 | 以平台支持模型列表为准 |
| 上下文窗口 | 与选定模型相关 |
常用请求参数
| 参数 | 作用 | 常见建议 |
|---|---|---|
model | 选择模型 | 先按延迟目标筛选 |
temperature | 随机性 | 客服问答建议低温 |
top_p | 核采样 | 小幅调整即可 |
max_tokens | 输出上限 | 防止慢请求占用资源 |
stop | 截断符 | 保证格式边界 |
stream | 流式模式 | 实时前端优先开启 |
调用与兼容性
通常支持主流 API 调用习惯。接入前建议做同题集对比，确认速度与质量是否满足目标。
版本与下线注意
硬件和后端升级可能带来性能变化，建议将关键延迟指标纳入持续监控。
选型建议
当你的系统瓶颈在“每秒请求量和响应速度”时，Cerebras 可作为性能优先路径进行评估。