跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

522 条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 521–522 条 · 共 522 条

2024年8月6日星期二

OpenAI News

OpenAI 给 API 加了“结构化输出”,让模型按你给的 JSON 模板回话

OpenAI 在 2024 年 8 月 6 日上线了 Structured Outputs 功能,模型能严格按开发者提供的 JSON Schema 输出,不再只是生成合法 JSON 就完事。新模型 gpt-4o-2024-08-06 在复杂 schema 测试里拿了 100% 的准确率,而老模型 gpt-4-0613 不到 40%。

推荐理由:OpenAI 上线 Structured Outputs,让模型严格按开发者给的 JSON Schema 输出,新模型在复杂 schema 测试中准确率 100%,旧模型不到 40%。

2024年8月2日星期五

DeepSeek · API 更新日志

DeepSeek API 上线硬盘缓存技术,价格再降一个数量级

DeepSeek API 上线硬盘缓存技术,价格再降一个数量级。更新详情见文档 https://api-docs.deepseek.com/zh-cn/updates#api-上线硬盘缓存技术 。

推荐理由:DeepSeek API 采用硬盘缓存并将价格再降一个数量级,使这项缓存技术更新的直接影响落在 API 使用价格上。