Mistral AI 发布 Mistral Medium 3,主打低成本与企业部署
Mistral AI 发布 Mistral Medium 3,称其在各项基准上达到或超过 Claude Sonnet 3.7 的 90%,成本为每百万 token 输入 $0.4、输出 $2。
推荐理由:Mistral Medium 3 以更低成本对标 Claude Sonnet 3.7,并给出企业私有化部署与定制路径。
把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。
Mistral AI 发布 Mistral Medium 3,称其在各项基准上达到或超过 Claude Sonnet 3.7 的 90%,成本为每百万 token 输入 $0.4、输出 $2。
推荐理由:Mistral Medium 3 以更低成本对标 Claude Sonnet 3.7,并给出企业私有化部署与定制路径。
OpenAI 宣布完成 400 亿美元融资,投后估值 3000 亿美元。这笔钱主要用来扩建算力基础设施,以及给每周 5 亿人用的 ChatGPT 开发更强功能。软银是这轮的关键合作方。公告没提钱分几批到账、有没有对赌条款,也没说具体产品路线图,AGI 的说法比较笼统。
推荐理由:OpenAI 完成 400 亿美元融资,投后估值 3000 亿美元,资金主要投向算力基础设施和 ChatGPT 功能开发,软银是这轮的关键合作方。
Mistral AI 推出新版 le Chat,上线 iOS、Android 应用及 Pro、Team 服务,并开放 Enterprise 私有预览。新版提供代码解释器、文档分析和图像生成,Flash Answers 向所有用户开放预览,官方称速度可达 ~1000 words / sec;多数功能免费,Pro 起价为 $14.99 per month。
推荐理由:Mistral AI 为 le Chat 增加移动端和企业部署选项,让个人日常使用与企业自有环境中的工作接入有了不同入口。
Mistral AI 发布面向低延迟任务的 24B 模型 Mistral Small 3,以 Apache 2.0 许可开放预训练和指令微调检查点。官方称其性能与 Llama 3.3 70B instruct 相当,同硬件下速度超过 3x,MMLU 准确率超过 81%;模型未使用 RL 或合成数据训练。
推荐理由:Mistral AI 将 Small 3 的性能对标 Llama 3.3 70B,并报告同硬件下超过 3x 的速度优势。
OpenAI 发了个新方法叫 sCM,把连续时间一致性模型的训练搞稳定了,直接扩到 15 亿参数,在 512×512 的 ImageNet 上跑。它只用两步采样,出图质量就能跟现在最好的扩散模型打平,单张 A100 上 0.11 秒出一张图,比扩散模型快大约 50 倍。论文里对比了有效算力,sCM 花不到 10% 的算力就拿到差不多的 FID 分数。
推荐理由:OpenAI 把连续时间一致性模型扩到 15 亿参数,两步采样在 ImageNet 512×512 上质量追平扩散模型,单张 A100 出图 0.11 秒,算力不到扩散模型 10%。
OpenAI 宣布完成 66 亿美元融资,投后估值 1570 亿美元。钱会花在前沿 AI 研究、增加算力和继续做产品工具上。现在 ChatGPT 每周有超过 2.5 亿人在用。正文没披露具体投资人名单、持股条款,也没说算力具体会扩到多大规模。
推荐理由:OpenAI 完成 66 亿美元融资,投后估值 1570 亿美元,资金投向前沿研究、算力和产品工具,ChatGPT 周活已超 2.5 亿。
OpenAI 给 GPT-4o、GPT-4o mini、o1-preview 和 o1-mini 的 API 加上了自动提示词缓存。只要你的请求里有一段超过 1024 个 token 的前缀最近被用过,系统就会自动命中缓存,这部分输入 token 的价格直接减半。缓存从 1024 token 起步,按 128 token 的粒度往上加。
推荐理由:OpenAI 为 GPT-4o、o1 等模型的 API 加入自动提示词缓存,超过 1024 token 的重复前缀可让输入费用减半,长上下文与固定系统提示场景的成本结构随之改变。
OpenAI 在 2024 年 8 月 6 日上线了 Structured Outputs 功能,模型能严格按开发者提供的 JSON Schema 输出,不再只是生成合法 JSON 就完事。新模型 gpt-4o-2024-08-06 在复杂 schema 测试里拿了 100% 的准确率,而老模型 gpt-4-0613 不到 40%。
推荐理由:OpenAI 上线 Structured Outputs,让模型严格按开发者给的 JSON Schema 输出,新模型在复杂 schema 测试中准确率 100%,旧模型不到 40%。
DeepSeek API 上线硬盘缓存技术,价格再降一个数量级。更新详情见文档 https://api-docs.deepseek.com/zh-cn/updates#api-上线硬盘缓存技术 。
推荐理由:DeepSeek API 采用硬盘缓存并将价格再降一个数量级,使这项缓存技术更新的直接影响落在 API 使用价格上。