跳到正文
AI HOT 精选

Simon Willison 发布 llm-chat-completions-server 插件,把本地模型变成 OpenAI 兼容接口

llm-chat-completions-server 0.1a0 发布

Simon Willison 给他的 LLM 命令行工具写了个插件,启动后会在本地跑一个服务器,把你装过的所有模型(包括其他插件装的)都暴露成 OpenAI 的 /v1/chat/completions 接口。这样任何支持 OpenAI API 格式的客户端都能直接调用你本地的模型。做这个插件主要是为了测试 LLM 0.32rc1 的新日志存储设计:客...

推荐理由:Simon Willison 发了个小插件,把本地模型全变成 OpenAI 格式的 API 端点,主要是为了测试新版 LLM 工具用内容哈希做日志去重的设计。工具层面的创新很实在,机制也清楚,但毕竟是个小版本预览,影响范围有限。我会先打个折,给 72 分,放在 featured 里。

读原文 ↗导出 Markdown