不自建 LLM 代理,如何掌握模型调用的实际情况?
If you don't run your own LLM proxy, how do you know whats going on?
Jared Siegel 主张自建 LLM 代理,以掌握模型调用日志、token 使用时序数据及数据流向。代理可统一接入多个提供商和模型,通过虚拟 API 密钥管理调用,并支持快速切换模型与提供商。他修改了自己的代理以增强观测并添加自定义 MCP 服务端端点,称编码时能在 20 秒内手动定位缓存未命中的原因。