If you don't run your own LLM proxy, how do you know whats going on?

Jared Siegel 主张自建 LLM 代理，以掌握模型调用日志、token 使用时序数据及数据流向。代理可统一接入多个提供商和模型，通过虚拟 API 密钥管理调用，并支持快速切换模型与提供商。他修改了自己的代理以增强观测并添加自定义 MCP 服务端端点，称编码时能在 20 秒内手动定位缓存未命中的原因。