Ello 拆解了给 5 岁小孩做实时 AI 家教的技术架构,核心是把响应压到 1 秒以内
Building a real-time AI tutor for 5-year-olds
Ello 给 4-9 岁孩子做了个教数学和阅读的 AI 家教。他们发现,标准 AI 智能体那种“调用工具-等结果-再决定下一步”的循环太慢了,前沿模型出第一个字就要 2-3 秒,小孩直接走神。他们的解法是让模型在一个回复里流式输出多个动作,解释器边收边执行,孩子只用等前 30 个 token 就能看到反应。
推荐理由:Ello 为 4-9 岁孩子做 AI 家教时,把标准智能体循环换成单次回复流式输出多个动作,孩子等前 30 个 token 就能看到反应,这套低延迟架构思路可供实时 AI 产品参考。