Ello 拆解了给 5 岁小孩做实时 AI 家教的技术架构,核心是把响应压到 1 秒以内
Building a real-time AI tutor for 5-year-olds
Ello 给 4-9 岁孩子做了个教数学和阅读的 AI 家教。他们发现,标准 AI 智能体那种“调用工具-等结果-再决定下一步”的循环太慢了,前沿模型出第一个字就要 2-3 秒,小孩直接走神。他们的解法是让模型在一个回复里流式输出多个动作,解释器边收边执行,孩子只用等前 30 个 token 就能看到反应。同时,他们把家教拆成两个智能体:一个实时陪聊的...
推荐理由:Ello 这篇工程文章把实时 AI 家教拆成两个关键决策:不用标准智能体循环,改用流式多动作输出;把聊天和教学拆成两个智能体。有具体数字(前 30 个 token、1000 毫秒延迟)和对比(标准智能体出第一个字要 2-3 秒),不是泛泛讲体验,而是给出了可复用的架构思路。对正在做低延迟 AI 产品的人,这两点可以直接拿来参考。