OpenAI still has a WebRTC Problem
针对 OpenAI 语音 AI 产品使用 WebRTC 的问题,作者指出 WebRTC 为人类实时会议设计,默认丢弃迟到音频包且不重传,导致语音 AI 丢失上下文、浪费 token。他提出用 MoQ 替代:音频 1s Opus @ 64Kbps 仅 8KB,可重传最长 5s,让模型在需要前收齐上下文。WebRTC 还按到达时间而非时间戳渲染音频,不利于 TTS 按时播放。
针对 OpenAI 语音 AI 产品使用 WebRTC 的问题,作者指出 WebRTC 为人类实时会议设计,默认丢弃迟到音频包且不重传,导致语音 AI 丢失上下文、浪费 token。他提出用 MoQ 替代:音频 1s Opus @ 64Kbps 仅 8KB,可重传最长 5s,让模型在需要前收齐上下文。WebRTC 还按到达时间而非时间戳渲染音频,不利于 TTS 按时播放。