Karpathy 聊人机交互下一步:别只让模型吐 Markdown,试试让它直接写 HTML
人机交互界面的演进:从文本到交互式神经视频
Karpathy 觉得现在大模型默认输出 Markdown 太简陋了,他建议直接让模型生成带排版、图形和交互的 HTML,界面会好用很多。更远的想法是“交互式神经视频”——用扩散模型实时生成能操作的画面,但他也承认这玩意儿怎么跟精确的传统软件配合还是个没解的问题。输入这边,光靠语音、文字或视频不够,得加上手势指点这类更自然的交互。
推荐理由:Karpathy 提出大模型可直接生成带排版与交互的 HTML,并设想用扩散模型实时生成可操作画面,为界面设计提供了一条从输出形态入手的思路。