# ChatGPT 现在能看、能听、能说话了

> 原标题：ChatGPT can now see, hear, and speak

- 来源：OpenAI News
- 发布时间：2023-09-25T07:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/849
- 原文：https://openai.com/index/chatgpt-can-now-see-hear-and-speak

## 摘要

OpenAI 给 ChatGPT 加了语音和图片功能。语音部分，你对着手机说话它能回你，背后用了一个新的文字转语音模型，拿几秒真人录音就能合成很像人的声音，还接入了自家的 Whisper 做语音识别。图片部分，你可以拍照或截图发给它，让它看图说话，底层是 GPT-3.5 和 GPT-4 的多模态版本。

## 推荐理由

OpenAI 为 ChatGPT 加入语音对话与图片理解，语音合成用几秒真人录音即可生成相似声音，图片部分基于 GPT-3.5 和 GPT-4 的多模态版本。

## 锐评

拿几秒真人录音就能克隆声音，外面做语音合成的可以直接关门了。我看 OpenAI 这一手就是奔着吃掉交互层去的。自家的 Whisper 负责听，新 TTS 负责说，再搭上 GPT-3.5 和 GPT-4 的多模态能力，以前靠拼几家 API 攒语音助手的方案直接被宣判出局。官方把听看说的链路一打通，单点工具在体验和成本上根本没法比，钱只会往大模型平台这边流。
