来源｜量子位（ID：QbitAI）
OpenAI最新旗舰大模型GPT-4o，不仅免费可用，能力更是横跨听、看、说，丝滑流畅毫无延迟，就像在打一个视频电话。它能感受到你的呼吸节奏，也能用比以前更丰富的语气实时回复，甚至可以做到随时打断。rame class="video_iframe rich_pages" data-w="720" data-ratio="1" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fmmbiz_jpg%2FYicUhk5aAGtAWDvHQZYCXwfz7fV5ECkoZoApTSqa2YJo9xZu9ljpReKjNibtbvJuicEb9ibmNNcb9uF2ubkdMALIOA%2F0%3Fwx_fmt%3Djpeg" data-mpvid="wxv_3456663330608332805" data-vidtype="2" allowfullscreen="" frameborder="0" style="border-radius: 4px;" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3456663330608332805">rame>GPT-4o里的“o”是Omni的缩写，也就是“全能”的意思，接受文本、音频和图像的任意组合作为输入，并生成文本、音频和图像输出。它可以在短至232毫秒、平均320毫秒的时间内响应音频输入，与人类在对话中的反应速度一致。rame class="video_iframe rich_pages" data-w="1280" data-ratio="1.7777777777777777" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fmmbiz_jpg%2FYicUhk5aAGtAWDvHQZYCXwfz7fV5ECkoZPmoXXnn8Pw5QibT2J0tlfqSEbbCxjyhJjHMP6dlo2GdiayGODUibia49tw%2F0%3Fwx_fmt%3Djpeg" data-mpvid="wxv_3456652229174837249" data-vidtype="2" allowfullscreen="" frameborder="0" style="border-radius: 4px;" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3456652229174837249">rame>这还是一份给所有人的大礼，GPT4-o与ChatGPT Plus会员版所有的能力，包括视觉、联网、记忆、执行代码、GPT Store……在直播现场，CTO Murati穆姐说：这是把GPT-4级别的模型开放出去，其实她还谦虚了。在场外，研究员William Fedus揭秘，GPT-4o就是之前在大模型竞技场搞A/B测试的模型之一，im-also-a-good-gpt2-chatbot。无论从网友上手体验还是竞技场排位来看，都是高于GPT-4-Turbo级别的模型了，ELO分数一骑绝尘。而这样的超强模型也将提供API，价格打5折，速度提高一倍，单位时间调用次数足足是原来的5倍！追直播的网友已经在设想可能的应用，可以替代盲人看世界了。以及确实感觉比之前的语音模式体验上强上不少。鉴于之前不少人就已经和ChatGPT语音模式“谈恋爱”了，有大胆想法的朋友，可以把你们的想法发在评论区了。知道OpenAI发布会为什么定在谷歌I/O前一天了——打脸，狠狠打脸。谷歌Gemini发布会需要靠剪辑视频和切换提示词达成的伪实时对话效果，OpenAI现场全都直播演示了。比如让ChatGPT在语言不通的两个人之间充当翻译机，听到英语就翻译成意大利语，听到意大利语就翻译成英语。
rame class="video_iframe rich_pages" data-w="1280" data-ratio="1.7777777777777777" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fmmbiz_jpg%2FYicUhk5aAGtAWDvHQZYCXwfz7fV5ECkoZGYaXM7aaCmIOd6aqoaDic7DMbBZIE9tg9fvmuOKpic6UvxPKsc88Qbtg%2F0%3Fwx_fmt%3Djpeg" data-mpvid="wxv_3456692852569358338" data-vidtype="2" allowfullscreen="" frameborder="0" style="border-radius: 4px;" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3456692852569358338">rame>发布会直播之外，总裁哥Brockman还发布了额外的5分钟详细演示。而且是让两个ChatGPT互相对话，最后还唱起来了，戏剧感直接拉满。这两个ChatGPT，一个是旧版APP，只知道对话，另一个则是新版网页，具备视觉等新能力。（我们不妨取Old和New的首字母，分别叫TA们小O和小N）Brockman首先向小O介绍了大致情况，告诉她要和一个拥有视觉能力的AI对话，她表示很酷并欣然接受。接着，Brockman让她稍作休息，并向小N也介绍情况，还顺带展示了小N的视觉能力。只见打完招呼后，小N准确地说出了Brockman的衣着打扮和房间环境。而对于要和小O对话这件事，小N也感到很有趣。rame class="video_iframe rich_pages" data-w="1280" data-ratio="1.7777777777777777" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fmmbiz_jpg%2FYicUhk5aAGtAWDvHQZYCXwfz7fV5ECkoZZOxeZWUFTEaIjqSE4RjMvtSvoUAm9s0bFLGCKKujWqmztOdLyEhVAQ%2F0%3Fwx_fmt%3Djpeg" data-mpvid="wxv_3456666831996534785" data-vidtype="2" allowfullscreen="" frameborder="0" style="border-radius: 4px;" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3456666831996534785">rame>接下来就是小O和小N相互对白的时间了，TA们依然是从Brockman的衣着开始聊起，小O不断提出新的问题，小N都一一解答。接着，他们又谈论了房间的风格、布置和光线，甚至小N还意识到了Brockman正站在上帝视角凝视着TA们。rame class="video_iframe rich_pages" data-w="1280" data-ratio="1.7777777777777777" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fmmbiz_jpg%2FYicUhk5aAGtAWDvHQZYCXwfz7fV5ECkoZGWYIPZWRrBibMoIrLGesl9IG4icyWKfliak3JqsID8YpJFJNHG9HPdTNw%2F0%3Fwx_fmt%3Djpeg" data-mpvid="wxv_3456667510232268801" data-vidtype="2" allowfullscreen="" frameborder="0" style="border-radius: 4px;" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3456667510232268801">rame>如果你看了这段视频就会发现，画面中出现了一个女人在Brockman身后做了些恶搞的手势。这可不是乱入，是Brockman和女人串通好，专门给小N设计的一道“考题”。就在小O和小N聊的正开心的时候，Brockman选择加入，直接问有没有看到什么不正常的地方。结果是小N直接识破了Brockman的小伎俩，直接复述出了女人在他身后做小动作的场景，小O听了之后直接感叹原来在这里享受乐趣的不只有我们两个。Brockman把这句话当成了夸赞，并对小O表示了感谢，还愉快地加入了TA们的对话。之后是最后也是最精彩的部分，在Brockman的指挥下，小O和小N根据刚才聊天的内容，直接开启了对唱模式。只过了简单几轮，衔接地就十分密切，而且旋律悠扬，音色也是和真人毫无二致。rame class="video_iframe rich_pages" data-w="1280" data-ratio="1.7777777777777777" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fmmbiz_jpg%2FYicUhk5aAGtAWDvHQZYCXwfz7fV5ECkoZmt8B3HncWpF7YTNIR0bGiaeAdNsbvichCKicsnrLX9iaG0b4D6kuYDlAYQ%2F0%3Fwx_fmt%3Djpeg" data-mpvid="wxv_3456668127247941632" data-vidtype="2" allowfullscreen="" frameborder="0" style="border-radius: 4px;" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3456668127247941632">rame>最后视频以Brockman唱出的一句Thank you结束，在视频外的推文中他还透露新的语音对话功能将在数周内向Plus用户开放。正如奥特曼在发布会前所说，GPT-4o让人感觉像魔法一样，那么它是如何做到的呢？非常抱歉，这次非但没有论文，连技术报告也不发了，只在官网Blog里有一段简短的说明。在GPT-4o之前，ChatGPT语音模式由三个独立模型组成，语音转文本→GPT3.5/GPT-4→文本转语音。我们也可以让旧版ChatGPT语音模式自己讲一下具体是怎么个流程。这样一来，整个系统的延迟足足有2.8秒（GPT-3.5）和5.4秒（GPT-4），而且丢失了大量的信息，它无法直接感受音调、多个说话者或背景噪音，也无法输出笑声、唱歌声，或表达情感。GPT-4o则是跨文本、视觉和音频端到端训练的新模型，这意味着所有输入和输出都由同一个神经网络处理。在语音翻译任务上，强于OpenAI专门的语音模型Whisper-V3以及谷歌和meta的语音模型。在视觉理解上，也再次反超Gemini 1.0 Ultra与对家Claude Opus虽然技术方面这次透露的消息就这么多了，不过也有学者评价。除了OpenAI带来的精彩内容之外，也别忘了北京时间5月15日凌晨，谷歌将召开I/O大会。另外根据网友推测，GPT-4o这么强，全都免费开放了，这是劝大家不续订ChatGPT Plus了的意思吗？鉴于OpenAI春节期间在谷歌发布Gemini 1.5 Pro后半小时左右用Sora狙击了一把，明天OpenAI还有新活也说不定呢？直播回放
https://www.youtube.com/watch?v=DQacCB9tDaw参考链接：
[1]https://openai.com/index/hello-gpt-4o/-END-
关注【中科院计算所培训中心】
阅读更多精彩内容
▽▽▽
