10 月 2 日，OpenAI 发布了实时 API 公开测试版，用于构建基于 GPT-4o 语音到语音的 AI 应用和智能体。这是 GPT-4o 发布之后，OpenAI 在实时语音交互能力上的最新进展。

GPT-4o 所展现出的实时语音交互能力让外界印象深刻。而这很大程度上归功于 GPT-4o 大幅降低的语音延迟，平均 320 毫秒的反应时间，让 AI 与人的对话第一次接近了人类真实对话间的反应速率。同时其语气和情感模拟，也更加深 AI 与人类沟通之间的沉浸感。

而国庆假期间，OpenAI 发布的实时 API 公开测试版，则瞄准了 GPT-4o 语音到语音的 AI 应用和智能体，这像是给所以 AI 应用开发者的一个信号，大模型发展近两年后，基于声音的实时对话式 AI 场景或许会开始变的瞩目起来。

OpenAI 这次也公布了三家语音 API 合作者的身份：LiveKit、Twilio，以及 Agora。值得一提的是，前几年曾经爆火的 ClubHouse，背后的技术提供方就是 Agora，其兄弟公司声网则在国内更为人所知。Agora 聚焦美国和国际市场，声网则已经俨然是中国市场中 RTC（实时音视频，Real-time Communications）能力最头部且主要的提供者。

声网在实践中发现，传统的 AI 语音对话（STT-LLM-TTS）在应用 RTC 后，响应延时可从 4-5 秒降低到 1-2 秒，而在具备端到端实时多模态处理能力后，通过 RTC 技术，大模型实时语音对话的延时可降到几百毫秒内。从体验上看，RTC 技术的应用让对话式大模型的交互更智能，更具真实感。

在 GPT-4o 的发布会上，有一个细节引人注意：用于演示的手机连接了一根网线。工程师 Mark 解释说，这样做是为了确保网络的稳定性。这也揭示了一个事实，即 GPT-4o 的演示是在固定设备、固定网络和固定物理环境中进行的，以保证低延迟。

然而在实际应用中，用户的设备通常不能始终连接网线，最终无论多强的模型能力，都需要依靠 RTC 技术来真正落到实时对话的场景中。而这其中多模态大模型在与 RTC 技术结合时如何保障低延时、流畅的语音交互体验，变得尤为关键。

一句话来说，RTC 是将多模态大模型与实时互动场景连接起来最关键的技术桥梁。

而随着 RTC 从最初的一种前沿技术在近年逐渐变成一项基础设施级别的能力并迅速在各个场景中延伸，加入了场景视角的 RTE（实时互动，Real time engagement）概念开始取代 RTC，成为当下谈论实时互动能力新的技术名词。

以声网创始人兼 CEO 赵斌对 RTE 的概念表述：

「RTC（实时音视频）从 Communication 的视角，更多是在强调对语义信息进行高质量和高效率的传递。而 RTE（实时互动）更聚焦用户所需要的共享时空，即俗话所说的场景。」从 RTC 到 RTE，就是从基础能力向场景化能力的进化。

在这个端到端实时多模态模型产品化势头初现的时期，声网和 RTE 开发者社区联合发起了第十届 RTE 大会。实时互动与 AI 的结合在当下所能承载的所有想象力，都会在这场大会中现身。

02 AI 浓度拉满，第十届 RTE 大会亮点前瞻

首先，不用怀疑的是，这场 RTE 大会上会有非常多足够有分量的观点交锋。

国内大模型领域在 ToB 方向上走的最深的智谱 AI，以及国内大模型领域在 C 端产品化上最有心得的 MiniMax 将会出现在 RTE 大会上。作为这两年随大模型迅速成长的创业公司，智谱 AI 和 MiniMax 在 RTE 技术在大模型的 ToB 和 ToC 两条路线上发展颇有心得。

而随着大模型开源生态的迅速发展，大量个人开发者从去年开始加入了这一股大模型浪潮，实时对话式 AI 开始成为一个备受开发者关注的产品赛道，通义千问也会带着国内最大开发者生态的经验在 RTE 大会中加入讨论。

除此之外，此次 RTE 大会也不乏业内备受瞩目的创业者身影。全球最受瞩目的 AI 科学家之一，一年前从阿里巴巴离职躬身入局大模型的贾扬清也会出现在此次 RTE 大会的主论坛上，来分享他在 AI 基础设施领域创业 18 个月后的经验心得，以及他对 RTE 与 AI 结合的未来趋势的判断。

本次 RTE 大会也将通过七场行业分论坛的形式，展现一幅最具想象力的 AIGC RTE 行业场景应用图景，包括 AI IoT、教育、泛娱乐、出海、数字化转型等七大行业。50 行业大咖将会现身行业分论坛现场，带来一线的场景实战案例以及极具深度的行业洞察。

场景是技术迭代所结的果实，未来对于新场景的想象力也酝酿在当下技术的前沿趋势中。本次 RTE 大会也在行业场景应用的讨论之外，设置了五场技术专场，分别聚焦在音频技术和 Voice AI、视频技术和 AI 生成、RTC 大模型、空间计算和新硬件、云架构和 AI 时代的 Infra 这五个技术方向，30 的技术大咖和专家学者将会带来自己对所在领域最深入的技术见地。

当然，对于参与到 RTE 大会中的开发者们来说，这里提供的不仅仅是观点和见地。每年 RTE 大会都会为参会开发者设置专属活动，在今年的 Workshop 中提供了用 TEN 开源框架来现场动手搭建拥有音视频理解能力的 AI Agent 的机会，这将为开发者带来更多 AI 实时互动场景创新灵感。

2024 年，实时对话式 AI 火热，而 RTE 大会也迎来了十周年。

时间倒回到十年前，2015 年移动互联网那时在国内还未完全成熟，RTE 大会在十年里见证了直播、在线教育、远程办公这些新的技术场景景一次次以新物种的面目亮相并最终融入了大众生活。在这个过程中, 实时互动技术逐渐成为人们在社交和泛娱乐产品中的基础设施。而随着实时互动行业的发展，走过十年的 RTE 大会已经变得越来越重要，它已经是当下这个领域在全球范围内规模最大、议题最全, 最具影响力的行业大会。

现在，AI 与实时互动的碰撞正涌现出新的技术和产品浪潮。而无论从前沿技术的探讨深度，还是多场景创新应用的丰富性上，今年的第十届 RTE 大会都像极了这样一场「风口浪尖」上的实时互动领域盛会。

这场大会将会展现出这场变革至今为止最锐利最先锋的一面。已经身处这场变革中的开发者们，或者对实时互动即将出现的颠覆性变化感到兴奋的所有人来说，请及时到场。

*头图来源：视觉中国

本文为极客公园原创文章，转载请联系极客君微信 geekparkGO