> 自媒体 > (AI)人工智能 > 每日AI进展:不用多模态gpt4o, 如何实现500ms延迟语音聊天机器人
每日AI进展:不用多模态gpt4o, 如何实现500ms延迟语音聊天机器人
来源:AIGC研究社
2025-02-04 16:27:10
198
管理

GPT4o发布之后,很多人注意到它主打的一个卖点就是通过端到端优化达到比较小的延迟,虽然实测下来,这个延迟未必能达到300ms,如openAI自己在博客上宣传的那样低,但基本上可以做到一秒左右,那么问题来了,如果不用这种多模态模型,是不是也能达到同样的低延迟的语音交互的效果呢?

首先要问,为什么不用多模态模型呢?在实际应用中,语音交互的对话逻辑可能会比较复杂,比如除了有模型处理的,也可能还有一些规则进行处理的,规则往往是必要的,对一些高频的或者说很丢人的错误,需要通过规则很快的Fix,那这时候通过语音识别,语言模型和语音合成这种三阶段的系统就还是有用武之地的。

第二,如何做到延迟很小?多模态模型的延迟较小,因为它是端到端进行流式优化的。但是语音识别、大语言模型或者语音合成这些组件模型,在设计的时候往往也考虑了流式的处理和输出,所以,如果三个组件都能流式处理,那么延迟和端到端的流式估计也差不了多少。

从具体实现上来讲,在调用语音识别服务的时候,要把句尾的静音检测的时间设短一点,比如200ms,在调用语言模型的时候,充分使用最新的语言模型推理的优化措施,比如量化推理,连续批处理,在比较好的硬件上执行等,语言模型的推理可以做到100ms输出第一个令牌,在调用语音合成服务的时候,采用比较快的语音输出服务,比如Azure TTS,首帧也能做到200ms左右,还有一些小的技巧,比如尽可能将第一句输出的快一点,句子的长度短一点,可以达到更优的效果,此外,在代码实现上,这三个服务最好是都在同一个物理区域,那么网络连接的延迟降到最小,做到以上这些,那么端到端的语音对话延迟在500ms左右,应该是可以做到的。参看

https://learn.microsoft.com/en-us/azure/ai-services/speech-service/how-to-lower-speech-synthesis-latency?pivots=programming-language-csharp

下面是网友统计的优化过的三阶段系统的各个组件的延迟时间

喜欢别忘了点赞和关注我,获取更多AI工具、AI前沿信息、商务交流沟通:

0
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。 凡本网注明 “来源:XXX(非本站)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。 如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。 QQ:617470285 邮箱:617470285@qq.com
相关文章
20款新车上市;小米汽车二期工厂部分地基已建成;长安汽车称阿维塔有独立上..
图片系AI生成一周核心新闻快速一览:1、小米汽车二期工厂部分地基已建成2..
史上最快的 10 款本田汽车
史上最快的 10 款本田汽车,按最高速度排名第一代本田 NSX 是本田历史上..
造电视的企业都来造汽车了!新能源汽车变成唐僧肉,谁都能啃一口..
2024年,有些人才发现创维(就是造电视的那个企业)居然也在造汽车。而实..
广汽丰田一汽丰田召回超13万辆汽车!制动执行器存安全隐患..
9月29日,南都记者从国家市场监督管理总局获悉,自即日起,广汽丰田汽车..
一辆汽车的寿命有多长,15年以上的车真不能开了吗?那15年后咋办..
大家都听说过"车子过了15年就是一堆破铜烂铁"这样的说法。但是真的就只有..
华为终于掏出了享界S9,40万的行政级轿车开起来啥样?..
噔噔噔,昨天下午华为又发了一堆新品,有手机,有电脑,有耳机等一堆东西..
北京BJ60增程版-油耗仅1.3L 续航1200kmPk坦克500
北京越野BJ60增程版很快就要上市了!据4S店销售透露,该车定价大概率会与..
“红米”汽车,来了?
小米最近话题是真的多,前脚盘完手机,回头一看,汽车的料又来了。就上周..
产销量超3000万辆,新能源汽车下个战场在哪里?
文 | 节点财经,作者 | 九才“在时间面前,一切技术障碍都是纸老虎”。十..
关于作者
加勒比海盗..(普通会员)
文章
875
关注
0
粉丝
0
点击领取今天的签到奖励!
签到排行

成员 网址收录40399 企业收录2981 印章生成237257 电子证书1051 电子名片60 自媒体49439

@2022 All Rights Reserved 浙ICP备19035174号-7
0
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索