12月11日,声网 COO 刘斌出席由量子位举办的 MEET2025智能已往大会,并带来了主题演讲,他共享了在及时多模态的趋势下,RTE 的演进奈何助力 AI Agent 诈欺落地,并认为 RTE 将成为生成式 AI 期间 AI 基础步调的关节部分。

在 GenAI 期间,RTE 与 AI Agent 有什么联系?刘斌领先共享了两个事件,其一,本年10月初,声网的兄弟公司 Agora 当作语音 API 合作家出当前了 OpenAI 发布的 Realtime API 公开测试版中。其二,10月底的 RTE2024及时互联网大会中,声网也文书与 MiniMax 正在打磨国内首个 Realtime API。通过这两个事件响应出当下大模子的交互正在走向及时多模态。

及时音视频成为对话式 AI Agent 的关节一环

刘斌认为,在多模态模子推出后,对话的相貌与原本纯文本交互不同,会从异步变为及时双工交互,罢了了很大的飞跃。但在最终诈欺落地的历程中,照旧存在好多客户痛点,比如在执行诈欺场景中,用户的培植平凡无法像发布会演示的那样一直处于固定网罗与物理环境下,大部分Conversational AI Agent 的使用场景是随即的,也即是可能会发在 Anytime Anywhere,比如在开车送完孩子上学之后,这就对大模子及时语音对话中的低延时传输、网罗优化等提议了磨真金不怕火。一般来说,延长在 1.7 秒内会让东谈主嗅觉当然,2 秒多、 3 秒则会让东谈主认为卡顿、反应慢。

其次在模子交互中能否支抓智能打断以及主动交互亦然用户稀疏温雅的一个关节点。要作念到这些,除了模子才气,在诈欺落地点面,需要端到端的才气支抓,不仅需要进修的 VAD 时期来罢了解放打断,更需要一整套的音频高档算法来相沿罢了优雅打断,从而罢了用户体验最佳的东谈主模对话,诚然也需要大意不同的物理环境、复杂的网罗环境、PC、手机以及种种 IoT 末端等。

声网当作公共及时互动云行业的创举者,在音视频规模蕴蓄了深厚的时期上风与场景奉行,通过将 RTE 与 GenAI 鸠合,推出了声网 Conversational AI Agents ,旨在匡助开拓者与企业处治 Agent 诈欺落地的一系列痛点,快速构建适配我方业务场景的 AI 及时语音对话就业。

语音对话延长低至500ms:针对大模子语音交互中普遍存在响当令期长的痛点,声网自研的 SD-RTN™ 及时传输网罗不错罢了公共范围的低延时音视频传输,当前可作念到语音对话延长低至 500ms,并进一步通过更快速的 LLM 推理首字耗时、低延长流式 TTS、同机部署等一系列时期妙技,保证对话的及时性与运动性,达到类似东谈主与东谈主之间边远对话停顿与拒绝。

支抓智能打断:开拓者在构建 AI 诈欺场景时,会将能否支抓随时打断也成为计算大模子智能化的紧迫策动。声网自研的 AI VAD 时期,顺应东谈主类对话的停顿、口吻和对话节拍,支抓 AI 对话历程中随时打断。同期,声网的处治有策动还深度优化 AI 扮装,最猛进度保在意情情怀等关节信息,超拟东谈主确实音色丰富通话体验。

支抓30000+出动末端:在大模子的诈欺落地中,不同的末端培植、操作系统等也会带来不一样的体验,声网的音视频 SDK 经过络续的迭代升级,不错支抓 30 多个平台框架、30000 多末端机型及多样操作系统,包括种种 IoT 培植末端;

跨越的音频处理:在东谈主与东谈主音视频通话的历程中,环境杂音是频繁遭受的一大痛点,影响调换成果。在 GenAI 场景中,环境杂音雷同无法幸免。声网具备业界跨越的音频3A才气,提供 AI 回声摒除、AI 智能降噪、配景东谈主声过滤、音乐检测/过滤、主讲东谈主声纹锁定等自研音频时期,即使在市场、地铁站等嘈杂环境中,也能保证 AI 对话历程不受影响。

纯真可彭胀的 AI Agent 架构:开拓者在构建 AI 诈欺时,常常会阐述自己的喜好大略业务场景遴荐不同的组件搭配 AI Agent。对此,声网的处治有策动给与了纯真可彭胀的 AI Agent架构,兼容市场主流的 ASR、LLM 和 TTS 时期,并具备使命流编排才气,匡助开拓者与企业阐述特定需求定制和彭胀 AI 运转的及时互动体验。

RTE 成为 GenAI 期间 AI Infra 的关节部分

在与大模子厂商合作的历程中,声网也发现想要升迁大模子落地的实用性,现存 RTE 时期栈和基础步调仍有普遍纠正空间。刘斌暗示,只须通过络续的演进,大模子才有契机在多样场景、形态下大范围参与到和东谈主的语音对话中,大模子也将基于云、培植端、旯旮的多维度参与与互助。基于这些才气的纠正和普及,已往 RTE 将成为 GenAI 期间 AI 基础步调(AI Infra)的关节部分。

同期,Gen AI 也在运转 RTE 及时互动的时期变革与体验革命,在东谈主与东谈主的及时互动中,声网一直尽力于于罢了从 QoS 就业质料到 QoE 体验质料的时期变革,在体验层面也从“听获取“变为“听得清”。而在东谈主与 AI 的及时互动中,为了进一步增强体验,RTE 的时期变革也演变为 AI QoE 致使多模态 AI QoE,这背后就包含了声网自研的 AI VAD 才气、降噪才气及网罗优化等一系列时期才气,以使得东谈主与 AI 的对话更合乎执行情况,大模子也从相识内容,造成相识对话东谈主的情感、心情,最终相识对话时的东谈主类意图,终末罢了从“听得懂“到“听「得心」”的体验革命。

在 GenAI 期间,声网的居品体系也在络续加强,刘斌也进一步先容了声网的 AI RTE 居品矩阵,包括 Linux Sever SDK、AI VAD 才气、AI Agent Service 等王人在作念补充与优化。

终末刘斌还先容了声网 RTE + AI 才气全景图,包括 RTE+AI 生态才气、声网 AI Agent、Conversational AI Agents 处治有策动等,全面的展现了声网对 RTE+AI 的举座想考,尽力于于成为 GenAI 期间 AI 基础步调的关节部分。