字节跳动旗下的AI应用豆包，在今年的功能升级中展现出了令人瞩目的交互能力。从春节期间的实时语音通话，到5月份新增的视频通话功能，豆包如今已经能够通过多模态交互方式，实现与用户的无缝沟通，仿佛真人一般。
想象一下这样的场景：当你打开视频通话功能，随意对准一面欧洲小国的国旗，豆包便能结合音视频信息，迅速给出正确答案。在通话过程中，你可以自由停顿、思考、甚至改变话题，豆包总能准确把握回复的时机，而当你想要打断它提出新要求时，它也总能立刻响应。
即便在地铁站、电梯、地下车库等网络环境复杂的场景下，豆包的实时交互能力也并未受到影响。它能够保持稳定的响应速度，给出的回答既正确又清晰。这一切的背后，离不开火山引擎RTC（Real Time Communication，实时音视频）技术的支持。
RTC技术专为低延迟互动设计，它涉及音视频的采集与编解码、网络传输、网络自适应等多个模块，确保用户从摄像头、麦克风采集的数据能够清晰流畅地传送至接收方，同时用户也能及时收到对方的音视频反馈。与基于TCP协议的WebSocket方案相比，RTC采用UDP传输，允许一定程度的丢包以保证速度，因此具有更低的延迟和更强的抗弱网能力。
火山引擎的RTC技术自2017年开始研发，最初用于满足抖音直播连麦等需求，随后在字节内部的音视频通话、社交娱乐、游戏、在线会议等场景广泛应用。随着生成式AI的爆发，RTC技术迎来了新的发展机遇。2024年初，火山引擎推出了基于RTC的对话式AI技术方案，为豆包的交互体验升级提供了重要支撑。
在豆包的对话式AI场景中，RTC技术不仅实现了低延迟、高质量和抗弱网的音视频交互体验，还针对人与机器交流的特点进行了针对性的升级和优化。例如，在视频处理层面，豆包需要分析帧间联系与时序，保证语义连续，因此火山引擎对视频理解与关键帧提取算法进行了不断优化。在对话处理层面，引入了智能语义判停与声纹降噪算法，使AI能够准确判断用户话语的完整性，并在嘈杂环境中聚焦目标说话者，屏蔽环境人声及噪声干扰。
这些改进让豆包在音视频通话中展现出了更接近人类的特征，用户在与豆包对话时能够获得更加流畅、自然、贴近真实互动的使用感受。随着大模型与AI应用的日渐成熟，音视频已成为新一代AI交互中不可或缺的一部分。在虚拟陪伴、智能玩具、智能家居、智能教育等广阔场景中，用户对于低延时、高质量、自然流畅的人机对话需求与日俱增。
火山引擎的RTC技术作为能够支撑复杂场景实时音视频交互的底层传输技术，正是保障这些用户体验的关键。它不仅在豆包中得到了应用，还为所有AI时代的产品提供了重要价值。企业通过火山引擎接入RTC，使用的就是与抖音、飞书同款的算法、架构与策略。这大大降低了企业自建集成方案的门槛，减少了网络传输与音视频处理能力的投入，同时也降低了云服务资源消耗和深度音频算法调优的成本。
火山引擎还为开发者提供了每月10000分钟的免费额度，进一步降低了开发者的前期验证与迭代成本。开发者无需从零开始搭建复杂架构，即可实现用户与AI的实时音视频互动，构建契合业务场景的AI实时对话能力。这一切使得RTC技术成为对话式AI场景中的优选方案，让企业能够更加专注业务创新，以更低成本、更快速度落地语音与音视频能力。
文章采集于互联网