语音AI领域正持续升温,随着更多商业模式通过合作与收购浮出水面,各大头部厂商都在努力巩固自身地位。Deepgram是最新一个采取此类行动的公司:该公司周四宣布将收购Daily,后者是最受欢迎的开源语音AI基础设施之一Pipecat的开发者与维护者。

两家公司并未披露具体交易金额,但表示将继续保持Pipecat的开源属性。

对于不熟悉的读者来说,Pipecat是一个用于管理语音和视频流及处理流程中其他组件(如语音转文本STT、大语言模型以及文本转语音TTS模型)的框架,同时能够降低延迟。其开发商Daily则为各类语音和视频通话提供托管基础设施。

通过Pipecat,Deepgram有望更深入地理解实时语音和视频基础设施。

根据PitchBook数据,Daily迄今已从老虎环球基金、Highfield Capital、Nat Friedman、Lachy Groom以及Kevin Weil等投资者处筹集了超过6200万美元资金。今年早些时候,Deepgram通过1.3亿美元的C轮融资跻身独角兽行列。值得一提的是,两家公司都曾是2016年Y Combinator同一批次的成员。

Daily联合创始人Kwindla Kramer表示,大约在GPT-4发布前后,公司开始尝试通过语音和文本进行AI与人类的通信实验,这最终促成了Pipecat框架的诞生。他指出,尽管此前曾收到不少收购意向,但他更看重Deepgram首席执行官Scott Stephenson承诺永久保持Pipecat开源的态度,而且两家公司的工程文化十分契合,这让Daily团队在更大的组织架构中能够自由地参与技术栈不同部分的工作。

“Scott对保持Pipecat开源和供应商中立这件事非常坚定,我认为这背后既有个人层面的承诺,也有商业层面的驱动力。如果你身处一个快速发展的生态系统中心,并且这个生态系统中有很多部分恰好是你公司真正做得最好的,那么保持一切尽可能开放,本身就是一种商业优势。”Kramer向TechCrunch表示。

Stephenson表示,Deepgram一直以来都希望参与开源领域的工作,公司意识到智能体的编排框架是一个潜在的发展方向,这促使公司决定与Daily展开合作。

“我们希望开放这个生态系统,让每个人都能构建语音智能体。如果你使用Deepgram的模型固然很好,但我更希望你能根据自己的应用场景选用最合适的模型。如果Deepgram发现自身模型和产品在某些领域还有差距,那也没关系。我们希望大家使用合作伙伴的方案,同时我们自己也会在这些领域持续改进。”他说道。

Stephenson表示,此次收购让开发者能够通过接入不同模型以及连接各个组件的上下文总线,构建具有表现力的智能体和端到端语音系统。

对Deepgram而言,这笔交易还让公司能够借助Pipecat拓展语音以外的领域,因为该框架本身就支持多种格式的实时通信。

“我们从未将Pipecat视为单纯的语音工具包。我们把它看作是构建这种全新AI原生软件所需要的工具包。正因为我们的技术源头,我们一直以来默认考虑的就是实时性。”Kramer说道。

Deepgram还推出了实时上下文标准(Real-Time Context Standard,简称RCS),这是一项与Pipecat团队共同开发的、面向语音智能体的开放协议。该协议定义了诸如来自音频的上下文元数据(例如低声细语)、指导语言模型如何利用这些信号的指令,以及关于响应应呈现何种语气的指导规范。

语音AI领域在模型和基础设施两方面都获得了大量投资。像ElevenLabs、Gradium和Fish Audio这样的模型开发商已经筹集了数百万美元资金。另一方面,LiveKit和Vapi等基础设施公司今年也完成了数千万美元级别的融资。

TechCrunch - AI