杰克·多西旗下公司Block的研究实验室发布了一款新的语音模型,该模型可在本地运行,发出的声音带有笑声、停顿和哭泣等表达方式,听起来异常接近真人。该公司表示,这款名为Dessa的模型完全基于人类语音数据训练而成,且只需一块英伟达GPU即可运行。

Dessa是一款全双工模型,这意味着它可以同时进行说话和倾听,这一点与OpenAI今年早些时候发布的GPT-Live模型类似。通常,语音模型需要搭配大语言模型来实现知识检索,而Block表示,Dessa的知识来源于其自身积累的对话数据。

Block指出,目前的语音模型往往听起来不自然且令人厌烦,原因在于这些模型在处理流程中依赖文本来驱动语音生成。许多模型,比如ElevenLabs v4或Fish Audio Drama 3,都使用语音标签来驱动语音生成中的情感表达。而多西的公司则声称,情感已经被内置于其模型之中,不过目前尚不清楚这种情感表达是否仍由某种标签驱动。

该公司在一篇博客文章中写道:"与现有语音AI交互的体验可能相当糟糕。它把你的声音转换成文本,却丢弃了大量文本本身无法承载的信息。目前世界上最强大的AI都无法听出你的情绪状态。我们认为这十分不合理,不仅会导致更差的使用体验,还可能存在潜在风险。"

该公司的研究人员发布了多个与Dessa对话的示例,展示了该智能体在不同场景下呈现出的不同声音、语速和情感状态。例如,在一段对话中,机器人表示自己因为工作而感到疲惫,此时它的声音听起来确实带有倦意。

在下面的示例中,机器人在谈到让某人感到安心的话题时,声音显得十分动情,几乎要哽咽。

另一个示例展示了Block团队成员与语音助手进行游戏互动的场景。

该公司表示,这款模型可以在消费级计算机上本地运行,例如配备M4 Max芯片或更高配置的MacBook。不过,目前公众还无法访问Dessa,Block已经发出呼吁,希望安全研究人员对该模型进行测试,这很可能是为了测试语音智能体是否可能在对话中欺骗交流对象的情况。

Block的主营业务是金融服务,并向小型企业出售相关解决方案。旗下的Square已经在使用语音AI来处理订单业务。而凭借这款可在设备端运行的自研语音模型,该公司有望以更低的成本为更多商业和消费场景提供支持。

TechCrunch - AI