新独角兽公司！人工智能语音合成公司ElevenLabs融资8000万美元
近日，据海外媒体报道，人工智能语音技术公司ElevenLabs宣布已完成8000万美元的B轮融资，在完成此轮融资后，ElevenLabs的估值在成立至今的2年时间里增长了10倍，投后估值达到了11亿美元。在仅仅6个月前，ElevenLabs当时获得了1900万美元的A轮融资，当时的估值为1亿美元。
此轮融资由公司的现有股东Andreessen Horowitz、GitHub前首席执行官Nat Friedman、苹果公司前人工智能负责人Daniel Gross共同领投，其他投资者包括了Sequoia Capital和SV Angel。
据报道，ElevenLabs已经掌握了使用机器学习进行不同语言的语音克隆和合成的技术。公司表示，计划利用新的资金推进研究，并在已经提供的产品基础上进一步发展。另外，ElevenLabs还发布了一系列新功能，包括为长电影进行配音的工具，以及一个新的在线市场，用户可以在这个市场上出售他们克隆的声音来获得收益。预计这些新功能将在未来几周内正式推出。
在一个充满各种方言和语言的世界里，想要为每个人进行内容的本地化是不太可能的。传统的做法是专注于英语或某种主流语言，同时为有增长潜力的特定市场聘请配音师。然后，艺术家们用选定的目标语言进行内容录制，以便分发。但是问题是，这些人工配音内容与原始内容在效果和体验上相差甚远。即使有了这些能力，也不可能扩大内容覆盖的范围，尤其是当制作团队不是那么大的时候。
来自Google的机器学习工程师Piotr Dabkowski和Palantir的前部署策略师Mati Staniszewski都来自波兰，当他们看到配音糟糕的电影时，他们亲身感受到了这些问题。而正是这些问题激发了他们创办ElevenLabs公司，这家公司的使命是利用人工智能的能力，以任何语言和声音让所有内容都能被人们普遍访问。
在2022年，ElevenLabs正式对外发布。在公司的最初阶段，ElevenLabs用一个文本到语音的模型合成了自然的英语人工智能声音，这引起了业内的轰动。在这之后，这个模型扩展到Eleven Multilingual v1和v2，引入了对更多语言的合成支持，包括波兰语、德语、西班牙语、法语、意大利语、葡萄牙语和印地语。同时，ElevenLabs还开发了一个语音实验室，用户可以克隆自己的声音或生成全新的合成声音（通过随机采样声音参数）与合成工具一起使用。这使用户能够将自己选择的文本，如播客的脚本，转换成他们喜欢的声音和语言的音频内容。
Mati Staniszewski向海外媒体表示，ElevenLabs的技术结合了上下文感知和高压缩，可以提供超逼真的语音。ElevenLabs的专有模型不是一个接一个地生成句子，而是用来理解单词之间的关系，并根据更广泛的上下文调整交付。它也没有硬编码（hardcoded）的功能，这意味着它可以在生成语音时动态预测数千种语音特征。
在发布测试版工具的几个月内，ElevenLabs获得了巨大的吸引力，很快就获得了超过一百万的用户。公司还在其人工智能语音研究的基础上推出了人工智能配音（AI Dubbing），这是一种语音到语音的转换工具，允许用户将音频和视频翻译成29种不同的语言，同时保留原始说话者的声音和情绪。截至目前，ElevenLabs的客户中有41%是财富500强企业。这其中还包括知名的内容出版商，如Storytel、《华盛顿邮报》和TheSoul Publishing等。
Mati Staniszewski表示，我们不断建立新的B2B合作伙伴关系，迄今已建立了100多个合作伙伴。人工智能语音具有广泛的适用性，从使创作者增强观看者体验，到扩大到教育领域，并在出版、娱乐和无障碍体验方面提供创新解决方案。
如今，随着用户基础的不断增长，ElevenLabs也在寻求产品方面的创新，为用户提供最好的功能。这就是全新的配音工作室（Dubbing Studio）工作流产品的由来。该产品建立在人工智能配音产品的基础上，为专业用户提供了一套专用的工具，不仅可以用他们选择的语言对整部电影进行配信，还可以生成和编辑他们的翻译和时间码，从而可以对内容的生产进行额外的动手控制。目前该产品支持29种语言。这意味着，如果一个电影是用该工具本地化的，它只会用目标语言为音频配音，视频中的人物嘴唇运动将保持原封不动。
除了配音工作室（Dubbing Studio），ElevenLabs还推出了一款辅助应用，可以将文本或URL转换为音频，以及一个语音库或市场，让用户可以出售他们的人工智能克隆语音来获得收益。ElevenLabs让用户可以灵活地定义人工智能语音的可用性和补偿条款，但同时指出，共享语音将是一个涉及不同验证层的多步骤过程。此举将为用户提供更广泛的语音模型，同时为这些语音模型的创造者提供获得收益的机会。
Mati Staniszewski表示，在分享声音之前，用户必须在特定的时间范围内通过语音验证码，通过阅读文本提示来确认他们的声音与训练样本相匹配。再加上ElevenLabs团队的审核和人工审批，确保了真实的、经过用户验证的声音可以被分享和货币化。未来几年，我们的目标是在语音人工智能研究和产品部署方面建立全球领导者的地位。我们还计划为专业用户和用例开发越来越先进的工具。
延伸阅读：
Powered by Froala Editor
