ElevenLabs 是一家专注于 AI 语音克隆和文本转语音 API 的初创公司，近日宣布推出用户可以构建完整对话式AI智能体的新功能。
用户现在可以在 ElevenLabs 的开发者平台上，依据自己的需求，定制对话智能体的多种变量，比如语音语调和回复长度。
ElevenLabs 过去主要提供不同的语音和文本转语音服务。公司增长主管 Sam Sklar 在接受 TechCrunch 采访时表示，许多客户早已在使用该平台创建对话式AI智能体。但在集成知识库和处理客户中断方面是最大的挑战。因此，ElevenLabs 决定构建一个完整的对话机器人管道，以便简化这一过程。
用户可以通过登录 ElevenLabs 账号，选择模板或创建新项目来开始构建对话智能体。他们可以选择智能体的主要语言、首条消息和系统提示，以确定智能体的个性。
此外，开发者还需选择大型语言模型（如 Gemini、GPT 或 Claude）、响应的温度(决定创意性)以及令牌使用限制。
用户还可以根据自己的需求添加知识库，如文件、URL 或文本块，以增强对话机器人的能力。同时，他们可以将自己的自定义大型语言模型与该机器人集成。ElevenLabs 的 SDK 兼容 Python、JavaScript、React 和 Swift，此外，该公司还提供 WebSocket API，便于进一步定制。
公司还允许用户定义数据收集标准，例如与智能体对话的客户姓名和电子邮件，并使用自然语言定义通话的成功与否评估标准。
ElevenLabs 正在利用其现有的文本转语音管道，同时也在为新对话式人工智能产品开发语音转文本功能。目前，该公司并未单独提供语音转文本 API，但未来可能会推出，从而与谷歌、微软和亚马逊等公司的语音转文本 API 竞争，以及与 OpenAI 的 Whisper、AssemblyAI、Deepgram、Speechmatics 和 Gladia 等专业 API 展开竞争。
该公司计划以超过30亿美元的估值筹集新一轮资金，且正与其他语音 AI 初创企业如 Vapi 和 Retell 展开竞争，这些公司同样在构建对话智能体。更重要的是，ElevenLabs 将与 OpenAI 的实时对话 API 竞争。不过，ElevenLabs 相信其定制化能力和切换模型的灵活性，将使其在竞争中占据优势。
划重点:
💬 ElevenLabs 推出了构建对话式AI智能体的新功能，允许用户自定义多种变量。
📚 用户可以添加知识库以增强智能体能力，并将自定义大型语言模型与之集成。
🚀 ElevenLabs 计划以超过30亿美元的估值筹集资金，并与 OpenAI 等竞争对手展开竞争。