ElevenLabs научила ИИ-голоса смеяться, шептать и не терять характер

ElevenLabs выпустила Eleven v4 — новую модель для генерации речи. Она точнее выполняет указания в сценарии и сохраняет голос персонажа на протяжении длинных записей.

В текст можно добавить смех, шёпот, паузы, эмоции и звуки вроде хлопка двери. Такие команды поддерживала и предыдущая версия, но теперь модель реже игнорирует их или воспроизводит не к месту.

Eleven v4 анализирует тон, темп и контекст всего сценария. В диалогах реплики учитывают происходящее в сцене, а не звучат как отдельные фразы. Произношение имён и технических терминов можно уточнять обычными инструкциями или фонетической записью.

За один запрос модель обрабатывает до 10 тысяч знаков — это около десяти минут аудио. Аудиокниги и другие длинные проекты всё равно приходится делить на части, однако ElevenLabs обещает одинаковую манеру речи на стыках и после повторной генерации отдельных реплик.

Число поддерживаемых языков выросло примерно с 70 до более чем 90. Клонированный голос должен говорить на них с естественным местным акцентом и не возвращаться постепенно к исходному. Для быстрого клонирования достаточно десяти секунд записи. Снова доступны и профессиональные голосовые клоны, которых не было в Eleven v3.

Отдельная версия Eleven v4 Turbo рассчитана на голосовых помощников, игровые диалоги и звонки в поддержку. По тестам самой ElevenLabs, она начинает воспроизводить речь примерно через 150 миллисекунд. Для сравнения, Cartesia Sonic 3.6 потребовалось 262 миллисекунды, а GPT-4o mini TTS — 814 миллисекунд.

В рейтинге Provider Voice Arena от Artificial Analysis модель v4 обошла Cartesia Sonic 3.6 и Gemini 3.8 Flash TTS. Точность произношения выросла с 85,6% у v3 до 91,7%. Результаты слепых сравнений, опубликованные ElevenLabs, также показывают преимущество новой версии, но это внутренние тесты компании.

Обе модели уже доступны через API, ElevenAgents и ElevenCreative. Стандартная цена составляет $80 за миллион знаков для v4 и $40 для Turbo; до 12 октября действуют сниженные тарифы $22 и $11.