ElevenLabs научила ИИ дублировать видео так, чтобы голос звучал как настоящий

ElevenLabs выпустила Dubbing v2 — новую модель для автоматического дублирования аудио и видео на 90+ языков. Главная особенность: система не просто переводит текст, а копирует интонацию, темп и эмоции оригинального говорящего.

Старые AI-дубляжи работали иначе. Они брали готовый текст перевода и озвучивали его заново — в итоге голос получался плоским и безжизненным, без живой речи. Dubbing v2 анализирует само выступление: как человек делает паузы, где повышает голос, как говорит в определённый момент. И воспроизводит это на другом языке.

Демо показывает, как YouTuber MrBeast говорит на нескольких языках — интонация и манера речи остаются узнаваемыми. В другом примере японский текст звучит без акцента и без ощущения «переведённости».

Синхронизация — тоже автоматическая. Система подстраивает длину фраз под тайминг оригинала, чтобы не нужно было вручную подгонять дорожки.

По словам ElevenLabs, профессиональный дублирующий проект стоит огромных денег и требует переводчиков, актёров озвучки, редакторов и звукорежиссёров. Dubbing v2 должен убрать большую часть этой цепочки.

Сервис уже доступен в тарифах ElevenCreative и ElevenProductions. API появится позже. Правда, цена кусается: за $22 в месяц дают всего 9 минут дублирования — пользователи в комментариях это уже заметили.