ИИ-липсинк и человеческая озвучка: новый подход стримингового сервиса от Amazon

Применение ИИ в креативных отраслях вызывает бурную реакцию, и не всегда позитивную. Некоторые компании прислушиваются к противникам искусственного интеллекта и демонстративно отрекаются от него, однако не все готовы полностью отказаться от современных технологий.

Новый подход к дубляжу в стриминговом сервисе Prime Video мог стать компромиссом в ответ на такой сентимент. Дочерняя компания техногиганта Amazon решила совместить человеческую озвучку на английском и ИИ-липсинк. Другими словами, актёры дубляжа выполняют свою работу как обычно, а ИИ только подстраивает видеоряд под аудио. Этот подход пока что тестируют на одном романтическом сериале под названием Maxton Hall. Однако это не малоизвестная передача, а самое популярное зарубежное шоу собственного производства платформы — в оригинале актёры говорят на немецком, но сериал локализуют и для фанатов из других стран.

Такая методика отличается от «традиционного» подхода к применению ИИ в дубляже: обычно ради экономии средств и времени машине в первую очередь передают саму озвучку. Липсинк, где меняется и видео, тоже используется, но вместе с синтезированной ИИ речью. С другой стороны, само по себе сочетание ИИ и человеческого дубляжа уже встречалось в разных видеопродуктах. Например, в 2025 году компания Flawless выполнила ИИ-липсинк шведского научно-фантастического фильма Watch the Skies: актёры сами переозвучили фильм на английском для показа в кинотеатрах США и добавления в каталог того же Prime Video. Тем не менее, такой подход оставался нишевым. Теперь Amazon решил вложиться в эту технологию более основательно и продублировать все 3 сезона сериала Maxton Hall — а это 18 серий примерно по 45 минут.

Мнения: решение спорное

Новый подход вызвал неоднозначную реакцию. Вскоре после релиза новости фанаты сериала начали выражать своё недовольство в социальных сетях. Например, в сообществе, посвященном сериалу, на платформе Reddit самым популярным комментарием оказался такой:

Перевод: «Prime Video, если вы это читаете, знайте: нас это бесит».

Любители технологий также не выразили единогласной поддержки:

Перевод: «Я не типичный для сообщества r/technology ИИ-ненавистник, ИИ-технологии для видео и изображений кажутся мне интересными и впечатляющими с технической точки зрения. Но у них все равно много недостатков. Здесь, наверно, будет отталкивающий эффект «зловещей долины».

Главное опасение зрителей и сторонних наблюдателей — неестественность. Хотя современные ИИ-модели создают крайне реалистичные короткие видео, небольшие детали иногда их выдают. В длинном сериале промахи будут бросаться в глаза намного сильнее, ведь лица актёров почти постоянно находятся в фокусе. Даже невнимательная аудитория рано или поздно заметит странности в мимике.

Более серьёзная проблема — соблюдение законов в отношении таких модификаций. В случае c Maxton Hall компания утверждает, что ИИ применяется под «креативным надзором», чтобы не исказить творческий замысел. Однако крупные актёрские гильдии уже давно обеспокоены легальной защитой от использования ИИ в отрасли развлечений. В 2024 году американский профсоюз SAG-AFTRA устроил забастовку из-за применения ИИ в видеоиграх, которая длилась почти год. Хотя в этой ситуации были затронуты актёры озвучки и актёры захвата движения (motion capture), сама организация представляет интересы артистов из разных сфер, прежде всего кино, радио и телевидения. В начале 2025 года немецкий союз BFFS заключил соглашение по ИИ после нескольких месяцев переговоров: технологию можно применять только с согласия актёров и за соответствующую компенсацию.

Но есть и позитивные аспекты. Прежде всего, этот подход сильно упрощает работу переводчикам и актёрам озвучки: не нужно подстраиваться под движения губ в оригинале. А кропотливое исправление множества видеокадров — это как раз та нетворческая и монотонная работа, которую не жаль передать машине. Однако противники ИИ считают, что результат не настолько улучшает конечный продукт, чтобы тратить на него ценные вычислительные ресурсы.

Перевод: «Это никому не нужно, создали проблему на ровном месте, лишь бы использовать ИИ».

ИИ-липсинк в России

Комбинация ИИ-липсинка и человеческой озвучки пока что не применялась для официального дубляжа кино или телешоу на русский или с русского. Однако можно сделать некоторые предположения о применении такого метода.

Особенности ИИ-липсинка для русского языка. Прежде всего, нужно учитывать особенности языковых пар. Для Maxton Hall это на данный момент немецкий и английский, которые сильно отличаются по типичной длине фраз, но не слишком далеки по артикуляции звуков. Вероятно, что ИИ будет в основном урезать актёрскую мимику — персонажи сериала будут больше молчать или говорить медленнее. Но если бы Maxton Hall локализовали на русском, то ИИ пришлось бы не столько подстраивать длину реплик, сколько сильно трансформировать артикуляцию. Поскольку это разные задачи, нельзя просто взять эту технологию и сразу же применить её. Чтобы получить качественный, более естественный результат, понадобилось бы подобрать или натренировать ИИ-модели именно для русского языка. У разных языков разная степень сходства, так что в каких-то парах это будет легче, а в каких-то труднее. Например, для испанских теленовелл ИИ-липсинк может оказаться удачным решением, а для корейских дорам вряд ли подойдет.

Правовые аспекты ИИ-липсинка в России. Что касается юридических аспектов, в законодательстве РФ есть общие положения, которые потенциально применимы к ИИ-липсинку: законы об авторских правах, биометрических данных и охране изображения гражданина. Там описываются и случаи, когда согласие человека на использование его изображения не требуется, — в том числе если он позировал за плату. Этот пункт на практике может быть по-разному отражён в договорах исполнителей, что перекликается с тревогами американской и немецкой актёрских гильдий. При этом в России ИИ уже используется в сфере развлечений и обсуждается на профессиональном уровне: например, в 2025 году прошел семинар «Как я перестал бояться ИИ» для Гильдии кинооператоров Союза кинематографистов России.

Таким образом, в будущем мы увидим, как наша индустрия кино и телевидения тоже не просто приспосабливается к искусственному интеллекту, а уточняет границы его применения и решает задачи, уникальные для ИИ-локализации на русский язык.