Синтетические актеры Deepfake выходят на экран рядом с вами

Shuttersv/Shutterstock.com

Первый фильм, «Сцена в саду Раундхей», был снят чуть более 130 лет назад. В то время люди, которых мы видели в фильмах с живыми актерами, были реальными людьми, но с появлением компьютерной графики это начало меняться.

Мы покидаем зловещую долину

Человеческие лица было труднее всего убедительно воспроизвести с помощью компьютерной графики (CG) или даже практических спецэффектов. Человеческий мозг настолько приспособлен к распознаванию лиц, что мы видим лица, которых даже нет. Обманывать зрителей, заставляя их поверить в то, что лицо компьютерной графики реально, почти никогда не работает, а некоторые из них попадают в так называемую «зловещую долину».

Зловещая долина — это точка в континууме лицевого реализма, где нас начинает пугать искусственные человеческие лица. Некоторые фильмы, например Полярный экспресс, печально известны этим. Достижения в вычислительной мощности и методах рендеринга, а также решения для машинного обучения, такие как дипфейки лица, меняют эту ситуацию. Даже графика в реальном времени на современных игровых консолях может быть очень близкой к фотореалистичным лицам.

То Матрица пробуждается Демонстрация Unreal Engine 5 демонстрирует это потрясающим образом. Он работает на скромной домашней консоли, но во многих сценах реалистичными выглядят как репродукции реальных актеров, так и оригинальные компьютерные персонажи. Еще один фантастический пример — серия антологий Netflix. Любовь, смерть + роботы. В некоторых эпизодах есть компьютерные лица, которые невозможно классифицировать как компьютерные или настоящие.

Золотой век захвата производительности

Gorodenkoff/Shutterstock.com

Покинуть зловещую долину — это больше, чем просто сделать фотореалистичное лицо. Вы также должны правильно передать лицо и тело персонажа. Кинематографисты и разработчики видеоигр теперь имеют инструменты для точного захвата движений и мимики таких актеров, как Энди Сиркис, который специализируется на цифровых представлениях.

Большая часть новаторской работы была очевидна в Джеймсе Кэмероне. Аватар, который актуален и сегодня. Но нет недостатка в отличных современных работах по захвату движения, которыми можно восхищаться. Танос из кинематографической вселенной Marvel — еще один примечательный и недавний пример.

Сила захвата представления заключается в том, что исполнитель вовсе не должен выглядеть как персонаж компьютерной графики. Они даже не обязательно должны быть одного вида! Это также означает, что один актер или небольшая группа актеров может сыграть целый набор персонажей. У вас также могут быть актеры и каскадеры, предоставляющие данные о движении для одного и того же персонажа.

Глубокие подделки голосов совершенствуются

Создание правдоподобного синтетического актера — это больше, чем фотореалистичная визуальная постановка. Актеры используют свои голоса для завершения своих выступлений, и это, возможно, так же важно, как и все остальное вместе взятое. Если вы хотите дать своему компьютерному актеру голос, у вас есть несколько вариантов.

Вы можете использовать голосового актера, и это нормально, это оригинальный персонаж. Если вы воссоздаете персонажа, чей оригинальный актер все еще жив, то вы можете просто дублировать его вокальное исполнение. Вы также можете использовать подражателя, когда возвращаете кого-то, кто скончался или у кого серьезный конфликт в расписании. В «Изгое-один», когда мы встретили воскресшее подобие Питера Кушинга в роли гранд-моффа Таркина, Гай Генри озвучил и зафиксировал исполнение.

Самый интересный пример связан с появлением Люка Скайуокера в образе самого себя в молодости в мандалорец (и позже в Книга Бобы Фетта). Вместо того, чтобы записывать реплики Марка Хэмилла для сцены, в которой использовался дублер с лицом компьютерной графики, было использовано программное обеспечение AI.

Приложение называется Respeecher, и, загружая в него записанный материал Марка Хэмилла той эпохи его карьеры, можно было создать его синтетическую копию. Нет никаких сомнений в том, что аудио дипфейки прошли долгий путь за короткое время, поскольку большинство людей даже не осознавали, что на самом деле они не слушали Хэмилла.

Появляются дипфейки в реальном времени

Дипфейки становятся настоящей конкуренцией традиционным CG-лицам. CG лицо Люка Скайуокера в мандалорец выглядело не очень хорошо, но ютуберы Shamook использовали технологию дипфейка, чтобы украсить это лицо, перетащив его на более приятную сторону зловещей долины. VFX YouTubers Corridor Crew пошли еще дальше и пересняли всю сцену со своим собственным актером, используя технологию дипфейка вместо лица компьютерной графики.

Результаты поразительны, но даже высокопроизводительным компьютерам требуется много времени для создания дипфейкового видео такого качества. Это совсем не похоже на требования к рендер-ферме современной компьютерной графики, но это также не тривиально. Тем не менее, мощность компьютеров неуклонно растет, и теперь стало возможным делать определенный уровень дипфейков в режиме реального времени. По мере того, как специализированные компьютерные чипы машинного обучения улучшаются, в конечном итоге может быть намного быстрее, дешевле и реалистичнее использовать технологию дипфейков для обработки лиц синтетических актеров.

ИИ может создавать оригинальные лица

Этот человек не существует

Каждый может узнать Брэда Питта или Патрика Стюарта, потому что сотни раз видел их лица в фильмах и на телевидении. Эти актеры используют свои настоящие лица для изображения персонажей, и поэтому мы ассоциируем их лица с этими персонажами. В мире 2D- и 3D-анимации или комиксов все по-другому. Художники создают персонажей, которые не похожи ни на одного реального человека. Ну хоть не специально!

С программным обеспечением ИИ теперь можно делать что-то подобное с фотореалистичными человеческими лицами. Вы можете перейти к This Person Does Not Exist и создать реалистичное лицо того, кто не является реальным, за считанные секунды. Face Generator идет еще дальше и позволяет вам настраивать параметры вашего воображаемого человека. Если эти лица все еще кажутся вам немного фальшивыми, ознакомьтесь с программным обеспечением NVIDIA для создания лиц AI StyleGAN, которое доступно всем как программное обеспечение с открытым исходным кодом.

Сгенерированные лица, подобные этим, можно комбинировать с синтезированными голосами и захватом исполнения, чтобы получить персонажа, который не похож ни на одного из реально существующих актеров. В конце концов, нам может не понадобиться человек для обеспечения производительности. Обещая будущее, в котором кукольник, контролирующий синтетический состав, сможет рассказывать целые истории.

Правда страннее, чем вымысел

В фильме 2002 г. S1m0ne, Аль Пачино играет режиссера, который обнаруживает экспериментальное программное обеспечение, которое позволяет ему создавать полностью искусственную компьютерную актрису. Он манипулирует ею до славы, но в конце концов маска сползает, и мир обнаруживает, что они лебезили перед кем-то, кого никогда не существовало.

Траектория развития технологий в реальном мире сегодня делает актрису, подобную Симоне, реальной возможностью в какой-то момент, а не научной фантастикой. Единственная разница в том, что Симону нужно было держать в секрете, иначе общественность взбунтовалась. В реальном мире мы все будем знать, что наши актеры синтетические, нам просто все равно.