Чтобы создать дипшейки, необходимо отредактировать как исходное видео, так и результирующее. Чтобы быстро вырезать фрагмент вашего видео и превратить его в GIF-анимацию, Movavi Video Editor Plus — самый простой способ сделать это. Специально для таких случаев в приложении есть инструмент, который автоматически определяет и вырезает отдельные сцены.
Deepfake. Реализация технологии замены лиц в видео. Часть 1
Привет всем, я работаю с производственными моделями, один из моих проектов — разработка DeepFake. Я планирую написать несколько статей об этом проекте. Эта статья — первая, в которой я расскажу о возможных архитектурах, их преимуществах и недостатках. Среди существующих подходов к DeepFake можно выделить следующие:
Архитектура на основе системы кодер-декодер.
Энкодер-декодер архитектура
Этот подход может относиться к методам производства на основе самокодирующих устройств. Она объединяет использование пиксельных потерь (входное изображение сравнивается пиксель за пикселем с выходным изображением, оптимизируются MSE, MAE и другие функции потерь), и это определяет преимущества и недостатки данной системы. Преимуществом является то, что автоматические кодировщики относительно легко обучаемы (по сравнению с GAN). Минус: метрическая оптимизация пикселей не обеспечивает фотореалистичных свойств, сравнимых с другими методами (опять же, по сравнению с GAN). Первый вариант, который я протестировал, был системой с двумя декодерами. Более подробную информацию можно найти здесь, архитектура показана на следующем рисунке.
Идея этого подхода заключается в следующем: Используется система кодер-декодер с одним кодером и несколькими декодерами, где каждый декодер может создавать изображения только одного человека. Такой подход ограничивает возможности использования модели, поскольку для каждого нового человека, которого мы хотим создать, необходимо обучать отдельный декодер. Для некоторых сценариев это не критично, например, для производства рекламных роликов. Но для приложения, где пользователь хочет создать DeepFake с собственным участием, эта система не подходит, поскольку пользователь вряд ли захочет ждать часами, пока отдельный декодер обучается для него. Плюсом является его относительная компактность — в отличие от других подходов, нет необходимости создавать и обучать дополнительные сетки (или находить готовые и настроенные сетки) для кодирования внешнего вида. Но ограничение «отдельный декодер для каждого человека» ограничивает применимость этой архитектуры, поэтому мы должны рассмотреть следующее.
Condtional Autoencoder
Система показана на рисунке ниже. Более подробную информацию можно найти здесь.
Условная архитектура VAE
Идея этого подхода заключается в следующем: Изображение и вектор признаков подаются на вход кодера. Вектор размерности latent_dim, который является выходом кодера, и вектор признаков подаются на вход декодера. Признаком может быть любое свойство, характеризующее изображение, например, наличие или отсутствие улыбки (и других эмоций), поворот головы вправо или влево, внешний вид человека и т.д. Поскольку вектор признаков поступает непосредственно в декодер, кодеру нет смысла извлекать эту информацию из входного изображения. Это означает, что, например, если вы определяете внешность человека в векторах атрибутов, кодировщик будет кодировать только те атрибуты изображения, которые не связаны с внешностью, такие как поворот и наклон головы, эмоции, освещение и т.д. И когда мы добавляем векторы атрибутов другого человека к выходу кодера, декодер восстанавливает изображение, где поворот головы и эмоции соответствуют исходному изображению, а внешность принадлежит другому человеку. В этой системе нам не нужно обучать отдельный декодер для каждого нового лица, которое мы хотим создать, так как замена внешнего вида происходит путем изменения векторов признаков, подаваемых на декодер. Примеры изображений, восстановленных с помощью этого подхода, можно увидеть на рисунке ниже.
Реконструкция автокодировщика
Изображения показаны попарно: слева — изображения, восстановленные с помощью автоэнкодера, справа — оригинальные изображения. Недостаток использования автокодеров очевиден — «размытость» и недостаточная резкость восстановленных изображений. Можно попытаться улучшить восстановленные изображения, повысить их резкость и т.д., но есть подход, который лишен этих недостатков.
Пользоваться программой довольно просто. Вам просто нужно установить его на свой телефон через PlayMarket и запустить. Затем вам нужно загрузить или сделать селфи и применить понравившиеся фильтры.
3 способа сделать дипфейк путем замены лиц на видео
Вы наверняка видели в Интернете короткие видеоролики, в которых одного человека заменяет другой. Это так называемые глубокие подделки, основанные на искусственном интеллекте или нейронных сетях.
Наиболее популярными являются короткие ролики из фильмов, в которых лицо главного героя заменяется лицом обычного человека. Такие дипшейки обычно делаются для развлечения, просто так.
С помощью нейронной сети можно заменить лица разных людей и объединить некоторые из них, чтобы получить промежуточный вариант. Посмотрите на фотографии ниже — все эти люди на самом деле не существуют и никогда не существовали! Они были созданы искусственным интеллектом, который объединил сотни и тысячи изображений.
Правда, если бы я не сказал вам, что это не настоящие фотографии людей, вы бы ни за что не догадались. Но это статичные изображения. Как вы можете сделать то же самое в видео?
Как заменяется лицо в видео?
Прежде чем я объясню, как это делается, будет лучше, если вы увидите, как это делается визуально. Вот одно из самых популярных видео с лицом Илона Маска. Почему-то именно этот персонаж очень часто становится героем дипфейков 🙂
Проще говоря, работа нейронной сети с видео заключается в объединении нескольких изображений вместе. ИИ анализирует черты лица и выражение персонажа на видео и создает на его основе цифровой шаблон. Затем лицевая сторона изображения преобразуется в ряд чисел, которые «растягиваются» в шаблон.
Звучит просто, но на самом деле за этим стоят огромные вычислительные мощности и алгоритмы. Ведь помимо выравнивания лиц, необходимо также «подогнать» их черты, учесть освещение кожи в оригинальном клипе, добавить сдвиг из-за движения головы и туловища и т.д.
Как самому сделать дипфейк?
Теория — это здорово, но мы здесь не для этого 🙂 Далее я познакомлю вас с тремя лучшими бесплатными программами и приложениями для замены лиц в видео. Их может использовать любой человек.
Reface
Ранее это приложение для Android и iOS называлось Doublicat. Она получила множество положительных отзывов от пользователей по всему миру и имеет довольно высокий рейтинг: 4,6 в Google Play и 4,9 в AppStore.
Основные функции доступны совершенно бесплатно, но если вам нужны дополнительные возможности, например, загрузка собственных gif-изображений, необходимо оформить подписку. Приложение позволяет вставлять свое лицо в видеоролики известных актеров, авторов песен и звезд шоу-бизнеса.
Пользоваться приложением очень просто:
- Вы сканируете свое лицо с помощью фронтальной камеры мобильного устройства (затем вы можете просто загрузить фотографии из памяти).
- Выберите любое видео из длинного списка доступных видео.
- Вы получите результат.
Доступны как короткие видеоклипы, так и анимированные gif-файлы. Ваш выбор обновляется в приложении почти ежедневно, самые популярные из них включены в тренды на главном экране приложения.
Дипфанки очень смешные и забавные. Вы можете отправить их своим друзьям или разместить на своей странице в социальных сетях, чтобы развлечь всех. Однако не стоит ожидать, что вы сможете полностью заменить лицо героя на свое собственное — скорее всего, это будет комбинация функций, но все равно это довольно круто.
DeepFaceLab
Это приложение для Windows с открытым исходным кодом. Вы можете бесплатно загрузить его с GitHub. У него довольно серьезная, даже профессиональная установка для замены лиц, что делает его, вероятно, лидером в своей области.
Вот пример того, как выглядел бы Терминатор, если бы вместо Шварценеггера его играл Сталлоне (создано DeepFaceLab):
А здесь вы можете увидеть, как лицо Джека Николсона было заменено лицом Джима Кэри в знаменитом фильме «Сияние». Разве это не чудо?
На YouTube и TikTok есть даже специальные каналы, на которых демонстрируются пародии, созданные с помощью этой программы и пользующиеся большой популярностью.
FaceSwap
FaceSwap — это программа, аналогичная DeepFaceLab, но помимо Windows может быть установлена на macOS и Linux. Программа также полностью бесплатна и может быть свободно загружена с GitHub.
FaceSwap имеет серьезный алгоритм замены лица, который очень требователен к аппаратному обеспечению. Поэтому если ваш компьютер довольно слабый, имеет устаревший процессор и слабую видеокарту, создание дипфейса займет много времени.
Программа имеет активное онлайн-сообщество, благодаря которому постоянно появляются инновации, хитрости и усовершенствования. Существует также множество руководств по FaceSwap, в основном на английском языке.
Хотя большинство дипфейков создаются с целью пошутить, пошутить, эта технология также может быть использована со злым умыслом. Таким образом, вы можете заставить человека говорить то, что он никогда не говорил, или делать то, что он никогда не делал. Создавая виртуальные подделки, можно легко манипулировать практически любым цифровым контентом.
