автозамена лиц

Постов: 3 Рейтинг: 12281
4290

Инструкция: Как запустить нейросеть меняющий лица актрис на видео "для друга".

Развернуть
Не так давно на реддите выложили программу fakeapp (подробности на пикабу), пользователь @DoctorBooooom обещал выложить инструкцию по запуску, но не успел, его забанили.
Пример подмены будем разбирать на Хлое Морец
Инструкция: Как запустить нейросеть меняющий лица актрис на видео
Если у вас windows 10 64x, 16gb ОЗУ, 1050ti, i7 7700. То запустится 100% без проблем.
Для начала скачиваем и устанавливаем CUDA 8.0
https://developer.nvidia.com/cuda-80-ga2-download-archive
Установка стандартная, после перезагружаем. Патчить ничего не надо.

Скачиваем саму программу:
https://drive.google.com/file/d/1_D6JIZsv4JdIqydhfpXCP63HzlvnqCt6/view

Скачиваем ffmpeg
https://ffmpeg.zeranoe.com/builds/

ВАЖНО! ПОВТОРЯЕМ В ТОЧЬ ТОЧЬ!!!
Распаковываем FakeApp.zip в корень диск С. А так-же в корне диска С создаем папку fakes, внутри создаем папки data, data_A, data_B.
ffmpeg, распаковываем в папку FakeApp.
Получаем такую картину:
Инструкция: Как запустить нейросеть меняющий лица актрис на видео
Инструкция: Как запустить нейросеть меняющий лица актрис на видео
Инструкция: Как запустить нейросеть меняющий лица актрис на видео
Этап подготовки видео.
Я загрузил видео с интервью Хлое Морец и теперь нужно на любом видеоредакторе нарезать участки видео с её лицом.
Инструкция: Как запустить нейросеть меняющий лица актрис на видео
Сохраняем нарезанное видео в качестве 720p в папку C:\fakes\data_A называем её 1.mp4
Запускаем командную строку,пишем:
В папке C:\fakes\data_A видим как появляются картинки, ждем завершения процесса.
Инструкция: Как запустить нейросеть меняющий лица актрис на видео
После завершения удаляем в папке C:\fakes\data_A видео 1.mp4

Запускаем fakeapp.bat в папке C:\FakeApp
Выбираем Align, поле Data указываем C:\fakes\data_A
Жмем Start. ЖДЕМ ПОЛНОГО ЗАВЕРШЕНИЯ!

В папке C:\fakes\data_A появится папка aligned где все упорядочены её лица.
Инструкция: Как запустить нейросеть меняющий лица актрис на видео
ЭТАП НОМЕР ДВА

Находим видео для друга и повторяем весь процесс, только вместо data_A указываем data_B. Главное видео для друга должно быть одно лицо, если лиц в кадре несколько, программа будет менять их все.
К сожалению роскомнадзор по этническим и религиозным причинам не смогу прикрепить скриншоты.

После того как в папке data_A и data_B появилась папка aligned с упорядоченными лицами переходим к тренировке. Этот процесс жопаболь, ибо уходит очень много времени для тренировки нейросети.

Переходим на вкладку Train
В поле Data A указываем путь  C:\fakes\data_A\aligned
В поле Data B указываем путь C:\fakes\data_B\aligned
Инструкция: Как запустить нейросеть меняющий лица актрис на видео
Жмем Start и ждем. Ждем. Ждеееееем. Наблюдаем как постепенно нейросеть учится и качество фото улучшается. Если надоело ждать или качество вас устраивает, нажимаем клавишу Q, программа сохранит "весы" связей и можно будет в дальнейшем продолжить расчеты, ничего не теряется.
Как склеить готовое видео продолжу в следующем посте, а пока вы можете обучать нейросеть, и скачайте программу Adobe After Effects, она нам пригодится при склейке.
(я не кармадрочер, нейросеть будет учиться примерно сутки на 1050ti)
Склеивать готовое видео не долго, по времени уходит максимум 1 час.
3420

Идеально

Развернуть
Идеально
4571

Близнецы. Автозамена Лиц.

Развернуть