Нейросеть для видео из фото: как выбрать и что получится

Запрос «нейросеть видео из фото» объединяет несколько разных задач. Кому-то нужно оживить старый снимок, кому-то — сделать эффектный ролик для соцсетей, кому-то — собрать слайд-шоу. Технологии за этим стоят разные.

Разбираем, что бывает и как выбрать под свою задачу.

Оживление: движение по одному кадру

Модель берёт фотографию и достраивает то, чего на ней нет: следующие кадры движения. Человек поворачивает голову, моргает, слегка меняет выражение лица.

Это работает, потому что нейросеть обучена на миллионах видео с людьми и знает, как обычно двигается лицо. Она не угадывает конкретного человека, а применяет усвоенные закономерности.

Подходит для портретов, старых семейных снимков, фотографий питомцев.

Генерация сцены: человек в новой обстановке

Более сложная задача. Нейросеть не просто оживляет кадр, а создаёт новую сцену и помещает туда лицо с загруженного фото.

Так делаются ролики, где человек оказывается на стадионе, на улице другого города или в студийной съёмке. Фон, освещение, движение камеры — всё генерируется, переносится только внешность.

Требует одного селфи с хорошо различимым лицом.

Стилизация: смена визуального языка

Третий тип: снимок остаётся тем же, но меняется его вид — фотография превращается в рисунок, аниме, чёрно-белый контур. Движение при этом может добавляться или нет.

Часто используется в коротких вирусных форматах, где часть кадра показана в одном стиле, а часть в другом.

Что влияет на качество результата

• Чёткость исходника — размытое фото даёт размытое видео
• Размер лица в кадре: чем крупнее, тем точнее перенос черт
• Ракурс: анфас обрабатывается заметно лучше профиля
• Освещение: ровный дневной свет предпочтительнее контрового или бокового
• Отсутствие тёмных очков, масок, крупных головных уборов

Если снимок старый или отсканирован с бумаги, качество стоит поднять до обработки.

Чего ждать не стоит

• Точного воспроизведения мимики конкретного человека — алгоритм создаёт правдоподобное движение, а не восстанавливает реальное
• Длинных роликов: обычно это от пяти до пятнадцати секунд
• Работы с сильно повреждёнными снимками, где лицо не читается
• Мгновенного результата: обработка требует вычислений на сервере

Бесплатно или платно

Бесплатные сервисы обычно ограничивают разрешение, длительность и ставят водяной знак. Причина простая: генерация видео требует серьёзных вычислительных мощностей, и кто-то за них платит.

Платные варианты дают полное разрешение, ролик без знаков и возможность скачать исходник.

Коротко

Для оживления портрета хватит одного чёткого снимка анфас. Для готовой сцены с новой обстановкой — тоже одного, но лицо должно быть хорошо различимо. Результат приходит за пару минут, качество зависит в первую очередь от исходника.