Как использовать нейросеть Runway ML Gen-3 Alpha для оживления картинок

Что за Runway ML Gen-3 Alpha

На самом деле это название составное: Runway ML — нейросеть; Gen-3 Alpha — её свежая модель, которая стала общедоступной в августе. Правда, с ограничениями, но об этом позднее.

Сама нейронка была известна задолго до анонса Sora AI как одна из наиболее продвинутых среди генераторов видео. Третье же поколение модели стало самым технологичным. Здесь важно отметить, что существуют две его версии:

• Gen-3 Alpha — полноценная модель, позволяющая генерировать видео по картинке и по текстовому описанию. Её заметно дообучили по сравнению с предыдущей версией, Gen-2, что позволило улучшить точность, консистентность и динамику движений. Доступна только с подпиской.
• Gen-3 Alpha Turbo — урезанная версия с возможностью генерировать видео только на основе готовых изображений — Image to Video. Её можно тестировать бесплатно, пусть и с ограничениями.

Также пользователям доступна модель Gen-2 — предыдущее поколение с менее впечатляющим качеством генерации. Её интересно потрогать разве что ради сравнения с более продвинутой Gen-3 Alpha.

Как получить доступ к нейросети

Достаточно перейти на официальный сайт Runway ML. Он открывается для пользователей из России без каких-либо ухищрений.

Для начала работы придётся завести аккаунт. Это можно сделать через электронную почту либо использовать учётные записи Apple или Google.

Как генерировать видео в Runway ML Gen 3

Как мы уже упоминали, бесплатная модель Gen-3 Alpha Turbo работает только по картинке-исходнику. По сути, вы загружаете первый кадр и говорите нейросети, что делать дальше. Или можно просто дать ей картинку и предоставить полную свободу действий.

Чтобы начать, откройте редактор Runway ML. По умолчанию он выбирает Gen-3 Alpha Turbo как самую новую модель.

Загрузите изображение в левый верхний раздел редактора. Можно кликнуть по нему, чтобы открыть проводник, или сразу перетащить картинку в поле для загрузки. Если хотите, чтобы этот кадр стал не первым, а последним, нажмите на кнопку Last под изображением.

В поле ниже распишите действие, которое хотите увидеть в готовом ролике. Это может быть как простой сюжет, например A man playing with puppy, так и сложный промпт, включающий детали движения персонажей и камеры. Запрос лучше писать на английском языке.

Под окошком ввода промпта предлагаются разные пресеты. По сути это текстовые подсказки, которые добавляют в ваш запрос цепочку слов и позволяют достичь заявленного эффекта — от динамичного экшена до слоу-мо и режима от первого лица.

Чтобы посмотреть все варианты, нужно щёлкнуть на кнопку Custom Presets на левой панели, под иконкой Т. Во вкладке Custom можно создать собственные пресеты — если нашли хорошее сочетание ключевых слов, которое даёт подходящий вам результат.

Если нажать на иконку настроек, откроется скудный набор опций. Бесплатно можно разве что закрепить сид — это цепочка цифр, которая помогает нейронке ссылаться на какую-то генерацию и её параметры. Опция пригодится, если ранее вы сгенерировали очень удачный ролик и хотите сделать новый в том же стиле.

Отключить водяной знак Runway на видео можно только с подпиской. Других настроек нет.

Скорость генерации оправдывает Turbo в названии: на создание видео обычно уходят считаные секунды, очереди пока минимальные. Ролик можно посмотреть во встроенном плеере, загрузить на устройство и оценить качество работы нейросети.

Иногда приходится пробовать несколько раз, но получить хороший результат несложно. Вот здесь, к примеру, мы попросили показать, что «мужчина и женщина идут вперёд угрожающе», (прятать второй пистолет у Нео не просили, это бесплатный бонус):

А здесь — пожелали добавить Тайлеру Дёрдену бенгальские огни:

Также под готовым видео появляется кнопка Lip Sync. Если нажать на неё, нейросеть проанализирует лицо человека в кадре (если он там есть, разумеется) и подготовится к наложению голоса с синхронизацией движения губ.

Можно озвучить текст или использовать голосовой ввод — наговорить нужные фразы самостоятельно либо подгрузить готовый аудиофайл. Если исходник — текст, можно также выбрать голос.

Если интересно сгенерировать видео без картинки, придётся понизить модель до Gen-2. Она больше чудит с движениями и переходами, нежели третья версия, зато доступна на бесплатных аккаунтах.

Сколько это стоит

Доступ к Gen-3 Alpha Turbo предоставляется бесплатно, но только в объёме, достаточном для тестирования. При регистрации каждый аккаунт получает 125 кредитов генерации, которые расходуются на создание роликов. Если зарегистрироваться во время тестирования новой модели — например, Gen-3 Alpha Turbo, сверху дадут ещё 400 кредитов.

Каждая секунда генерации с Gen-3 Alpha Turbo или Gen-2 снимает 5 кредитов, так что начальный бонус расходуется очень быстро. А учитывая, что кредиты не восполняются, придётся либо платить, либо регистрировать новый аккаунт.

Gen-3 Alpha доступна только по подписке, бесплатных опций нет.

Цены на подписку стартуют от 15 долларов в месяц: за разблокировку всех функций и 625 кредитов сверху. Максимальная стоимость — 95 долларов в месяц: за безлимитные генерации с любой моделью и 2 250 кредитов на дополнительные функции вроде Lip Sync.