Сегодня нейросети научились генерировать не только изображения, но и невероятно реалистичные видео. И кто идёт в ногу со временем, естественно начали применять их в своих рабочих задачах. Это в первую очередь люди из видеопродакшена. Хорошая новость для видеомейкеров: с их помощью можно сократить время на производство роликов. Хорошая новость для клиентов: для них они обойдутся значительно быстрее и дешевле.
На связи команда brocast.team, мы занимаемся видеопроизводством: проводим съемки и онлайн-трансляции, делаем монтаж и создаем различного рода контент под ключ. В статье на примере разработки интро ролика расскажем, как можно использовать нейросети в видеопродакшене.
Задача: интро ролик за неделю
Интро-ролики (они же ролики-открытия, опенинги, муд-видео) — это видеовставки в начале трансляции или мероприятия, которые задают нужное настроение, доносят правильные смыслы и удерживают внимание зрителей. Подобное видео мы и должны были сделать для трансляции нового продукта одной компании из сферы кибербезопасности.
Перед нами стояла амбициозная задача, потому что на всё про всё у нас была всего лишь неделя. Обычно подобные ролики создает команда из дизайнера и аниматора, которая последовательно сперва делает статичную графику, а затем анимирует ее. На это, как правило, уходит от трех недель.
Естественно с этим подходом сделать ролик за такие сжатые сроки просто нереально, даже с креативной идеей и арт-дирекшеном от клиента. Поэтому мы сразу решили, что в этом случае должен быть микс: графика плюс нейронки. Мы уже давно их используем в работе, о чем будем рассказывать и в других статьях.
Поэтому практически вся работа над интро тогда легла на плечи нашего волшебного Антона — монтажера и специалиста по ИИ в одном лице.
Промт и немного магии
Итак, работа над роликом состояла из 4 этапов:
1 - Режиссёрская раскадровка.
На этом этапе мы решали, каким будет порядок кадров, где будем использовать нейросети, а где — работать с реальной графикой. Также на этом этапе важно понять, есть ли мэтч по стилю, динамике и общему направлению ролика
2 - Создание визуала
И вот здесь мы как раз и применили нейросети. На этом этапе Антон занимался подбором промтов. Промт — запрос или команда, которые пользователь передает нейросети, чтобы она выполнила определенную задачу. Это может быть вопрос, инструкция или даже просто ключевые слова. Именно подобрать нужный промт было самое сложное в работе. Поскольку арт-дирекшен был со стороны клиента, у него было конкретное ожидание, которое он заложил в свою идею, нам нужно было синхронизироваться с этим. Потребовалась не одна итерация, чтобы получилось. Несмотря на то, что нейросети быстро развиваются, нам все же пришлось много дорабатывать вручную.
Пример промтов для создания кадра: слева — для генерации статики, справа — для генерации видео из статики:
Пример промтов для создания кадра: слева — для генерации статики, справа — для генерации видео из статики:
Ниже пример статического кадра в Stable Diffusion:
Здесь уже пример генерации видео в RunWay AI:
3 - Разработка стиля по брендбуку проекта для вординга ролика
Приводим несколько примеров, как это было:
4 - Проработка аудио, которое было записано голосом клиента
Мы обработали саму запись, добавили саунд-дизайн, чтобы придать объема общему восприятию звука. Например, для усиления кадра мы добавили клацание клавиатуры и даже хоровое пение. В общем, сыграли на эмоциях не только визуально, но и аудиально!
А вот тут мы как раз и добавили хоровое пение :)
И вот, что получилось в итоге:
Что по деньгам?
Стоимость ролика складывается из нескольких неизменных пунктов: разработки сценария, арт-дирекшена (общий визуальный стиль), режиссуры. Их пока не заменить нейронками.
На примере создания одного кадра рассмотрим разницу в процессах и сроках.
Классический воркфлоу (8–26 рабочих дней):
- На эскиз кадра в среднем уходит 1–3 дня.
- Моделирование окружения, персонажа занимает 3–10 дней.
- Собрать аниматику — 1–5 дней.
- Анимировать камеры и персонажа — 1–4 дня.
- Добавить текстуры, видео на экраны — 1–3 дня.
- Рендер — 1 день.
А вот как выглядит воркфлоу с генеративными нейросетями (3–5 рабочих дней):
- Генерация изображений, выбор подходящих — 1–2 дня.
- Анимация статичного изображения — 1 день.
- Добавление брендинга или дополнительных элементов ротоскопингом или другим способом — 1–2 дня.
Нужно учесть, что к этим срокам еще добавляется время на согласование после каждого этапа. Причем, чем больше этапов, тем больше его нужно. Соответственно с нейросетями их меньше.
Количество специалистов тоже сокращается: вместо моделлера, аниматора, супервизора, арт-директора, композера, художника по текстурам, нам нужны только арт-директор, композер и специалист по нейронкам.
Итого, меньше рабочего времени, согласований и людей в команде, а значит, и бюджет. У нас получается сократить в 3 раза, но это плавающая цифра.
Впечатляет, не правда ли? А если посчитать общую стоимость ролика с неизменными пунктами (разработки сценария, арт-дирекшена, режиссуры), то для клиента она выходит в три раза дешевле.
Итого
Нейронки — это вполне рабочая тема. Да, нужно поколдовать с промтом. Да, придется сделать несколько подходов к снаряду. Но очевидно, что это экономит ресурсы: собрать одного человека, вместо трех, — проще для нас и дешевле для клиента.
Этот кейс стал для нас показательным: мы поняли, что сделать за одну неделю ролик такого высокого уровня проработки — реально! Нейросети дают возможность создавать контент быстрее и больше, и, конечно, предвосхищать ожидания клиентов. Кстати, наш клиент остался доволен и настолько доверился нашей экспертизе, что пригласил нас провести воркшоп по ИИ для своих сотрудников.
Мы продолжаем развивать свой навык в использования нейросетей, изучаем кунг-фу подбора промтов, чтобы точнее попадать в задачу, в ожидание клиента, а также открываем для себя новые возможности работы с ИИ.
Хотим отметить, что не только генерация видео с помощью нейросетей облегчает жизнь видеомкейкерам и клиентам. Есть еще и другие способы. О них будем рассказывать в следующих статья.
