Видео создано по одному промпту в Seedance2.0 - ИИ угрожает кино?
Доступ к ИИ будет в тг-канале, подписывайтесь кому интересна тема ИИ-контента и обзоров на кино. Ссылка в шапке профиля ⬆️
Мой короткий ответ — не думаю. Дальше мысли для людей, интересующихся ИИ.
Вчера был на открытом колле от @egorkuzminxr , где он показывал инструмент для работы с Seedance 2.0. Вы наверное видели, что где-то полтора / два месяца назад этот видеогенератор наделал шуму. Мне же было лень искать его в открытом доступе. Он и сейчас не в публичном доступе, так скажем.
Мой вердикт — это супер крутой инструмент для динамичных сцен с использованием ИИ. Отлично держит лицо. В ролике я! Сам делает монтаж. Если у тебя есть насмотренность или монтажное мышление — это для тебя.
#seedance2 #ai
Делюсь кадрами из моего последнего ролика — он уже доступен в аккаунте @tvzaynullin .
Что кайф — местами это прям кино. Сидя дома, можно создавать сцены, которых в реальности не было бы или которые стоили бы сотни тысяч долларов в CGI.
Что не кайф (но честно) — местами хромает качество 😅. На протяжении всей работы меня преследовал NSFW в @higgsfield.ai : и на этапе генерации фото, и при анимации (там чуть реже).
Сразу вопрос — кто блочит: банана или хигг? Думаю, оба. Ребята из Higgsfield, похоже, перестраховываются и фильтруют запросы ещё до бананы. А банана, в свою очередь, будто серьёзно взялась за авторские права (хотя часть кадров всё же проходит — странно). Все уже слышали, как «Голливуд» напрягся после видео от seedance2.0 — и это вполне оправдано: супер крутое качество видео с одного промпта, да ещё и с известными персонажами без потери консистентности. Тут уже вопрос интеллектуальной собственности.
По анимации: kling 3.0 вообще не держит 6 рук. В целом логично — модель обучена на людях с двумя руками и двумя ногами. Каких-то монстров (типа Горо из MK) ещё, возможно, вытянет, но там руки должны сильно отличаться - должны быть большимы и накаченными. И сам персонаж монстр, а у меня это все же человек. В моём случае 7/10 анимаций — в мусор. А это, мягко говоря, недёшево. Даже elements (character) с фото спереди/сзади не спасли.
Вот такие дела. Интересно ваше мнение. И очень хочу протестировать seedance2.0 — посмотреть, как он держит персонажа.
#spiderman #spidermanbrandnewday
Every victory at the top is earned jump by jump.
A film about discipline, hard work, and the road to the ring.
Fully created with AI, supported by @higgsfield.ai
Арт концепт видео для avito.
Экстрасенсы не смогли, а у нас получилось узнать всю правду о «скелетах в багажнике» подержанного автомобиля вместе с «Автотекой» от Авито.
@icecubes.studio 🧊
Продолжаю показывать возможности ИИ и делюсь мнением о Kling O1 Edit.
В прошлом рилсе я показал неудачную замену локации в сложном видео: камера делала 4 движения на роборуке, последовательно раскрывая всю сцену.
В этом тесте результат уже хороший (но не «отличный»).
Было два варианта 👇
1 способ
Загрузить видео + фото человека и попросить ИИ заменить персонажа.
Я тестировал — по качеству этот вариант мне нравится меньше.
2 способ (лучший, на мой взгляд)
Берём первый фрейм видео, заменяем персонажа в Nano Banana Pro, максимально сохраняя освещение, и уже потом просим Kling заменить персонажа в видео.
Есть и 3 способ, который появился недавно — Kling 2.6 Motion Control.
Он заточен на перенос эмоций и движений. В тесте, который я выложу позже, видно, что эмоции при разговоре передаются заметно лучше. По сути, это ответ Runway Act 2.
Итог:
Второй способ работает лучше, но всё ещё есть артефакты и общее падение качества. Апскейл через Topaz не особо помогает — проблема в морфинге объектов, а не в текстурах.
Плюс Kling очень чувствителен к таймингу:
лучше использовать чёткие 4–5–6–10 секунд. Иначе лишние кадры он начинает дорисовывать сам.
Два лайфхака при работе с Kling 👇
1️⃣ Формат
Всегда подгоняю изображения под 16:9 или 9:16 с разрешением, кратным 1080.
Иначе Kling может выдать странные размеры (например, 1072p) и больше артефактов. ИМХО.
2️⃣ FPS
Работаю только с 24 fps — это нативный формат Kling и самый стабильный вариант.
Есть ещё нюансы — расскажу позже.
А вы уже пробовали эту нейронку?
Перед тем, как я отвечу «почему», я отвечу «зачем».
Я хотел сделать мем — «POV: 22:58 — забегаешь в “Пятёрочку” за бухлом и пытаешься понять, где отдел алкоголя». Не вышло.
А теперь — почему. Вы, наверное, видели, что сейчас хайпит нейронка Kling O1, которая может редактировать видео. С ней можно менять почти все детали кадра — фон, персонажа, его одежду, погоду, предметы и т. д. Я решил проверить её в сложном кейсе, а именно — «сложное движение роборуки» в ограниченном пространстве. И хотя в интернете есть примеры, как, повторяя движение в оригинальном видео, нейронка выдавала кадр с исправленным пространством, здесь другой кейс. Две причины, почему не получилось.
Как я сказал, сложное движение в ограниченном пространстве. То есть это не абстрактное поле, а заданная локация, которую нужно достраивать, исходя из ракурса.
И более важное — я просто не задал ключевые точки. То есть я просто прикрепил рандомные четыре фотки «Пятёрочки» и попросил её самой представить, как выглядит пространство в разных точках камеры.
На самом деле у меня есть теория, что в итоге можно сделать то, что я хочу. Если заметите, здесь есть чёткие четыре фазы движения камеры. Именно их можно вырезать из оригинального видео, затем постараться через Nano Banana Pro заменить фоны, не меняя никак фазы персонажа, а дальше засунуть их как референсы для оригинального видео. По моей теории, это должно сработать. Однако я думаю, что количество артефактов всё равно будет зашкаливать, и получить 100% матч с новым фоном не получится.
Если дойдут руки — сделаю и выложу сюда. А что бы вы хотели попробовать исправить в ваших любимых произведениях?
Тест анимации кадра, которая, к сожалению, никогда не выйдет. Если заметите, я тестировал сырой материал RAW (еще до покраса). Это показывает особенность работы с ИИ-графикой/переходами — ее можно делать только после покраса, в отличие от классического CGI. И даже после работы с покрашенным материалом, чтобы довести работу до качественного результата, необходимо докрасить/сводить кадры, так как ИИ может изменять цвета.
Хотя идея кадра была другая, мне очень понравился этот лонг шот, который показывает, как пример того, что ИИ может делать интересные кадры по случайности. Промпт был вообще не такой.
Я знаю, какое сильное «отторжение» ИИ-контент вызывает в творческой рекламной индустрии — особенно «подколы/пренебрежение» к молодым коллегам, кто пробует себя в этом. В первую очередь это связано (как я считаю) с некачественным ИИ-контентом, который заполонил интернет. И уже сложилось брезгливое отношение к ИИ-генерациям в рекламе. Я, как человек, который каждый день тыкает в нейронки, скажу, что скоро это изменится так сильно, что вы уже перестанете отличать ИИ-контент от съемочного в 80% (а может, и больше) случаев. Это и не плохо, и не хорошо — это просто данность. При этом в чем-то ИИ всегда будет проигрывать, как мне кажется. На этот счет у меня есть свои мысли.
Последнее, что скажу об отношении «творческой тусовки»: как по мне, смешно/странно слышать упреки в попытках молодых ребят «найти себе применение в рекламе/контенте» со стороны тех, кто еще сам недавно был «зеленым» и кому просто физически повезло оказаться на более-менее стабильном рекламном рынке +- 3–2,5 года назад. (Да, после сами знаете каких событий все укаталось, но потом начало восстанавливаться.) Но вы же сами знаете, что сейчас творится с бюджетами в рекламе. И по той инфе, что у меня есть, — дальше будет хуже.
За последние пару месяцев я сделал ОЧЕНЬ много творческих и коммерческих проектов, о которых я хочу делиться у себя в профиле, но пока не доходят руки. Скоро начну выкладывать разные кадры/ролики. Газ.
