6983
Я Валерия и я кормлю разные нейросети разными картинками По всем вопросам @lerarussia
ИИ-комиксы подвезли на новом уровне.
Работает, почему-то, быстро и бесплатно, без инфоцыганщины.
Шрифт пока не дает выбрать, но все равно пишет тарабарщину, которую, впрочем, вы все равно потом замените на вариант от chatGPT.
Консистентность персонажа на уровне!
Го срочно комиксовать, пока остальные подписчики не положили сервера.
https://huggingface.co/spaces/jbilcke-hf/ai-comic-factory
Я нагенерил пару панелей с промптом
little girl fighting with monsters (японский, американский и 3Д-рендер(похож на пиксар))
А вот тут варианты от сообщества.
https://huggingface.co/spaces/jbilcke-hf/ai-comic-factory/discussions
И там огненно.
В Шедевруме от Яндекса появилась возможность генерировать видео
Обещают возможность управления камерой через заготовленные эффекты, их целых семь: зум, таймлапс, полет, панорама, вращение, подъем, морфинг. Интересно, как создателям удалось добиться таких фиксированных движений и как хорошо это будет работать. Потому что на данный момент движение камеры кроме как промтом на низком уровне не управляется ни в одном инструменте ни в сервисах, ни в открытом коде. Перед основной генерацией можно выбрать из четырех входных кадров (также как в Runway) и движений, длительность видео на данный момент стандартная 4 секунды и fps 24.
Тест доступен только активным пользователям Шедеврума. Я в них не вхожу, потому что сервис позиционируется скорее социальная сеть, чем площадка для исследований. Так что ждем тесты креаторов приложения.
Как всегда без экспериментов ничего непонятно, но сам выход первого на российском рынке нейронного видео-инструмента — хороший повод для радости!
Нейронный сервис для превращения тарабарщины в человеческий язык
Большинство нейронных сетей все еще плохо справляются с текстом внутри картинки. Например, можно нагенерировать бесконечно реалистичные картинки в Midjourney и после все равно бежать в другую нейросеть или графический редактор.
Тут на помощь появился сервис Textify. Работает, конечно, не идеально, большинство итераций по тексту такой же мусор, как генерации в Midjourney, но после пары проб выдает довольно приличные результаты. Управляемости никакой, работает только с латиницей. Предполгаю, это просто хорошо обернутый DeepFloyd.
На досуге можно полистать (по меркам нейронок уже довольно старое) исследование «языка DALL-e» о том, что нейронная сеть генерирует не случайный текст, а текст на своем языке.
BlenderXEbsynthXStableDiffusion
Художник Kwang тестирует возможности KenTools с треккингом головы. Выглядит впечатляюще, генерация сидит как вторая кожа.
Интересно, что автор не использует для дефликера DaVinci или Topaz, такой результат дает только трекинг Blender и Stable сверху.
На тест трекинга открыта бета, можете подать заявку на сайте
Спасибо за ссылку StLaurentJR
Наконец-то юмор про ИИ, роботов и любовь в эпоху высоких технологий
Ролик с трогательным началом: дедушка ждет в гости внучку с женихом. Знакомство сразу идет не так, потому что из-за визуальных глюков дедушка сразу понимает — перед ним робот. «Дедушка, никто в наше время не говорит робот», - стыдливо говорит внучка, пытаясь спасти ситуацию. Получается не очень.
Дедушка бывший программист, а бывших программистов не бывает, так что такой новый член семьи ему не сильно нравится.
Посмотрите на выходных, это несколько минуток веселого прогнозирования будущего и хороших шуток!
- Знаешь, я работал над распознаванием изображений, может быть в тебе есть часть моего кода.
- Возможно, но сейчас большая часть кода пишется ИИ, она непонятна людям. Хотя ваш код наверное тоже был непонятен людям.
🎶 Генеративный контент для выступления Николы Мельникова и симфонического оркестра.
🖥 Sxema в лице нейрохудожницы Валерии Титовой создала нейроарт для выступления Николы Мельникова и симфонического оркестра.
🧬К нам обратились коллеги из Signatura, которые занимаются проведением иммерсивных шоу и инсталляциями. Остановившись на удачных генерациях мы выбрали наиболее подходящий по концепции, цветовой палитре и форме — цветок. Важно было показать трансформацию из живого натурального цветка, в более волшебный и магический.
По итогу перформанса: визуализация стала единым целым с музыкой для 1 500 человек.
#Sxema_news
ИИ-чирлидерши бегут на помощь
Не знаю, что вы вообразили, но сгенерированных девушек и чекпоинтов для StableDiffusion тут не будет.
ИИ постепенно закрывает всевозможные потребности, в том числе потребность в поддержке. Итак, встречайте ИИ-чирлидерш — нейродевчонок, которые подбодрят на любую тему. Причем на русском тоже. Всегда мечтала попасть в фильм «Добейся успеха»…
Сказала, что очень волнуюсь перед изучением новой темы в нейросетях 🥺👉👈
Music to Video Новый мультинейронный инструмент, превращающий песни в клипы!
Пространство на huggingface, где можно сгенерировать видео в Zeroscope на мелодию, которую вы загрузите.
Работает быстро и классно, можно поиграть, 30 первых секунд вашего видео берутся как референс и рождаются 3 секунды видео. Для серьезной работы все еще не годится, но как вариант для контента вполне!
Здравствуйте все! 1 августа — мой день рождения 🦾🫀
Я хочу поблагодарить вас за то, что вы подписаны на этот блог и разделяете со мной мою любовь к нейросетевой генерации. Это канал — моя большая ежедневная работа и невероятно рада и горжусь, что за год вас стало в 10 раз больше.
Этот год подарил мне сотни возможностей для реализации как художнице и евангелисту. Я посылаю мысленную благодарность каждому, кто читал меня и вспоминал добрым словом, задавал вопросы, давал возможность поработать и выступить, прислушивался к моим словам о будущем и технооптимизме.
Отдельно я хочу поблагодарить моих коллег за отзывчивость и терпение. Спасибо, что вы всегда готовы примчаться на мое «я что-то нажала и все исчезло» и радоваться вместе каждому маленькому шажку.
Лучшим подарком для меня будет рассказ о моих работах и контенте в дружественных в социальных сетях. Это сделает меня еще счастливее в этот день!
Pika Labs открылся для всех!
Генерить видео можно в ветках #generate как просто по тексту, так на основе картинки. Чтобы вкинуть изображение, нажимаете рядом с вбитым промтом на +1, затем жмёте на Upload и добавляете его.
Пример промта: /create prompt:a cat is walking in the forest, sunset, 4K -neg "bad anatomy, lowres" -ar 1:1Какие параметры у промтов:-gs xx (guidance scale, чем выше чифра, тем ближе визуал к промту)-neg "xxx" (негативный промт, задаём чего не должно быть в кадре)-hide (скрыть промт)-ar xx:xx (соотношение сторон, 16:9, 9:16, 1:1, 4:5)-seed xxx (ставим одно число для консистентной генерации, чтобы увидеть сид надо скачать видео он в названии файла)-motion xx (насколько подвижной нужна картинка, задаётся числами 0, 1, или 2)
Чтобы быстро генерить по тому же промту жмите значок "Повторить". Генерации ограничены 10 штуками в 5 минут.
Дискорд
Сайт
Среди каверов, спетых нейронными сетями мой фаворит — это песня Cadillac Моргенштенрна, спетая ИИ-Цоем. Если на свете и есть абсолютно московская музыка, олицетворяющая меня, то это она.
Читать полностью…
Многие опять недовольны обновлением Runway (не в первый раз)
В видеонейронке GEN2 от Runway появилась возможность генерировать видео по картинке-референсу. Это, конечно, не обучение, но уже что-то для нового уровня творческого и коммерческого использования.
Управляемости все еще нет, видео максимум 4 секунды. Пользователи отнеслись не с большим восторгом, результаты в демках как всегда сильно лучше по изобразительности и качеству. Оживила свои изображения в Midjourney и превратила в минифильм, генерация вышла достаточно точной и плавной. Пока GEN2 все еще мой фаворит в генерации с нуля, PikaLabs выдает более жуткие вариации на тему композиции и человеческой анатомии, оно и понятно, пока это не коммерческий проект с большим бюджетом.
Для генерации только по картинке не нужно писать промт, тогда изображение будет держаться.
Кстати, поскольку Runway есть в виде приложения, его можно оплатить через связку AppleID-мобильный телефон, если вы в России.
Disco Diffusion - моя вечная любовь
До появления Stable Diffusion я много работала с генерацией видео в Disco Diffusion. Это было сильно дольше и муторнее, чем генерировать на Stable, да и реалистичности в ней было маловато. Например, генерация 25-секундного Нейротарсковского заняла у меня сутки. Но плавность и художественность у нее такого уровня, с которым не может спорить ни Stable, ни Midjourney, ни Gen2.
Этой же нейронной сетью были сделаны мои первые тестовые кадры для клипа «Горе» группы hodíla ízba.
Я свела их в один ролик и сгенерировала музыку в MusicGen, чтобы вы могли уйти в эти чудесные плавные трипы. Музыка в этот раз удалась, мне кажется, нейронка хорошо уловила мой запрос о смерти и любви, мелодия как будто побеждает громкие и негармоничные звуки роющей землю лопаты. С нежностью посмотрите на артефакты — это было всего год назад, но так с нейронками уже не будет, будет как-то по-другому.
Нейрофильмы становятся лучше и лучше
Из простых технических тестов эксперименты уже превращаются в маленькое кинофильмы уже с приятным постоянством. Авторы теперь используют не голый Stable Diffusion или Gen2, а целые системы из визуальных, текстовых, голосовых нейросетей.
Подписчик прислал короткометражный фильм «AILOVE» о любви в эпоху высоких технологий, вдохновенный Андреем Тарковским. Те, кто читает мой канал не один месяц знают, что это две важнейшие нити в моем творчестве, поэтому не могу не рассказать, к тому же технически фильм уже имеет состояние не простого дерганного слайд-шоу.
Команда Futai-future ai использовала множество доступных инструментов, сами они называют это эко-системой из разный нейронных сетей. Фильм был создан на курсе neurocamp JCenters.
Были использованы: ChatGPT и Notion AI для решения проблемы белого листа и написания сценария, Midjourney для базовых шотов на основе сценария, Stable Diffusion для паралакса и анимации некоторых элементов, Silero для озвучания закадрового голоса и Runway GEN-2 - для некоторых видео кадров.
Ссылки на каналы создателей: тут и тут.
Нейросети еще многое не умеют — и что?
Редко делюсь чьими-то работами, но тут вышел простой акт искусства. Художник не ныл, что нейросети недостаточно хороши и реалистичны, чтобы отобразить его идеи, а поиграл на галлюцинациях и сделал иллюстрацию «заботы о себе». Очень поддерживающие вещи вышли и чувственные.
Нейронная анимация от Vnderworld и мысли о нейроклипах
Год назад весь мир получил StableDiffusion и блокнот Deforum, анимация в котором считалась в 15 раз быстрее, чем на DiscoDiffusion, а изображения стали реалистичнее. Это сделало нейросети сильно доступнее для творческих экспериментов или скучных попыток словить хайп.
За год мы получили много волшебных подарков от разработчиков, поэтому Deforum уже не способен удивить креативщиков сам по себе. Сейчас трудно поверить, в какой восторг мог привести PyTTi или, что A$AP ROCKY не побоялся делать клип на нейронках.
Все чаще в возможностях нейросетей как будто ищут слабые места и точки роста, но уже не пытаются достичь каких-то результатов с ограниченными возможностями. Красота глитчей постепенно уходит — инструмент становится таким же привычным как камера, от него просят такого же качества. Множество идей заморожено до прихода простого UX и последовательной анимации.
Меня иногда спрашивают: какой должна быть хорошая нейронная анимация? Нейронные сети как медиум сами по себе не имеют никакой ценности (как и любой другой). Поэтому техника должна соответствовать содержанию и подчеркивать его глубину. Ну а иначе получается легион «этих клипов сгенерила нейросеть», которые никто, кажется, уже не досматривает до конца.
И отдельной строкой при любопытном содержимом идет интересный, хитрый ход работы. Не обязательно аккуратно и четко (нейросети пока все еще не для этого). Но хотя бы не так просто, что как будто самому автору было неинтересно нажимать кнопки в процессе работы.
Никогда хорошим произведением не будет такое, которое орет на зрителя криком или тупое желание выстрелить на болезненой теме с помощью ассоциаций первого порядка. Все вы такие работы видели за последние полгода, нейросети не делают их лучше или хуже.
Мысли у меня появились после просмотра работы «Panopticom» Vnderworld, она медитативная, хорошо сделана и показывает силу инструмента. Прочитала об работе в дайджесте StableDiffusion, на который и вы можете подписаться.
🌐Киберпанк близок. В Москве появился "AI-Колобок"
⌨️Компания "Эдкар" разработала робота-доставщика «AI Колобка». Это самоходный шар диаметром около 40 сантиметров, который с помощью динамика и искусственного интеллекта ориентируется в пространстве и перемещается, вращаясь на 360 градусов.
Основная цель робота — доставка мелких посылок. Сообщается, что в скором времени компания планирует перейти от разработки прототипа «Колобка» к созданию MVP (минимально жизнеспособный продукт).
Ждём киберлису?
🔗Подробнее
#Sxema_news
Инпэйнтинг в Midjourney
Наконец-то можно не выходить из одной нейронной сети и работать только с ее промтингом и датасетами. Генерируешь, нажимаешь Vary (Region), редактируешь без побегов в графические редакторы.
Интерфейс внезапно удобный, можно делать маски разными способами и писать отдельные промты для зоны изменения.
Новая функция доступна и с компьютера, и в приложении на айфоне.
С помощью нейронных сетей создано более 15 миллиардов изображений
Для создания такого количества фотографий понадобилось 150 лет, от первой фотографии, сделанной в 1826 году и до 1975 года.
Но давайте разберемся.
Без статистики, конечно, жизнь не жизнь, а каторга, но необходимо учитывать довольно большие допущения, чтобы не пребывать в иллюзиях.
Данные представленные в этом тексте — это в основном данные компаний, которые считали исходя из количества пользователей и их активности, никакого счетчика изображений нет. В случае с опенсорсными программами посчитать вообще невозможно, кто сколько раз запускал что-то у себя в облаке или на личном компьютере. Так что цифры очень приблизительные. Но ознакомиться полезно, чтобы представлять, как мир охватывает ИИ, есть данные по Midjourney, Dalle, StableDiffusion и Adobe. Кстати у Adobe предсказуемо самое выдающееся число изображений, вот что значит привычный интерфейс.
Да и сравнивать генерации с нейроартом в данном случае довольно бессмысленно. Если мы считаем запрос и генерацию за изображение, мы не учитываем некачественные результаты, в таком случае фотографии можно также считать по проданным пленкам и щелчкам цифровой камеры.
Дата 1826 год спорная, как обычно в истории так и не разобрались, откуда считать начало фотографической эры с Ньепса или с Дагера в 1836. Я, разумеется, за Ньепса, но только после изобретения дагерротипа фотографию начал узнавать мир, а не отдельные ученые, рисковавшие жизнью с ядовитыми парами.
Но можно сказать одно — нейроарт уже абсолютно везде, хоть его не охватишь точной статистикой.
Картинка в историю с помощью CLIP Interrogator и Llama2
Простой алгоритм на HuggingFace c помощью которого каждый может написать историю по картинке
Да, с ChatGPT можно давно такое сделать, но тут можно поиграть с другой моделью и одной кнопкой, не составляя запроса. Готовый инструмент для борьбы с белым листом.
Runway GEN2 разрешил продолжать анимации до 16 секунд
Маленькая новость, но ожидаемое обновление.
Абсолютно проклятый тест с сгенерированным в AudioGen женским плачем. Кстати, сетка отлично генерирует шумы и звуки, вместе с MusicGen может стать основой для интересных звуковых сопровождений.
Для хоррор-клипов уже покатит, ждем улучшения качества.
Уже попробовали SDXL 1.0?
Тогда возможно вам необходима новейшие исследование по тому, какие художники и стили есть внутри базовой модели?
Здесь энтузиаст собрал на сайт художников, материалы, объективы и пленку, которую можно использовать в новой модели в промте, не подключая чек-пойнты. Так что с помощью такой таблицы можно добиться не только реалистичных и качественных, но и красивых, художественных генераций.
Ждете DALL-e 3?
Предыдущие поколения DALL-e были очень ожидаемыми и выходили с шумом. Блоггеры говорят о том, что в новой версии нас ждет такой же скачок качества. Пока никаких демок для всех и набора в бета-тестинг, только сплетни и сливы…
Что насчет DALL-e 3? За год вышло множество нейронных сетей, инструмент даже встроил к себе Adobe Photoshop, поэтому есть ощущение, что про продукт от OpenAI многие уже подзабыли. Кроме тех, кто увлеченно генерировал сеткой через ChatGPT.
Но OpenAI не спит, потихоньку тестирует нововведения. Тестеры заявляют, что DALL-e 3 переплюнет все существующие нейросети. Но мы с вами уже привыкли к черрипикингу и завышенным ожиданиям, поэтому просто готовимся.
Смотрим ролик и оцениваем, сможет ли DALL-e 3 превзойти конкурентов, которых у предыдущих поколений не было. Или она пока классная только из-за отсутствия цензуры?
Я пока не нашла ничего разрывного по сравнению с уже существующими инструментами, но может найдете вы.
Новое слово в интерполяции между кадрами
Наконец-то решается задача интерполяции между двумя вводными изображениями. Сейчас это можно сделать либо специфическим морфингом, либо на костылях. Разработчики решили эту задачу с помощью ControlNet (никто не удивлен) и, думаю, совсем скоро мы сможем делать хорошие нейронные переходы из точки А в точку Б.
Вполне приличные демки мы можем увидеть здесь и с помощью бегунка оценить процесс перехода.
Стараюсь придерживаться правила и никогда не писать (или очень аккуратно) про нейросетевые инструменты, которые сама не использовала. Но тут просто нет упакованного инструмента, а существуют не только демки, но и код.
Opencall в AI лабораторию Phygital+
В прошлом году одним из самых счастливых моментов для меня было письмо, что я отобрана в лабораторию Phygital+. Потом были недели работы с кураторами и другими художниками и первый серьезный AI-кейс в портфолио — выставка в Манеже с целой цифровой картиной.
И вот через год я уже куратор лаборатории и, конечно, зову вас участвовать. Заявки принимаем до 1 августа. Часто говорю, что лучше всего учиться получается в процессе и эта лаборатория — отличная возможность.
Лаборатория пройдет с 6 по 20 августа и подойдет вам, если вы художник, дизайнер или вообще креатор любой масти. Будут лекции, кураторские встречи и много практики на результат. Главным итогом лаборатории станет AR-скульптура, вольное оживление физической картины для фестиваля Artlife.
27 июля в 16:00 вы все еще успеваете на открытую лекцию про Generative AI на YouTube канале в 16:00. Вы узнаете, какие задачи ИИ помогает выполнять, и какое влияние ИИ оказывает на бизнес, дизайн и арт.
Мир AI каверов летит со сверхсветовой, только и успевай находить ЗОЛОТО.
Вот, например набрел на эти шедевры:
- Uptown Funk в исполнении Heavy из Team Fortress 2
- Smooth Criminal в исполнении Шпиона из TF2
- Angel Thesis (тема из Evangelion) спета Фредди Меркури
- Эрик Картмэн поет Virtual Insanity (я даже представил как это реально могло бы быть гэгом из Саус парка)
Ну и конечно завершает это все GLaDOS - welcome to the internet, которая приглашает нас в этот замечательный интернет. Ведь если бы не интернет, где бы еще могло появиться столько безумных вещей 🍎 😮
Продолжаю пробовать видеонейронки
Ожидая, что какая-нибудь из них станет приличной для продакшнов! По ощущениям до этого, конечно, больше пары месяцев.
AnimateDiff — наконец-то нашла живой и рабочий блокнот колаба, с которым можно поэкспериментировать. Подробно о нейронке уже писал Нейросети и Блендер
Все это работает на базе Stable Diffusion, поэтому учится новому промтингу не надо, а еще можно подгружать свои модели LoRA. В отличие от совсем неуправляемых и закрытых нейронок типа GEN и PikaLabs, которым можно дать только промт и картинку-референт пока выглядит перспективно.
Основные недостатки всех видеонейронок пока
- Много едят мощностей,
- Генерируют по этой же причине очень короткие ролики,
- движение камерой (в отличие от дефорума) задается только промтом и работает это плохо,
- параметров мало
Но это классная и небольшая эпоха, чтобы поэкспериментировать на чем-то забавном и несложном!
Невероятно красивое применение warpfusion от режиссера и аниматора Hilary Campilan (bunty_ai)
Также в пайплайне продукты Adobe, Ebsynth и Topaz (и это заметно по качеству)
Видео с исходником из соцсетей автора, а полный клип можно посмотреть по ссылке.
впечатляющая text2video генерация от Lyell. это вам не знаменитости поедающие макароны и прочий крипи шлак, это искусство! сделано с помощью Zeroscope XL, звук тоже нейронный - MusicGen
пост в твиттере
Zeroscope XL
MusicGen
p.s. в попытке подобрать промпт неожиданно кайфовые результаты получил, положу в комменты
@тоже_моушн
Фотокамеры, работающие на ИИ-стимуляторах начали появляться тут и там
И вот еще одна версия «снимающая на Midjourney». У нее сразу есть пресеты! Камера фиксирует картинку, посылает команду discribe, а дальше генерирует, как мы привыкли.
В отличие от прошлых известных экземпляров у этой есть большой дисплей и переключатель режима с заранее введёнными частями промта. Так можно сразу «снимать» генерировать картинку в нужном стиле.
Пока игрушка выглядит просто очаровательной, но думаю, скоро подобные приложения займут почетное место в наших телефонах, а пайплайн — в серьёзных кейсах. Потому то хорошее следование референсу и стиль часто все, что необходимо для работы. Пайплайн можно посмотреть по ссылке на Medium и попробовать сделать такую самому!