2688
Все вместе тут: обучающие ролики по Stable diffusion, ссылки на что полезное, генерации, промпты. Донат https://boosty.to/stable/donate
И снова мега крутая штука. И снова от lllyasviel (автор Контролнета, Фооокуса, Омоста). Точнее даже не новая штука, а легендарный камбэк :)
Итак, автор обновил свой "Автоматик" - Forge до версии 2.0.0. Ну, обновил это слабо сказано. Если посмотреть коммиты - там переписано всё (иногда по 2-3 раза): бэкэнд, фронтэнд, модули, оптимизации, очень старые фишки которые давно надо было переделать. Технических обновлений очень много, их просто не перечислить (общее количество правок более 2 миллионов строк!). Давайте посмотрим, что можно получить нам, как пользователям:
— Одно из главных нововведений - это обновление Gradio до 4.х+. Он стал стабильнее, отзывчивее, туда добавлена гора новых фишек, при этом сохранился понятный интерфейс. Удобные пространства и рисование во вкладках инпаинта, новые кнопки в работе с изображениями, функциональные слайдеры и т.п.
— Поддержка всего на свете. SD3? FLUX? HunyuanDiT? Kolors? Playground? Сигмы и всё такое? Это тут теперь есть! Так же расширена поддержка Диффузеров, поэтому можно будет довольно легко добавить любую свежую модель.
— Про FLUX ещё отдельно скажу. lllyasviel сделал собственную имплементацию инфернеса этого чекпоинта и реализовал "прямую" работу с bnb NF4. Для тех кто не понял - это "настоящая" работа чекпоинта в int4, по качеству и скорости превосходящее текущие реализации FP8. Для тех кто всё ещё не понял - подробности тут :) По тестам - FLUX входит в 8 Гб VRAM, но может работать и с 6 (4?). Запустить это можно на 30ХХ+ карточках (ниже просто не поддерживают int4 тензоры на "железном" уровне) и с Cuda-библиотекой версии выше 12.4. Если у вас видеокарта старее - используйте fp8 реализацию.
— Реализовано полноценное управление Shared-памятью. Если у вас не хватает видеопамяти на очередную современную модель - часть можно скинуть в RAM. Раньше это делалось автоматически, на основе драйверов. Теперь - можно чётко указать сколько оставить в VRAM (в мегабайтах) и кто будет управлять выгруженной памятью (процессор или видеокарта)
— Оптимизации контролнета и поддержка новых фитч. Переписана логика работы КН, он теперь куда более плотно встроен в бэкэнд, что увеличивает как скорость загрузки, так и скорость работы. А так же добавлены модели, которые мы уже видели в контролнете Автоматика1111. В ближайшее время автор добавит пачку новых фитч, которые были реализованы как проект, но в "больших" интерфейсах особо не появлялись.
Как это всё установить и пользоваться? По сути, тут ничего не поменялось - ставите Python, git, и дальше любым удобным способом по старой ссылке. Или можно скачать упакованный релиз отсюда - https://github.com/lllyasviel/stable-diffusion-webui-forge/releases. Там можно выбрать готовый вариант webui_forge_cu124_torch24.7z для Куды 12.4 (30хх+ карты) или с Кудой 12.1 для остальных. После распаковки достаточно запустить run.bat и остальные установки сделаются сами (Питон и Гит всё равно уже должны быть у вас установлены). От себя порекомендую поставить Forge с нуля, а не обновлять старую версию (что бы не получить ошибок).
По моим тестам - весь базовый функционал работает. Т2и, И2и, апскелинг, лоры, контролнеты (успел проверить не все). Понятно, что большинство расширений отвалилось. Но, во-первых, в Forge уже встроено 80% того, что нужно (контролнет, различные фиксы и оптимизаторы, мультидиффузия), а, во-вторых, авторы крупных расширений (аДеталер, АниматеДифф) уже взялись за подгонку своих проектов.
По скорости в обычных задачах (генерации+лоры/контролнет) прирост у Форджа относительно последней версии Автоматика ~30-40%. И2и (как и раньше) прирост вообще сумасшедший, от 50% ускорения и выше.
Модель Schnell, в комментариях несжатый файл. Перетаскиваете в ComfyUI и получайте промпт и схему.
Читать полностью…
Завтра грядёт большое обновление Forge, которое будет поддерживать Flux. Автор в данный момент тестирует свои изменения и исправляет найденные баги.
Что такое Forge?
Это форк (значительно модифицированная версия) Автоматика, включающий последние оптимизации. Эти улучшения впоследствии были внедрены и в оригинальный Автоматик. Кроме того, Фордж по умолчанию содержит множество полезных плагинов.
Модель Schnell сконвертировали в чекпоинт, а также объединили с vae. Схема для ComfyUI стала проще. Модель потребляет меньше видеопамяти. А также проведенные тесты показали хорошую резкую картинку в 100% случаев.
Скачивайте файл flux1-schnell_fp8_unet_vae_clip.safetensors и кладёте в директорию models\checkpoints
Далее забирайте из комментария несжатый png и в нём хранится схема. Перетаскиваете картинку в ComfyUI и вы получаете всю схему.
Кратко:
1. Для ускорения генерации во Flux лучше в sampler выставить uni_pc_bh2. А в scheulder установить sgm_uniform. Скорость генерации поднимается в два раза.
2. Ноды от SD3 подходят к Flux. В связи с чем оказалось возможным поставить негативный промпт, но только в dev версии это работает. Скорость генерации падает в 2.5 раза. Возможно найдутся экспериментаторы, которые добьются лучших результатов.
3. На Сивитай начались эксперименты с объединением моделей. Удалось скрестить Flux dev с Pony SDXL. А Пони по большей части специализируется на контенте 18+.
4. Приятной новостью оказалось, что flux не подверглась жесткой цензуре и может генерировать сумасшедшие картинки не боясь случайно вас обидеть. Для тех кто не знает, Dalle отказывается генерировать картинки, где есть хоть какой-то намёк на что-то плохое.
Вот, например, вместо soviet напишите что-то другое и Флюкс сгенерирует
Prompt female supermodel in black leather suit and peak-cap on the head, soviet flags in background, cinematic
Model Flux Schnell
Сгенерировал обои для рабочего стола, разрешение 1920 на 1088. Это Flux Schnell. Прикладываю zip файл с несжатыми картинками. Промпт внутри картинки, просто перетаскиваете картину в ComfyUI.
Читать полностью…
Записал небольшой тутор по восстановлению фото. На здоровье!
#colorize
Stability AI вершат революцию: они только что опубликовали новую модель Stable Fast 3D, которая генерит крутые 3D-модели из вашей фотки за полсекунды!
Кроме того, разрабы гордо заявляют, что качество их модельки задает новые стандарты в индустрии.
Ставим локально с Hugging Face, а мы пока ждём онлайн-демо.
Мертвые заговорили! Миджорни 6.1 вышла.
Что нового в V6.1?
- улучшенная анатомия (руки, ноги, кисти, тела, растения, животные и т.д.)
- Значительно лучшее качество изображения (уменьшение пиксельных артефактов, улучшенные текстуры, кожа, 8-битное ретро и т.д.)
- Более точные, детальные и правильные мелкие детали изображения (глаза, маленькие лица, далекие руки и т.д.)
- Новые апскейлеры с гораздо лучшим качеством изображения/текстуры
- Примерно на 25 % быстрее при работе со стандартными изображениями
- Повышенная точность текста (при рисовании слов через "цитаты" в подсказках)
- Новая модель персонализации с улучшенными нюансами и точностью
- Новый режим ``q 2``, который требует на 25 % больше времени, чтобы (иногда) добавить больше текстуры ценой снижения целостности изображения.
Есть тут миджорниводы? Го тестировать и делиться впечатлениями в коментах.
@cgevent
К вопросу зачем это нужно? 👆
Ответ нашёлся. Вы таким способом получаете англоязычного собеседника. В ютубе есть ролики, где преподаватель английского просит ChatGPT поправлять его, если он скажет что-то неправильно. Идеально получается английский язык. На других языках говорит с акцентом, но говорит правильно с точки зрения грамматики. Поэтому потренироваться, снять скованность в общении - идеальный вариант.
2027 год, метаверс, тебе улыбается девушка на баре, подходишь.... и у чувака по ту сторону экрана начинает лагать чип в мозгу
Читать полностью…
Deepfake можно распознать по отражению в глазах👁
Исследователи из Университета Халла предложили анализ отражений в глазах человека как способ идентификации таких deepfake-изображений.
☝🏻Команда использовала индексы для сравнения симметрии между левым и правым глазом и применила коэффициент для оценки равномерности светового распределения, обнаружив, что deepfake-изображения часто имеют разницу в отражениях.
☝🏻Несмотря на ограничения метода и вероятность ложных срабатываний, он представляет собой полезный инструмент в борьбе с deepfake, дополняя другие существующие методы.
https://youtu.be/HJQJMTGuWDQ?si=dMrUz_54Ydah7Vm2
Читать полностью…
Не обновляйте Forge, какой-то конфликт установленными с плагинами. Теперь он у меня не запускается.
Читать полностью…
🎬 Stability AI обьявила о выпуске Stable Video 4D — новой модели ИИ для динамической генерации многоракурсного видео.
📎 подробнее
По словам разработчиков SV4d умеет:
✔️ преобразовывать видео одного объекта в несколько новых видеороликов с восьми различных углов/видов;
✔️с помощью одного вывода генерировать 5 кадров в 8 проекциях примерно за 40 секунд;
✔️ пользователи смогут указывать ракурсы камеры, адаптируя вывод в соответствии с конкретными творческими потребностями.
📝 Модель, которая в настоящее время находится на стадии исследования, имеет будущие применения в разработке игр, видеоредактировании и виртуальной реальности, и ожидаются постоянные улучшения. В настоящее время она доступна на Hugging Face
🤔 Что думаете?
Модель Schnell, в комментариях несжатый файл. Перетаскиваете в ComfyUI и получайте промпт и схему.
Читать полностью…
Установка Reactor под ComfyUI
Reactor – это плагин, который позволяет вклеить фотографию лица в генерацию. Этим инструментом я пользуюсь не только для того, чтобы подставить свое лицо, но и чтобы выправить его. Ведь бывает, что в генерациях ломаются лица, зрачки кривые и прочее. У меня собрана своя коллекция малоизвестных, но красивых лиц.
Установка на ComfyUI в очередной раз закончилась приключением. И я решил опубликовать последовательность действий. Причём, сперва я пытался обойтись малой кровью пропустив первый шаг.
1. Поставил VS C++ Build Tools
2. Через менеджер нашёл ноду reactor
3. Поставилось с ошибкой. Менеджер пишет, что произошла какая-то ошибка и предлагает её исправить кнопкой Try Fix. Кнопка в результате ничего не исправит. Поэтому бесполезно нажимать.
4. Прежде, чем двигаться дальше, надо выяснить какая у версия python в сборке. Тут начинается самое интересное. ComfyUI идёт со своей версией python и все библиотеки должны устанавливаться там, где этот ComfyUI находится. Однако, некоторые пользователи уже ставили python, прописывали путь и когда ставятся модули для python, то они ставятся туда, где ранее устанавливался ваш python, в результате ComfyUI их не видит.
Два способа, как это исправить:
a) Зайти в системные переменные исправить путь к python в path. Указать к ComfyUI в директорию python_embeded
b) Если это вам кажется сложным, то в cmd вам придётся указывать полный путь к python.
В моем случае это выглядит так D:\ComfyUI_cu124\python_embeded\python.exe
Запустив этот путь в cmd я выяснил, что у меня версия 3.11 это значит я должен скачать файл insightface-0.7.3-cp311-cp311-win_amd64.whl отсюда
5. Кладём скаченный в файл корень ComfyUI и остаемся в директории ComfyUI.
Запускаем cmd и пишем следующее, предварительно исправив путь, у вас наверное по другому называется директория.
D:\ComfyUI_cu124\python_embeded\python.exe -m pip install insightface-0.7.3-cp311-cp311-win_amd64.whl onnxruntime
Нажимаем enter, если тут же появилась ошибка, это значит вы не в той директории, где у вас этот файл находится. Тогда просто укажите полный путь. Команда будет выглядеть так D:\ComfyUI_cu124\python_embeded\python.exe -m pip install D:\ComfyUI_cu124\insightface-0.7.3-cp311-cp311-win_amd64.whl onnxruntime
6. Запускаем ComfyUI и теперь при запуске он исправит все недочеты связанные с нодой reactor.
Да, кажется очень сложным. Но на самом деле нет. Просто один раз сделаешь и потом вообще кажется легко повторить.
Генерация видео от Black Forest Labs
Всего неделю назад они выпустили FLUX.1, чем уверен заставили всерьёз поволноваться конкурентов , а теперь уже закидывают тизеры SOTA.
Видосы выглядят прям сочно. Конечно врятли нам это дадут в опенсорс щупать, да даже если и дадут - оно нам будет бесполезно, не думаю что мы сможем такое на своих калькуляторах даже с всякими оптимизациями гонять.
Команда Black Forest Labs просто по всем фронтам унижает Stability, да и другим наглядно показывает как надо делать вещи.
Сильно сомневаюсь что Stability что-то спасёт, их 8B рисовач по подписке никому не был нужен и до FLUX, а теперь уж и подавно, их новая SF3D - хз. Я пощупал, ну.. как то - не рыба ни мясо, в общем не в восторге был. В общем Stability всё.
Да здравствует Black Forest Labs!
Будем ждать релизов новых плюшек от них, я уверен что это далеко не последний раз когда они нас удивят.
Ради забавы решил сгенерировать музыку на своем компе. Делается это в ComfyUI, воркфлоу вы найдёте в комментариях к этому посту.
Вам нужно скачать чекпоинт от SD, качаете файл model.safetensors, и переименовывайте его в stable-audio-open-1.safetensors Зачем? Чтобы потом самому не запутаться, что это за safetensors такой. Кладете его в ComfyUI\models\checkpoints\
Далее скачиваем clip от компании Google, файл model.safetensors
тоже переименовываем в t5_base_audio.safetensors. И кладем в папку ComfyUI\models\clip\
Ну вот собственно и всё. Берёте мой вокрфлоу из комментария. Внизу load audio, нужен wav файл, когда вы его выберите, появится ошибка, игнорируем её. Главное убедитесь, что название файла появилось. На основе этого файла будет генерироваться музыка.
Из проведённых тестов выяснилось, что acoustic guitar и piano нет в чекпоинте. На выходе будет тишина. Жанр dubstep создаёт грохот.
Зачем это нужно? Музыканты полученные сэмплы изменяют до неузнаваемости при помощи плагинов. Но всё же умельцы умудряются найти источник. Как правило, это стандартная библиотека синтезатора, либо какая-то старая малоизвестная композиция. А вот сгенерированная музыка уже меняет правила игры, никогда не поймешь на основе чего был сделан новый сэмпл.
1 августа 2024 года, стартап Black Forest Labs объявил о своём формировании. В посте в блоге стартапа список сотрудников напрямую не называется, перечислены лишь проекты, над которыми они работали в прошлом. Однако в объявлении фонда венчурных инвестиций Andreessen Horowitz указано, что управляют стартапом 3 специалиста с отличным послужным списком:
Робин Ромбах. Исследователь искусственного интеллекта, индекс Хирша 22. В 2022 году начал работать в лондонском стартапе Stablity AI, который известен моделью генерации изображений Stable Diffusion. Внутри организации руководил командой исследователей. В марте 2024 года покинул компанию. Слухи утверждают, что он грозился сделать ещё летом 2023 года из-за проблем с инвестициями.
Андреас Блаттманн. Соавтор (индекс Хирша 18) оригинальной работы Latent Diffusion в исследовательской группе CompVis. 4 из 5 соавторов этой работы затем перешли на работу в Stability AI, Блаттманн был в их числе. В марте 2024 года трое из них, опять включая Андреаса, покинули компанию.
Патрик Эссер. Автор множества работ по генерации изображений, индекс Хирша 18. Главный исследователь в Runway, одного из стартапов, которые вели разработку первой Stable Diffusion. Входит в число уволившихся из Stability AI в марте этого года.
Black Forest Labs уже получил $31 млн посевных инвестиций. Вложился не только фонд Andreessen Horowitz, подтянулись разнообразные бизнес-ангелы калибра Брендана Ирибе, Майкла Овица, Гарри Тана.
В FLUX.1 задействована гибридная архитектура мультимодальных и параллельных диффузионных трансформерных блоков с 12 млрд параметров. Black Forest Labs заявляет, что достичь новых высот помогли техники flow matching, positional embeddings и parallel attention layers. На этом технические детали в посте стартапа кончаются, остальное обещают рассказать позднее.
Остальные подробности тут
Две версии Flux: Dev и Schnell.
Dev версия запускается даже на видяхе с объемом памяти 8 GB версии 2080 rtx. Генерироваться будет 11 минут.
Schnell версия полегче и генерировать будет 2 минуты.
Какую версию качать? Прилагаю две генерации, одна Dev, другая Schnell. Попробуйте определить, где и какая.
Установка
Установка не так страшна, как кажется
1. Качаем по новой ComfyUI
https://github.com/comfyanonymous/ComfyUI/releases
Почему по новой? Если у вас Комфи установлен и у вас имеются какие-то установленные модули, они имеют свойство блокировать обновление. Старый комфи я не стал удалять, просто новый поставил в другую директорию.
2. Качаем енкодеры.
https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main
Файл clip_l.safetensors нужен обязательно. Качаем и помещаем в models\clip\
Второй файл нужно скачать и поместить туда же в зависимости от версии.
t5xxl_fp8_e4m3fn.safetensors - это для Schnell.
t5xxl_fp16.safetensors - для Dev
3. Качаем чекпоинт
Чекпоинт помещаем в models\unet\
Dev вариант, файл flux1-dev.sft
https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main
Schnell вариант, файл flux1-schnell.sft
https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main
4. Качаем vae
файл ae.sft
https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main
Помещаем в models\vae\
5. Схема для Комфи
Оказывается теперь это просто. Скачиваете картинку https://comfyanonymous.github.io/ComfyUI_examples/flux/
Аниме вариант для dev, а бутылка для Schnell. Просто перетаскиваете картинку в Комфи и в самой картинке содержится вся схема, которая будет считана Комфи.
Stable Diffusion убили... бывшие разработчики Stable Diffusion. Встречайте Black Forest Labs — новых королей open source генерации изображений.
Чуваки ворвались с моделью FLUX.1 аж на 12 миллиардов параметров, которая бьет даже Midjourney 6. Есть три версии:
— FLUX.1 [pro]: главный король, с крутой детализацией. Работает только по API или онлайн;
— FLUX.1 [dev]: немного урезанная версия Pro-модели, но в два раза быстрее, качество почти не страдает. Есть демка и публичная модель на Hugging Face;
— FLUX.1 [schnell]: самая маленькая модель с соответствующим качеством, но ее проще всего будет запустить локально. Ждет на Hugging Face.
Планы у чуваков амбициозные: они хотят сделать короля генерации видео и выпустить его бесплатно. Это мы ждём
Kling: обновили глобальную версию. Писал про неё тут.
Завезли:
* Генерации в высоком качестве, которая теперь называется Professional Mode.
* Улучшенное следование промту и консистентность видеоряда.
* Указание начальных и конечных кадров как в Luma.
* Новые расширенные движения камеры (Master Shot).
Кредиты ежедневно пополняются на 66 шт.
Доступ ко всем фичам стартует от $10/мес (660 кредитов). На время промо-недели дают дисконт 50%.
Битва за твой кошелёк ещё никогда не была такой жаркой.
Сайт
Я тут на недельку залип в реставрацию фото. Чтобы было все по взрослому, MariКа скинула свое детское фото снятое на телефон🤪.
Что сделал:
1. Photoshop - обрезал лишнее, выровнял перспективу
2. Bringing-Old-Photos-Back-to-Life - убрал повреждения на фото (A1111)
3. Покрасил фото (A1111)
4. IC-Light улучшил освещение на лице (A1111)
5. Supir апскейл и добавил текстуру на коже.
Местами приходилось между этапами допиливать картинку в фотошопе. Ну и хорошо бы сделать конечную ретушь, но мне что... правильно лень.
Если нужен тутор, ставим реакции на пост🔥.
В комментариях выложил как фото менялось по этапам👇👇👇
☝🏻OpenAI предоставляет гиперреалистичный голосовой режим ChatGPT
Корпорация OpenAI представила альфа-версию Advanced Voice Mode для ChatGPT, который предлагает гиперреалистичные аудиоответы на основе GPT-4o.
🔻Эта функция сначала доступна ограниченной группе пользователей ChatGPT Plus с планами на расширение к осени 2024 года.
Advanced Voice Mode обладает мультимодальностью и позволяет обрабатывать аудио без дополнительных моделей, сокращая задержку взаимодействия.
В текущей версии доступны четыре голоса, созданные с участием профессиональных дикторов, при этом система не будет имитировать голоса знаменитостей, чтобы избежать конфликтов.🤔
☝🏻Новый режим позволяет пользователям прерывать ИИ и адаптировать свои вопросы на лету, что повысит интерактивность.
Компания отмечает, что диалог Advanced Voice Mode не отличим по интерактивности от беседы с реальным человеком.🤖
================
😎 @black_triangle_tg
Canva приобрела ИИ-стартап Leonardo AI🤔
Платформа веб-дизайна Canva приобрела стартап Leonardo AI, ключевого конкурента Midjourney, который работает на моделях Stable Diffusion.
Команда Leonardo AI, насчитывающая 120 сотрудников, присоединилась к Canva.
☝🏻Canva, имеющая более 19 млн пользователей, хочет интегрировать технологии Leonardo AI в свой продукт Magic Studio.
================
😎 @black_triangle_tg
Блогеров РФ заставят получать лицензию для продажи курсов😐
В России блогеры, предлагающие образовательные курсы и тренинги, должны будут получать лицензию для их продажи.
☝🏻Пакет законопроектов на эту тему с поправками в закон «Об образовании» уже подготовлен рабочей группой Госдумы.
Заявляется, что новая регуляция направлена на "защиту потребителей от некачественных образовательных услуг".
Мера также призвана привлечь блогеров активнее уплачивать налоги от продаж образовательных материалов.💰
А еще при помощи LivePortrait можно открыть/закрыть глаза/рот на фото. Ну что фотографы 😄, расчехляем вспышки и выкручиваем на максимум?
#tips
🔥Обновление Automatic1111 до версии 1.10.0 - с поддержкой SD3
📎https://github.com/AUTOMATIC1111/stable-diffusion-webui/discussions/16271
✅ Поддержка Stable Diffusion 3. Рекомендуемый Euler sampler.
DDIM и другие sampler в настоящее время не поддерживаются;
✅ Новые планировщики;
✅ Новый sampler: DDIM CFG++.
Checkpoint DreamShaper XL lightning
Lora Add More Details XL/PONY
Prompt a Rome Emperor, very detailed, gold foil, round coin, photo
Prompt 2 eagle, very detailed, gold foil, round coin, photo
Prompt 3 congress building, very detailed, gold foil, round coin on wooden surface, photo
Negative purism, text, logo. signature, sign, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality