3972
Все вместе тут: обучающие ролики по Stable diffusion, ссылки на что полезное, генерации, промпты.
Интересный промпт нашёл, спешу поделиться. Здесь также использована лора, которая добавляет резкость к генерации. Сгенерировано в Comfy, так как lightning и hyper изначально были сделаны под Comfy, то именно в нём лучше всего работает модель lightning
Checkpoint DreamShaper XL lightning
Lora Add More Details XL/PONY
Prompt a beautiful punk woman, very detailed, silhouette with gold foil
Negative purism, text, logo. signature, sign, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality
https://youtu.be/C0z9ouwVCe8?si=z7OZSuT3y3wo9eAo
Читать полностью…
Представляю вам мою новую лора-модель, которая может генерировать транспорт в футуристическом стиле. Где это может потребоваться? В рекламе, допустим вы рекламируете услуги такси и вам нужно привлечь внимание необычной картинкой, которая отражала бы современный стиль услуг.
Checkpoint DreamShaper XL lightning
Lora Futuristic transport
Prompt Futuristic taxi, <lora:Futuristic_transport:1>, (hyperrealistic:1.3)
Вместо taxi пишите другое название транспорта, и не только, можно и животных, получается интересный результат.
Stable Diffusion 3-medium
У SD3 по-прежнему проблема с генерацией оружия, не умение вставить его в руки. Публикую как есть, не выбирая лучшие варианты. Появилась возможность тренировать лоры для SD3, но пока нет решения из коробки, надо ручками обновлять диффьюзеры.
Prompts fantasy warrior, holding sword, full body, castle in background
Negative bad quality, poor quality, doll, disfigured, jpg, toy, bad anatomy, missing limbs, missing fingers, 3d, cgi
Stable Diffusion 3-medium
Prompts:
sketch of terminator in notebook
sketch of cyborg in notebook
sketch of nuclear explosion in notebook
sketch of sportcar in notebook
sketch of sexy woman in notebook
sketch of spaceship in notebook
sketch of star trooper in notebook
sketch of R2D2 in notebook
Checkpoint DreamShaper XL lightning
Steps: 6, Sampler: DPM++ SDE, CFG scale: 2
Prompt stroke simple icon, taxi, white background
Negative logo, watermark
Checkpoint DreamShaper XL lightning
Steps: 6, Sampler: DPM++ SDE, CFG scale: 2
Prompt stroke simple icon, cheese, white background
Negative logo, watermark
ИИ генераторы музыки Udio и Suno привлекут к суду🧑🏻⚖️
Крупные звукозаписывающие компании, включая UMG и Sony, подали иски о нарушении авторских прав против сервисов генеративной музыки на основе ИИ — Udio и Suno.
Иски, поданные в Нью-Йорке и Массачусетсе, включают несколько крупных лейблов и утверждают, что Udio и Suno копировали популярные звуковые записи для обучения ИИ-моделей, которые создают музыку, имитирующую подлинные человеческие записи с целью получения прибыли.
Обе компании были обвинены в уклонении от раскрытия источников их контента, и лейблы утверждают, что коммерческое использование защищенного авторскими правами материала не подпадает под исключения добросовестного использования.🤔
В исках запрашиваются судебные запреты и значительные компенсации (до 150 000 долларов США за каждое произведение) за умышленные нарушения авторских прав.🤷🏼♀️
Stable Diffusion 3-medium
Prompt Alien in leather in Moscow, Kremlin in background, sunny day
Negative bad quality, poor quality, doll, disfigured, jpg, toy, bad anatomy, missing limbs, missing fingers, 3d, cgi
#SD3
https://youtu.be/rQ6jV1f502Y?si=3uLtW7449tAosek8
Читать полностью…
🔥Релиз Stable Diffusion 3 Medium (2B) оказался эпическим проколом. Очевидно, что серьёзная перестройка внутри компании обязана была произойти, об этом я неоднократно писал раньше. Но, к сожалению, пока перемены развиваются по неудачному сценарию.
Вот основные новости на сегодня.
🔹 Civitai временно блокирует все производные от SD3 чекпоинты и lora. Если вы знаете альтернативные сайты с SD3 моделями – прошу делиться.
🔹 Создатель Comfy UI раньше работал на Stability, но недавно наплевал на эту контору и решил поделиться инсайдерскими подробностями. Так вот, по его словам, никаких цензурных слоев в этой модели нет. Разрабы просто вырезали всю клубничку из датасета, из-за этого люди в генерациях выглядят ненатурально, а NSFW-контент никак не выходит.
🔹 SD3 2B – это по сути один из ранних экспериментов. Изначально 2B релизить вообще не планировали, ее выкатили только из-за какого-то «давления сверху». Могли бы запилить 4B или даже 8B, но вместо этого — швах, получили какую-то унылую срань.
🔹 Разрабы из Stability защищают модель и обвиняют юзеров в не умении пользоваться стейблом. Сообщество в ответ разразилось сарказмами. Давайте максимально точное описание в промпте чтобы не получать мутантов в sd3: «в промпте нужно писать, что голова соединена с шеей», «Кость стопы соединена с костью голени / Кость голени соединена с костью колена / Кость колена соединена с бедренной костью», «Глазной узел соединен с сенсорным узлом. Сенсорный узел связан с корковым узлом...».
И мой любимый совет: для максимально точного результата пишите в промпт цепочки нуклеотидов ДНК человека, так вы максимально точно сможете управлять мутациями на выходе:
AACCACCA TAGCAGCT TAGCTCGA ATCGAGCT ATCGTCGA AAGGTGCA AAGGACGT TTCCTGCA TTCCACGT
TACGTCCT TACGAGGA ATGCTCCT ATGCAGGA TTGGACCA AACCTGGT TTGGTGGT ACCAAACC TCGAATCG
TCGATAGC AGCTATCG AGCTTAGC ACGTTTCC ACGTAAGG TGCATTCC TGCAAAGG TCCTTACG TCCTATGC
AGGATACG AGGAATGC TGGTAACC ACCATTGG TGGTTTGG CCAACAAC GCTACTAG GCTAGATC CGATCTAG
CGATGATC CCTTGTAC CCTTCATG GGAAGTAC GGAACATG GCATGAAG GCATCTTC CGTAGAAG CGTACTTC
GGTTCAAC CCAAGTTG GGTTGTTG CAACCCAA GATCCGAT GATCGCTA CTAGCGAT CTAGGCTA CATGGGAA
CATGCCTT GTACGGAA GTACCCTT GAAGGCAT GAAGCGTA CTTCGCAT CTTCCGTA GTTGCCAA CAACGGTT
GTTGGGTT ACACACAC TCTCAGAG TCTCTCTC AGAGAGAG AGAGTCTC ACTGTGAC ACTGACTG TGACTGAC
TGACACTG TCAGTCAG TCAGAGTC AGTCTCAG AGTCAGTC TGTGACAC ACACTGTG TGTGTGTG AAAACCCC
TATACGCG TATAGCGC ATATCGCG ATATGCGC AATTGGCC AATTCCGG TTAAGGCC TTAACCGG TAATGCCG
TAATCGGC ATTAGCCG ATTACGGC TTTTCCCC AAAAGGGG TTTTGGGG CACAAGAG GAGTAGTG GTGTTCTC
GTCTACAG CAGATGTC CAGTTCAG ACTGGTGT AGACGTGA AGTCCTCT TCTGCACT TGTCGAGT TCAGGAGA
GTCAAGTC GTGATGAG TGTGGTCA ACAGCTCA
🔹 Ушедший Эмад Мостак, основатель и бывший директор Stability AI, отказывался от идеи ограничения контента. Он утверждает, что радикальная свобода необходима для достижения демократизированного ИИ.
«Мы доверяем людям и сообществу, — сказал он, — в отличие от централизованной, неизбираемой организации (OpenAI), контролирующей самую мощную технологию в мире».
Теперь доверие закончилось, Мостак называет это «деспотичным паттерналистским подходом к ИИ».
Тем временем, недавно вышедшая нейросеть Stable Diffusion 3 (SD3), которой пророчили чуть ли не прорыв в локальной генерации картинок, оказалась зацензурена так сильно (из-за опасений, что она будет использоваться для генерации порно), что нейросеть не имеет понятия даже о базовой человеческой анатомии - никакой тебе бубы, сосков и всего такого прочего, но тут тебе и шесть пальцев и ноги из рук и отсутствия тела и много чего ещё.
При этом, пользователи пишут, что нейросеть прекрасно генерирует пиксель-арт, неплохо справляется с изображением еды, даже прекрасно генерирует текст, но всё что касается анатомии (включая реалистичные фотографии, мультики и аниме) даётся ей с большим трудом.
Это не было бы проблемой, если бы авторы SD3 не стали бы рваться в твиттере на вопрос "почему так?" - один вообще заявил, что пользователи просто глупые и не умеют пользоваться нейросетями.
Отличный настрой.
Тем временем, обитатели сабреддита /r/StableDiffusion постят картинки-сравнения настроенной SDXL, SD1.5 и сравнивают с SD3 и там сравнение не в пользу последней.
В целом, сообщество склонно полагать, что потенциал у SD3 есть, просто она будет использоваться в связке с другими моделями - скажем, генерировать только фон или только текст, а любимые в народе картинки голых девочек как и раньше будут генерировать в Pony/SDXL.
@zavtracast
Оцените текст в sd3. Пока не ясно, это assistant вычленяет из промпта текст и творит закадровую магию или sd3 прямо из коробки работает с текстом настолько хорошо.
👀 Продолжаю наблюдение за ситуацией
Исследуя генерации с последовательным сидом, я понял, что это можно использовать для борьбы с мутациями. Если сгенерировать 100 картинок с сидом от 1 до 100, то можно заметить, что допустим на сиде 2 две ноги, а на сиде 3 их уже три. Также можно заметить, что иногда игнорируется промпт. Пишешь, что двое людей, а генерирует троих или одного. И в последовательных сидах можно найти идеальную генерацию.
Обычно SD генерирует случайный сид, если в поле для сида выставлено -1. И бывает, что так везет, что вы постоянно попадаете на сид с мутациями. Так и созрело решение, уйти от случайности и перейти к некому контролю. Как этого добиться? В txt2img в самом низу есть Script, нажимаем и выбирает X/Y/Z plot. Далее в поле X type выбираем seed. Справа пишем 1-100. В остальных полях должно быть Nothing. Так вы сгенерируете сотню картинок и выберите необходимую.
Checkpoint DreamShaper XL lightning
Lora Couple on yacht
Steps: 6, Sampler: DPM++ SDE, CFG scale: 2
Prompt man 35 years old and young woman, sitting on the yacht, see at camera, white pants, white sneakers <lora:Couple on yacht v.5:0.8>
Negative drawing, sketch, 3D, gay, deformed, bad anatomy, beard, broken legs, broken fingers, watch on hand, clock on hand, sunglasses, bracelet
https://youtu.be/fX1etd2A2Dc?si=mHptdYP4JLwbWBls
Читать полностью…
https://youtu.be/0CnpN02jrEk?si=bhTsbtLXLYRLmMTM
Читать полностью…
Три дня назад вышла универсальная модель ControlNet версии MAX (medium версия вышла неделю назад). Это не простое объединение чужих моделей, а самостийная разработка. Благодаря чему исчезли некоторые баги, которые были у предыдущих моделей.
Как пользоваться?
1. Качаем файл diffusion_pytorch_model_promax.safetensors
2. Переименовываем его в controlnet++_union_sdxl
3. Помещаем файл в директорию models\ControlNet\
4. Открываем ControlNet, выбираем вариант depth (например), и справа в выпадающем меню должно появится controlnet++_union_sdxl
но там не появится, поэтому нажимаем справа обновить. Иконка водоворота. Выбираем появившиеся файл controlnet++_union_sdxl
5. При смене метода с depth на canny, снова повторяем пункт 4.
Совет
* Если картинка оригинал с сильным дефектом, допустим это скан печатного издания, то данный шум печати ControlNet увидит и это отразится на генерации. Можно переключить с Balanced (который ставится по умолчанию) на My prompt is more important. Иногда лучше поставить ControlNet is more important. В моём случае это потребовалось, когда упорно генерировалось 4 пальцев, вместо 5, несмотря на то, что в карте softegde были пять пальцев.
* При смене чекпоинта, происходит сброс на настройки по умолчанию, нужно снова повторить пункт 4. То есть если генерация отвалилась с ошибкой, гляньте что стоит в ControlNet, скорее всего всё сбросилось.
* Поставьте редактор Photopea, чтобы посылать сгенерированные карты на редакцию прямо в SD. Появится иконка попугая. Очень часто бывает, что захватывается что-то лишнее и проще это закрасить черной кистью.
* Бывает, что генерация с шумом, в этом случае смените сэмплер на Euler A
Важное преимущество Union
Так как модель теперь одна для всего, то теперь не требуется мощная видяха. Если раньше вы хотели использовать несколько юнитов за одну генерацию, то каждая модель контролнета кушала видеопамять. Теперь одна модель, генерирует быстро даже на трёх юнитах.
🔥Stability ai обновило лицензионное соглашение, касаемое модели Stable Diffusion 3
👌Теперь SD3 можно использовать создателям, разработчикам и организациям с годовым доходом менее 1 млн долларов.
📝Похоже в ближайшее время модель будет разблокирована на Civit AI и вероятно начнётся этап обучения модели.
📎 stabledif.ru
Stable Diffusion 3-medium
Prompts: Robocop, full body, photo
Negative bad quality, poor quality, doll, disfigured, jpg, toy, bad anatomy, missing limbs, missing fingers, 3d, cgi, gun
Checkpoint DreamShaper XL lightning
Lora Pencil art
Те, кто пытался ранее создавать скетчи имитируя рисунок рукой, наверное, заметили, что генерация слишком хороша для рисунка рукой. И опытный глаз сразу заподозрит генерацию. Поэтому я создал модель, которая имитирует зарисовку в стиле начинающего художника. Помимо всего прочего, имеются следы на бумаге от резинки и прочие шероховатости, изгибы, изломы.
Промпт и настройки сможете найти по ссылке.
Checkpoint DreamShaper XL lightning
Steps: 6, Sampler: DPM++ SDE, CFG scale: 2
Prompt stroke simple icon, burger, white background
Negative logo, watermark
Checkpoint DreamShaper XL lightning
Steps: 6, Sampler: DPM++ SDE, CFG scale: 2
Prompt skyscrapers, floating city, cyberpunk art, (drawing by ball pen:1.3), in sketchbook
Stable Diffusion 3-medium
Должен признать, что качество фотореализма у SD3 из коробки выросло значительно. Но когда дело доходит до пальцев, то беда-бидой. Шесть пальцев, либо вытянутый пятый палец. Но ногти в большинстве случаев, теперь нормально генерируются. Проблема с кривыми зрачками осталась. Исчезла проблема с вытянутой шеей, которая была во всех предыдущих базовых моделях. Замечу, что проблема с пальцами так и не была решена в SDXL, а в SD3 точно не скоро. Жду, когда подтянется ControlNet и тренировка лор. Но подозреваю, что очень не скоро.
Prompt model, solid background, pastel colors
Negative bad quality, poor quality, doll, disfigured, jpg, toy, bad anatomy, missing limbs, missing fingers, 3d, cgi
#SD3
Stable Diffusion 3-medium
Prompt Robocop next to R2D2 in Moscow, Kremlin in background
Negative bad quality, poor quality, doll, disfigured, jpg, toy, bad anatomy, missing limbs, missing fingers, 3d, cgi
#SD3
ИИ заменяет людей🤖
Новое исследование, проведенное Школой бизнеса Имперского колледжа, Гарвардской школой бизнеса и Немецким институтом экономических исследований, выявило значительное влияние ИИ на рынок труда, особенно для цифровых фрилансеров.
С момента запуска ChatGPT в ноябре 2022 года спрос на фрилансеров, занимающихся написанием текстов и разработкой программного обеспечения, снизился на 21%.📉
Вакансии по вводу данных и постобработке в социальных сетях сократились на 13%.📉
Должности, связанные с созданием изображений, включая графический дизайн и 3D-моделирование, сократились на 17%.📉
Проанализировав почти два миллиона объявлений о вакансиях в 61 стране, исследование выявило значительное сокращение должностей, склонных к автоматизации.
https://youtu.be/HmxbsQDRTSs?si=cCXg5pfuoXnYLWcv
Оливия обратил внимание на лицензию для SD3. Кратко, Стабилити хочет денег за генерацию. Ежемесячно. Минимум 20 американских президентов. Лицензия так непонятно написано, что неясно хотят ли они это для сервисов или в локальном запуске? Вишенка на торте, что тот, кто модифицирует базовую модель или создаёт лору, теперь несёт ответственность за генерации, которые производят пользователи.
https://youtu.be/UD9dqCKKCuo?si=FC7WfyO_AFbGU-Up
Читать полностью…
Веса Stable Diffusion 3 Medium релизнут 12 июня!
AMD провела презентацию на Computex 2024, где вышел новый CEO Stability и объявил дату релиза. Пока что релизят только Medium, на 2 миллиарда параметров.
2B модель – это, конечно, не ахти. Думаю, что она будет близка по качеству к SDXL, так что многого ожидать не стоит. Но зато будет код архитектуры и можно будет легко самим отмасштабировать и обучить, если есть деньги.
Судя по изначальному анонсу, ещё должны быть 8B и 800M модели (подозреваю что их назовут Large и Small), когда их релиз – не говорят. Релизнут ли Turbo версию Medium одновременно с основной - тоже неясно.
@ai_newz
Checkpoint DreamShaper XL
Мне подкинули интересную идею с последовательным сидом. Сид не включает в себя полную информацию о генерации, промпт очень важен. На сиде 2 с разным промптом вы получите разную генерацию. Я решил проверить как меняются генерации с одинаковым промптом, но с постепенным увеличением сида. Выкладываю здесь наиболее интересные работы
В промпте написано, что милый пришелец сидит рядом с домашним питомцем.
Steps: 6, Sampler: DPM++ SDE, CFG scale: 2
Prompt: pet and cute alien, sitting on sofa in studio, white background
Сиды: 2, 13, 18, 34, 62, 90, 100, 133, 173
Ребята, я понимаю, что людям нравятся однокнопочные решения в виде Фукусу и Дефукуса, но если хотите получать невероятные результаты с моих лор, то предлагаю вам поставить оптимизированный SD, который называется Forge, устанавливается легко, нажмите тут Ну или найдите внизу надпись
>>> Click Here to Download One-Click Package<<<
Скачается архив, распакуете и запустите файл run.bat, который находится сразу в корне папки, периодически проверяйте обновления нажав на файл update.bat
Forge установлены самые лучшие оптимизации, многие отмечают, что controlnet работает значительно быстрее, чем автоматик1111
