-
Кураторские AI генерации. Новый мир исследует @dobrokotov.
Если вы пропустили, Денис уже накатал саммари презентации. От себя могу сказать, что: огонь, пушка, бомба. Жду возможность прикрутить голос Скарлет Йоханссон, чтобы полностью оказаться в фильме «Her» (усы у меня уже есть).
Читать полностью…
🍿 Через 10 минут начнется презентация OpenAI — смотрим, чем Альтман будет удивлять.
https://www.youtube.com/live/DQacCB9tDaw?si=rT4ow2ugBndRwm9G
Альбом каверов на MC Dimache — Шашлычок.
Я неиронично люблю творчество MC Dimache. Кто не знает — это школьник, который в 2008 напевал на диктофон песни и целые альбомы. Одна из них — культовая Шашлычок (обязательно послушайте). Люблю за то, что, по мимо милой искренности и забавных текстов, это очень классная демонстрация того, что для реализации идей не обязательно пользоваться привычными инструментами и подходами. Этот альбом — трибьют этой идее и персонально мистеру Диманчу.
Сделано в Suno, визуал Dalle-3/Midjourney. Советую брать, как OST для IRL шашлыков (проверено на практике).
О реальных возможностях SORA или разбор ролика Air Head
Сразу говорю, мини-фильм посмотреть все же стоит, потому что судить обо всем надо самому, а не по словам каких-то блоггеров в телеграме, нужно отслеживать и запоминать вехи. Да и ИИ-кино потихоньку все чаще становится высказываниями, а не просто тестами возможностей.
Невероятно люблю, когда громкость релизов разбивается о технические подробности после (а тут прямо сильно после) бета-тестирования.
Классный пост о статье Майка Сеймура у Сергея Цыпцына с техническими нюансами изготовления роликов на SORA (по-прежнему никакой магии). Интриг вокруг SORA все еще очень много, но уже понятно, что качество гоняется через Topaz, композиция правится через After Effects, в еще цензура, кругом одна цензура.
Хотите учиться у экспертов в области IT? Школа анализа данных Яндекса принимает заявки до 12 мая, успейте зарегистрироваться.
ШАД для вас, если вы:
· интересуетесь Machine Learning
· имеете хорошую математическую подготовку
· уверенно владеете каким-либо языком программирования
Программа длится два года, обучение бесплатное. Можно выбрать одно из направлений: Data
Science, инфраструктура больших данных, разработка машинного обучения или анализ
данных и ИИ в прикладных науках.
Больше об учёбе в ШАД и возможностях для выпускников расскажем на днях открытых
дверей. Узнать даты и зарегистрироваться можно по ссылке.
Eto ya и поток новостей про нейронки 😐
Кажется пора перечитать свой же пост на эту тему.
Моё любимое от Клода в тесте. Ну и стих Маяковского про жареный суп.
Читать полностью…
Раз в год обязательно должна появиться новость про нейроиндусов. Раньше был 3D сервис Kaedim, который на старте позиционировал себя как исключительно AI, но после расследований стал "Kaedim's pipeline uses a combination of machine learning and a team of in-house artists".
Теперь Amazon со своим умным магазином. Но не все так однозначно.
Блогеры - все. Вы не поверите, это девушка полностью генерация!
Ох, ребята, иногда у меня подгорает с твиттерских "аи-блогеров" (ex. криптобро), обожающих бомбить громкими заголовками ради репостов, не проверяя информацию, а потом это мощно тиражируется.
Люди на видео реальны, вы даже можете нанять их, чтобы сделать видео здесь, например:
https://fiverr.com/amarie1717
Другими словами, "стартап", получил лицензию на нескольких людей "говорилок" и подключил HeyGen (пруф) для их анимации/кастомизации.
Все.
Тем временем нашел целый аккаунт в IG с «православными» нейрорилзами, самые популярные — где надо потрогать хлеб — набирают по миллиону просмотров и тысячи комментариев.
Выводов не будет, но вот пайплайн (не знаю, зачем вам, но вдруг пригодится) — Dalle-3 + Heygen.
20 000 — это население города Лебедянь в Липецкой области.
20 000 — это полностью заполненный фанатами Эда Ширана концертный стадион O2 Arena в Лондоне.
20 000 — это вы. Любимые нейроэнтузиасты и просто молодцы.
Поздравляю нас! ✨
Емое, чуть не забыл рассказать: подготовил стероидную версию тренд-репорта на 2024 год и буду рассказывать о ней на онлайн-конференции по нейронным сетям «Навыки будущего» от Skillbox уже в этот понедельник в 18:00. Советую прийти тем, кто всё ещё слабо понимает, что вообще происходит и куда мы все так весело летим.
Ну и посмотрите программу, там довольно много интересных тем. Планирую как минимум посмотреть, как GPT помогает в запуске стартапов (делаю стартап), а также 3D + Stable. Все это бесплатно, но иногда красивый человек (не я) будет рассказывать вам про курс (хороший).
Так что записывайтесь или не записывайтесь, управляйте своей жизнью сами!
Я тут ушел с основной работы, чтобы играть в плойку, отдыхать и набираться сил для своих проектов. Поэтому появилось некоторое количество времени, чтобы возродить некоторые рубрики канала. Это дайджест новостей/какие-то штуки, которые мне показались интересными на этой неделе.
Назовем это #ЧтоТоИнтересное (4-10 марта 2024)
1. #Claude (главный конкурент ChatGPT) прокачался до третьей версии, поумнел, освоил мультимодальность и вообще держится молодцом. Главное преимущество на данный момент перед GPT4 — возможность подавать на вход большой объем данных (можно закинуть договора или небольшую книжку). Как это остроумно можно использовать в пайплайнах, можно посмотреть у Дениса.
2.Также клодовцы выпустили коллекцию промптов для разнообразных задач — от создания сайтов до генерации игр. Бывалых промтовиков не удивишь, но какие-то заходы можно подсмотреть.
3. #Midjourney круто обновили функцию /describe, которая позволяет превращать вашу картинку в промт и теперь, в комбинации с V6, работает отлично. Надеюсь на этой неделе выкатят обещанных последовательных персонажей.
4. Также Midjourney заблокировали доступ к сервису для сотрудников Stability AI после сбоя, связанного с интенсивным сбором данных. Эмад (глава Stability) пообещал разобраться в хулиганстве.
5. Ну и еще скандал. OpenAI публично пропесочила Илона Маска за лицемерие и судебные иски, указывая (с пруфами) на его прошлые попытки контролировать компанию.
6. Google обновили свой генератор музыки MusicFX — добавили режим DJ. Кидаете запросы, из них генерятся треки, а дальше регулируете их на ходу. Для серьезного продакшена не сгодится, но поиграться можно (только нужен хороший интернет, у меня работает через раз).
7. Ну и красивое. Кто-то смонтировал 75 видео из #SORA в одно большое, нарядное видео. Это мы смотрим и ждем.
Стэй тюнед 🍎
Рубрика «взгляд в будущее»
Как вы знаете, в свежей Gemini 1.5 Pro контекстное окно составляет 1 миллион токенов, при этом модель умеет принимать на вход видео. 1 миллион токенов позволяет вместить:
— 1 час видео (1 кадр/с)
— 11 часов аудио
— больше 700 тысяч слов (вся «Война и мир» с запасом)
Пока Google делает внутреннее тестирование контекста в 10 миллионов токенов, первые пользователи получили доступ к базовой версии и экспериментируют. Основная киллер-фича — модель очень хорошо ищет факты во всем промпте. Если спрятать там один кадр или одну фразу в длинном контексте — более чем в 98% случаев модель их находит (лучше GPT-4).
И это позволяет помечтать о невероятных способах использования. Если раньше мы думали «о, ща напишу инструкцию и модель сделает задачу», то вот тут в треде показывают, как девушка загрузила видео с записью экрана работы в браузере, а затем попросила Gemini написать код для автоматизации. Модель почти справилась — потребовались минорные доработки (в духе установки библиотек и изменения пары строк).
Поняли?
1) Записываем экран удалёнщиков в течение полугода
2) Агенты смотрят записи и учатся
3) Агенты пишут код для автоматизации
4) Повторять до тех пор, пока остаются задачи, выполняемые человеком
Представьте что в GPT-6 можно загрузить 500 часов примеров выполнения ваших задач — как думаете, справится с большинством?
Оригинал (с видео)
– Показали GPT4-4o, самую мощную новую модель: она будет доступна для платных и ДЛЯ БЕСПЛАТНЫХ пользователей ChatGPT (даже без регистрации). Модель сейчас на первом месте по тестам сравнивая с другими лучшими моделями — и в коде и в других задачах.
– GPT4-4o это «Омнимодель» натренированная сразу на тексте, фото и видео — то есть та самая мультимодальность которую мы ждали.
– GPT4-4o уже доступна через API и стоит в два раза дешевле, и работает в 2 раза быстрее.
– Показали улучшенную версию аудио-чата через ассистента — она теперь шутит, понимает ваши эмоции; теперь ассистента можно перебивать своим голосом и сам ассистент говорит с эмоциями, и вы можете просить ее менять эти эмоции (даже петь). Переводчик с помощью GPT4-4o просто работает как в Sci-Fi кино (не путаясь и не требуя дополнительных нажатий кнопок).
– Запустят десктопные приложение наконец-то, чтобы не в вебе сидеть; в десктопном приложении ей можно показывать экран целиком и просить ее подправить код, что-то рассказать и тп. То есть это ассистент, который всегда видит ваш экран.
Дополнительные мелочи:
— Заявленные фичи выкатят через пару недель.
— Теперь через приложение можно просто ей показывать видео фид и она будет давать советы как решить какую-то задачу (не нужно фоткать ничего, работает как стрим);
— Во время демки ассистент тормозил хехе.
А вот что я предсказывал в посте выше и что сбылось или не сбылось:
✅ Демку ассистента как из фильма Her
✅ Полную мультимодальность: модель будет обучена сразу на видео, аудио, картинках и тексте
❓ Размер контекстного окна в 1М (мы не знаем пока)
✅ Новую архитектуру к новой модели, у которой сразу будут все фишки выше
✅ GPT4 обновление с лучшим написанием кода, или 4.5 или 4.1 (с названиями, они, конечно, не консистентны)
❌ Новую версию Dalle 3, с улучшенным фотореализмом
😎 Немного контента про волшебную нейрошарманку #Suno.
1. Сделал GPT'шку для автоматической разметки текстов песен.
Указываете жанр и кидаете свой текст — получаете его обратно с проставленными [verse], [сhorus] и прочими важностями для модели. Если хотите больше контроля, то второй пункт:
2. Сделал шпаргалку по использованию метатэгов в текстах (на основе Suno WIKI):
База: текст песни важнее метатегов. Тэги лишь помогают модели, но не гарантируют результат. Структура текста, стиль и жанр влияют сильнее. Подбирайте метатеги по жанру!
Основная структура:
Куплет [Verse].
Припев [Chorus].
Дополнительные части песни:
[Pre-chorus] - промежуточная часть между куплетом и припевом.
[Bridge] - часть песни, отличающаяся от основной структуры, создает переход.
Другие части структуры:
[Intro] - тег не всегда работает, лучше описать как [instrumental intro].
[Hook] - повторяющаяся фраза или инструментальная часть.
[Break] - короткая пауза, где ведущие инструменты или вокал замолкают.
[Interlude] - инструментальная секция внутри песни.
[Outro] - завершающая часть песни, можно использовать теги [Fade out] или [Big Finish].
Инструментальные теги:
Можно использовать для создания инструментальных секций, например: [Instrumental Interlude], [Melodic Bass], [Percussion Break]. Важно учитывать жанр песни при использовании инструментальных тегов.
Голосовые теги:
Стиль вокала и пол исполнителя могут быть описаны в промпте стиля и жанра. Можно использовать стилевые вокальные теги, например: [Female Narrator], [Diva Solo], [Gospel Choir]. Но все очень зависит от жанра.
3. Выложил Шашлычок на Ютуб (кто-то просил в комментариях).
Результаты моего расследования "случайных" волнообразных банов Midjourney. Спасибо всем, кто принял участие в опросе и писал комментарии! Картина немного сложилась.
🤓 Если коротко, самый вероятный фактор риска, судя по данным — использование сервисов для оплаты подписки и посредников, таких как Plati, Cashinout, WantToPay, телеграм-боты и другие. Полный список в комментариях.
+
Опыт подписчиков из комментариев:
Ну из моего круга общения, 100% банов из-за карт, на которых сидело сразу несколько человек. Как только я нашёл человека с чистой картой, который сам не пользуется MJ, и никому больше не оплачивает, меня перестали банить 🙂
Мой опыт и наблюдение - Банят за сомнительные источники оплаты, когда меняется способ каждый раз, даже за попытки оплатить.Меня банили 2 раза. После этого плачу с одной карты пипл и с сентября все ок.
Баны не рандомные, есть система. Если в коде бана первые буквы это RS, или когда цифры это дата бана, то бан дан по причине использования не собственной карты оплаты, через которую оплачивалось более одного аккаунта. Поддержка прямо об этом не говорит, ссылается на нарушение ToS, деньги не возвращает и прекращает любое общение. Проблема в том, что банится айпи на котором был зареган дискорд.
Король и Шашлык.
Абсолютно проклято, но в главном конкуренте волшебных нейрогуслей Suno — Udio в датасетах полно русского рока. Который... можно генерировать. Пока что обнаружены: КиШ, ДДТ, Аквариум, Летов. Баг это или фича — непонятно, но думаю, что скоро шарманку прикроют.
А я попробовал создать песню абсолютно вымышленной группы Король и Шашлык. Про шашлык. Вот а тайм ту би алайв.
Промт на стиль (не думаю, что он оптимальный): Folk punk, horror punk, Король и Шут, КиШ, Korol & Shut, Михаил Горшенев Folk punk, Horror punk, Король и Шут, КиШ, Korol & Shut, Михаил Горшенев — подсмотрел у этого господина.
Ссылка на ютуб если кому нужно.
#ЧтоТоИнтересное
Понял, что я все же не новостной канал и еженедельно писать дайджест довольно трудно. Но держать вас в курсе важного хочется. Поэтому рубрика трансформируется из еженедельной в "когда-наберется-что-то-крутое".
Текст 💬
💪 GPT-4 снова в топе. После недавнего обновления, GPT-4 Turbo от OpenAI улучшил свои навыки в математике, коде и мышлении, побил Claude Opus и вернул себе первое место в рейтинге Chatbot Arena.
🐸 Открытые модели наступают. Command R+ от Cohere и Mistral-8x22B демонстрируют впечатляющие результаты, бросая вызов закрытым моделям. UPD: + новая ЛЛама!
⌨️ Гуловский Gemini 1.5 с рекордным миллионом токенов на вход доступен и прекрасен. Почему о нем мало говорят — загадка. Видимо, надо сделать его платным? А пока только нужен VPN на Америку.
🤨 Яндекс запустил свой аналог Perplexity — Нейро — языковая модель + поиск. Ожидаемый шаг, поиск с AI под капотом — новый черный. Странно, что Гугл до сих пор не сделал.
🤯 ChatGPT против Юрия Лозы. Любопытное исследование показало, что ChatGPT может эффективно разубеждать людей, верящих в теории заговора, предоставляя им аргументированные опровержения.
Картинки 🖼️
😑 Вышел Stable Diffusion 3! Пока только в виде API. Выйдет ли в формате опен-сорса — загадка. Так как основной идеолог открытого кода — CEO Эмад был в начале года уволен. Я потестировал из коробки: "Ну окей", слабее Midjourney V6. Вся сила SD в его кастомизации, так что если не будет кода, кастомных моделей, то не очень понятно, зачем он нужен. Потыкать можно, например здесь.
🚬Adobe представили аналог ControlNet для Firefly и целую студию GenStudio — рекламный центр для брендов с нейросеточками.
😮 Российские сетки постепенно прокачиваются. Вышел Kandinsky 3.1 — мощнее, быстрее и реалистичнее. А YandexArt стал доступен по API. Обе попали в рейтинг визуальных моделей, Кандинский на 5 месте, Яндекс на 10. На первом — старый добрый Midjourney.
🥲 Фан-факт про Adobe Firefly. Оказалось, что "этический" Фаерфлай был частично обучен на картинках из Midjourney (которые пользователи массово загружали на адобовские стоки, которые и используются для обучения).
Видео 🎥
🎬 Adobe Premiere Pro с ИИ. Адоб, как всегда, берет самую мякотку и намазывает на привычные инструменты и процессы. Тут и добавление/удаление объектов с видео, возможность изменять продолжительность кадра, создавать динамичные отрывки по промптам. SORA и прочие навороты в комплекте.
💃 Viggle анимирует всё. Пока все ждут SORA, вариантов с видео немного — пошевелить картинки в Gen-2 или стилизовать с помощью AnimateDiff. Viggle — свежий воздух, оживляет любые картинки и заменяет персонажей в видео с помощью промптов.
🐸 Midjourney идет в 3D и видео. На office hours ребята озвучили, что работают над новыми моделями для создания 3D, видео и симуляции всего мира. Это мы ждем.
💀 Клип для группы Pain, созданный ребятами с @aifilmmaker. Классный пример соединения нейронок, привычных инструментов (вроде after effects) и художественного вкуса.
Аудио 🎧
🕺 Suno.ai разрывает инфополе после выхода третьей версии. Я уже давно использую, например для Слово Пиксара, но сейчас это стало массовой историей. Из последнего — запустили "Мою волну", по факту нейрорадио.
🎧 Udio, новый генератор музыки и песен, бросает Suno вызов. Может похвастаться более расширенными настройками. По качеству — примерно одинаково.
Общество 🌎
⚡️ Энергопотребление ИИ растет. Аналитики Morgan Stanley прогнозируют, что к 2027 году генеративный ИИ будет потреблять столько же электроэнергии, сколько Испания.
📊 AI Index Report 2024. Любопытный отчет от Стэнфорда о главных трендах в AI: рост затрат на обучение моделей, доминирование бигтеха в исследованиях, вопросы безопасности и этики, регулирование со стороны государств и многое другое.
😠 Дипфейк-инфлюенсеры в Instagram. Meta борется с фейковыми аккаунтами, которые используют нейросети для создания реалистичных изображений. Мы уже такое разоблачили, но как я писал в своем тренд-репорте — тема будет набирать обороты.
Рандомные баны в Midjourney.
Все чаще замечаю сообщение о случайных блокировках без предупреждений, даже у людей кто даже одной картинки не успел сгенерировать. Информации очень мало, поддержка молчит, поэтому решил провести расследование .
Если вас просто так заблокировали, пройдите небольшой опрос (или пришлите знакомому, который столкнулся с этой проблемой).
https://forms.gle/hoPNrppY4TjeYDMe7
Если вас не банили, то заполнять не надо!
ОТМЕНЯЮ ПОДПИСКУ НА CHATGPT4! 😐
Конечно, этот кликбейтный заголовок мог бы оказаться правдой, если бы не встроенные в ChatGPT4 функции веб-браузинга, GPT и Dalle3. Но если серьезно, то для работы с текстами я полностью перешел на новый #Claude 3 Opus, который обходится в те же 20 долларов в месяц. Для меня есть два главных преимущества:
Объем. Одно из классических достоинств Claude - возможность загружать множество жирных файлов для эффективной работы с ними.
Качество. Бесплатная версия Opus 3 Sonnet превосходит GPT 3.5, а платная, на мой взгляд, даже лучше, чем GPT4. В целом они довольно похожи, но Opus гораздо лучше справляется с русским языком, дает более развернутые ответы, отлично удерживает контекст и в общем производит впечатление удалого молодца.
Для наглядности (и развлечения), сделал в Notion side-by-side тест, чтобы проверить разные спобности: редактуру, перевод, креативность, понимание контекста, детализация, стилизация и т.д.
Вообщем если вы хотите посмотреть как модели справились с такими задачами, как:
Напиши три короткий стихотворения на тему "Батин жаренный суп". В стиле Пушкина, в стиле Мяковского, в стиле Есенина.
Устрой напряженные дебаты с двумя позициями. Василий представляет астрономию, а Генадий - астрологию. В конце они должны начать драться на ножах.
Ты - инопланетянин-антрополог, изучающий человеческую культуру. Напиши отчет о своих наблюдениях за странным земным ритуалом под названием "рабочий понедельник", описывая его с точки зрения внешнего наблюдателя, не понимающего контекста. Сделай абсурдные, но логичные с инопланетной точки зрения выводы о смысле и цели этого ритуала.
Небольшая, но приятная новость. Внезапно в #Dalle3 (в подписке plus) выкатили inpainting. Теперь можно менять часть изображений.
Работает, как и везде. Кликаете на картинку, выделяете область, пишите промт. И теперь у вас вместо гопника гигантский антропорфный кот, который ест хлеб.
UPD: Свое редактировать нельзя (для этого есть нейрофотошоп и стейбл).
UPD 2: Выкатывают постепенно.
<рекомендация>
Собрались как-то авторы нейросетевых каналов в одном чате и решили друг друга нахваливать. Так и появился этот пост-рекомендация канала эйай ньюз @ai_newz. Артем — крутой чувак, работающий Senior AI Research Scientist в Meta. Если я пишу через призму креативных индустрий, Артем — дата саенс и прочие ML приколдесы. Давно читаю и вам советую.
#каналы
</рекомендация>
Посмотрел ролики креаторов, которым раздали #SORA (прикладываю свой любимый, про парня с головой шариком).
Пару мыслей.
Уже сейчас мы живем в условиях дичайшей информационной перегрузки, когда объем доступного контента намного превышает наши возможности по его потреблению. С развитием генератива этот разрыв будет только нарастать. Когда создание высококачественного видео (через пару месяцев) станет доступно буквально "на кончиках пальцев", мы утонем в океане контента.
В этих условиях на первый план выйдет проблема фильтрации и кураторства. Главным дефицитом станет внимание аудитории и навигация в этом океане контента. Возрастет роль алгоритмов рекомендаций, персонализации, умных поисковых систем, кураторов, которые помогут находить действительно ценный и релевантный контент.
Подписка на курируемые подборки контента может стать более ценной, чем подписка на сам контент.
Кроме того, я об этом часто говорю (но не перестану!), в мире переизбытка контентного шума еще более важным станет умение рассказывать истории, создавать уникальные миры, концепции, вселенные, которые будут привлекать и удерживать аудиторию. Компании и авторы будут конкурировать не просто контентом, а целостным опытом, комьюнити, миром, в который можно погрузиться.
Главным конкурентным преимуществом станет не форма, а содержание, идея и контекст. На первый план выйдует как раз человеческие черты - эмоциональность, уязвимость, несовершенство, юмор, искренность. Чем совершеннее будет генеративный контент, тем больше мы будем ценить контент "настоящий", созданный живыми людьми.
Как быть к этому готовым?
1. Развивайте навыки сторителлинга, креативности, концептинга.
2. Делайте ставку на человеческое. Аутентичность, эмоциональная честность, юмор, самоирония - все это останется нашим конкурентным преимуществом.
3. Инвестируйте в личный бренд и репутацию. В мире, где контент генерируется "по требованию", люди будут опираться на авторитет, экспертизу, заслуживающие доверия имена.
Bob Dylan - The Times They Are A-Changin' starts playing 🐰
#ЧтоТоИнтересное (11-17 марта 2024)
1) Мощно зафорсился сервис Face-to-many, который с помощью контролнета аутентично превращает всех подряд в персонажей олдскульных видеоигр. Сегодня попробовал сделать — просит данные биллинга, видимо, из-за спроса. Если вы любите такую стилистику (я люблю), советую проверить лоры и модели вот этого господина, чтобы запускать всё это локально.
2) Самый известный генеративный апскейлер Magnific AI научился переносить стили (1 видео). Результат — отличный, сфер применений — масса.
Тем временем один товарищ в Твиттере деконструировал пайплайн их апскейлера и выложил всё у себя в треде. Если коротко: MultiDiffusion, ControlNet tiles и лоры на детали. Если вы хотите бесплатный Magnific у себя в автоматике — прошу в тред за мякоткой.
В комментарии пришёл основатель Magnific с большим постом о том, что Krea, Leonardo и т. д. нас копируют, но у нас круче. Но в целом, у каждого апскейлера должна быть своя фишка, не нужно пытаться копировать других.
3) Почему-то забытый сообществом Ideogram обновился (аж 28 февраля).
Кто пропустил, это txt-to-img модель от бывших сотрудников Google. Отличное качество, но самая главная фишка — с текстом на генерациях Ideogram справляется лучше (второе видео), чем предстоящий Stable Diffusion 3.
4) OpenAI и производитель терминаторов роботов Figure показали первое совместное демо (3 видео). GPT отвечает за восприятие и общение с человеком, а "спинной мозг" Т-800 робота превращает эту информацию в движения.
Стэй тюнд! 🚀
Под покровом ночи #Midjourney выкатили долгожданную функцию Character Reference, позволяющую создавать изображения последовательных персонажей на основе вашего референсного изображения. Вот основные моменты из анонса:Используйте --cref URL после вашего запроса с URL-адресом изображения персонажа.
--cw изменяет "силу" совпадения от 0 до 100 (по умолчанию 100 - копирует лицо, волосы и одежду).
Функция лучше работает с персонажами, созданными Midjourney, а не с реальными фото.
Можно комбинировать несколько URL для смешивания персонажей.
Также можно комбинировать с --sref для ссылки на стиль.
Сделал пару тестов со своей фоткой и... Ну, дримбус может спокойно дрим дальше. Самый частый сценарий применения подобной функции — это использование реальных фото. И здесь как раз слабо. Хорошо забирает основные черты, но полное сходство получится примерно никогда. Но если отходить от фотореализма в стилистическую абстракцию, то вполне может быть полезным инструментом для сторителлинга.
В приложении один пример из тестов — character sheet — довольно показателен.
Предложили попробовать Фильтрумы у Шедеврума. Попробовал и рассказываю!
Сразу скажу, я не пользуюсь Шедеврумом в своих процессах. Но всегда советую его тем, кто вообще никогда не сталкивался с диффузионками, но хотел бы вкатиться в генерацию картинок. Потому что проще не бывает: UI, подсказки, промптинг на русском. Ну и лайки-подписки, которые позволяют не терять интерес к процессу. Это крутой продуктовый пример, когда сложная начинка завернута в очень простую и понятную обертку. Ну а потом сразу в Comfy, хехе (нет).
Так вот, так называемые Фильтрумы продолжают эту концепцию упрощения для массовой аудитории. Если коротко, то это img-to-img с опциональным controlnet (edge). Грузите картинку, пишите промпт, крутите ползунок местного denoise strength, получаете модифицированную картинку.
Классика, но есть продуктовый фишка. Вы можете сохранить свой удачный промпт, а другие им пользоваться. Это сущность и есть фильтрум.
Я сразу сделал идеальный — ВОЛЧАРЫ 🐺. Позволяет превращать себя в Стетхама в героя пацанских цитатников. Дополнительная область прикола — смотреть, как по-разному люди его используют. Посмотреть можно здесь. Ну и попробовать, конечно.
А я пойду делать шрекофикатор.
Киллер-фича #Midjourney V6 🤔
За всем потоком новостей я её пропустил, а вы не пропускайте. Style Transfer - возможность использовать любую картинку как стилевой референс. То есть, вы можете написать промпт, кинуть URL изображения, и на выходе получится генерация, учитывающая стилистику этого изображения.
Сделал несколько примеров с промптом: CAT WITH KNIFE + (стилевой референс).
Чем это отличается от обычного добавления картинок в промпт? 🤨
По классической схеме с картинки бралось и смешивалось всё. То есть, если бы я кинул Марго Робби как обычный референс, то на выходе получилась бы розовая женщина-кошка с ножом.
Стилевой референс - про стиль, эстетику, но не конкретный объект или сюжет.
Почему это круто? 😋
Больший контроль и возможность сохранения стилевой последовательности, чего сейчас приходится добиваться танцами с бубном. Midjourney плавно переходит от "сделать капец красиво" к "сделать капец красиво и как надо".
Как использовать стилевые референсы?
После вашего промпта введите --sref вместе с URL изображения
Что еще?
Можно использовать НЕСКОЛЬКО изображений, например --sref urlA urlB urlC
Можно установить ВЕС каждого стиля, например --sref urlA::2 urlB::3 urlC::5
Можно установить СИЛУ стиля через --sw 100 (100 - это по умолчанию, 0 - выключено, 1000 - максимум).
Я пойду дальше проводить эксперименты, а вы кидайте в комментарии свои. 🍴