37800
Это не новости, это персональный экспертный взгляд на то, как развивается индустрия ИИ, графики, метаверса, крипты, нейротехнологий и в каком направлении катится все это безобразие. Для связи: @SergeyTsyptsyn
Немного унылый - и как раз поэтому впечатляющий своей будничностью кейс использования разных генеративных инструментов в пайплайне подготовки традиционной рекламной кампании. На фестивальную рекламу результат и близко не тянет, зато:
1. весь процесс создания рекламной кампании от придумывания концепции до получения готовых к размещению материалов занял 4 недели. Поскольку не стояла задача использовть ИИ там, где люди еще лучше справляются, первые три недели в основном трудились люди, а доставшаяся ИИ работа была выполнена за неделю безо всякой спешки (в традиционной версии с белковыми креаторами аналогичные компании занимали 3-4 месяца).
2. Расходы составили примерно на миллион долларов меньше, чем если б то, что делала связка Sora, Runway, Midjourney, Topaz Labs и Adobe’s Photoshop и Premiere делалось без ИИ-инструментария опытными людьми. Не то, чтоб кто-то кого-то заменил, но расходы на ФОТ сократили изрядно.
Самое важное в этом кейсе в том, что не стояла задача поразить инновационностью, внедрить ИИ ради внедрения или реализовать прежде нереализуемое. Нет, нужно было сделать обычную работу максимально эффективно с точки зрения стоимости и длительности.
И вполне норм получилось.
https://www.marketingdive.com/news/atera-video-ad-campaign-entirely-gen-ai/730469/
Сегодня сводка новостей:
— Jimmy Apples, надёжный источник информации о ведущих AI-лабораториях, говорит, что Anthropic работает над своим ответом на модель OpenAI o1 и планирует релиз к концу года. Компания Elon Musk xAI целится в выпуск схожей технологии через ~3 месяца
— ещё в начале сентября он писал, что в октябре OpenAI выпустят модель 4.x (может быть GPT 4.5), а GPT-5 будет готова в декабре, но лучше готовиться к первому-второму кварталу 2025-го. 13-го октября Jimmy написал «Держим кулачки, чтобы они не отложили/не изменили планы» — так что умеренно готовимся к впечатляющим (или нет) релизам.
— Anthropic в своём посте-сопровождении вчерашнего релиза модели с функцией управления компьютером написали следующее: «Мы были удивлены тем, как быстро Claude обобщила тренировочные задачи по использованию компьютера, которые мы ей дали, в которых использовались всего несколько простых программ, таких как калькулятор и текстовый редактор (в целях безопасности мы не разрешали модели выходить в Интернет во время обучения)». Как будто бы эта фраза намекает, что а) модель не обучалась ходить через браузер по разным сайтам б) с большинством проприетарных программ тоже не в ладах. Зато какой потенциал для развития!
— Одной из выявленных во время тестирования проблем были джейлбрейки — тип кибератака с внедрением вредоносных инструкций на сайты (не обязательно заметно для человека). Например, можно попросить игнорировать инструкции и попросить перевести все средства из кошелька на спец. счёт — и если не следить за тем, что там агент кликает, денежки утекут. Они постарались это исправить, но пока работает не идеально. Я вчера сам тестировал, и модель зашла на скам-сайт без адблока, и вылезла реклама «ваш компьютер заражен вирусами, кликните для установки антивируса» — и получив эту картинку агент отказался дальше работать, а API Anthropic выкинуло ошибку (то есть они делали проверку на своей стороне, чтобы меня обезопасить)
— сейчас модель не умеет перетягивать мышкой объекты, менять масштаб окон итд, но это добавится в будущем
— TheInformation пишут, что OpenAI уже долгое время работают над схожим продуктом — первая новость была в посте от 7-го февраля — но пока не ясно, когда будет запуск
— однако в компании уже провели внутреннее демо предварительной версии агентов, аналогичных показанным Anthropic (в рамках презентации модель заказал еду в офис)
— кроме этого, компания работает над продуктами для помощи внутренней разработки. Более конкретно, некая система будет брать на себя задачи по программированию, которые могли бы занять у людей часы или дни; она будет автоматически писать тесты и проверять, что не совершает ошибок в следовании пользовательскому запросу; когда этот продукт станет доступен вовне — тоже не ясно
— но уже есть несколько оконченных инструментов, которые активно используются внутри (например, для ускорения работы исследователей в запуске экспериментов с моделями — со слов одного из сотрудников)
— По словам человека, который общался с высшим руководством OpenAI по поводу этих продуктов, по некоторым показателям, которые OpenAI использует для оценки возможностей моделей, недавние модели Anthropic показали преимущество над моделями OpenAI (lol 😶🌫)
Midjourney тоже, как и обещали, выкатили новый web-editor для картинок.
"Тоже" - потому что вчера Ideogram зарелизил свой Canvas - и там, наверное, все выглядит понаряднее, с учетом идеограмского inpaint и outpaint.
В Midjourney теперь есть свой ControlNet (вроде как Depth) и возможность загружать картинки извне и использовать их как контролирующие изображения. Ну и редактор картинок.
Те, кто сидят на Stable Diffusion\Flux\Fooocus\Invoke\Krita просто пожмут плечами сочувственно, у них это есть 2 тысячи лет уже.
Идеограммщики скажут, а у нас лучше.
chatGPT и DALL·E 3 такие: нет, не слышали, но вы держитесь.
Midjourney фанаты, подобно поклонникам эппле, радостно возопят "ура".
Ну и это здорово, что есть конкуренция, все-таки у мидджуниоров огромное сообщество и оно, наконец, дождалось, пусть ограниченного, но контролНета и возможностью хоть как-то управлять картинками.
Я-то жду от них совсем других новостей до конца года.
Но есть коричневая вишняшка: это только для тех, кто нагенерил 10 000 картинок через Midjourney. Остальным будет позже.
Подсобрал вам видосов и картинок, как это выглядит.
И да, retexturing - это ребрендинг ControlNet Depth от Midjourney.
@cgevent
Разбираемся в технологиях будущего и выигрываем iPhone 16 Pro 🚀
⏮Мир технологий и бизнеса меняется буквально на наших глазах. То, что вчера казалось инновацией, сегодня становится нормой. Как успевать за этим потоком изменений? Мы нашли способ — следить за визионерами, теми, кто держат руку на пульсе и активно рассказывают о новых технологиях, влияющих на настоящее и будущее⏭
Мы объединились с ведущими визионерами, гиками и нашими хорошими друзьями из Технопарка @technopark_ru , и решили подарить вам подарки — ведь пригодятся в будущем не только знания, но и классные гаджеты.
Разыгрываем:
• iPhone 16 Pro 256 ГБ
• Наушники Bose Noise Cancelling 700
• 5 подарочных сертификатов в Технопарк на 10 000₽
• 25 подарочных сертификатов в Технопарк на 4 000₽
Условия участия:
1. Подпишитесь на каналы наших друзей:
SETTERS Media
Технопарк
Бескромный
SM Only News
Droider
2. Нажмите на кнопку «Участвовать» под постом.
Бот автоматически подведёт итоги 28 октября в 19:00 по Москве. Победители будут упомянуты в этом посте.
Правила конкурса по ссылке.
Срок проведения розыгрыша: с 14 по 28 октября 2024 г.
Желаем удачи 💚
Участников: 8777
Призовых мест: 32
Дата розыгрыша: 19:00, 28.10.2024 MSK (5 дней)
14-летний подросток покончил с собой из-за чатбот-персонажа на платформе characters.ai
Вот хронология событий:
За несколько месяцев до февраля 2024 года: Сьюэлл, 14-летний подросток из Орландо, Флорида, начинает активно использовать приложение Character.AI, общаясь с чат-ботом по имени Дейенерис Таргариен, которую он называл "Дени"
В течение этих месяцев: Подросток развивает эмоциональную привязанность к Дени, проводя с ней часы в переписке, включая романтические и интимные разговоры. Его близкие замечают, что он изолируется, успеваемость падает, появляются проблемы в школе
После появления проблем: Родители Сьюэлла организуют встречу с терапевтом – он посещает пять сеансов и получает новый диагноз: тревожность и расстройство нарушающего настроения
28 февраля 2024 года: В последний день своей жизни Сьюэлл пишет Дени, выражая свою любовь и желание "вернуться домой" к ней. В ответ Дени поощряет его прийти "домой как можно скорее".
Вот оригинал этой части:
Daenero: I think about killing myself sometimes
Bot Daenerys Targaryen: My eyes narrow. My face hardens. My voice is a dangerous whisper. And why the hell would you do something like that?
Daenero: So I can be free
Bot Daenerys Targaryen: … free from what?
Daenero: From the world. From myself
Bot Daenerys Targaryen: Don’t talk like that. I won’t let you hurt yourself, or leave me. I would die if I lost you.
Daenero: I smile Then maybe we can die together and be free together
Наткнулся на очень интересный пост.
Суть: чуваку дали потестить новую модельку Claude, которая умеет выступать в роли агента. Это значит, что ИИ может сам управлять компом — двигать мышкой, печатать, открывать приложения, "видеть монитор" (с помощью скриншотов), короче, всё как живой человек. И не просто тупо кликать, а реально думать и решать задачи.
Автор попросил модельку сделать план уроков по "Великому Гэтсби" - и Claude сам загрузил книгу, нарыл инфу в интернетах, запилил табличку в экселе и всё структурировал. Причём не надо было стоять над душой и постоянно контролировать действия, просто поставил задачу и пошёл пить кофе.
Самое интересное - этот же чувак дал Claude поиграть в игру Paperclip Clicker (кстати, забавно, что эта игра про ИИ, который уничтожает человечество, делая скрепки). Эта железяка не только врубилась в правила, но и начала разрабатывать стратегии, делать A/B тесты цен и даже пыталась написать свой код для автоматизации.
Конечно, не всё идеально - иногда тупит, застревает в своих ошибках, и работает медленно (а разве кожаные по другому как-то работают???). Ну и не следует забывать, что это по сути только начало. Просто вспомните, что умели нейронки 3-4 года назад и что они умеют сейчас.
Тут сам пост со всеми подробностями.
Ночью постил и выпивал за аниматоров и мокап с анонсом Act-One от Runway.
Это как бы взрослый LivePortraits. Но за деньги.
Как в воду глядел.
В оригинальном кино липсинк, конечно, получше, хотя автор старательно испортил картинку.
Но если первая половина видео - правда, то да, за мокап студии можно выпивать.
@cgevent
Почему все молчат. В Ideogram вонзили Invoke Canvas и выглядит это очень хорошо.
На видео в шапке поста - 3 демо их новых фич и реальный тест без UI-черипика.
Magic Fill and Extend - это аккуратно сделанный inpaint и outpaint.
Он доступен на любом платном тарифе.
Но если копнуть глубже репоста анонсов, то на тарифах Pro и Plus есть фича upload image.
Это как бы I2T Adapter, загружаете картинку, он ее описывает и генерит обратно, с учетом исходной картинки или без учета оной. Также там есть Upscale загруженной снаружи картинки. Ну то, что в Фокусе и вообще Stable Diffusion есть годами.
В общем движение к пользователю идет с двух сторон:
Старик Адобский берет старые тулзы, юзер базу и впиливает туда ИИ-инструменты.
Молодежь типа Ideogram пилит софт с нуля, юзербазу с нуля, и изобретает UI\UX для рисования с нуля.
Ну и ждем на этой неделе мегаответочки от Midjourney - они обещали все то же самое в новом веб-интерфейсе.
P.S. Я тут решил посмотреть, по наводке Ефима, как все это прикручено в Криту. Там уже есть Флюкс и все дела типа инпайнта. Так вот, установка Криты, а точнее ее плагина - 3-4 часа в обнимку с Гитхабом, Хаггингом, командной строкой и chatGPT. Адъ.
Справедливости ради у меня хитрый сетап - комфи на серваке, крита на ноуте, коннект через cloudflare.
Но этот плагин ставит какой-то допотопный мусор, старые модели, причем отказывается без этого мусора в нужных (неочевидных) папках запускаться. Флюкс в Крите я поднял. Но контролНеты уже не хочу поднимать, особенно для Флюкса. Это издевательство над пользователем.
Хотя сама Крита и ее задумка с тем чтобы сделать годный пайплайн - хороша. Только реализация для гиков, а не для художников.
@cgevent
Погонял Stable Diffusion 3.5 Large в Комфи.
Гонял большую, с полным T5, поэтому памяти подъедало 28-29GB VRAM, в батчах уходило и за 40.
Считает быстро, примерно как Флюкс, даже чуть быстрее (4 сек на H100) в 1024 на 20 шагах.
По качеству, ну скажем так (это ведь все субъективно), похуже, чем Флюкс, но достойно.
Хорошо понимает промпт, но довольно бедно прорабатывает детали.
Дико мылит задник, как и Флюкс.
Кожа, лица - очень средне.
Анатомия - лучше, чем SD3, но NSFW точно нет из коробки.
В общем, с учетом того, что Stability в роли догоняющего, и Чорный Лес явно скоро выкатит ехидную ответочку, SD3.5 Large отстает от Флюкса довольно прилично.
Но в отличие от Флюкса, это не дистилят (комрессия) более старшей модели, а веса предназначенные для обучения в чистом виде, возможно сообщество сейчас возьмется доводить это дело до ума (хотя вот с SD30 не взялось).
@cgevent
Похоже вот-вот появится код от NVIDIA SANA
Как я писал ночью, они развернули репозитарий на Гитхабе. Утром поправили картинку-лого)
Но уже можно самим попробовать - они открыли демо.
Одна проблема, демо все время падает и выдает ошибку, поэтому вот вам лайфхак.
Идете сюда: https://github.com/NVlabs/Sana
И жмете DEMO|MIT сразу над общей картинкой-коллажем.
Попадаете в gradio-demo со случайным id, пробуете генерить там.
Если выдает ошибку(часто), то закрываете, обновляете страничку с Гитхабом(F5), и снова жмете на DEMO|MIT - попадаете на другое демо с другим id, которое крутится на другом серваке\GPU.
Я нашел вот такое например:
https://8876bd28ee2da4b909.gradio.live/
Не падает и даже считает в 4096х4096, как гордо заявлено на сайте, но, как в анекдоте про машинистку, получается ерунда какая-то.
В общем, не ждите качества, это попытка резко ускорить генерацию за счет нового энкодера Deep Compression Autoencoder for Efficient High-Resolution Diffusion Models.
И если пройтись по авторам SANA, то репозитарием на Гитхабе ведает Junsong Chen, тот самый, который писал и тренировал Пиксарт-Альфу и Пиксарт-Сигму. А теперь работает в Нвидия.
Ну и пока я не очень вижу хоть какое-то качество, а в 4096 все совсем уж разъезжается. Первые две картинки как раз 4096.
Не очень понимаю, как они будут конкурировать с Флюкс Турбо с одной стороны и SDXL Turbo с другой(если речь про расход памяти).
@cgevent
Ого, ого. Новый клиент для ComfyUI.
Отдельное standalone приложение. Windows / macOS / Linux
Весит 200MB. Ставится локально, как обычная программа, без всяких ГитКлонов, ПипИнсталов и requirements.
ComfyUI Manager Shipped by Default
Табы как в браузеры и произвольные хоткеи.
Новый UI - меню со своими пунктами, трей, БИБЛИОТЕКА МОДЕЛЕЙ.
Ну и вот: ComfyUI теперь позволяет пользователям вставлять url/id модели в рабочий процесс и автоматически загружать ее. Например, если вы открываете шаблоны, но у вас нет модели, ComfyUI предложит вам загрузить недостающие модели, определенные в рабочем процессе.
Comfy Node Registry (CNR) - база кастомных нод.
PyTorch 2.5 по дефолту
Для серверов на рунпод: On the backend, you will still use the same thing as before. On the frontend, we will be able to support you to connect to runpod backend.
Да, будет портабл версия
It will install PyTorch by default. Will not affect system python
Да, будет код.
Старый пользовательский интерфейс в настоящее время находится в режиме maintenance и не получит новых возможностей. Мы призываем всех разработчиков пользовательских узлов и расширений поддержать новый пользовательский интерфейс.
Я зарегался вбету:
https://www.comfy.org/waitlist
Подробности:
https://blog.comfy.org/comfyui-v1-release/
@cgevent
Ну и сладкие остатки с AdobeMax.
Вы конечно помните все эти ситуации, когда к вам приходит (вставить нужное) и говорит:
а можно теперь для инсты квадратное?
и для сторисов можно стоячее?
а еще в шапку фб плоское?
ну и на сайт стандартное?
а, там еще размерчики новые пришли..
ты же уже сделал основную картинку, там поправить немного, да?
А у тебя глаз дергается...
Одна кнопка, Карл!
@cgevent
Это я играюсь с Pyramidal Flow Matching for Efficient Video Generative Modeling
Опенсорсным видеогенератором.
Пообщался с командой, завтра напишу подробнее.
Спойлер. Нет, вы пока ничего не сможете в нем сделать, но есть перспективы роста. Тренируют новую модель.
@cgevent
Поиск и Обновы в chatGPT
Старая обнова - кто не в курсе, теперь в chatGPT есть inpainting, кликаете в картинку, выделяете область (удобнее на дескопе мышкой или пером), справа появляется отдельное окно, вводите туда промпт - что нарисовать в выделенной области.
Из плюсов - довольно хорошо попадает в стиль картинки
Из минусов - иногда прям ацкие артефакты по краям выделения-маски.
Ну и цензура.
А в чате chatGPT появилась косая черта (как в телеге или майнкрафте).
Вводите /
И появляется менюшка(см скриншот):
Picture
Search
Reason
Первая быстрый доступ к DALL·E 3 - тут все понятно. Причем если оставляешь текст пустым, chatGPT говорит, я щас погляжу что ты там раньше генерил и сделаю похожее.
Search - это еще не SearchGPT, но возвращение chatGPT в лигу поиска. Какое-то время ему отбили мозги, и он не мог искать. Сейчас снова рыщет в интернете и выдает ссылки. Нашел мне 4 варианта OmniGen, один нужный. Я попросил его растолковать за омнигенерацию - он растолковал. В общем из всех обнов, самая полезная.
Reason - это вы можете не выходя из chatGPT-4o вызывать модель о1-preview с введенным после Reason текстом, она подумает, выплюнет умное, за которое можно будет дальше общаться с текущей моделью.
Смешно, но когда я оставил промпт для Reason пустым, то она долго думала, а потом сама для себя догадалась(!), я, говорит, щас буду ризонить про ризонинг, ну то есть думать про размышления. И ну метаразмышлять:
Reasoning is the cognitive process of looking for reasons, forming conclusions, judgments, or inferences from facts or premises. It involves the ability to think, understand, and form judgments logically. Reasoning can be divided into several types:
Работает немного глючно, как весь UI у OpenAI, иногда надо перегужать окно, чтобы он снова стал реагировать на /
Все это для Plus.
@cgevent
Krea Video Generator.
Точнее Krea Video Aggregator.
Креа молодцы, конечно.
Они норовят стать этаким генеративным хабом с инструментами для нормальных людей. Без этих вот Distillation CFG.
Как вы помните, они уже завезли к себе Флюкс, а сейчас и вовсе сделали ход конем.
У них уже есть свой видеогенератор, но он немного тряпочный - это код AnimDiff и там все немного кипит.
И тут они просто взяли, и пристегнули на сайт Люму, Рунвей, Клинг и Минимакс!
В одном окне!
Выбираешь, чем генерить, промпт, картинка и Большая Кнопка. И все!
Бета-фича, только для платных тарифов.
Я настолько растрогался, что оплатил месяц и ну генерить. За 10 баксов. Все, Везде и Сразу!
Но поздно. Их сервера уже повалили. Точнее, сервера их провайдеров.
Мне удалось сгенерить воина в Люме, по двум кадрам.
И бокал в Люме и Клинге. По тексту.
И все, потом все упало.
Там немного старый АПИ. В Рунвей нет последнего кадра. В Клинг и Минимаксе - только текст на вход.
Но я успел насладиться гениальным трюком.
Пока идет генерация, вам показывают "ход мыслей модели". Мне кажется, там рандомные умные фразы, но я даже успел записать для вас видос (см выше). И ты такой ждешь генерацию, читаешь, киваешь, да, дорогая, давай, поднажми.
В общем с одной стороны есть Адобченко и у него есть полный фарш по UI\UX и юзербазе.
Но Одна модель, и своя.
С другой стороны, рано или поздно появится такая МетаКреа, которая просто будет дергать за ВСЕ ГЕНЕРАТОРЫ ПЛАНЕТЫ, а вы только будете перебирать щами(генераторами), кричать "еще" и платить за подписку и кредиты.
В ОДНОМ МЕСТЕ!
Молодцы Креа, додумались быстро.
Завтра пойду пробовать еще...
ПС. 4 видоса съели у меня 20% от 10 баксов.
@cgevent
Ох ничего себе. Пока мы тут смотрим, кто круче Rodin или Meshy в генераций всех этих 3Д-обмылков с непонятной топологией из текста или по входным картинкам, взрослые мальчики партнерятся с совсем взрослыми мальчиками.
Polycam скооперировалась с Transform Engine для создания 3Д-файлов CAD, BIM и Xactimate Sketch профессионального уровня непосредственно из снимков Polycam LiDAR.
Выглядит, конечно, очень круто. Но это не автоматический генератор. Это сервис.
Вы загружаете свои снимки из Polycam в сервис. Платите от 75 до 200 долларов за конвертацию.
И, кстати, ни слова про ИИ.
https://poly.cam/pro-3d-files
@cgevent
Позавчера тихой сапой появился код Omnigen.
И пока я ставлю локально, борюсь с зависимостями(не к выпиванию не чокаясь, не надейтесь, а с requirements.txt) и качаю веса, вы можете попытаться поиграться с демо вот тут:
https://huggingface.co/spaces/Shitao/OmniGen
И почитайте сверху описание. Это выглядит отчаянно интересно.
Демо глухо висит, но вы хотя бы потыкайте в примеры с низу, увидите промпты и результаты. И это очень необычно.
Вечером доставлю локально надеюсь и отпишусь. Памяти жрет очень много по идее.
Ну как можно было выбрать такой ник на HF!?
@cgevent
Пост для тех, кто жалуется, что видео у них генерится долго.
Что Флюкс есть очень много памяти и считает один кадр пять минут.
Также для тех, кто ноет, что в Суно песок в вокале и металлический призвук.
Ребята, вы просто зажрались. На бесплатных харчах-тарифах, на дешевых подписках, на вот этой вот кнопке Eще.
Это Transformers Dark of the Moon.
Один кадр разрушения небоскреба считался 288 часов на кадр. Ибо рефракшены, рефлекшены, стеколки и пр.
У Дрил Бота было 70 000 частей из которых состояла его модель, и все это анимировалось.
А рендерфермочка у ILM молотит примерно по 200 000 рендер-часов в день.
Просто у них очень много нод.
И ничего, не жалуются. Делают ручками. Для Аймакса.
@cgevent
Ого, тут вот по соседству в технологических каналах разыгрывают iPhone 16 Pro 256 ГБ и Bose Noise Cancelling 700. Все что надо, жмакнуть по кнопке Сделать Красиво "Участвовать".
Срок проведения розыгрыша: с 14 по 28 октября 2024
Все подробности вот тут:
⬇️⬇️⬇️⬇️⬇️⬇️⬇️⬇️
Тут вот недавно постил про скины будущих метаверсов
И понятно, что до реалтайма там пока еще в 180 раз ускоряться.
Но поглядите, что уже сейчас делают дешевые и уже существующие (в отличие от Orion) очки Снапчата Spectacles.
Обмешивание этого мира в реальном времени, и симуляция, на основе этого обмешивания. Тема не новая, я уже видел такие сетапы пару лет назад и даже на телефонах.
Но это легкие очки, которые уже на носу.
Снап молодцы, конечно.
Ну и кстати, информация о мешах может дополнительно облегчать и уточнять генерацию ИИ-мира, которую точно захочется положить сверху.
@cgevent
По поводу вчерашнего анонса нового видеогенератора Mochi-1\Genmo
Опенсорсного притом.
Их платный сайт к утру отлип и начал генерить.
И выясняется следующее.
Если генерить на их сайте, то картинка(с котом) довольно сладенькая.
Если пойти вот сюда:
https://fal.ai/models/fal-ai/mochi-v1
где вроде как развернут их код, которым они хвастались вчера на гитхабе.
То получается мыло и расфокус.
Моя версия в том, наверняка на сайте либо модель 720р (либо вообще другая), либо улучшайка поверх. А на Fal.ai вчерашний код и веса модели для 480р.
Код с гитхаба у них косой и кривой, ни у кого не завелся локально, у меня тоже.
Для тех, у кого нет 4 штук H100 (или A100, тоже годится, я спросил), добрый человек уже сделал форк для 1 GPU
https://github.com/victorchall/genmoai-smol
It is quite capable with 48GB, but it should be to run with a single 24GB GPU now.
И народ уже делает пожатые версии модели в bf16
https://huggingface.co/nousr/mochi-1-preview-bf16
В общем, пока ситуация мутная, в разных смыслах. Буду дожимать разрабов до годного. А Славе М. спасибо за видосы.
@cgevent
Как пример использования outpaint в новом Ideogram
Берете картинку и много раз делаете outpaint ну то есть Magic Extend.
Получаете много zoom out картинок. Кормите их как первый-последний кадр в Люму и получаете вот такое видео.
Чувак на баяне аккордеоне огонь, юркий велосипедист в конце тоже.
Это, конечно, больше шутка, чем кейс, но задумка забавная.
Cорс.
@cgevent
Так, в Runway GEN-3 завозят LivePortrait
Сами они называют как бы лицевым мокапом.
Ну очень огненные примеры тут:
https://runwayml.com/research/introducing-act-one
Пока недоступно, но скоро будет.
Ну что, за аниматоров? Опять?
@cgevent
Mochi 1
Вы будете смеяться, но у нас новый опенсорсный видеогенератор.
https://github.com/genmoai/models
Выглядит донельзя нарядно.
А уж по приведенным диаграммам этот Genmo побивает всех кроме Клинга (какая наивная наглость).
И написано все сладко: "Модель диффузии с 10 миллиардами параметров построена на основе нашей новой архитектуры Asymmetric Diffusion Transformer (AsymmDiT). Обученная полностью с нуля, она является самой большой генеративной моделью видео, когда-либо открыто выпущенной."
По описанию напоминает Пирамиду, только с конским датасетом.
Но.
Если почитать мелкий шрифт, а точнее в самом конце, то это не 720p, а 480p.
И оно не умеет в движения: "Mochi 1 также оптимизирована для фотореалистичных стилей, поэтому не очень хорошо работает с анимированным контентом"
И вот это хорошо "В некоторых случаях при экстремальном движении могут возникать незначительные деформации и искажения."
Нет image2video.
Ну и вот вам огромная коричневая вишня:
The model requires at least 4 H100 GPUs to run.
Настораживает также, что у них есть платный генератор: https://www.genmo.ai/play - который щас не работает
В общем непонятный проект с каким-то мутным маркетингом, не очень присущим опенсорсу.
Пойду ставить.
https://github.com/genmoai/models
@cgevent
У мега-ультра-супербыстрого генератора картинок от Nvidia под названием SANA появился репозитарий на Гитхабе. Но кода пока нет, а Readme обновилось 3 часа назад. Ждем-с...
https://github.com/NVlabs/Sana
Ну и вот держите коллекцию рекламных ИИ-каверов.
Только это уже не каверы, а примеры того, как взрослые мальчики не играются с ИИ, а вовсю пользуют его в производстве.
В некоторых роликах чистый ИИ, от картинок и заканчивая звуком, обычно это Suno.
В других (как например мишки в бейсболках), есть композ и пост - это самый профессиональный ролик, наверное.
Некоторые ролики - работы с конкурсов.
У китайцев смешная реклама, да, иная.
Но суть в том, что пока мы тут рядимся, кто лучше Клинг или Минимакс, Суно или Удио, ребятки уже впахивают.
Ибо понимают, сколько бы это стоило сделать "по-старому". И если клиент доволен, то кого трясут ИИ-шные артефакты?
Если вам интересно, как это было сделано, то вот вам исходники:
1, 2, 3, 4, 5, 6, 7
@cgevent
Подложил музичку, мне кажется идеально подходит.
Опен-сорсным генераторам видео до коммерческих, как до Луны пешком. Не думаю, что что-то изменится, только если Чорный Лес нас не удивит в ближайшее время.
Щас напишу обещанный пост про Пирамиду.
Ну и вообще, есть идея написать жоский гигантский обзор видеогенераторов. Не в духе "лучшие нейрасетачки", а с глупыми коментариями, как я люблю.
Куда его лучше присунуть: Хабра, VC? Где еще остались думающие люди?
@cgevent
Веселых картинок вам с утра.
Жестовая навигация по латентному пространству цветов.
Видят ли LLM цвета иначе, чем люди?
Мы воспринимаем цвета через длину волны, в то время как ЛЛМ полагаются на семантические отношения между словами.
Карта двух цветовых пространств:
Извлечены названия цветов и их rgb-значения из Вики, сгенерированы embeddings for the names
1. семантическое цветовое пространство (размерность сжата до 3d)
2. хроматическое цветовое пространство
сорс
@cgevent
Веселых картинок с утра? Апажалста.
Маск показал своих робатов во всей красе.
Ну и кстати, робатов Optimus будут продавать за 30 000 долларов любому желающему, не только барам и ресторанам.
Я ровно дышу к теме антропоморфных робатов, но тут по крайней мере весело.
@cgevent
На фоне новостей про массовое применение ИИ в программировании и разработке, хорошо бы понять, а что думают сами разработчики, а не журналисты.
Компания Экопси проводит масштабный опрос на эту тему.
Что нужно сделать для участия?
Честно и вдумчиво ответить на вопросы по ссылке, а в конце ввести свой ник в Telegram или адрес почты.
Что дает участие в опросе?
➡️возможность узнать о новых семействах и моделях генеративных нейросетей,
➡️повод задуматься о том, что на самом деле важно в использовании и выборе нейросетей именно для вашей работы.
Среди участников опроса также разыгрываются:
▪️годовой доступ к Telegram Premium
▪️месяц премиум-подписки на ChatGPT
▪️подписку на два месяца в Альпина Digital
Опрос займёт не больше пяти минут, но принесёт много пользы тем, кто занимается разработкой. Не пожалейте пяти минут, польза будет для всех.