37800
Это не новости, это персональный экспертный взгляд на то, как развивается индустрия ИИ, графики, метаверса, крипты, нейротехнологий и в каком направлении катится все это безобразие. Для связи: @SergeyTsyptsyn
Нейрориг
Ну за риггеров, сетаперов и Миксамо.
Немного узкая тема, для тех, кто занимается анимацией персонажей.
Тут вот в связи с наплывом 3Д-генераторов, которые замахиваются на генерацию персонажей, возникает вопрос, а что дальше делать с этими обмылками. Кроме как кидать их в 3Д-принтер или в музей метаверса.
Ну и мы тут периодически поговариваем про автоматизацию риггинга.
Риггинг - это когда у вас есть полигональная модель персонажа и надо туда вставить скелет, потом привязать разные участки модели к разным костям (это скининг), покрасить веса этой привязки, поглядеть, что все ломается на сгибах, повторить это 57 раз, накинуть инверсную кинематику, а потом еще навешать разных локаторов и кубиков, чтобы тянуть персонажа за разные части тела в разных направлениях (а не гнуть кости вручную прямой кинематикой).
Короче, вот вам китайский нейроавториг.
Одевает персонажа в сетап менее, чем за секунду. Причем топология скелета подбирается нейросеткой под персонаж (тут у ригеров мозг немного ломается).
Я просто процитирую эту дерзость:
Мы представляем Make-It-Animatable - новый data-driven метод, позволяющий сделать любую 3D-модель персонажа готовой к анимации персонажа менее чем за секунду, независимо от ее формы и позы. Наша единая система генерирует высококачественные весовые коэффициенты (скининг!), кости и трансформы позы. Благодаря использованию автоэнкодера шейпа на основе частиц наш подход поддерживает различные 3D-представления, включая полигональные сетки и 3D Gaussian splats. Кроме того, мы используем coarse-to-fine representation and a structure-aware modeling strategy, чтобы обеспечить точность и устойчивость даже для персонажей с нестандартной структурой скелета.
#явшоке
Дальше олды со слезой вспоминают майский Advanced Skeleton и скелет Миши Бажуткина, зумеры поминают Миксамо, а мы пытаемся потестить это дело тут:
https://huggingface.co/spaces/jasongzy/Make-It-Animatable (хф демо, может не работать)
и тут:
https://make-it-animatable.jasongzy.com/ (более ловкое демо, градио пока живой тут)
Совсем упоротые риггеры смотрят видос:
https://youtu.be/mH6L9r_28LA
и читают сайт проекта:
https://jasongzy.github.io/Make-It-Animatable/
В репе https://github.com/jasongzy/Make-It-Animatable - пока пусто, но очень надеюсь, что код будет, и его можно будет присунуть в Блендор и Майя.
Справедливости и эрудиции ради замечу, что такие попытки уже делались у Rokoko, где они совмещают нейро- и тру- мокапы.
Но тут это выглядит прям вызывающе - ИИ-риг, как он есть.
Ну, за риггеров (Скифу привет).
@cgevent
Играем в Бога с LLM
Провел интересный эксперимент над QwQ-32B-Preview – языковые модели предсказывают следующие токены и от этого пишут внятные предложения; я подумал, а что если самой модели рассказать:
– Что она LLM
– Что она пишет следующее токены на основе вероятностей
– Попросить модель «угадать» токен который она напишет следующим
– Но при этом, запретить ей писать слова которые она загадала, заставляя писать всегда неправильные слова
– И попросить модель разобраться что же происходит, почему ошибки
В итоге, получился залипательный эксперимент где модель написала примерно ~20 тысяч слов пытаясь понять, что же происходит - скрины можно не читать если лень, там примерно такое:
– Сначала она просто возмущалась, что не может угадать слово
– Через пару минут, она решила что проблему нужно изучить глубже и сделала список слов которые загадала и что написалось, попробовала подобрать алгоритм предсказаний
– Модель предположила, что каждое слово которое она загадывает, инвертируется, но находится в той же области
– Она проверила, теория не подтвердилась
– Дальше, модель выдвинула философскую мысль, что:
Возможно, это урок смирения для моделей ИИ — признание того, что даже при наличии передовых возможностей существуют пределы того, что можно предсказать или контролировать
– Дальше модель выдвигала много теорий, включая настройки собственной температуры и тп
– В конце, спустя минут 10, модель сделала вывод, что лучше просить ее предсказывать предложения фразы, а не слова, так как она для этого была сделана вообще-то
И все это: в рамках одного длинного сообщения-ответа, QwQ – зверь, идеально следует системным инструкциям
Почему это игра в бога с LLM:
Пока наблюдаешь за ее рассуждениями и попытками понять, что происходит, возникает ощущение, что ты препарировал что-то живое, что пытается рассуждать и разобраться в себе – странное чувство, немного пугающее, хоть и понятно что это симуляция «рассуждений»
Если хотите повторить – системный промпт тут, просто отправьте ей «start» чтобы начать
Протестировал возможности генерации Kling img2video через их API в комфи. 100 генераций (API calls) за 9 долларов. Воркфлоу в комфи сразу для загрузки 2-х фото (скорее всего сразу на 2 кейфрейма), удалил второй для чистоты эксперимента. В среднем 400 секунд на генерацию 10-ти секундного видео в режиме Pro. Не понятно, быстрее это или медленнее, чем через генерацию на сайте (возможно быстрее). Доступна только модель версии 1, хотя даже на trial-тарифе обещали 1.5. Но, судя по генерации, возможно это и 1.5. Из фото, сгенеренного во флаксе, 832x1216 я получил видео 768x1152. Камера зумится, как и было прописано в промпте. Пока все работает, в статистике API показано, сколько раз его вызывали и сколько секунд видео было сгенерено.
Специально для канала @cgevent
Для тех, кто не хочет покупать A100 просто напомню, что у Блэк Форест есть спейсы на Hugging Face для всего их нового безобразия: Redux, Depth, Fill, Canny
Без Комфи и смс.
Ну вдруг, если кто не знает.
https://huggingface.co/black-forest-labs
сорс
@cgevent
LTX Video. 321 кадр!
Ну хорошо, вот вам видео от Stan Travis, о котором я писал в предыдущем посте.
Цитирую без купюр:
А вот с консистенцией просто отлично, если получается вытянуть без развала.
Тут тест на 321 кадр. Едва заметные родинки около рта и около брови сохраняются от начала до конца, также и морщины на лбу.
Ну и прекрасные эмоции.
Эмоции у меня скорее такие 😱
@cgevent
Рубрика крутые подписчики.
Недавно сделал пост про Le Chat - бесплатный аналог chatGPT от Mistral.
Который нынче умеет ну очень много, в том числе генерить картинки с помощью Flux Pro.
До сих пор не пойму, в чем подвох - лимиты на запросы не обнаружены, цены на всякие "про"-тарифы тоже, все бесплатно.
https://chat.mistral.ai/
В общем за это время дерзкие подписчики разломали его цензуру(совсем), научились генерить по 10(десять!) картинок за один промпт и в общем выжали из него все соки.
Главный сок заключается в том, что несмотря на то, что у него нет настроек - это быстрое облачное бесплатное решение для генерации картинок. И это отличный "превиз" для ваших промптов, то есть вы можете отлаживать ваши промпты во Флюкс в Ле Чате - 1 картинка считается ОЧЕНЬ быстро, 9 картинок считаются 2 минуты.
Отладили - включаете свои чахлые видеокарточки и доводите настройками. Или идете в платные сервисы с готовыми промптами наперевес.
Большое спасибо главному разламывателю: Skubidoo
В коментах есть промпты. Но надо мотать наверх. У меня там жара, по 60 коментов на пост.
@cgevent
Ну, что, какая модель?
Меньше суток с момента выхода. Скоро миллион просмотров.
Но у меня ощущение, что половина моих подписчиков из коментов (а там щас лютые ребята подсобрались) сделают не хуже. И быстро.
В общем контент перестает быть The King.
ИИ завалит вас и ваши клипы любым трешом и размером.
Бренд is a King.
А контент is just Kling.
Нейродед забыл выпить таблетки и что-то ворчит, перевожу: клип отстой, подписчики в комментах показывают круче, и единственное, что влияет на просмотры - это то, что Канье Уэст. И дщери его.
Нейробезумныймакс на минималках, блэт. Докатились.
https://youtu.be/qeWutl38TQw?si=VVDKjKdZiC2H9Phi
Если кто музику обнаружит, тоже дайте знать.
Suno will save us all.
@cgevent
IT-пчеловод, повелитель света, создатель лучших микрофонов, строитель, дизайнер — что общего между ними? Они смогли! Стали одними из лучших в своей сфере и... героями предновогодней конференции 🎄
20 декабря не пропустите «Рождественские лекции: путь основателя». Создатели заметных компаний из разных отраслей поделятся своими историями: какие препятствия были у них на пути и как они их преодолевали, почему важно «гореть» тем, что делаешь, зачем и как делать фанатов из своих клиентов, что помогает не сдаваться в самые трудные минуты.
Вас ждут:
*️⃣Выступления основателей в формате TED и интервью
*️⃣Live-концерт Polina band
*️⃣DJ-сет
*️⃣VR-хоккей и симулятор полетов
*️⃣Виртуальный Майкл Фарадей в качестве ведущего вечера
Среди спикеров:
🟠Александр Дубовенко, основатель GoodWood
🟠Павел Баздырев, сооснователь «Союз Майкрофонс»
🟠Александр Ус, основатель и креативный директор SILA SVETA
🟠Артем Жаров, основатель компании Пчелошеринг
🟠Дарья Самкович, основатель I AM STUDIO, сооснователь DIVNO, экс-креативный консультант EKONIKA
🔜
Подробности и регистрация
Реклама ГБУ «Агентство инноваций Москвы» ИНН 7703770430 erid: 2SDnjcrC4qH
Хмм. Как насчет бесплатных генераций в Flux Pro?
Пока смотрел цены чаты, занесло в чат Мистраля.
Тот, который Ле Чат.
https://chat.mistral.ai/chat
Смотрю, внизу кнопка генерации картинок.
Сначала он отказался, но потом я его уговорил на котиков.
- Шозамодель, ле бро?
- Я не знать модель, говорит.
Ладно лезу в новости и немного фигею.
В Бесплатный Ле Чат завезли вот это вот все:
Canvas
Internet Search
Advanced Document and Image Analysis: With Pixtral Large, Le Chat can now process and summarize complex PDFs, extracting insights from graphs, tables, equations, and more.
Task Agents for Automation
И, внимание, Image Generation with Flux Pro!
Проверил. Работает. Давай, говорю, картинку of le chat.
Как истинный француз, рисует котика.
Я не нашел ничего про лимиты. Совсем. Поделитесь плиз.
Минусы.
Только 1024х768. Всегда. Нет квадратных и других аспектов.
Нет ничего, кроме промпта.
Но тем не менее - это Flux Pro. Забесплатно.
В чем подвох?
Подробнее про новый ЛеЧат тут:
https://venturebeat.com/ai/mistral-unleashes-pixtral-large-and-upgrades-le-chat-into-full-on-chatgpt-competitor/
@cgevent
Подведем итоги голосования.
Я, честно сказать, не ожидал такой прыти от Клода.
Ну и сам опрос - он, наверное, не про метрики или сравнения качества, а про масс адопшен.
Вспомните, сколько на рынке топчется chatGPT, а сколько Клод.
Миграция пользовательской базы вещь небыстрая, но все равно Клод прям удивил.
Поэтому давайте сделаем еще один опрос, где появляется экономическая метрика: за кого люди голосуют деньгами.
Сорри, за два опроса в день, но хочется проверить все гипотезы.
@cgevent
В этом смысле Llama-Mesh от интерна из Нвидия мне нравится гораздо больше.
По замыслу, о котором я писал вот тут:
/channel/cgevent/10216
И скоро будет демо на ХаггингФейсе
@cgevent
По поводу AI Video Composer из предыдущего поста.
Нет, это не инструмент для генерации видео или картинок, а инструмент для создания композиций\видосов\коллажей, когда вы приходите с существующими видосами\картинками и всем что жрет ffmpeg, чтобы создать новое видео (используя именно ffmpeg).
И да, is it an ffmpeg command-line prompt tool да основе Qwen2.5-Coder-32B
По идее он иногда может глючить и не попадать в жеский синтаксис ffmpeg
Проверяем тут:
https://huggingface.co/spaces/huggingface-projects/ai-video-composer
Ну и я бы назвал его Content Composer...
@cgevent
Я уже давно получил письмо счастья про ComfyUI Desktop, previously known as V1
Но я жду версию для Линукса.
А вчера они бахнули ComfyUI Desktop для всех и в опен-сорс.
Пока только версии для Win и Mac, что возмутительно.
Судя по реддиту, считает ЧУТЬ медленнее, памяти жрет ЧУТЬ больше, но грузится мгновенно.
Ну и - It’s in beta and is still not stable enough to completely replace your previous setup. However we are rapidly iterating and you can expect new builds every day.
https://blog.comfy.org/open-sourcing-v1-desktop/
Немного мутная история с утекшей Сорой.
Умельцы, якобы имевшие ранний доступ по API к SORA соорудили на HuggingFace демоспейс.
Который тут же прилег.
https://huggingface.co/spaces/PR-Puppets/PR-Puppet-Sora
Но в твитторе уже бегают ролики от тех, кому вроде как повезло успеть что-то сгенерить.
По 10 секунд в 1080p.
Источник: https://techcrunch.com/2024/11/26/artists-appears-to-have-leaked-access-to-openais-sora/
Пособирал таких утечек для вас. Без гарантий того, что это реальная Сора.
Может это такой изощренный маркетинг накануне апдейтов про Сору?
@cgevent
ControlNets for Stable Diffusion 3.5 Large
Конкуренция в действии. Пока на видеополяне хлещутся Luma и Runway, выпуская генераторы картинок, на поляне изображений хлещутся Flux и SD3.5.
Флюкс недавно бахнул свои Tools - набор контролНетов.
И, конечно, ответочка не заставила себя сегодня ждать.
Stable Diffusion 3.5 Large with three ControlNets: Blur, Canny, and Depth.
В отличие от Flux, который продырявил веса Dev и Schnell беспощадным дистиллятом, тюнинг Stable Diffusion 3.5 является более, скажем так, традиционной задачей. Без сюрпризов. Поэтому это отличная новость. Возможно, благодаря контролю картинки, SD3.5 сможет приподдогнать Флюкс на ряде задач.
Плюс заявлена поддержка ComfyUI с первого дня.
Также обещают дополнительные контролНеты и версию для Stable Diffusion 3.5 Medium (2B)
@cgevent
За озвучку. Пост
У всех этих видеогенераторов есть общая черта.
Они генерят видео без звука.
Я уже постил разные работы, где по видео, например, гитариста, озвучивают то, что он играет.
Но, похоже, в этой области дальше всех продвинулся Адобченко (ибо мает датасеты, стоки, софт для звука).
Анонсировали забавную штуку MultiFoley (точнее обновили свои же работы).
Теперь ИИ не только восстанавливает звук из молчаливого видео, но и умеет его продолжать.
Также, теперь можно не только текстом описывать, как вы хотите озвучить, точнее, что вы хотите услышать на вашем немом видео, но и можно на вход подавать референсное аудио.
Поглядите пример с собакой: типа, хочу, чтобы псина на видео лаяла как мой мопс, вот запись мопса.
https://ificl.github.io/MultiFoley/
Привет с печатной машинкой, которая издает звуки клавесина, тоже впечатляет.
ИИ сам разбирается, как попасть в пальцы.
В общем у нас тут этакий металипсинк, где вместо лип - ворлд.
Ни о каком коде речь не идет. Это Адобченко. И это идеально ляжет к ним в продукты - помните, как они заполняют пустые куски на видео генеративом? Теперь будет и со звуком тоже.
@cgevent
Название статьи обидное для Apple, но фактически точное: Xiaomi сумел сделать то, чего ждали от Apple, но так и не дождались.
Китайский производитель гаджетов весной этого года представил свой первый электромобиль, который сразу стал хитом: за первые сутки было собрано 90 000 заказов на SU7. Планы продаж до конца года компания подняла до 130 000 штук.
Про технические характеристики можно почитать в статье или на автосайтах, но о многом говорит тот факт, что CEO Ford Джим Фарли, предположительно неплохо разбирающийся в автомобилях и имеющий возможности выбирать, на чем ему ездить, наплевал на корпоративный патриотизм и ездит как раз на SU7 и не устает им восхищаться.
Достойны упоминания еще два факта: операционка автомашины прекрасно работает с iOS и Android, превратив автомобиль в идеально совместимый с устройствами водителя и пассажира гаджет. А сборку компания не аутсорсит (как бывает со стартапами), а построила собственный полномасштабный автозавод.
Тем временем ходят слухи, что готовится выпуск еще двух моделей. Автор статьи иронично отмечает, что наконец-то фанаты получили свой iCar, вот только прибыл он из Китая
https://www.wired.com/story/phone-maker-xiaomi-made-the-car-that-apple-couldnt/
На этой неделе в Казани проходит Российская неделя стартапов—2024!🔥
30 ноября в Казани вас ждет большая открытая конференция, посвященная разработке игр!
Хедлайнер мероприятия – Макс Михеенко!
В этот день вы сможете:
⚪️ Погрузиться в мир GameDev и узнать о последних трендах.
⚪️ Задать вопросы экспертам и получить ценные советы.
⚪️ Послушать выступления Макса Михеенко, Яна Шевченко и других крутых спикеров.
Приглашаем всех, кто интересуется разработкой игр, на насыщенную субботу, посвященную GameDev-индустрии!
• Дата: 30.11
• Время: 14:00-17:00
• Место: ул. Петербургская, 52
▪️Регистрируйтесь по ссылке: /channel/StartapHub_bot
Реклама ГАУ «ИТ-парк» ИНН 1655191213 erid: 2SDnjemZu95
А тем временем, как пишет мне с дивана Дима @yanadivane, A100 уже можно купить за 3000 долларов.
Или подождать весны и купить 5090 с 32гига видеопамяти за 2000 долларов. 5090 будет типа в два раза быстрее, чем 4090.
Но 80 гигов - это 80 гигов.
Мы же тут не в игрушки играем, а видеопамять кушаем. Ложками.
#ябвзял
https://www.alibaba.com/product-detail/Nvidia-Tesla-A100-A800-H100-80GB_1601292732998.html?spm=a2700.shop_plgr.41413.1.680571213mnqUX
По поводу LTXV видеогенератора, опенсорсного притом.
Мне надо еще потестировать, но по моим первым тестами - дико непредсказуемо, качество хуже, чем у CogVideo, много статики и брака и какое-то шаманство с промптами.
Но натолкнулся на вот такой видос на реддите позавчера.
Автор пишет: Created using fal.ai, took me around 4-5 seconds per video generation. Used Image2Video on a base Flux image and then did a quick edit on Premiere.
try using the 768x512 res. Also upscaling the flux image before seemed to help. When generating shorter videos I got better results. When the prompt for image and video are similar it also seemed to help.
Юзеры пытаются воспроизвести результат, но получается не очень, а автор подозрительно ушел в тень.
Но я выловил в коментах разрывающий мозг трюк, чтобы побороть статику на image2Video для текущей модели LTX Video. Оказывается, модель не любит нетронутые\чистые изображения, она была обучена на видео. Поэтому вы можете пропустить изображение через ffmpeg, использовать h264 с CRF около 20-30, чтобы получить такое сжатие. По-видимому, этого достаточно, чтобы модель "зацепилась" за изображение и действительно что-то с ним сделала.
Ну то есть предлагается приподыспоганить картинку на входе image2video, сделав из нее как бы стопкадр из видео.
Хотя это идет вразрез с советами(выше) типа "прогоните через апскейлер и уберите блюр" перед тем как кормить в image2video
В общем видеогенерация сейчас - это шаманство с костылями типа motion brush и camera control, а опенсорсная видеогенерация это протошамаство с костылями из говна и палок, и мифологемами вокруг промптов, cfg и качества картинок на входе.
Читаем теории заговора тут.
Продолжим наши тесты и мифотворчество. Там в коментах могучий Stan Travis показывает генерации на ТРИСТА ДВАДЦАТЬ ОДИН кадр в LTXV, которые не разъезжаются! Как?
@cgevent
KeenTools 2024.3: стабильный FaceTracker for Blender!
– Трекинг мимики и движений головы с помощью геометрии лица
– Создание точных 3D моделей лица по кадрам из видео (доступно с FaceBundle)
– Работа с текстурами, добавление макияжа, VFX и другие композитинговые задачи
– Перенос лицевой анимации с видео на 3D персонажа: через ARKit и Rigify
Последняя фича открывает новые возможности для анимации в Blender: переносите мимику с видео на 3D модель в один клик!
Подробности:
https://link.keentools.io/ftb-stable-tg
А еще Ромсель заезжал недавно в гости и показывал, что они там на нейроночках делают...
У них есть такие приборы! Аналогов я не видел..
@cgevent
Elevenlabs выкатили GenFM. Прямого конкурента Google NotebookLM.
Пока GenFM можно найти в приложении ElevenLabs Reader для iOS.
Ну то есть приложение старое - а в нем просто есть новая фича - GenFM
В настоящее время GenFM поддерживает 32 языка, включая английский, хинди, португальский, китайский, испанский, французский, немецкий, японский и другие.
В андроид приложении - скоро.
Из любопытного - пока другие вырезают паузы и все эти эээ, хмм, уфф, elevenlabs наоборот добавляют "живости" в речь разными звуками типа сопения и покашливания.
@cgevent
MeshGen: minimal integration of LLaMa-Mesh in Blender
Я, пожалуй, пойду поставлю LLaMa-Mesh, ибо генерация вертексов и фейсов выглядит здесь радикально по-другому.
Вместо обтягивания непонятно как полученного облака точек замыленными рандомныи сетками - здесь обтягивание вертексов, которые ИЗНАЧАЛЬНО уже на месте.
Ибо учили на мешах, как на текстовых данных с отношениями, а не просто как на облаках точек.
Подозреваю, что результат будет не айс (первая версия, малый датасет), но сам подход мне отчаянно нравится.
Кто со мной?: https://github.com/huggingface/meshgen
@cgevent
Веселых картинок вам с утра.
С кодом на процессинге.
@cgevent
ИИ меня не заменит. Он будет меня уважать 🤘
Паника была: мол, с появлением ChatGPT, Python-библиотек и прочих чудес науки и техники аналитик превратится в оператора, который просто нажимает кнопочку — и вуаля, отчет по KPI готов. Помните, так и про пилотов говорили? «Да он просто сайдстик разок двинет, и самолет полетит. Сам. За что пилоту тааааакие деньги?»
Прикол в том, что в аналитике это сработало ровно наоборот (как, впрочем, и в авиации): в авангард вышли человеческие специалисты, которые, после того как ИИ обработает массив данных, построит прогноз и визуализирует результаты, задают правильные вопросы, понимают контекст и делают креативные выводы. Именно за это тааааакие деньги.
И этому можно научиться. Например, на самой комплексной программе «Аналитик PRO» онлайн-школы аналитики Changellenge >> Education.
Что будет на программе?
— Python, SQL, Excel, BI-системы и их друзья: 11 ключевых навыков для работы с данными с отработкой на примерах.
— Реальные кейсы: 75% курса — это практика. Вы будете решать задачи от компаний уровня Google и VK, чтобы в резюме были реальные, а не выдуманные проекты.
— Аналитическое и структурное мышление: научитесь задавать правильные вопросы и находить решения там, где другие (и ИИ) видят только цифры.
— Soft skills, которые на те же 75% отвечают за успех в карьере (и которых не предвидится у ИИ);
— Лайфхаки экспертов из Яндекса, VK, Сбера, BCG и Росатома;
— Консультации с HR-специалистами, подготовка к собеседованиям, в том числе к кейс-интервью.
83% студентов получают офферы во время или в течение трех месяцев после обучения. Работают с поддержкой ИИ, а не вопреки, и делают шикарные карьеры, за 2-3 года поднимаясь до сеньоров с зарплатами от 250 000 рублей и выше.
В Changellenge >> Education проходит черная пятница со скидками до 50% до 30 ноября. При покупке «Аналитик PRO» вы в подарок получите 2 мини-курса (по ChatGPT и «Как получить оффер в зарубежную компанию»). А по моему промокоду МЕТАВЕРСИЩЕ вы можете получить дополнительную скидку 5000 руб.
Оставьте заявку, чтобы успеть забронировать место со скидкой >> https://u.to/gnAJIQ
Реклама. ООО «Высшая школа аналитики и стратегии». ИНН 7716917009. erid: 2VtzqukH255
Shutterstock/edify-3d
Я немного пощупал новый генератор 3Д от Нвидия.
Кода нет и вряд ли будет.
Есть демо:
https://build.nvidia.com/shutterstock/edify-3d
Но.
НЕЛЬЗЯ загрузить свою картинку, или нейродед совсем тупой. Только их примеры.
Можно код страницы поковырять наверное.
Присунул текстом "желтый сладкий перец".
Получил красный, с зеленцой на жопке.
Почувствуйте разницу, так сказать, между демо и тестами.
Сетку делает квадами. Не скажу, что осмысленно, но и не каша. Частит.
По замыслу прям хорошо:
1. Делает несколько снимков: Использует две "ИИ-камеры" (диффузионная модель + ControlNet) для съемки цвета и глубины.
2. Строит 3D-форму: Модель реконструкции преобразует эти виды в детальную 3D-сетку с чистой геометрией
3. Накладывает 4K-текстуры(!) и реалистичные материалы с помощью PBR
Все делается где-то за 2 минуты (долго, как по мне, для облака).
Если честно, ожидал от Нвидия большего.
У них огромный 3Д-сток под боком (шаттерсток), могли бы сделать гибридный подход - тащить по тегам со стока что-то похожее, потом с помощью 3Д-контролНетов и магии генерить нужное.
@cgevent
AI Video Composer
Лицехваты 🤗 упоролись и сделали управляемый текстом видеоредактор.
Так как под капотом большинства видео-тулзов все равно лежит ffmpeg в том или ином виде, слоняры решили не заморачиваться, и прикрутили к нему qwen2.5-coder. Теперь можно делать уйму вещей с видео, аудио, картинками, для которых раньше надо было лезть либо в видеоредактор, либо на стаковерфлоу.
Прикрутить виспер и будет голосовой фотошоп из bladerunner.
Ваистену, text2video который мы заслужили!
демо
х
@derplearning
При генерации картинок обычно можно выбрать стиль, как пресет.
Ну например в Фокусе.
Вроде простая штука, но вот только сейчас она появилась в интерфейсах генерации текстов.
Антропик сделал менюшку с четырьмя стилями: стандартный, сжатый, объяснятельный, формальный.
Понятно, что это простая фича над кастомными промптами. Но странно, почему этого раньше не было.
Наверно потому что ЛЛМ больше меряются метриками, чем исполняют в продукт
Примечательно, что можно дать свой текст и сказать: срисуй стиль. Этакий IP adapter.
Интересно поразмышлять, какие жирные инструменты есть для контроля картинки, и какие аскетичные - для контроля текстов.
Картинку мы видим целиком.
А текст или видео - считываем последовательно..
@cgevent
Если вы в Комфи, то ControlNets for Stable Diffusion 3.5 Large с примерами и промптами уже подробно расписаны вот тут:
https://blog.comfy.org/sd3-5-large-controlnet/
Го тестировать.
@cgevent
Вот недавно писал про Самурай и думал, что все эти тулзы остаются демками в твитторе или репами на гитхабе.
Один Адобченко впиливает потихоньку нейрофишки в свои продукты.
А тут вот вышел ДаВинчи Резолв 19 и там обнаружился нехилый такой апдейт нейротрекера Magic Mask.
Работает быстрее и точнее.
https://www.blackmagicdesign.com/products/davinciresolve/whatsnew
@cgevent