37804
Это не новости, это персональный экспертный взгляд на то, как развивается индустрия ИИ, графики, метаверса, крипты, нейротехнологий и в каком направлении катится все это безобразие. Для связи: @SergeyTsyptsyn
Итак, более полная информация из блогпостов:
— Computer-Using Agent (CUA) объединяет возможности обработки изображений GPT-4o и рассуждения модели посредством обучения с подкреплением (Reinforcement Learning); CUA обучен взаимодействовать с графическими пользовательскими интерфейсами — кнопками, меню и текстовыми полями, которые люди видят на экране. Использование RL, как и в случае o1/o3, означает, что как только OpenAI наладят процесс сбора данных для закидывания в обучающий процесс — прогресс попрёт.
— Компания несколько раз пишет, что это research preview, который может ошибаться и не работать, он не надёжен. И в то же время они очень ждут обратной связи на то, что и где не работает, чтобы в ближайших итерациях это исправить. В настройках можно включить опцию тренировки на ваших запросах и сессиях — я это обязательно сделаю, чтобы именно мои задачи начали решаться лучше.
— Если CUA сталкивается с трудностями или совершает ошибки, то оно может выбраться из ямы за счёт рассуждений и самокоррекции. Если это не удастся — система возвращает управление пользователю с запросом на конкретные действия.
— Оператор обучен заранее просить пользователя взять на себя выполнение задач, требующих захода в систему по данным учётной записи, ввода платежных данных или решения CAPTCHA (да-да, теперь мы решаем капчу за машин).
— Пользователи могут удалить все данные о просмотренных сайтах и выйти из всех аккаунтов одним щелчком мыши в разделе «Конфиденциальность» в настройках. Прошлые запросы к Operator также можно быстро удалить. Отсюда следует, что в Operator будут храниться ваши учётные и платежные данные (ну, как в обычном браузере, то есть сессия делится между разными запросами), и что не нужно логиниться каждый раз или добавлять свою карточку.
— OpenAI делает большой упор на безопасность системы и устойчивость к атакам. Весь процесс мониторится отдельной моделью, которая может вызвать остановку выполнения, если что-то не так. Кроме этого, некоторые подозрительные ситуации будут отправляться на ручную проверку, по результатам которой атаку/проблему можно пометить и быстро добавить в мониторинг (в течение нескольких часов).
— На агентских бенчмарках, как писал выше, результаты везде лучше всех других, включая Anthropic Computer Use. Про бенчмарки напишу отдельные посты на выходных, чтобы понять, что мы оцениваем.
— Что интересно, так это примеры, выложенные в блоге. Очень рекомендую с ними ознакомиться, чтобы понять, как формировать свои запросы (там есть примеры неудачных запросов, когда одна и та же задача то решается в 10/10 раз, то 3/10 если не так попросить или что-то не уточнить). В этих примерах по 150-450 шагов (!) выполнения задач. Правда каждый шаг очень маленький — сюда входят даже скриншоты страницы и нажатия кнопки Enter для отправки запроса.
— Чем больше шагов, тем больше качество (что показывает способность модели к выходу из тупиков). OpenAI гордо пишут «We observed test-time scaling», а там где scaling, там и приросты не за горами.
— Один из примеров запросов, который мне понравился и наподобие которого я буду закидывать сам: «Help me export charts, graph or other images from docx files received in email "Lecture Document" in Notes folder and upload these png files to the figures/ folder in Google Drive for later use (use numbers to name them)»
Выходя за рамки специализированных API-интерфейсов, удобных для работы с агентами, CUA может адаптироваться к любой доступной компьютерной среде, по-настоящему охватывая длинный хвост вариантов использования, которые остаются вне досягаемости большинства ИИ-моделей на данный момент.
Code Maestro
Недавно писал, про ИИ в UE.
Но там пока только доступ к чат-боту с доками и покрытая мраком генерация ассетов.
А сейчас принес ответочку для Unity (и в перспективе для UE).
Называется все это Code Maestro и выглядит это просто убойно.
Идея простая, взять кодогенерацию, но в конкретной нише и запилить ИИ-агентов, которые будут знать специфику (в данном случае геймдева) конкретной ниши и, как следствие, сильно превосходить кодогенераторы "общего назначения", типа Курсора и Копилота.
Я связался с авторами, и Макс говорит, что они не успевают онбордить новых пользователей, а лучший отзыв от одного из senior dev после полного освоения состоит в том, что он готов платить до 1000$/мес так как он бы смог работать с той же эффективностью на 2,5-3х работах))
Поглядите видос в шапке, а также другие видео на сайте. Он очень познавательный, особенно про правила хорошего тона. Впечатляет то, что кодогенерация заточена именно под геймдев (в виде плагина в Rider IDE) и знает узкую специфику, а не просто кодовую базу из интернета. И делает очень хороший код. И самое главное Сode Маestro анализирует целиком весь проект, и знает досконально весь его контекст. Включая все ассеты и связи.
Кому интересно, срочно записывайтесь в ранний доступ тут, проект уже работает.
@cgevent
Сорри, но я снова про видеогенераторы, ибо они все взбесились.
VIDU 2 хвастается новыми фишками:
- Ускоренное создание видео: Видео создается всего за 10 секунд.
- Повышенная согласованность: От первого до последнего кадра
- Низкая цена: Всего 0,7 цента за секунду (хмм)
- Внимание: в непиковом режиме неограниченное количество бесплатных генерация в непиковые часы.
Правда как попасть в непиковые часы непонятно.
И снова я вам принес не демо ролик из их твиттора, а аниме-пример.
Я не большой эксперт в аниме, но похоже совместимость персонажа там достигается попроще (главное глазищщи и подбородок) и снова подумалось, что вот эти вот филеры в аниме уже можно заполнять генеративом. А уж с такой музикой Suno точно справится.
В общем раньше бывало "а облака возьмем со стоков". А теперь: "аниме путешествие за город сгенерим в Vidu"
@cgevent
Вот это СМЕКАЛОЧКА!
Из-за того, что Открытый чемпионат Австралии по теннису не владеет всеми правами на трансляцию в ютуб, организаторы нашли оригинальное решение. Они используют технологию, которая в реальном времени отслеживает движения игроков и мяча на корте, а после создают анимированную версию матчей, напоминающую стиль игры Wii Sports и уже ее пускают в эфир.
тут можно почитать подробнее
Кстати, почему я не люблю МакКинзи
Повторю пост, которому 2.5 года.
К 2030 году мы будем заниматься киберпанком два-три раза в день.
Примерно так выглядят многочисленные прогнозы и отчеты по рынку "метаверсов", которые публикуют многочисленные агентства. Не устояли от искушения хайпануть даже уважаемые МакКинзи.
Они пишут, что рынок Метаверса достигнет 5 триллионов долларов(!) к 2030. Дословно.
Это больше подавляющей части известных вам рынков.
Вместо того, чтобы просто написать, что рынок всего, что связано с интернетом достигнет 5 триллионов долларов к 2030, солидные люди употребляют термин, которому НЕТ определения.
Я вот могу написать отчет, что монетизация эгрегоров вырастет к 2030 году в 64 раза.
Ведь это удобно. Если нет определения метаверса, то потом можно лихо подогнать свои же прогнозы под реальные цифры - "мы же говорили, ведь метаверс это же еще и реклама, трафик, гемблинг и адалт. Не говоря про DeFi, Dao и P2E".
И вот уже подобные отчеты строчат NewZoo и другие, а HTC выпускает Метаверс-телефон.
https://www.mckinsey.com/~/media/mckinsey/business%20functions/marketing%20and%20sales/our%20insights/value%20creation%20in%20the%20metaverse/Value-creation-in-the-metaverse.pdf
https://newzoo.com/insights/trend-reports/newzoo-report-on-metaverse-blockchain-gaming-nft-2022
Хде метаверс, МакКинзи? Где мои бабки?
@cgevent
Держите вдогонку тянущийся экран от Самсунга.
Я помню, что когда проводил первые ивенты, мечтал об экранах, которые можно свернуть в трубочку и засунуть в HDMI.
Пришел, повесил, подключил.
Без всяких проекторов, настроек, кабелей по 25 метров.
Не знаю для чего нужны именно тянущиеся экраны, кроме совы и глобуса, но я впечатлен.
@cgevent
Тут народ беспокоицца, что нейродед приподпропал.
Есть такое. Ну просто надо же иногда отдыхать.
На итоге, я превратился в полную нейросвинью на отдыхе - держите ИИ видео, которое отлично иллюстрирует мой синайский новый год: я целыми днями жру вкусную fusion еду (в Дахабе открылось 100500 новых точек с полной дичью), чешу пузо на солнце, левым глазом читаю новости, но вида не подаю. Играю в волейбол на теплом песочке, а вчера был южак и мы даже катнули на больших досках у берега в тряпочный серфинг на отмели. Вода в акабском заливе - плюс 22. Грех жаловаться.
А еще нейросвинья умудрилась прилететь в Гизу вместо Каира, ВиззЭйр теперь летает в Каир, но о том, что аэропорт прибытия - Гиза(Сфинкс), вы узнаете только выйдя наружу. Имейте в виду.
В общем, вот вам пока 3 минуты ИИ-чесания пуза. А я пойду посмотрю, куда мир укатился, пока я играл в покер и волейбол.
@cgevent
Мне понравилась сентенция из сети:
AI Code is the new NoCode.
Вот вам сборище кодогенераторов, включая экзотику типа 15.
0. Cline
1. Cursor
2. Bolt
3. v0
4. Windsurf
5. Replit Agent
6. Loveable
7. DevinAI
8. Pear AI
9. Github Copilot inside Vscode
10. Github Spark
11. IDX by Google
12. webfraw .ai
13. UIzard
14. Amazon Q Developer
15. ChatGPT inside Mac app
16. Softgen AI
17. onuro.ai
18. Databutton
19. Wrapifai
20. Tempo labs
Что у вас стоит?
@cgevent
Японский метаверс. Now!
Полная копия Токио.
На сайте Пойнт клауды и CityJSON.
Выглядит как полный цифровой близнец, особенно с информацией про автобусы.
Качать и смотреть отсюда:
https://info.tokyo-digitaltwin.metro.tokyo.lg.jp/3dmodel/
Пошуруйте по сайту, интересный
@cgevent
Псевдобесплатные генерации всего
Есть такой проект Одиссей.
Они активно собирают коммьюнити через конкурсы и жирные призы.
$750,000+ in free trials from top AI sponsors (available starting December 16th)
Часть призов конечно кредитами и токенами - $70,000+ in cash prizes and unlock $750,000 in free tools starting December 16th.
Сейчас идет набор в Сезон 2. В жюри там Оливио и другие влоггеры.
https://www.projectodyssey.ai/
Вы можете прислать видео для следующих категорий:
Narrative
Music Video
Marketing & Advertisement
Trailers ??
Rendering & VFX !!
Social Media
Open-Format
До 16 января 2025
17 февраля - итоги и победители.
Но новость скорее не об этом.
Под это дело многие хостеры и просто апипродаваны объявляют бесплатный доступ к генератором видео.
Например, для опенсорсных Мочи и Хуньянь на рунподе:
https://openv.ai/ - домен огонь, но мой антивирус ругаецца, см ниже)
Или кредиты вот тут:
https://x.com/higgsfield_ai
Или кредиты еще много где.
В общем можете податься, и ну генерить псевдобесплатно.
Пока писал пост, похоже, что их подломили, сайт повалился.
Но твиттор жив: https://x.com/Project0dyssey/status/1866214554503623067
@cgevent
В твиттере вирусится видео, где Нетфликc как бы использует ИИ для дубляжа и одновременного липсинка.
Я вам предлагаю почитать хороший материал про то, как вообще нетфликс использует ИИ.
И там есть вот такой текст:
После успеха таких интерактивных сериалов, как "Бандерснэтч", Netflix, возможно, начнет изучать интерактивные истории с использованием ИИ, позволяя зрителям самим выбирать сюжет, который может включать дубляж с ИИ в зависимости от языковых предпочтений зрителя.
Использование искусственного интеллекта Netflix может стать мощным инструментом для предсказания потенциального успеха контента еще до его выхода - идея, которая не так уж далека от реальности, если учесть, что гигант потокового вещания уже использует аналитику.
Deepdub - это сервис, который использует Нетфликс для дубляжа.
https://deepdub.ai/post/how-netflix-leverages-ai-unveiling-the-tech-behind-the-stream
@cgevent
Runway Middle Frames
Выглядят довольно продуктово.
Дальше никто не мешает сделать интерфейс с таймлайном и маркерами и несколькими/многими ключевыми кадрами. И получить хорошее решение "раскадровка2видео".
У Сора есть что-то подобное в новом интерфейсе с таймлайном. Я потестил рождественскую Сору с американским ВПН. Но там практически невозможно получить такие примеры с людьми. Она орет как резаная, даже когда ей даёшь её же генерации. "Тут кожаные, срам какой!".
Соре точно надо к терапевту, подавленная телесность до добра не доведет, а мы получим закомплексованные картинки в голову.
Рунвей молодцы, людишек не бояцца, а ключевые кадры постепенно переползут в решения для консистентных раскадровок и монтажа.
@cgevent
В 3Д генераторе Trellis (опенсорсном, от Микрософта) появилась возможность загружать несколько картинок на вход.
Можно самим попробовать вот тут:
https://huggingface.co/spaces/JeffreyXiang/TRELLIS
Вкладка multiple images
@cgevent
MovieGen в Instagram, но это не точно
Тут босс инстаграма Адам Моссери флексит метачковый MovieGen, который "как он надеется" появится в инсте в 2025 году (неясно в каком месяце).
Выглядит как видео2видео с сегментацией лица и промптовым редактированием.
Для инсты - самое то. Достаточно безопасное решение, если на входе ваше видео.
Вопрос продуктовых фишек:
Seamless Integration: Built directly into Instagram for instant access
Как именно это будет встроено в инсту? Какие кнопачки будут решать задачу новых ИИ-фильтров.
Ну и входное видео надо снимать самим, это плохая новость...
@cgevent
Sora безлимитно и бесплатно для всех chatGPT Plus пользователей. В relaxed очереди.
Шипмас от OpenAI.
sora.com
@cgevent
Ну, за Холивуд.
FilmAgent: A Multi-Agent Framework for End-to-End Film Automation in Virtual 3D Spaces
Еще 7 лет назад(!) у Диснея была работа Cardinal AI. Я помню, что еще на Ивентах показывал лихие ролики, где по сценарию генерился сториборд и раскадровка. Тогда, правда, не было генерации ассетов, и модельки брались из внутренней базы и просто расставлялись на основе семантического анализа текста.
Прошло 7 лет.
И вот, в препродакшене уже орудуют ИИ-агенты.
Я процитирую, это слишком амбициозно:
"FilmAgent - новая мультиагентная система совместной работы на основе LLM, предназначенная для автоматизации и оптимизации процесса производства фильмов. FilmAgent моделирует ключевые роли съемочной группы - режиссеров, сценаристов, актеров и кинематографистов - и симулирует эффективные человеческие рабочие процессы. Процесс разделен на три этапа: планирование, написание сценария и киносъемка. На каждом этапе команда (агентов) съемочных групп обеспечивает итеративную обратную связь, таким образом проверяя промежуточные результаты и сокращая количество ошибок."
Короче, вместо того, чтобы усадить chatGPT и попросить его написать сценарий, они сделали рой агентов, которые пишут, критикуют, улучшают, причем не только сценарий, но и отыгрывание ролей и ракурсы камеры.
А потом берут Юнити и визуализируют это!!!
В принципе остается подать это в video2video и кино готово!
Я порылся в репозитарии - там, конечно, все совсем из китайских палок и говна и сишарпа, но можно подставлять свои llm и tts.
Кстати, на гитхабе примеры работы ИИ-скрипт-докторов, до и после. Поглядите, забавно.
Но мне нравится сам процесс. Симулировать агентами, тот бардак, который творится на площадке или пьянство при написании сценариев - бесценно. Все, как у людей.
https://filmagent.github.io/
@cgevent
Еще немного рубрики крутые подписчики.
Мне нравятся такие эксперименты. В принципе это похоже на классическое кожаное обучение - берем чью-то работу в 3Д или в концепте и просто воспроизводим ее.
Тут еще интереснее, @Ambition_AI сделали с нуля копию существующего и снятого на камеру рекламного ролика с помощью видеогенерации. Хороший способ проверить, можно ли генерить рекламу с помощью ИИ и посчитать расходы.
За референс взяли ролик авиасейлс "самурай". По нему сгенерировали общую сцену (промпт по визуалу из оригинального ролика), затем с помощью ранвея и его контроля камеры достали второй ракурс, который подходит на шот из ролика. Апскейл во флюксе и магнифике, перегоны и связка редукс + филл позволили добиться аутентичности персонажа и чуть чуть уйти от "ИИшности" лица. Анимация шотов в Клинг 1.6.
Такие упражнения полезны тем, что ты вынужден решать задачу попадания в рамки тех задания, а не просто восторженно или угрюмо наблюдать, куда вывезет непредсказуемая креативность видеогенератора.
Те, кто смотрят сериалы с переводом, быстро узнАют ролик. Чтобы сэкономить вам время в поисках статистического попугая, намекну, что ИИ лихо скреативил маски, которые 4 года назад мы надевали в самолетах. Все помнит, засранец. А мы-то уже и забыли.
@cgevent
К вопросу о том, где мы были полтора года назад
Сравнение Runway GEN2 и Google Veo 2.
Добавить тут нечего. Кроме вопроса: где бы будем в конце 2026?
Скрал у Саши
@cgevent
Ого, кто-то прикрутил ИИ к Unreal Engine.
Создание ассетов и сцен промптами.
Редактирование сцен промптами.
Blueprint assistant с рекомендациями, оптимизациями и даже natural language graph creation
Ludus.Blueprint is our AI-powered Blueprint assistant that helps with node suggestions, optimization recommendations, and natural language graph creation. Ludus.Chat enables text-to-scene conversion, allowing you to create and modify scenes using natural language commands.
На бесплатном плане только чат с документацией.
Enterprise customers get additional access to project-specific customizations and self-hosted solutions.
А еще у них планируется ассистент кода - Allow AI do the heavy lifting in your code development with our AI finetuned for Unreal Engine's C++ standard. Project-aware code generation, autocomplete, and multi-file editing. Available as an in-engine plugin and in your favorite IDE!
На первый взгляд выглядит как Cursor для UE5. Ну или UE для чайников.
Но никаких подробностей про LLM внутри я не нашел.
Странный проект.
https://ludusengine.com/
@cgevent
Tripo3D: обновили интерфейс своего 3D генератора и сделали его более удобным.
Теперь можно контролировать количество полигонов (Face Limit) в настройках генерации, для баланса между качеством и скоростью.
На вход можно подавать как текст (который можно улучшить), так и одну картинку или множество изображений.
Сайт — сгенерите первую модель получите 300 кредитов. Или вот код: USR9E6
Эпический фейл с лыжной маской.
Производство Apple Vision Pro замораживается.
Apple снизила производство Vision Pro прошлым летом, после того как накопила большой запас, которого, по ее мнению, должно было хватить до конца года. Теперь выясняется, что ни фига не продалось и эппле имеет достаточно единиц на складе, чтобы удовлетворить спрос на устройство в течение оставшегося срока службы до 2025 года.
По данным Марка Гурмана из Bloomberg, Apple продала менее 500 000 единиц Vision Pro с момента запуска. Хотя многие вернули устройство, столкнувшись с головной болью, проблемами со зрением, болью в шее и укачиванием, даже те, кто оставил его, по сообщениям, используют его не так часто, как ожидала Apple, в основном из-за отсутствия привлекательных приложений и игр - читай "киллер фичи".
Расходимся, метаверс от эппле не взлетел.
https://www.techspot.com/news/106170-apple-may-have-ended-production-vision-pro-headset.html
@cgevent
Вытащу из коментов рождественский троллинг.
Похоже, что это не регулярный опрос в конце года, а жесточайший троллинг от Альтмана в твитторе.
А троллит он Логана Килпатрика, Lead product for Google AI Studio.
Который написал вот такой твит в 00:45 25 декабря.
what would you like the Google AI Studio / Gemini team to build/fix in 2025?
Через три часа Альтман твитторнул:
what would you like openai to build/fix in 2025?
А мы-то подумали, что ему реально интересно...
@cgevent
Вот тут интереснейший твитторный тред от Сэма Альтмана.
Он спрашивает, "что мы можем улучшить в 2025"..
Во-первых, по его (излишне вежливым) ответам можно кое-что понять из планов.
Во-вторых, ему конечно, наваляли за Sora по самый твиттор.
Но он, на чистом глазу пишет: "тонны улучшений грядут в Sora".
Ждём-с.
https://x.com/sama/status/1871730475909419115
А вот когда его спрашивают про новый Dalle, он уклончиво пишет - hope to..
@cgevent
Нашел нормальный штатовский впн и поигрался с Сорой наконец под рождественский шумок.
У меня два промпта для тестов - дифчонки на пляже и ZZ-Top.
На ZZ-Top ругатся, я говорит переписала твой стыдный промпт, там контрафакт.
По качеству генераций - очень мало мыла, и наверное резче, чем у многих. Но по композиции, движению и построению кадра - не впечатлен. С анимацией персонажа - не задалось. Она шарахается от image2video. А уже если людей углядит, верещит как сумасшедшая.
Задумка со сторибордом - хорошая. Иметь таймлан в видеогенерациях - это must have я считаю.
Но реализация хромает. Сыро.
Пока Клинг и Минимакс - two loves
В общем жду доступа к Veo 2.
Кстати, все, что вы видите на сайте - это 480р, даже если вы выбирали 720. Так что не доверяйте глазам, а скачивайте.
Если скачивать, через правую кнопку+inspect - то скачивается сильно пожатый ролик в 480p, независимо от выбранного разрешения, а если через меню, то там похоже что-то типа апскейла или улучшайзинга идет - задержка довольно приличная.
Two men playing electric guitars with intense energy on stage, styled with long beards, sunglasses, and hats reminiscent of ZZ Top. They are in a rock concert setting with vibrant lighting and smoke effects in the background, emphasizing a powerful and dynamic performance. The atmosphere is energetic, with the guitarists wearing classic rock attire, surrounded by amplifiers and stage equipment, capturing the essence of classic rock music and ZZ Top's iconic look
Принёс вам видео из загнивающего твиттора. Просто посмотрите какая годнота! Чувак использует новый Gemini как персонального наставника по программированию расшарив нейронке свой экран. Все это голосом и с минимальной задержкой.
Будущее уже тут.
Попробовать так же можно тут (нужен гуглоаккаунт и айпишник США)
Мы тут часто дискутируем о новых интерфейсах AI, ведь если не только перепечатывать новости, но и генерить самому, появляется ощущение, каким должен быть AI-майндсет, чтобы генераторы перестали быть технологиями, а превращались в продукты.
Знакомые из AI Mindset запускают футуристичную лабораторию, где вместо чтения про AI вы начнете его реально использовать.
🤖 AI Mindset Lab — это 4 недели интенсивной практики, в которых вы свяжете знакомые инструменты в полноценные рабочие решения. Вот несколько примеров того, что создали участники предыдущей лабы:
• ассистент для рефлексии: дневник настроения с голосовым вводом и анализом эмоциональных паттернов. stack: ChatGPT, SuperWhisper
• smart meeting assistant: автоматическая транскрипция звонков и генерация саммари с отправкой в Telegram. stack: Zoom, Zapier, Whisper
• умный поиск по базе знаний: интеллектуальный поиск и рефлексия на базе заметок из своей базы знаний. stack: Obsidian, Windserf, Cursor
• ассистент для творческих задач: генерация идей, создание музыкальных аранжировок, генерация изображений и видео. stack: Midjourney, Suno, RunwayML и др.
• языковой тренер: адаптивная система обучения с генерацией персональных упражнений. stack: Claude, local LLMs, Gemini
• market research AI: автоматический сбор и анализ данных о рынке и конкурентах. stack: GPT, Perplexity, Consensus
Никакой воды и теории — только живая практика, реальные кейсы и взаимодействие в сообществе единомышленников. Вы научитесь не только использовать инструменты, но и мыслить как AI-исследователь.
🗓 старт: 21 января
📰 формат: 2-3 онлайн-встречи в неделю + практика
[подробнее о лаборатории]
по коду mindset скидка 10% до конца года
P.S. для тех, кто хочет глубже погрузиться в тему управления знаниями с AI, есть расширенный поток с фокусом на создание "второго мозга" в Obsidian + AI – AI Mindset [knowledge]
почитать о других проектах ребят можно на их канале @ai_mind_set
LTX Video2Video реально неплох.
149 кадров на 4090 занимают 20 секунд(!).
@cgevent
Ну, за трейлеры.
Это чистый Google Veo 2 Text2Video плюс монтаж в Capcut.
Если к сторителлингу есть некоторые вопросы(приподвзварчиваю немного), то картинка просто убийственная.
Больше всего мне нравятся "шейдеры" и вот эта вот трансформирующаяся геометрия.
В общем на фоне бесконечных лабрадоров в очках и мартышек на роликах это выглядит как реальный клип "по делу".
Н-Нравится.
@cgevent
Аватаризация, скидки и все такое.
Я не склонен превращая канал в чорную пятницу, вы сами пошарьте в сети, у кого сейчас скидки или бесплатные периоды. Suno, Pika, Cupcat, Hedra по коду HEDRAODYSSEY (месяц бесплатно) и всяко разно другое.
Но вот держите посылочку от Тиктока, и какую.
Это как бы ответочка Хедре и даже самому Хейгену, с очень интересными штуками.
И если будет код, то это хорошая альтернатива Hallo - опенсорсному оживлятору говорящих голов.
Смотрите, что есть у NFP: Audio-Driven Interactive Head Generation
1. Это заточено под диалоги, причем есть режим слушающего
2. Может принимать пестни на вход и петь с закрытыми глазами
3. Есть Мона Лиза, как у людей.
4. Прямо просится в онлайн-созвоны: режим переключения между слушателем и докладчиком и вот это: Real-time Agent to Agent communication!!!
5. Можно делать подкасты для двух цифровых тварей.
Для сравнения, последний ролик в посте из новой Хедры.
Смотрим видео тут и взываем код.
https://grisoon.github.io/INFP/
Можете также поглядеть на опенсорсную ответочку от Алибабы, которые зажали EMO, но выпустили Эхомимику:
https://antgroup.github.io/ai/echomimic_v2/
@cgevent
Ну, за мультипликаторов.
Тут Гугль неожиданно выкатил вот такую интересную работу.
И мультик.
Для каждого персонажа свой файнтюн(?!, да, там LoadCheckPoint + Dreambooth SDXL). По 12-то картинкам.
Эти файнтюны генерят кривые руки и пропорции - их корректируют через Depth и Canny контролнеты.
В ComfyUI.
Там же сегментируют персонажей с помощью Dino и SAM.
Часть картинок анимируют с помощью AnimateDiff + DaVinci+Nuke.
А часть - просто ригают и анимируют в Adobe Character Animator.
(Тут мы перестаем пить за мультипликаторов и вопросительно поднимаем бровь). Гугль, это что вообще?
Гугль: это ассистент для аниматоров.
"В рамках этого пилотного проекта мы вместе с художниками разрабатывали новые рабочие процессы для 2D-анимации, одновременно создавая короткометражный образовательный мультфильм. Мы определили несколько рабочих процессов, которые позволят упростить процесс анимации и более эффективно воплотить замыслы художников на экране."
Кода или воркфлоу для Комфи я не нашел.
Но есть кожаные сценарии для эпизодов.
Странная работа.
https://genai-2d-character-animation.github.io/