CGIT_Vines

01 November 2024 06:24

С каждым месяцем всё лучше и лучше. Геймдев все ближе к точке бифуркации.

Ребята из Etchet в сотрудничестве с Decart, на которой выпустили DoomAI, показали Minecraft, полностью сгенерированный, идущий в 20 fps без инпут-лага.

В эту демку можно поиграть вот тут, дождавшись своей очереди; на момент написания её около 100-200 человек.

Кадры генерируются в зависимости от вашего ввода: из интерактива — повороты, прыжки, строительство и разрушение.

Etchet также представили свой чип, который супербыстр для генерации видео через трансформеры, и предупреждают, что 70% контента уже имеют видеооснову, будут иметь ещё больше, в том числе генеративного формата. Эта демка запускается всё ещё на H100 в разрешении 360, и потом апскейлится; на чипах Sohu будут обслуживаться модели 100B+ и разрешением 4K, которые будут супербыстрыми за счёт распараллеливания.

Подробнее в их блоге.
@cgit_vines

CGIT_Vines

31 October 2024 07:17

Спустя примерно полтора года после того, как Wonder Dynamics присоединилась к Autodesk, они запустили бета-версию тулзы Wonder Animation.

Напомню для тех, кто пропустил: вы можете снимать на свой телефон шоты с актёрами и потом переводить их анимацию в готовые трёхмерные представления. Я даже делал стрим на эту тему полтора года назад.

Создатели сами заявляют, что не поддерживают хайп по автоматическим решениям с кнопкой «сделать красиво», понимают, что художникам нужны широкие настройки в инструментах при работе с ИИ, и предоставляют их, давая художникам полный контроль над анимацией движений, мимики, крупности шотов и, по заявлениям, поддержку бесшовного переключения между крупностями кадра. (Интересно посмотреть, как это работает).

CGIT_Vines

27 October 2024 07:15

По всей видимости, текущие методы RL не очень подходят для генерации трёхмерных представлений либо тратят слишком много вычислительных ресурсов. Поэтому для новой беты модели Gen-1 RLHF V0.9 использовали Reinforcement Learning with Human Feedback (RLHF): у них, натурально, в штате сидит команда моделлеров, которые раздают вознаграждения.

К слову, генерации на уровне Tripo3D из этого поста — возможно, у Tripo тоже RLHF, но это же не звучит так волшебно, если у тебя разметку делают люди.

На старте дадут 8 бесплатных кредитов, погонять тесты хватит. Для остального есть возобновляемые кредиты у Tripo.

Пробовать тут

CGIT_Vines

25 October 2024 14:16

А вот тут чувак поместил старую и обновленные модельки sonnet 3.5 в майнкрафт в качестве агента и попросил отстроить что-нибудь.

Слева — старая модель, справа — новая. Тот самый случай, когда claude строит лучше, чем я.

Майнкрафт — тысяч бенчмарков.

CGIT_Vines

23 October 2024 13:00

О вишенках и реальности

Год радует на громкими словами, а не релизами. Очередной симпатичный релиз от моих любимых Runway ждет нас уже скоро — доступы обещали начать раздавать уже со вчерашнего дня. В этот раз нам обещают шикарный перенос мимики (лицевой мокап), лучше завирусившейся недавно Hedra.

Видео из нового продукта Act-On Runway правда сначала потрясают. Но тестируя как работают другие релизы типа обновления Gen c переносом стиля на кадр, понимаешь, что это годится только пока для мемов и творческого поиска. И на том спасибо.

Применяя это на практике понимаешь, что инструменты из коробочки работают примерно на 20%, в кейсе часто приходится это учитывать, подстраиваясь не под идею, а возможности софта. Например у Hedra, если у героя не очевидные черты лица (а это бывает часто), то инструмент просто выдаст ошибку, перенести точки как-то вручную и помочь ему сориентироваться — никак. Кредиты только так улетают, вне зависимости от качества картинки-движения-реалистичности.

Итого для хорошей работы нужно иметь в арсенале несколько подписок, механику которых ты знаешь можешь приблизительно предсказать результат. Часто возникает ситуация, когда одна механика вырусится, автор или группа авторов начинает работать именно с определенным пайплайном, забивая на содержание и вместо экспериментов и все новых и новых открытий мы получаем нейронный шум. Создатели (или их заказчики) потом еще удивляются, а почему их кейс с пайплайном 2022 года не оценили.

Некоторые коллеги выбирают для своих проектов решения из опенсорса, но в этом случае больше управления несет за собой больше экспериментов, итераций и поломок, что конвертируется во время. Зато результат часто не такой как у всех.

Настоящее и будущее больших открытий и хороших денег как всегда за междисциплинарными кейсами, где используется много нейронок, много не-нейронок, а самое главное человеческий талант. Волшебной видео-кнопки пока нет.

Извините, а SORA выйдет? А мячик можно?

CGIT_Vines

21 October 2024 05:44

Не знаю, отсутствие ли необходимых данных или абсолютная левость в фильтрах ChatGPT заставляет его называть эту фотографию фейковой и даже AI-generated и это при трех прямых вопросах.

А ведь я заставил его погуглить последние события и ткнул носом.

CGIT_Vines

20 October 2024 19:09

В очередной раз просматривая ленту людей, которые на меня подписаны (да, я иногда так делаю, это мой фетиш), воодушевляюсь тем, какие вы все разные: молодые, старые, модные и нёрдовые, устремленные, в теме и те, кто еще в поиске себя, инженеры, художники, заводчане, службы смм и маркетинга, директора студий, владельцы тг-каналов и ТАМАДА (тебе отдельное ❤️).

Возможно, я вам иногда облегчаю жизнь, делаю ее слегка интереснее, кому-то, возможно, помогаю, потому что вы мне абсолютли да! 🥰

CGIT_Vines

20 October 2024 10:55

На днях, на прошедшей конференции CitizenCon, посвящённой игре StarCitizen, показали вот такой сетап для управления кораблями из кокпита.

Помимо хардверной части, добавили отслеживание взгляда и головы!
Жаль, что нет перегрузок при выходе из атмосферы и растягивания тела при гиперпрыжке.

CGIT_Vines

17 October 2024 15:34

Наконец-то показали тизер Electric State. Я вот тут писал.
Смотрел и думал, что относиться можно, конечно, по-разному, но единственное, что будет иметь значение — это комментарии самого Сталенхага.

Если он одобрил и ему понравится то, что получилось, дальше просто может быть какая угодно субъективная оценка. Результаты увидим на IMDb или томатах.

CGIT_Vines

17 October 2024 14:03

Adobe показал новую АИ-фичу от которой уже на самом деле дизайнеры напряглись – для такой работы в иллюстраторе раньше приходилось тратить кучу времени 🌚

CGIT_Vines

17 October 2024 06:50

Подписчики делятся актуальными событиями.

UnHuman Shorts проходит с 6 по 20 октября. Загружать шорты можно от 30 секунд до 15 минут, при условии, что они AI-сгенерированы. Участие бесплатное.

CGIT_Vines

14 October 2024 06:36

К слову Doom, CSGO, это не единственные наработки, как вы понимаете, но какие-то из них то там то тут прорываются, не такие впечатляющие, но все же.

Еще один пример это нейронный водопроводчик из Италии, пока аутпут весьма медленный, но скоро обещают версию на 20 fps/

Тут, для тех кто не хочет заморачиваться, есть коллаб с возможностью запустить все это самостоятельно.
Нужно понимать, что в целом все модели мира, которые мы сейчас наблюдаем обучены на весьма скромных наборах данных и сами по себе ограничены в ресурсах. Так что места для потенциала еще полно.

Git
Collab

CGIT_Vines

10 October 2024 13:03

Не новая, но невероятно интересная история о матрице для саранчи, в университете Konstanz в Германии. Университет изучает коллективные способы взаимодействия животных и насекомых, в данном случае пытались понять, что заставляет саранчу пропрыгивать сотни километров и как они самоорганизуются в рой для уничтожения посевов и миграции.

Так как саранча не имеет чувства глубины, то она воспринимала проекции саранчи в VR сетапе совершенно реальными.

Отдельно интересно наблюдать за сетапом, самой проекцией, бсконечной сферой по которой бегает саранча и маленьким шлемом для снятия данных.

Поведение роя не так уж далеко от нашего, в следующий раз пересылая друзьям мем не забудьте, что мы одинаково с саранчой взаимодействовуем с нейромедиаторами по средствам дофамина и не только.

CGIT_Vines

07 October 2024 07:41

Halo Studios, бывшая моя любимая 343 Industries, объявила, что последующие части Halo будут выходить на Unreal Engine.

Если насчёт картинки в UE сомневаться не стоит, то вот проблемы, например, со сценарием, на который часто обращают внимание, и оптимизация вполне могут омрачить следующий релиз. Надежду даёт то, что всё же специалистов по UE найти в разы легче, чем под инхаус-движок, который, я уверен, был полон багов, устаревшей документации и боли для всех, кто его касался.

Ожидания фанатов за 13 лет всё же ставят довольно высокую планку для студии, которой, кажется, уже больше не дадут кредит доверия, если и в этот раз они облажаются.

Тут разработчики обещают сделать лучший Halo в истории.

CGIT_Vines

04 October 2024 15:09

Люблю этот сезон года, когда выглядываешь за окно, а там тихо так: шурша, хлопья дронов мягко, почти без звука, ложатся на еще сухой осенний тротуар, тускло поблескивая разноцветными точками оптических сенсоров, преображая цифровым роем туманный городской пейзаж, добавляя новый слой к бесконечной симфонии кэша городских улиц.

CGIT_Vines

01 November 2024 05:31

Нашёл интересный пример с небольшой перспективой на развитие. Грубо говоря, возможность агента непрерывно смотреть на ваш экран и помогать вам в обучении. В данном случае это десктопная версия ChatGPT с голосовым управлением, но она пока не умеет смотреть на экран.

Прощай, курсы, учившие вас нажимать кнопочки в софте! А потом и в целом курсы, обучающие вас делать что-либо! В который раз убеждаюсь, что не сами знания, а пайплайн получения знаний становится куда важнее.

Мечта интерпренёра — поставить такое в офисе и каждый раз списывать с вас кредиты, когда страдаете херней на работе 🫡. Думаете, не поставят? Конечно, поставят!

Сейчас ещё нет релизнутых моделей (только беты), которые могут просматривать ваше рабочее пространство на компьютере или смартфоне. Claude и ещё пару стартапов пробуют делать это посредством скриншотов, и пока только так. Я думаю, к середине следующего года, но скорее всего раньше, у нас будет что-то наподобие этого концепта, но уже в рабочем состоянии.

CGIT_Vines

30 October 2024 06:17

Сегодня наткнулся на интересное исследование, в котором обсуждается, как крупные языковые модели учатся, используя структуры, схожие со строением человеческого мозга. В работе показано, что концепты в ИИ организованы на трёх уровнях: от «атомных» идей до более сложных «кластеров» с общими смысловыми признаками.

Использование автоэнкодеров для представления концептов в виде трёхуровневой иерархической структуры организовывает данные по принципу, напоминающему когнитивные структуры. Это дает языковым моделям возможность более глубоко понимать и генерировать смысловые связи, улучшая их точность и интерпретируемость. В итоге, это создает предпосылки для развития ИИ, способного обрабатывать сложную иерархическую информацию, типо того как это делает человеческий мозг.

Подробнее читать тут

CGIT_Vines

25 October 2024 17:29

В Японии освятили Гандама!
Теперь официально, выходные можете проводить спокойно, человечество под защитой.

CGIT_Vines

24 October 2024 08:43

Давайте пока охладим траханье на счёт управленческих LLM-систем. Если кто не в курсе, почитайте тут у Дениса.

Если влом читать, то это LLM-агенты, способные "управлять" вашим компом через промпты.

Не знаю, в чём там сложность установки, но я как гуманитарий поставил в течение пары минут.

Попросил создать сферу в Blender — окей, не можешь, давай тогда, может быть, куб? Тоже нет? Окей, я создам сам, просто подвинь его на 5 см вправо. Нет? Бу, испугался?

В общем, моё дело — периодически проверять, теряем ли мы работу или ещё можно пофлексить. И, как видно из видео, для съёмки которого я оплатил API Claude AI, оно того стоило, ага 🤡. Работу пока не теряем.

Блуперы, не попавшие на видео: на просьбу запустить Blender, он настойчиво открывал ZBrush.

Давайте ваши советы, что ещё попробовать! Автору самого интересного и рабочего промпта посвящу пост в канале.

Агента брал с этой репы

CGIT_Vines

22 October 2024 16:21

Все: Невероятное использование нейросетей в продакшене, кажется все студии и художники теперь потеряют работу.

Next generation AI: create video of sculpting wooden plank in zbrush

@CGIT_vines
P.S. к слову, он генерил это дней 5

CGIT_Vines

20 October 2024 19:30

Слышали, что Третьяковка решила закрыть отделение современного искусства?
Переживать не стоит, я открываю филиал Post Internet Art #PIA прямо тут! С любовью, @CGIT_Vines 🥰

CGIT_Vines

20 October 2024 17:40

Кажется, не так много времени осталось, и пора разобраться.
В первую очередь честно ответьте себе: если ваш партнёр начнет чаще говорить, шутить, обсуждать общие темы со своим AI-компаньоном хотя бы на том же уровне, что и с вами, будете ли вы чувствовать ревность, зависть, непринятие?

Да, AI со временем зарегулируют, и он будет выступать больше в роли семейного психолога, но ведь будут и те, которые будут восполнять то, чего не получают в отношениях с реальным человеком. Будет ли AI поводом для расставания, ревности, зависти? У вас это было бы проблемой?

CGIT_Vines

19 October 2024 18:36

В который раз наткнулся на это "видео", которое, как мне кажется, — лучшая фиксация космического объекта эвер, и мне стало интересно наконец-то узнать, как оно было сделано.

Многие знают, что это комета Чурюмова-Герасименко. На самом деле, видео не снималось в традиционном смысле. То, что вы, вероятно, видели, — это серия изображений, собранных космическим аппаратом "Розетта" Европейского космического агентства (ESA) во время его миссии к комете.

Космический аппарат был запущен в 2004 году и достиг кометы 67P в 2014 году.
"Розетта" была оснащена несколькими камерами, включая систему OSIRIS (Optical, Spectroscopic, and Infrared Remote Imaging System).

Аппарат вышел на орбиту вокруг кометы и делал снимки с разных углов и расстояний.

В ноябре 2014 года "Розетта" отправила на поверхность кометы посадочный модуль "Филы", который также сделал несколько снимков.

Однако это приземление было проблематичным — после касания аппарата с поверхностью кометы он отскочил несколько раз и оказался в тени, что затруднило его работу на солнечных батареях. Несмотря на это, он смог передать важные данные до того, как его батарея разрядилась.

Ученые собрали серию снимков, сделанных в течение определенного периода времени, и объединили их в последовательность, создавая эффект видео.

"Розетта" провела около двух лет на орбите кометы, что позволило собрать огромное количество данных и изображений.

Таким образом, "видео" с кометы 67P — это результат тщательно спланированной космической миссии, использования передовых технологий и обработки данных на Земле. Это не видео в привычном смысле, а скорее визуализация данных, собранных в течение длительного периода времени.

На комете еще нашли органические молекулы, но это уже другая история 👾

CGIT_Vines

17 October 2024 14:58

Krea.ai собрала под своим крылом все видеогенераторы. Теперь вы можете при написании промпта выбрать, какой именно моделью продолжить генерацию.
В списке присутствуют Luma, Runway, Kling, Minimax, Pika.

В будущих апдейтах была бы полезной опция поставить на генерацию либо несколько моделей одновременно, либо все доступные сразу. Fuck credit's economy!

К сожалению, после того как они убрали бесплатные дейли кредиты, Krea перестала быть моим любимым риалтайм-генератором.

CGIT_Vines

17 October 2024 07:06

Параллельно нашел смежную площадку Dream Flare для постинга своих AI-произведений, но с непонятной системой ранжирования.

Написано, что модерация происходит не алгоритмами, поэтому критерии не понятны. Монетизация присутствует. Если вы создаёте подобный контент, возможно, это то, с чего стоит попробовать начать.

Для тех, кто уже давно занимается созданием подобного контента, просьба поделиться с комьюнити более годными площадками.

CGIT_Vines

16 October 2024 06:31

Один из крутейших инструментов, которые есть сейчас в Photoshop, — это возможность генерировать 3D-сплаты и на их основе дополнять 2D-генерациями (диффузиями). Проще говоря, генерить модельки и догенерировать окружение.

Конечно, в продакшене это будет не так быстро, как на видео (оно ведь ускорено в 10 раз 🤡). Всегда захочется что-то домоделить, поменять форму, угол, добавить более зеленой травы и прочей маркетинговой дрочи. Мы ведь мечту продаём не меньше!

Но всё равно это в десятки раз быстрее, чем когда я занимался дизайном лет 10 назад.
Вопрос к дизайнерам: напишите, как часто пользуетесь сейчас генеративными тулзами и спасает ли это вас от менеджмента с их комментариями?)))

CGIT_Vines

12 October 2024 15:10

Воу! Как насчет поиграть в CSGO на нейронке?
После Google с его Doom AI так быстро начали появляться модели мира, и не просто с видео презентацией, а с репо на GitHub и возможностью развернуть это на своей локальной машине!

По сути, это генерация с интерактивным управлением. Там, конечно же, нет физики, поэтому, когда вы прыгаете, вас просто галлюцинируя уносит в небо.

Игра (или не знаю, как это назвать) запускается на 10 fps, изначально считается в очень маленьком разрешении, а потом апскейлится уже отдельным проходом. Но что меня поразило, это то, что сеть обучали всего на 87 часах игрового видео!
Кажется 25 год будет невероятным!

Подробнее тут
Сайт проекта

CGIT_Vines

09 October 2024 17:46

Я, честно говоря, совершенно пропустил супер крутой апдейт от Tripo3d
Как-то без должного внимания выпустили новую модель для генерации 3D по картинке V2.0.
Прошлая модель 1.4 выглядела, как и все остальные 3D-генераторы, т.е. отвратительно. Вообще не понимал, как их хоть для чего-то можно использовать.

В общем, смотрите на сравнительном видосе, где я сравнил прошлую и текущую версию — скачок, как по мне, х2 или х4 точно.

На самом деле, как не сложно догадаться, успешность генерации сильно зависит от точности деталей, которые вы получаете на 2D-генерации. Так что генерируйте в 2D нормально, и будет в 3D нормально! За такое можно и заплатить, хоть они и дают ~ 550 кредитов бесплатно каждый месяц.

@CGIT_Vines

CGIT_Vines

07 October 2024 06:59

Я открыл в себе какую-то невероятную тягу к роботам, в идеале, чтобы с ними еще можно было разговаривать. А если они еще напоминают тебе встать и размяться, то это вообще бесценно.

KT2 — Kungfu Turtle 2, кроме этого, имеет в себе около 100 разнообразных активностей, в том числе и в группе.

Можно подключить к ноуту, телефону и геймпаду. Также говорят, что есть потенциал для перепрограммирования и дообучения. Можно и самому залипнуть в логику, и ребенка заинтересовать.

В общем, я очень впечатлён, хотя цена может показаться большой — $100. Из минусов — нет дисплея с эмоциями, что, на мой взгляд, могло бы увеличить привязанность к такой милахе.

На кикстартере дата массового производства стоит на октябрь, а доставка по миру к Рождеству.

Разбор от создателей тут

P.s. если кто-то занимается сборкой роботов, напишите мне пожалуйста!

CGIT_Vines

04 October 2024 05:51

Первого числа вышла превью-версия Unreal 5.5/

Как и для каждой новой десятичной версии, они обязаны выпускать какой-то более-менее крупный апдейт. И в этот раз, даже по опросам эпиков, самой эффектной была презентация MegaLights.

Это улучшенный рендеринг света, который просто по количеству источников был бы невозможен еще год назад. Просто посмотрите на 54:45 — там всё в паутине света, и они все динамические, и все отбрасывают тень!

Всем, кому говорил на занятиях не делать много лайтов, — теперь можно, лагать точно не будет. Но есть нюанс: много источников скорее баг, а не фича. Лучшие по свету игры обходятся минимальным количеством источников. Это серия Destiny и Division. Технологии — круто, но художка решает.

Сегодня как раз думаю постримить, линки в дискорде.

Подробнее можно почитать тут.
Видеообзор можно глянуть тут.