37760
Это не новости, это персональный экспертный взгляд на то, как развивается индустрия ИИ, графики, метаверса, крипты, нейротехнологий и в каком направлении катится все это безобразие. Для связи: @SergeyTsyptsyn
Снова за нейрорендеринг.
Вот принес вам два видео из Люма и Креа.
Смотрите, давайте немного разберемся.
Креа делает видео на основе кода AnimateDiff, то есть генерит последовательность картинок, которые ничего не знают друг про друга. Там нет временной согласованности между кадрами, но есть много ухваток как сгладить этот момент.
Плюсы - изумительное качество картинки. Минусы - то самое кипение и артефакты, родовой признак всех потомков Warp Diffusion.
Люма делает сразу видео. Очень грубо говоря, она рендерит его из своей world model. И как все рендеры, обеспечивает временную согласованность кадров.
Плюсы - нет кипения и мельтешения, минусы - качество самой картинки (пока) типа отстой. Пока.
Если еще грубее и проще. Креа Видео натренирована на картинках, Люма натренирована на видосах (хотя в Креа много сделано для хорошего сглаживания между кадрами).
Ну и тут можно порассуждать, что у генераторов видео, натренированных на видосах в мозгах возникает некая 3Д-сцена (хотя это не 3Д, а некое "ИИ-понимание как устроен наш трехмерный мир"), которую генератор рендерит по нашему запросу, мы просто "подлетаем" к некоторому участку внутреннего мира модели с помощью промпта и говорим, полетай рядом и пошевели объекты - все как в классическом 3Д. И оно рендерит.
Ну и дальше я опять начну ныть, что в классическом 3Д у нас есть все инструменты для управления анимацией.
А теперь представьте, что их нет, и мы может анимировать объекты только таская их за вертексы, то есть перемоделивая их в ключевых кадрах. Нет ни рига, ни деформеров, только вертексы объектов, за которые можно таскать и то приблизительно, с помощью команд типа "немного вправо".
И пока видеогенераторы, это такое 3Д без рига и контроля. Да уже есть ключевые кадры и референсные изображения на вход. И стрелки "немного вправо" в виде Motion Brush. Но на этом пока все.
Зато они рендерят Согласованные кадры. Пусть в качестве Coarse, но скоро подвезут нейроантиалиасинг и ControlNet. Вопрос интерфейсных решений.
Google выкатил Gemma 2
Как и обещали на Google I/O модель вышла в июне. Выпускают два размера: 9 и 27 миллиардов параметров. Обе достаточно маленькие, так что их можно запустить дома на одной геймерской видяхе. Показывают себя на бенчах они хорошо: 9B обгоняет LLaMa 3 8B, будучи не сильно больше, а 27B подбирается по качеству к Mixtral 8x22B.
27B версию тренили на 13 триллионах токенов, а вот 9B лишь на 8, но там дистиллировали из модели побольше.
Модель последние два дня тестили на арене, под названием im-also-a-late-june-chatbot. Пока говорить что-то рано, разброс слишком большой, но вроде вышло неплохо. Лишь бы не было кучи проблем, как было с оригинальной Gemma.
Веса
Блогпост
Техрепорт
@ai_newz
Пайплайн-вакансия.
Мой хороший приятель Леша Дук ищет в команду или на аутсорс спецов по генеративному ИИ.
Надо не сколько генерить картинки, а выстроить пайплайн. Причем в архвизе.
Задачи: интеграция ИИ на базе Stabilr Diffusion в пайплан архитектурного проектирования и визуализации. Дообучение переобучение моделей подготовленными датасетами. Создание ИИ сервера обработки и генерации изображений и инерфейсов для пользователей.
Так задача резиновая, то пишите Леше вот сюда @alex6666, если вы генеративный спец или команда таковых.
Ну за спортивных комментаторов.
Я когда-то писал про то, как Тинькофф банк покрал у актрисы озвучки голос для "синтеза".
И она услышала потом свой голос отнюдь не в рекламе банка.
Я там говорил, что в принципе, это приведет к большей поляризации среди актеров (не только озвучки).
Знаменитости получат еще пару нулей в контракте за оцифровку голоса или внешности, а начинающие получат дешевый(во всех смыслах) путь залететь в базы данных и призрачный шанс быть увиденными и услышанными в цифре.
Тут вот NBC взяли известного спортивного комментатора Эла Майклса(Al Michaels), вручили ему хороший контракт, оцифровали его голос и скормили его ИИ.
А теперь ИИ будет делать для подписчиков сервиса персонализированный плейлист с самыми важными для них событиями за предыдущий день. Голосом Майклса, у которого премия Эмми, на минуточку.
Это я к тому, что у начинающих актеров денег будет меньше, а у звезд - больше. Но есть вопрос: когда кожаные звезды приподвымрут, нужны ли будут новые молодые кожаные звезды? Или к тому времени ИИ подучится делать прицельно эмпатичных харизматичных и успешных звезд с убойными голосами и внешностью. От которых нельзя оторваться.
https://www.nbcsports.com/pressbox/press-releases/peacock-unveils-personalized-olympic-recaps-featuring-the-voice-of-legendary-sports-announcer-al-michaels-generated-with-a-i
Ну за Вордпресс? Не совсем.
Тут Notion выпустил как бы конструктор сайтов. Там все сладко, 10 000 шаблонов, сео-оптимизация, подключение гугл-аналитики.
Ну и самое главное - кастомные домены!
Народ в твитторе уже выпивает за вордпресс, но есть пара моментов.
На бесплатном тарифе у вас вряд ли это получится.
На платном тарифе (10 баксов в месяц) вы будете платить еще 10 баксов в месяц(!) за кастомный домен. Итого 240 баксов в год.
Сравните с оплатой хостинга с вордпрессом на борту.
Для бизнеса или стартапа - вариант норм, для енд-юзера - не уверен.
https://www.notion.so/product/sites
Симулятор сайтов на стероидах Клода 3.5 и gpt4o.
Принес вам плазменное огнищще.
Помните, в прошлом веке люди рисовали картинки (неделями), потом нарциссически их выкладывали в веб-галереи, и ну радовацца и наслаждацца.
Помните, в прошлом веке люди (в больших количествах) делали сайты. На Front Page, например))
А потом выкладывали их на хостинг, и ну работать, кликать, рекламировать, в общем зарабатывать.
Потом пришел ИИ, и вот уже в галереи выкладываются ИИ-картинки, конкурсы выигрывают ИИ-работы, и в галереи мы лазим подсмотреть промпт. Чтобы нажать кнопку Сделать Красиво.
А теперь представьте себе, что галерею веб-сайтов, сделанных одной кнопкой с помощью ИИ. То есть можно жать на рычажок, генерить сайты, выкладывать их в галерею и ну хвастацца или зарабатывать. Кстати, в шапке поста скрин сайта с работающими ссылками, кодом и симуляциями, который я сделал одной кнопкой, точнее одним урлом.
Короче, это все теперь реально.
Держите мета-веб-сайт, который генерит веб-сайты. Как картинки, по промпту, точнее по УРЛу. Вводите доменное имя типа "конецглазамкрасивокак.graph", а он вам генерит сайт, понимая, что вы хотели зашить в имя сайта.
Пожалуйста, немедленно поглядите, что там люди генерят. Это просто за гранью. ИИ иногда творит просто чудеса.
И совсем уж вишенка - вы можете выбирать LLM типа Клода 3.5 или cpt4o или более старые модели для генерации кода сайтов. Непонятно за чей счет пока.
Вот сгенерил симулятор жидкости в вебе (fluidsimulations.com):
https://websim.ai/c/FmzE44ciGdY7KDUdR
Он сделал ВСЕ! Включая раздел Simulations с КАРТИНКАМИ!
https://websim.ai/c/yNAvcLSCw8GT3xOBB
Симуляции разрывают процессор, но работают. Я в шоке.
https://websim.ai/c/CEu6IB8Heqxsgs1zd
(надо залогиниться, чтобы переход по ссылкам работать).
В общем я залип. И вам того желаю!
https://websim.ai/
Совет. Чем длиннее имя сайта, тем больше информации он вытащит оттуда.
Асики для LLM. Но не для всех.
Соху: Полмиллиона токенов в секунду для Llama 70B!
Помните были асики для майнинга?
Теперь есть такие же для трансформинга.
Компания Etched сделал специальные чипы для просчета именно архитектуры трансформер. CNNs, RNNs или LSTMs там ускоряться не будут. Stable Diffusion 1.5 тоже кстати.
Короче, один сервер с 8-ю чипами Sohu молотит как, внимание, 160 Nvidia H100! То есть он в 20 раз быстрее, чем H100.
Этот чип в ДЕСЯТЬ раз быстрее, чем еще не появившийся Nvidia Blackwell (B200) GPU.
Конечно, это все заверения разработчиков чипа.
Основной посыл - зачем платить за монстров, доедающих закон Мура, когда можно купить чип для конкретной задачи, а точнее даже архитектуры.
У них на сайте довольно правильные слова про спрос и предложение, так что очень ждем: где, когда и почем.
Они, кстати подняли 120M и за два года запилили чип.
https://www.etched.com/announcing-etched
Некоторые боятся что ИИ заменит их, а другие, наоборот, с нетерпением ждут
ИИ-врач AIME — это один из тех проектов, который может значительно улучшить качество жизни сотен миллионов людей на планете.
Команда провела тесты эффективности ИИ-доктора по 32 категориям (диагностика, эмпатия, качество предложенного плана лечения, эффективность принятия решений). По 28 из 32 бот показал результаты лучше, чем живой доктор. По остальным — сравнимый результат.
Для обучения бота использовался подход self-play, когда 3 независимых агента (пациент, врач, критик решений врача) провели более 7 миллионов приёмов. Для сравнения, в среднем терапевт за всю свою карьеру делает неколько десятков тысяч приемов пациентов. Именно поэтому уже сегодня ИИ-доктор позволит оказать качественный сервис для 99% населения планеты, которые не могут позволить личного врача, а через несколько лет будет лучше большинства терпевтов/радиологов/педиатров и т.д. — но только никогда не уставший, условно-бесплатный, имеющий мгновенный доступ к любой медицинской литературе и обученный на сотнях миллионов интеракций с пациентами.
Конечно, в медицине главное это "не навреди", поэтому после публикации отчета в январе команда работает над улучшением продукта, безопасностью и готовится к получению необходимых лицензий от FDA и прочих. Массово такие продукты появятся не прям завтра, но технически это уже возможно.
Как ИИ влияет на бизнес и экономику прямо сейчас?
Об этом в своем канале рассказывают «Яков и Партнёры» — лидеры стратегического консалтинга в России.
Читайте, чтобы узнать:
📌 Как будет развиваться ИИ в России и в мире
📌 Когда инвестиции в генИИ успели опередить вложения в метавселенные
📌 Что крупные компании думают о внедрении генИИ
📌 Какой процент компаний из сферы e-commerce применяет технологии генеративного ИИ
Еще больше интересных инсайтов и прогнозов — в их канале. Подпишитесь, чтобы получать все новые исследования и прогнозы из первых рук.
Из комментов тоже достаю.
Рейтинг качества Text-to-Speech софта
https://huggingface.co/spaces/TTS-AGI/TTS-Arena
Соответственно идете по списку сверху внизу и выбираете решение, подходящее по цене.
Например, Топовый ElevenLabs стоит 100 баксов за 10 часов в месяц (500000 символов)
https://elevenlabs.io/pricing
PlayHT со второго места - 40 баксов за 5 часов и 100 баксов за анлим
https://play.ht/pricing/
Принес вам немного Бигдаты.
Больших данных про Больших мальчиков.
1. Больше всего датацентров у кого? Не, не у амазона или Гугла. У Микрософта - 300+. Причем у Гугла - в 12 раз меньше (но они коллабятся с амазоном).
На втором месте Амазон.
Также в пятерку входит Эппле, у них аж 10 штук.
Надо сказать, что Микрософт просто отлично рванул вперед, и на сотрудничестве с OpenAI затащил свой облачный бизнес в космос.
У меня нет данных, где хостятся Антропик или Мистраль. Но продавцы лопат чувствуют себя просто отлично.
2. О чем говорит вторая картинка. Вот уже месяц Nvidia то выходит на 1 место в мире по капитализации, то снова уступает Эппле и Микрософту. Поглядите на три этих огромных пузыря с примерно одинаковой капитализацией. В этом смысле у Микрософта есть полный фарш - и датацентры, и языковые модели, и экосистема.
3. Все эти датацентры потребляют энергии больше, чем БОЛЬШИНСТВО стран. Только 16 стран потребляют больше энергии, чем орава датацентров на планете.
4. Вычислительная мощность, необходимая для обучения моделей - по прежнему главный ресурс. Compute is the King. Поглядите на график роста вычислительной дури, за последние 7 лет (там поджали в логарифмическую шкалу, чтобы поместилось).
https://hi-news.ru/research-development/gorkij-urok.html
Сдается мне, что дата-центры на ядерных реакторах - просто неизбежность.
Company Data Centers
Microsoft 300
AWS 215
Google 25
Meta 24
Apple 10
Ого, Kling обновился (к сожалению только в своем китайском приложении).
Добавили "Image-to-Video" and "Video Extension", причем видосы можно продолжать до (!) минут.
Сора нервно закуривает.... "бахать или не бахать апдейты?"...
Нарезочка видосов тут. Качество, конечно не дотягивает до соровского, но это уже готовое приложение...
https://twitter.com/Kling_ai/status/1804064065670779233
На видосе одна картиночка из Midjourney на входе. И все. На дворе июнь 2024. Что там было два года назад?
Охоспади, бывший генеральный директор Weta Digital станет новым генеральным директором Stability AI!
Наверное надо радоваться, хуже чем с было Мостаком уже не будет.
https://venturebeat.com/ai/stability-ai-gets-new-leadership-as-gen-ai-innovations-continue-to-roll-out/
Гложут мысли о стартапе, для которого нет инвестиций? Подключайтесь к B2C Launch Camp венчур билдера SKL.vc.
Это интенсивный онлайн-кэмп, где вы вы будете работать над своим B2C-проектом от стадии идеи до прототипа и питчинга. На кэмпе ждут команды от 1 до 5 человек. Ключевое требование – у команды должна быть четкая идея и иметь возможность создать прототип без привлечения внешних подрядчиков и команд. Твоя идея должна подходить для большого и растущего рынка США или ЕС, в котором есть место для нового единорога.
Лучшие участники получат рабочий контракт с оффером до $200к в год, опцион в проекте и до $1.5 млн финансирования для воплощения проекта в жизнь.
Где подать заявки можно на сайте.
❗️Проверьте свою идею по чек-листу и обратите внимание на ниши, в которые студия не инвестирует.
Прием заявок закрывается 15 июля, кэмп стартует 19 июля.
📋 Программа кэмпа:
1. Оценка идеи
2. Конкурентный анализ
3. Качественные исследования
4. Бизнес-модель
5. Юнит-экономика
6. CJM
7. Создание прототипа
8. Презентация
Остались вопросы? Пишите @enjoykaz или в комментариях.
Обучение эмпатии.
Так я тут заигрался в аватаров, пора написать что-нибудь псевдо-умное.
Вот тут постил, что после решения проблемы липсинка, мы подучим ИИ поддавать эмоций в лица нейроаватаров.
Вот держите интереснейшую работу по изучению и, внимание, возможно, созданию целенаправленно эмпатичных роботов. Думаю, что если эти результаты привалить на генерацию нейроаватаров, то мы получим схождение к синтетическим лицам, вызывающим максимально эмпатичный отклик.
Итак, что сделали небританские ученые:
Как люди сопереживают гуманоидным роботам, которые выглядят так же, как и люди, но по сути отличаются от них? Мы изучили субъективные ощущения, электрофизиологическую активность и сигналы функциональной магнитно-резонансной томографии во время восприятия боли и нейтральных выражений лиц, которые были распознаны как пациенты или человекоподобные роботы. Мы обнаружили, что здоровые взрослые люди испытывали более слабые чувства понимания и разделения боли от гуманоидных роботов по сравнению с пациентами. Эти результаты позволяют предложить нейронную модель модуляции эмпатии идентичностью человекоподобного робота через взаимодействие между когнитивными и аффективными сетями эмпатии, что обеспечивает нейрокогнитивную основу для понимания взаимодействия человека и робота.
Все это было сделано, через обратную связь с помощью ЭЭГ и фМРТ, то есть через самую что ни на есть кожаную физиологию.
Ну, за эмоциональный интеллект!
https://pubmed.ncbi.nlm.nih.gov/38884282/
Ключевые кадры в Dream Machine и будущие монтажки.
В твитторе Люмы очень интересный апдейт.
Теперь можно задать начальный и конечный кадр, припихнуть рядом тестовый промпт и Люма сгенерит "управляемое" видео, попав в конечный кадр.
Это сильно круто и вот почему.
Во всех демонстрируемых видео-генераторах, как правило, весь контроль картинки лежит на промпте. Иначе говоря, мало того, что вы пытаетесь описать саму картинку в промпте (как в генераторах картинок), так вам еще надо задать движение, причем не одного объекта, а всех участников банкета, от камеры и света до переднего и заднего планов. Текстом. Пока вы делаете видосики для того, чтобы радовать подписчиков в инсте или телеге, можно не париться, ИИ все сделает сам, но если вам нужен контроль процесса и вы делаете что-то осмысленное, то вам понадобятся некие управляторы.
Пока мы видели Motion Brush, ключевые кадры, и слышали, что Сора умеет перегенерировать выделенную часть клипа. Все это некие костыли, которые рано или поздно должны как-то имплементироваться в знакомый интерфейс монтажки\композа.
И я надеюсь, что стартаперы не будут переизобретать премьер или нюк, хотя вот это вот рисование стрелочками, куда должно пойти движение, меня уже пугает. В монтажках для этого есть анимация по ключам.
В общем пока у нас конфетный период восторгов, но скоро придут будни, когда придется ходить на работу и использовать весь этот зоопарк. И тут время помолиться о нормальном интерфейсе.
Поглядите на все это великолепие тут, там много красоты, а я щас еще накидаю неумных мыслей про Dream Machine, Krea и 3Д-рендер.
https://x.com/LumaLabsAI/status/1806435502096310656
ИИ-Хакатон для ИИ-агентов.
На конференции GigaConf 2024 Сбер продемонстрировал AI-агентов, которые сами ставят себе задачи, пишут код для их решения, анализируют и визуализируют результаты.
AI-агенты в онлайн-режиме решали математические задачи и генерировали графики. Участники мероприятия придумывали свои задачи и получали их решение от AI-агентов или наблюдали, как один агент придумывает сложные задачи, а другой — ищет решение и показывает результат.
Область применения AI-агентов не ограничивается каким-то конкретным направлением деятельности: они способны автоматизировать и оптимизировать большинство рутинных процессов и выполнять роль цифровых сотрудников в разных профессиональных сферах.
Бизнес может создавать AI-агентов, способных решать задачи конкретной компании или сферы деятельности. Например, для ретейлеров можно создать агентов, которые организуют автоматическую генерацию информационных карточек товаров с последующим их размещением на различных площадках. Компании, оказывающие клиентский сервис, могут создать помощников, которые будут поддерживать весь процесс лидогенерации — от сбора контактных данных до работы в CRM-системе.
Попробовать создать своего агента можно с помощью open-source-фреймворка для разработки приложений на основе больших языковых моделей GigaChain и GigaChat API.
Figma AI, Canva AI
Тут Фигма фичерит новые ИИ-фишки
ИИ делает концепт Make Design, потом сам находит похожий образ с помощью Visual/Asset Search, потом ваяет прототип Make Prototype. Даже слои именует!
А пару недель как-то тихо назад прошел анонс от Канвы - и у них там все еще круче. Целый пайплайн с кодовым названием Magic.
А я тут ставил Adobe Express, чтобы посмотреть, как туда вкручен Firefly.
И с точки зрения нормального негиковатого пользователя, вкручен хорошо. Я потренировался на школьниках, они интуитивно сразу пользуют и не спрашивают про CFG Scale и VAE.
Это я к чему. ИИ заползет в голову нормального пользователя через знакомые продукты. И пусть там не будет 95 процентов функционала ComfyUI, но оно ему надо?
А у Адобченко, Фигмы и Канвы есть понимание, что ему надо, вот они и будут выкатывать ИИ в малых дозах, достаточных, чтобы удержать пользователя.
Пилим сайт-для генерации картинок одной кнопкой. С работающей бесплатной генерацией.
Пока вы откладываете денег на Notion, я с помощью ИИ сделал сайт-генератор-картинок с помощью Stable Diffusion.
Вчера писал про https://websim.ai/
Если не попробовали - срочно пробуйте, это фан, и шлите примеры в коменты.
А я пощупал его на предмет цензуры. И что вы думаете? Он сделал мне сайт для генерации картинок!! С кнопкой Генерить, которая работает!
Залогиньтесь Гуглом, чтобы попробовать самим, или посмотрите вот так:
Главная: https://websim.ai/c/AgJkbG2ZgsqA4uhEK
Сама генерация: https://websim.ai/c/3bC609kINHHHgRnpW
Пример генерации с принцессой: https://websim.ai/c/6NZf0tvLoFzuHsSRQ
Галерея: https://websim.ai/c/xotAeizARLv2IOcCi
Извините за домен, только так я его смог заставить сделать рабочий генератор, причем в одной из версий, он мне сделал кнопку подписаться, страницу оплаты, ввод карты и прочая!
А теперь внимание, когда я(или вы) жму кнопку Generate, сайт лезет на Replicate и реально генерит там картинку! Я думаю, что с помощью Stable Diffusion 1.5 (не смог добраться до апи вызова, может у вас получится).
Самое удивительно, что если в урл при генерации добавлять &width=768 то оно слушается!!
Репликейт не отдает совсем уж жоские картинки. Поэтому начните с котиков.
Ну и я не могу взять в толк, за чей счет банкет? Вся эта генерация сайтов с помощью Клода и gpt4o, вызовы на репликейт, хостинг адова количества сайтов.
Точнее, знаю, это Тиаго Дуарте, который сделал все это за выходные.
P/S/ И сайт очень смешно втирает за полезность адалт-контента. Воистину ИИ скопировал все наши лучшие стороны.
В общем, пробуйте делать свои генераторы. Одной строкой.
Первая реклама с Sora американской сетки для продажи игрушек
>Делаешь технологию чтобы работяги могли запускать гусей за копейки
>И без того крупный бренд берет технологию и экономит на людях делая рекламу с Sora
Чтож, будет срач
Я уже писал, что часть команды Stability объединилась с разработчиками Комфи, анонсировав разработку универсального и гибкого интерфейса для генеративных моделей.
По ходу история с SD3 так избесила всех поборников опен-сорса, что движение набирает обороты.
Встречаем Open Model Initiative, призванную объединять разработчиков, исследователей и организации для сотрудничества в продвижении открытых и лицензируемых моделей искусственного интеллекта.
Туда вошли:
ComfyOrg, Invoke, Civitai и даже LAION (датасеты изображений).
Ждем Фокуса, Автоматика и других.
Меня больше всего радует вот это: "Создание общих стандартов для улучшения будущей совместимости моделей и методов совместимости метаданных, чтобы инструменты с открытым исходным кодом были более совместимыми в экосистеме." - Меньше зоопарка, больше UX.
Полный список деклараций вот тут (включая защиту прав художников)
Метис: как бы chatGPT от Амазона.
Вчера, когда писал про датацентры, невольно задумался: вот у Амазона вычислительной дури практически больше всех. Но мы давно не слышали никаких апдейтов про их языковые или другие модели.
Были новости про LLM Titan AI, а более мощная версия под названием Olympus, как сообщается, находится в разработке. Есть также Rufus, помощник, призванный помочь вам делать покупки и просматривать обширный каталог товаров Amazon.
Я также писал о превращении Alexa в чатбот, который может стоить от 5 до 10 долларов в месяц и позволит пользователям просить Алексу о более продвинутых функциях, таких как составление электронных писем или заказ в Uber Eats, с помощью одной подсказки.
И вот, наконец, судя по утечкам, у Amazon появился внутренний проект под названием "Метис". Это чат, offering conversation using text and image-centric answers. Говорят, что Метис может обмениваться ссылками, отвечать на последующие запросы и генерировать собственные изображения.
Сообщается, что Amazon хочет, чтобы бот также мог использовать расширенный поиск, позволяющий ему находить и предлагать информацию, которой он не был специально обучен. В качестве примера в отчете приводится предложение актуальных цен на акции.
В сети уже окрестили его chatGPT killer. Ну ок, а почему не Gemini killer или Claude killer?
В общем ждем ответочку от Амазона, им явно есть на чем тренировать модели. Было бы что тренировать.
https://www.tomsguide.com/ai/forget-chatgpt-amazon-reportedly-working-on-new-metis-ai-chatbot
Марс атакует!
Новая опенсорсная модель текст ту спич.
140 языков.
Клонирование голоса по сэмплу в шесть секунд.
А ещё MARS5 позволяет выполнять "глубокое клонирование", которое улучшает качество клонирования и выходных данных, но при этом требует немного больше времени для создания аудио.
За актеров озвучки уже пили. Ладно, просто помолчим, пока он нас клонирует.
Всё есть тут:
https://github.com/Camb-ai/MARS5-TTS
P.S.
In general, at least 20GB of GPU VRAM is needed to run the model on GPU (we plan to further optimize this in the future).
Есть платный апи.
Пора завязывать со всеми этим клавиатурами и мышами. И пока Маск пилит свою иголочку, энтузиасты собирают свои нейроинтерфейсы. Причем такие, с помощью которых можно проходить
и второго, и первого Босса в ELDEN RING Shadow of the Erdtree.
Когда смотришь это, чуешь отчетливый аромат Матрицы.
Девушка сидит и просто кладет личико на ладошки и о чем-то там думает.
А теперь вспомним, как типичный геймер орет, подскакивает и потеет.
Мне вот интересно, какие у нее энергозатраты и ощущения.
Насколько я знаю, такой уровень нейро-обратной связи серьезно меняет определенные способности мозга. Также интересно, как эти новые способности влияют на "старые" способности. Что прокачивается параллельно?
Очень круто, явшоке.
Видео мне прислали со ссылкой вот сюда:
https://twitter.com/perrikaryal/status/1804649206310752418
А вот тут сама девушка пилит свой интерфейс. Неинвазивный притом!
https://www.youtube.com/watch?v=UXzncNh7rr8
Джедай от Нвидии.
Joint-image Diffusion Models for Finetuning-free Personalized Text-to-image Generation
В общем они предлагают как бы (как я понял), что-то среднее между RAG и Лорами, для создания консистентных изображений. Основной козырь - отсутствие долгого файнтюна моделей.
Сравнивают в основном с Дримбусом.
Основной акцент в работе - на создание синтетический датасетов.
Типа дали как референс курточку или сумочку и нагенерили датасет с этими ассетами, с сохранением консистентности.
Не очень понятно, куда и когда это будет прикручено.
И выглядит очень нарядно, поглядите тут:
https://research.nvidia.com/labs/dir/jedi/
(там между строк есть один момент - если дать на вход не 1-2, а 20-30 референсных картинок, то производительность катастрофически падает)
Но вот вам интересная новость.
Есть такая независимая модель для картинок Pixart Sigma. Натренирована знаете где? В Хуавее. Это не чекпойнт, это своя архитектура. Всего 0.6B параметров, а ухватки, как у SDXL (2.6B).
Так вот, написал эту модель в одно умное лицо Junsong Chen, который до прошлой недели числился как Research Intern в Хуавее. А теперь он Research Intern в Нвидия.
Пишет, что проект Pixart Sigma будут продолжать. Причем он - опен-сорсный.
Может пора уже увидеть что-то красивое (и опенсорсное) для картинок от Нвидия??
Наткнулся на пример нейродубляжа фильма Операция "Ы".
Просто послушайте, как оно годно сохраняет оригинальные голоса.
Кажется, мясные актеры дубляжа тоже скоро отправятся на рынок торговать луком.
Удивительно, как история повторяется. В начале нулевых мы перепаивали GeForce256 в Квадру, и независимо от этого подбирали версию драйвера от Нвидии, чтобы Maya не падала чаще двух раз в минуту.
Сейчас китайцы перепаивают память на RTX 20xx, делая из них почти 3090 по объему памяти, а мы обновляем драйвера, чтобы Stable Diffusion стал побыстрее считать.
Закон Джима Блинна действует, особенно сейчас, компьюта, то есть вычислительной дури, всегда будет мало.
https://habr.com/ru/articles/173545/
Все это ИИ-великолепие от Эппле станет доступно для разработчиков не раньше конца этого лета. Это означает, что оно не войдет в первые бета-версии iOS 18, iPadOS 18 и macOS Sequoia. А когда его начнут раскатывать осенью, оно будет работать только на некоторых устройствах Apple и только на американском английском языке. В некоторых случаях даже будут вейт-листы.
Эппле также старательно избегала точных сроков. Вместо этого они, по сути, представили дорожную карту того, что появится в конце 2024 и первой половине 2025 года.
Если почитать Блумберга вот тут:
https://www.bloomberg.com/news/newsletters/2024-06-16/when-is-apple-intelligence-coming-some-ai-features-won-t-arrive-until-2025-lxhjh86w
то похоже до 2025 года появится только ограниченное количество фич, а все это безобразие, когда Сири сможет управлять приложениями или искать что-то по контексту работы пользователя, появится после нового года.
VFX-рефлексия
В этом видео прекрасно и грустно все.
Комментарии режиссера про водяную воду, индусы, количество право, Бен Стилер, Илон Маск, Tesla Prompt AI, намеки на известного режиссера, общение с клиентом и еще много чего.
Ироничная рекурсия: VFX-артисты делают кино "Pixel Fucked: The Movie" с помощью ИИ. Про то, как ИИ убивает VFX-артистов.
Сорс от Houdini FX artist
Новый Клод Сонет просто огонь.
Поглядите, как он пишет стихи теперь.
А чтобы вам было веселее глядеть, я скрестил Хедру с Гидрой, то есть сделал химеру медведя и кожаного.
Если изловчиться, то можно присунуть Хедре любого двуглазого и одноротого персонажа. И пока он не откроет рот, все будет отлично.
А когда откроет - будет просто прекрасно. Ржу в голос. Сам пошутил, сам ору.
Но вы стихи зацените, это же уже гораздо лучше, чем в детских книжках. Да и во многих взрослых тоже.
Ну, за детских писателей:
Мишка косолапый по лесу гулял,
О любви мечтая, он стихи слагал.
Но упала шишка прямо по макушке,
И забылись рифмы в этой заварушке.
Мишка призадумался: "Вроде я один,
Но в груди трепещет, словно я не с ним.
Это что за чувство, может я влюблён?
Сердце замирает, мыслями пленён..."
Мама улыбнулась: "Милый мой медведь,
То весна играет, нужно потерпеть!
Ты в пору взросления, первая любовь
Учит состраданию, нежности без слов."
Мишка вдохновился, сел писать стихи,
Вышел на полянку, крикнул от души:
"Я в тебя влюбился, милая моя,
Чувствами делиться - радость для меня!"
(С) Claude&AK