80002
Личный блог Дениса Ширяева (🤍🇺🇦), про технологии, интересное или актуальное. В основном я по нейронкам. Связь и реклама: @thenbot
Делаю сейчас новую версию презентации про neural.love и там нужно описать чем мы лучше других и что именно своего у нас есть — за 4 года мы понаписали так много, что ничего лучше ессэ на 20 страница чем использовать формат Apple, который в конце каждой их презы, я не придумал: нашел шаблон в Figma, пошел заполнять и тут на меня нашло уныние потому что я плохо знаю Figma и сейчас я 2 часа буду собирать этот шаблон.
Но тут я вспомнил, что у нас Sci-Fi на дворе, поэтому я передал скриншот шаблона в Figma и необработанный контент для наполнения «островов» в Sonnet 3.5 и попросил сверстать мне страницу в HTML5 — теперь мне только картинки проставить, текст и все, справился за 10 минут
Палитра моя, не Claude с ума сошел ☕️
#пропродукт
Я не удивлён – Майнкрафт оказался отличной средой для тренировки автономных агентов. А еще там можно построить нейросеть из редстоуна.
Авторы, наверное, сами на нем выросли, и вот теперь они представили агента OmniJARVIS, который способен выполнять комплексные таски, такие как крафт каменной (не деревянной) кирки. Т.е. он понимает, что сначала ему нужно сделать верстак, потом деревянную кирку, и только потом, добыв булыжник, каменную.
Для этого используют, можно сказать, новый вид мультимодальных LLM - VLA (Vision Language Action).
У нас здесь есть как бы два мозга. Мозг LLM и спинной мозг – поведенческий детокенайзер, который интерпретирует аутпут LLM в действие. Действия предварительно тренируются, используя датасет из кучи видосов по Майнкрафту. LLM пишет, что делать, детокенайзер находит у себя в базе выученных действий нужное и шаг за шагом идет к своей цели. И все это вроде как работает очень дружно и слаженно.
В видосе агент сам поставил себе план: добыть дерево, создать верстак и скрафтить необходимые инструменты. Все эти действия он научился делать заранее, здесь они выполняются командой экшн. В записи показано, как это выглядит.
Еще один пример смотрите в первом комменте.
Что это значит?
Мы уже научились обучать роботов делать какие-то простые таски: Вот свежий пост про живую сталь и GR00T среду для виртуальной тренировки. У нас уже много примеров того, как боты складывают вещи, моют, убирают и прочее, тут и тут. В этом посте показан не первый, конечно, но очень качественный пример системы, которая объединяет все эти отдельные выученные действия в один общий план, когда бот сам анализирует обстановку, планирует и решает задачи.
Кажется, это уверенные шаги в сторону автономных агентов и происходят они в Майнкрафте (т.к., там проще тестировать и обучать). Теперь ждем более сложного планирования и для физических роботов.
Project page
Пейпер
Код!
И даже Датасет обещают скоро
@ai_newz
Одно из направлений развития AI индустрии которое лично мне очень нравится, это «предсказательные» модели – вы ей данные на вход, а она вам предсказывает погоду, курсы, счета за воду, что угодно.
Так вот, IBM выпустила маленькую модель «Tiny Time Mixer (TTM)», с нормальной лицензией для коммерческого использования, которая для своего размера бьет много крупных моделей такого же типа – если вы любите попытку предсказания будущего, то вот полезная ссылка про эту модельку, передавайте привет там в будущем
P.S. Любопытно, что модель не на архитектуре трансформеров (на которой все эти GPT4 и тп)
Недавно прочитал о возможных истоках накопления общественного знания у наших предков. В свежей научной работе подсчитали, что достраивать знание по следам прошлых открытий люди начали примерно 600 000 лет назад – еще при жизни неандертальцев.
Ключевым методом в исследовании стало измерение сложности в создании инструментов, которая со временем росла. Для этого ввели концепцию “производственной единицы” – наименьшего отдельного шага в процессе изготовления; различных единиц ученые насчитали 33. Чем больше этих единиц-шагов необходимо для инструмента, тем он сложнее, и тем меньше вероятность того, что такую работу можно провернуть в одиночку или случайно.
Самые ранние из найденных инструментов делаются в три шага. Но 10 000 лет назад на них начало уходить уже 19 шагов. Отметку, необходимую для возникновения “кумулятивной культуры” – то есть, подразумевающей передачу знаний между поколениями – поставили в 6 производственных единиц. Эту планку древние люди явно преодолели именно 600 000 лет назад. Касается, кстати, и неандертальцев в том числе.
Вообще, это интересно еще и с позиции того, как наука вообще рассматривает технологические процессы. В одном из предыдущих подобных исследований, например, провели разделение между “петлей” (повторение одного и того же действия, “бить камень о камень”) и “циклом” (повторяемая последовательность разных действий) – из нее, судя по всему, и вышел набор “производственных единиц”. В то же время, сильный фокус именно на камнях обусловлен тем, что это едва ли не единственные артефакты, сохраняющиеся настолько хорошо. Кое-где звучит даже по-своему поэтичная формулировка “камни как расширенный фенотип".
#технологии #статьи
#промo
🔬⚙️Каждый день мы получаем новости про взрывающие мозг технологии — генерация видео с помощью Sora, музыки с помощью Suno, новые мультиязычные модели с быстрым инференсом и возможностями. Многим из нас хочется разобраться в них.
Хочу поделиться чат-ботом от школы Mathshub, где каждую неделю проходят бесплатные вебинары и уроки на тему генеративных моделей, нейронок и глубокого обучения, математики для Data Science для новичков в этой теме.
Например, 9 июля Дарима Мылзенова, ML-инженер в Rask AI, проведёт онлайн-встречу, где расскажет об основах машинного обучения и научит использовать модели в открытом доступе для генерации изображений.
О спикере — ML-инженер, разработала модели синтеза речи для aimyvoice, искала нефть с помощью алгоритмов компьютерного зрения.
Предыдущие интересные вебинары:
ℹ️ Все о профессии и карьерном развитии ML-инженера
ℹ️ Для совсем нулевой аудитории: "Как работают нейросети?"
ℹ️ Все о генеративных моделях
Переходите в чат-бот, чтобы подключаться на такие живые встречи и получать максимум пользы от топовых спикеров.
#текстприслан
Не делайте freemium, люди готовы платить если вы уже в нише
Я знаю, что большинство пользователей сейчас бомбанет (зажмурьтесь и не читайте дальше), но все же напишу для строителей стартапов – не давайте бесплатных функций если у вас уже есть база пользователей и особенно, если вы уже работаете на западный рынок, типа США:
1) Основные пользователи нашего стартапа приходят из США;
2) С момента основания нейролава, мы бесплатно давали пользователям 5 кредитов после регистрации – их можно было потратить на улучшение картинок / генерацию новых;
3) В мае, мы провели А/Б тест, где перестали выдавать бесплатные кредиты и пришли к совершенно невероятным выводам: если у пользователей просить деньги, то они платят! (пикачуфейс.джпг)
Мы не только закрыли Июнь с ростом в ~25% в выручке (на скрине не все дни), но и уменьшили траты на сервера, так как количество бесплатных услуг которые оказывает сервис – уменьшилось и нагрузки стало меньше, выросла прибыль
(Можно открыть глаза на этом месте, все нормально, просто бизнес)
#пропродукт
Pixar и Disney документальный мультфильм получается сделали ☕️
Читать полностью…
Я позже сделаю подборку, но пока я разочарован в Gen3 – дорого и из четырех заказанных генераций, может только одна выйдет нормальной – как всегда, производитель технологии показал только лучшие генерации на всех страницах и в соц сетях, что в общем то и не было бы проблемой, генерируй эта штука по 4 видео за раз, чтобы было что выбрать; но я пока лучше посижу с img2vid и моделью от Luma
Самое неприятное, эта штука плохо понимает сложные промпты, и легко игнорирует части слов
Такое пока что
Чтож, у txt2img моделей проблемными были руки, а у txt2video проблемно получается легкая атлетика
Сделал вам олимпийских игр из латентного пространства Gen3 ☕️
Наткнулся на интересное исследование 2005го года, про капитализм у приматов:
Шесть месяцев ученые учили семь обезьян менять монетки на сладости, буквально давая приматам монету И сладость в разные лапы, и сразу забирая монету после того, как сладость получена.
Вольер оснастили мини-магазином в клетке, где было несколько окошек с рисунками разных продуктов. Каждый из продуктов стоил одну монету – цель эксперимента была в том, чтобы понять, будут ли обезьяны покупать какие-то конкретные сладости чаще других, основываясь на своих предпочтениях. Как оказалось – да, желе обезьяны покупали чаще, когда оно было в наличии.
Один раз, во время раздачи монет, одна из обезьян схватила миску с монетами и раскидала их по всему вольеру. Ученый попытался войти в клетку и собрать монеты, но это оказалось не так просто – обезьяны уже поняли, что монеты имеют ценность, и не собирались просто так их отдавать. Поэтому, ученому пришлось «выкупать» монеты, предлагая вкусности за их возврат.
Все почти вернулось в норму, когда ученый заметил, что самец в углу предлагал монету самке – сначала ученый подумал, что это наверное проявление альтруизма (хехе), но через пару секунд стало ясно, что самец просто заплатил за обезьяний секс таким образом ☕️
Спустя 8 секунд (все как у людей, посмотрите) самка пошла тратить монетку на сладости. То есть, у нас теперь есть задокументированный случай проституции среди приматов 😂
Тут больше про исследование обезьян Кита Чена, а еще вы могли читать про этот эксперимент в клевой книге «Фрикономика»
А еще, нас видимо ждет, крипота по подписке – все, чего именно вы боитесь, сможете себе генерировать и бояться нажать кнопку play ☕️ точно найдутся почитатели ниши
Генерации из Gen3
А так Gen3 генерирует «терминальную эстетику», красивое
Читать полностью…
Некоторые люди не в порядке – это уже какое-то правило интернета: если где-то поместить кнопку и счетчик, то будут люди кто потратит на нее кучу времени, просто так
Буду называть это «эффект хомяка»
Три дня издевался на Claude, чтобы сделать это мини-приложение с хомяком и рекламой — все что вы видите в мини-аппе выше написано Sonnet 3.5:
— Сначала создал проект в Claude.ai и поместил туда документацию Telegram по mini-apps и ботам, просто pdf-файлы страниц;
— Прописал ему промпт о том какой он великий эксперт в создании ботов в Telegram;
— Поскольку, у меня нет полноценного back-end сервера кроме workers на Сloudflare, Sonnet сначала рассказал мне как его настроить, а потом сам сделал дизайн мини-аппа и наполнение контента;
— Sonnet часто ошибается если просить его переписывать ВЕСЬ код сразу (часть функций перестает работать), лучше просить его править код кусочкам;
— На каждую мини-задачу проекта, лучше заводить новый чат — а результат прошлой задачки, прикладывать как аттач файл к проекту (на скриншоте пример);
— Три дня это заняло из-за лимитов сообщений в Claude, они намного жестче чем в ChatGPT и проекты делаются медленее;
На всякий случай, уточню, что я не умею программировать, но просто технически сильный — Sonnet правда все сам сделал, включая багфиксы и подключение внутренних функций Telegram из документации, я прям в восторге 🪟
Сделал из него стикер, получается так выглядят настоящие научные емоджи ☕️
Читать полностью…
Kling пока что уделывает все что угодно, по качеству генераций
Читать полностью…
#промo
Тут чуваки делают свой сервис генерации видео, если хотите создавать такие же видео, как на примере выше, то можете поучаствовать в 72-часовом челлендже от Nim вот тут, правила участия тут
#тексприслан
Раз теперь все постят нейронные генеративные видео, то я буду постить обычные-реальные, потому что они часто не хуже ☕️
Читать полностью…
Мне кажется мы с каждым годом отдаляемся все дальше от бога – только что сфоткал рекламу мем-коина на улице в Амстердаме
Примитивнее не придумать уже, комикс санс, 🤡, «хватит быть бедным, будь богатым»
Верните обратно хоть какой-то креативный маркетинг, пожалуйста 😢
Очередное видео с новым прототипом роботов – в этот раз улитко-подобные малыши, заползают друг на друга чтобы решить разные задачи
Видео целиком тут
Не могу отделаться от мысли, что это будто бы из вселенной Соника какие-то аниме-роботы
Генеративный АИ переснимет классику с одного промпта, говорили некоторые ☕️
Читать полностью…
В Nature вышла интересная статья (pdf), в ней рассматрели «человеческий язык» как инструмент для передачи информации и пришли к выводу, что это клевый способ для коллаборативной работы нас как вида (и шитпоста в интернете), но язык не нужен мозгу для «мыслительного процесса»
Я никогда не задумывался, как выглядит «мысль» если исключить из нее «язык», поэтому вот пару интересных наблюдений из статьи о том как устроен процесс мышления:
1. Мысли, вероятно, опираются на абстрактные, неязыковые ментальные представления. Это могут быть визуальные, пространственные или другие специфические представления под конкретные задачи и концепции. Как человек, который в любой момент времени может вспомнить любой маршрут по которому я ходил где-то и был трезвый, могу сказать что все так, у меня «карта местности» просто существует в виде образа в голове, как оказалось, так не у всех
2. В голове есть ансамбль нейронок — в статье упоминается несколько «мозговых сетей», участвующих в различных задачах:
— Есть нейронка «множественных требований» для целенаправленного поведения и решения новых задач, она поощряет находчивость при решении проблем, активируется при выполнении когнитивно сложных задач, особенно тех, которые требуют гибкого мышления и адаптации к новым ситуациям. Она же отвечает за планирование и рабочую память;
— Есть нейронка «теории разума» или «эмпатии»: для социального рассуждения и понимания психических состояний – мыслей, чувств, убеждений и намерений других людей. Это та, которая у нас уже хуже чем в GPT4o;
— Есть «Дефолтная нейронка», активируется когда мозг в покое – связана с кучей когнитивных штук, включая: способность мысленно перемещаться во времени (вспоминая прошлое или представляя будущее), пространственное познание, размышление о себе, своих чертах и опыте. Интересно, что повреждение это "сетки" ведет к депрессии или даже шизофрении (в теории).
3. Символическое мышление может происходить без языка как инструмента. Это означает, что мозг может манипулировать абстрактными символами или концепциями, не опираясь на слова или грамматические структуры. Условно, когда вам что-то «пришло в голову из неоткуда», это этот эффект.
4. Рассуждение по специфичным задачам — разные типы мышления (математические, социальные, пространственные и т.д.), по-видимому, задействуют разные мозговые «нейронки», что предполагает, что процессы мышления могут быть в некоторой степени модульными и специфичными для конкретных задач; это как если бы у одной мощной LLM было много Lora натренированных на конкретных задачах датасета, а не единая модель для решения всех задач.
5. Параллельная обработка — все эти «нейронки» для решения специфичных задач (социальные, причинно-следственные, решение проблем и т.д.) могут работать параллельно, получая при этом информацию с разных «сенсоров» тела, а не определяться единой системой, такой как язык.
6. Мы сильно похожи на животных — в статье упоминается непрерывность человеческой эволюции, предполагая, что наши процессы мышления могут быть более похожими на процессы мышления других животных, чем считалось ранее, просто они оказались более сложными из-за наших расширенных когнитивных способностей. То есть, условная собака может оказаться намного ближе к нам по процессу мышления чем мы раньше думали.
7. Культура развивает мышление — хоть это и не прямой механизм мышления, в статье упоминается что передача культурных знаний от поколения в поколение, повышает когнитивные способности человека с течением времени, это уже влияние языка как инструмента.
Короче, все еще ничего не понятно — но на всякий случай продолжайте тренировать лоры ☕️
Цены жесть пока что, 10 видео Gen 3 стоят примерно 10 долларов ☕️ за видео выше я заплатил 15
Читать полностью…
Gen-3 выкатили для всех:
https://app.runwayml.com/video-tools/teams/Shirman/ai-tools/generative-video
15$ в месяц минимальный тир
Судя по всему, доступ к Gen3 скоро дадут всем, вчера раскатали доступ участникам креативной программы Runway, обычно они получают доступ за ~неделю до выкатки на всех
Как многие пишут – видео генерируются очень быстро, так что ждем релиза на следующей неделе (в июле)
Irbis-7B v0.1 - казахская ЛЛМ 🇰🇿
Мы тут обратили внимание, что опенсорс языковые модели отвратительно работают с казахским языком и решили исправить это недоразумение. Работа еще не окончена, но уже из интересного есть, что рассказать и показать. Сейчас моделька не дурно отвечает на простые вопросы и извлекает информацию из контекста, невзирая на те трудности, с которыми пришлось столкнуться при подготовке данных и тренировке.
О том что и как было сделано (в т.ч. примеры и сравнения) можно ознакомиться в статье на Хабре.
🤗 Base: model
🤗 Instruct: lora
Dream Machine от Luma теперь позволяет указать первый и последний фрейм при генерации видео — я протестировал на исторических материалах и тут полно потенциала; это видео я получил с третьей попытки (другие были совсем не очень) и без особой пре-обработки кадров и промпт-тестов, поэтому можете не обращать внимания на проблемы – их можно починить если потратить на этот проект больше времени.
Скорее всего, нас ждет добавление еще промежуточных фреймов, где все пространство между ними будет заполнено генерацией — это будет настоящим подарком для любителей истории. И наконец-то, нормальный ПО-конкурент After Effect?
Кстати, сами фотографии любопытные — нет информации о том как они попали в интернет, кроме одного чела который залил их на Flickr в 2010 году (акк уже удален); мне стало интересно найти историю этих кадров и потратив час, я смог найти контакты этого чела и отправил ему вопрос где он взял фотки и правда ли там 1890e
Мир маглов > Мир волшебникв
И у нас опять отняли шарик-реакцию к посту нажмите буст пожалуйста
/channel/boost/denissexy
UPD. Вы –> 🫶
Тем временем ученые пытаются "натянуть" кожу сделанную из живых клеток человека на роботов. Это может дать роботам возможность лучше выражать эмоции и общаться.
Живая ткань представляет собой культивированную смесь клеток кожи человека, выращенных в коллагеновом каркасе и помещенных поверх полимерной основы, напечатанной на 3D-принтере.
Пока что больше похоже на оживший чайный гриб. Не хотелось бы общаться с этим.