80002
Личный блог Дениса Ширяева (🤍🇺🇦), про технологии, интересное или актуальное. В основном я по нейронкам. Связь и реклама: @thenbot
Одно из направлений развития AI индустрии которое лично мне очень нравится, это «предсказательные» модели – вы ей данные на вход, а она вам предсказывает погоду, курсы, счета за воду, что угодно.
Так вот, IBM выпустила маленькую модель «Tiny Time Mixer (TTM)», с нормальной лицензией для коммерческого использования, которая для своего размера бьет много крупных моделей такого же типа – если вы любите попытку предсказания будущего, то вот полезная ссылка про эту модельку, передавайте привет там в будущем
P.S. Любопытно, что модель не на архитектуре трансформеров (на которой все эти GPT4 и тп)
Недавно прочитал о возможных истоках накопления общественного знания у наших предков. В свежей научной работе подсчитали, что достраивать знание по следам прошлых открытий люди начали примерно 600 000 лет назад – еще при жизни неандертальцев.
Ключевым методом в исследовании стало измерение сложности в создании инструментов, которая со временем росла. Для этого ввели концепцию “производственной единицы” – наименьшего отдельного шага в процессе изготовления; различных единиц ученые насчитали 33. Чем больше этих единиц-шагов необходимо для инструмента, тем он сложнее, и тем меньше вероятность того, что такую работу можно провернуть в одиночку или случайно.
Самые ранние из найденных инструментов делаются в три шага. Но 10 000 лет назад на них начало уходить уже 19 шагов. Отметку, необходимую для возникновения “кумулятивной культуры” – то есть, подразумевающей передачу знаний между поколениями – поставили в 6 производственных единиц. Эту планку древние люди явно преодолели именно 600 000 лет назад. Касается, кстати, и неандертальцев в том числе.
Вообще, это интересно еще и с позиции того, как наука вообще рассматривает технологические процессы. В одном из предыдущих подобных исследований, например, провели разделение между “петлей” (повторение одного и того же действия, “бить камень о камень”) и “циклом” (повторяемая последовательность разных действий) – из нее, судя по всему, и вышел набор “производственных единиц”. В то же время, сильный фокус именно на камнях обусловлен тем, что это едва ли не единственные артефакты, сохраняющиеся настолько хорошо. Кое-где звучит даже по-своему поэтичная формулировка “камни как расширенный фенотип".
#технологии #статьи
#промo
🔬⚙️Каждый день мы получаем новости про взрывающие мозг технологии — генерация видео с помощью Sora, музыки с помощью Suno, новые мультиязычные модели с быстрым инференсом и возможностями. Многим из нас хочется разобраться в них.
Хочу поделиться чат-ботом от школы Mathshub, где каждую неделю проходят бесплатные вебинары и уроки на тему генеративных моделей, нейронок и глубокого обучения, математики для Data Science для новичков в этой теме.
Например, 9 июля Дарима Мылзенова, ML-инженер в Rask AI, проведёт онлайн-встречу, где расскажет об основах машинного обучения и научит использовать модели в открытом доступе для генерации изображений.
О спикере — ML-инженер, разработала модели синтеза речи для aimyvoice, искала нефть с помощью алгоритмов компьютерного зрения.
Предыдущие интересные вебинары:
ℹ️ Все о профессии и карьерном развитии ML-инженера
ℹ️ Для совсем нулевой аудитории: "Как работают нейросети?"
ℹ️ Все о генеративных моделях
Переходите в чат-бот, чтобы подключаться на такие живые встречи и получать максимум пользы от топовых спикеров.
#текстприслан
Не делайте freemium, люди готовы платить если вы уже в нише
Я знаю, что большинство пользователей сейчас бомбанет (зажмурьтесь и не читайте дальше), но все же напишу для строителей стартапов – не давайте бесплатных функций если у вас уже есть база пользователей и особенно, если вы уже работаете на западный рынок, типа США:
1) Основные пользователи нашего стартапа приходят из США;
2) С момента основания нейролава, мы бесплатно давали пользователям 5 кредитов после регистрации – их можно было потратить на улучшение картинок / генерацию новых;
3) В мае, мы провели А/Б тест, где перестали выдавать бесплатные кредиты и пришли к совершенно невероятным выводам: если у пользователей просить деньги, то они платят! (пикачуфейс.джпг)
Мы не только закрыли Июнь с ростом в ~25% в выручке (на скрине не все дни), но и уменьшили траты на сервера, так как количество бесплатных услуг которые оказывает сервис – уменьшилось и нагрузки стало меньше, выросла прибыль
(Можно открыть глаза на этом месте, все нормально, просто бизнес)
#пропродукт
Pixar и Disney документальный мультфильм получается сделали ☕️
Читать полностью…
Я позже сделаю подборку, но пока я разочарован в Gen3 – дорого и из четырех заказанных генераций, может только одна выйдет нормальной – как всегда, производитель технологии показал только лучшие генерации на всех страницах и в соц сетях, что в общем то и не было бы проблемой, генерируй эта штука по 4 видео за раз, чтобы было что выбрать; но я пока лучше посижу с img2vid и моделью от Luma
Самое неприятное, эта штука плохо понимает сложные промпты, и легко игнорирует части слов
Такое пока что
Чтож, у txt2img моделей проблемными были руки, а у txt2video проблемно получается легкая атлетика
Сделал вам олимпийских игр из латентного пространства Gen3 ☕️
Наткнулся на интересное исследование 2005го года, про капитализм у приматов:
Шесть месяцев ученые учили семь обезьян менять монетки на сладости, буквально давая приматам монету И сладость в разные лапы, и сразу забирая монету после того, как сладость получена.
Вольер оснастили мини-магазином в клетке, где было несколько окошек с рисунками разных продуктов. Каждый из продуктов стоил одну монету – цель эксперимента была в том, чтобы понять, будут ли обезьяны покупать какие-то конкретные сладости чаще других, основываясь на своих предпочтениях. Как оказалось – да, желе обезьяны покупали чаще, когда оно было в наличии.
Один раз, во время раздачи монет, одна из обезьян схватила миску с монетами и раскидала их по всему вольеру. Ученый попытался войти в клетку и собрать монеты, но это оказалось не так просто – обезьяны уже поняли, что монеты имеют ценность, и не собирались просто так их отдавать. Поэтому, ученому пришлось «выкупать» монеты, предлагая вкусности за их возврат.
Все почти вернулось в норму, когда ученый заметил, что самец в углу предлагал монету самке – сначала ученый подумал, что это наверное проявление альтруизма (хехе), но через пару секунд стало ясно, что самец просто заплатил за обезьяний секс таким образом ☕️
Спустя 8 секунд (все как у людей, посмотрите) самка пошла тратить монетку на сладости. То есть, у нас теперь есть задокументированный случай проституции среди приматов 😂
Тут больше про исследование обезьян Кита Чена, а еще вы могли читать про этот эксперимент в клевой книге «Фрикономика»
А еще, нас видимо ждет, крипота по подписке – все, чего именно вы боитесь, сможете себе генерировать и бояться нажать кнопку play ☕️ точно найдутся почитатели ниши
Генерации из Gen3
А так Gen3 генерирует «терминальную эстетику», красивое
Читать полностью…
Некоторые люди не в порядке – это уже какое-то правило интернета: если где-то поместить кнопку и счетчик, то будут люди кто потратит на нее кучу времени, просто так
Буду называть это «эффект хомяка»
Три дня издевался на Claude, чтобы сделать это мини-приложение с хомяком и рекламой — все что вы видите в мини-аппе выше написано Sonnet 3.5:
— Сначала создал проект в Claude.ai и поместил туда документацию Telegram по mini-apps и ботам, просто pdf-файлы страниц;
— Прописал ему промпт о том какой он великий эксперт в создании ботов в Telegram;
— Поскольку, у меня нет полноценного back-end сервера кроме workers на Сloudflare, Sonnet сначала рассказал мне как его настроить, а потом сам сделал дизайн мини-аппа и наполнение контента;
— Sonnet часто ошибается если просить его переписывать ВЕСЬ код сразу (часть функций перестает работать), лучше просить его править код кусочкам;
— На каждую мини-задачу проекта, лучше заводить новый чат — а результат прошлой задачки, прикладывать как аттач файл к проекту (на скриншоте пример);
— Три дня это заняло из-за лимитов сообщений в Claude, они намного жестче чем в ChatGPT и проекты делаются медленее;
На всякий случай, уточню, что я не умею программировать, но просто технически сильный — Sonnet правда все сам сделал, включая багфиксы и подключение внутренних функций Telegram из документации, я прям в восторге 🪟
Сделал из него стикер, получается так выглядят настоящие научные емоджи ☕️
Читать полностью…
Сдал на днях тест крови на 44 маркера, и он в целом в порядке, пересказать можно так — потреблять алкоголя нужно меньше и питаться нужно правильно, уменьшая кол-во жареного и животных жиров, и тп. (пикачуфейс.джпг)
Если с алкоголем все понятно, то с питанием все сложнее — из-за того что я в основном работаю из дома, выход на завтрак для меня главный ритуал дня, который мотивирует собраться пораньше и пойти на улицу; это звучит глупо, я понимаю, но я уже почти 10 лет работаю удаленно и поверьте мне — на ритуалах ментальное здоровье и держится.
И ходя по разным местам на завтраки, тебе всегда дают меню из 20 позиций и попробуй выбрать что-то вкусное и полезное — будучи ленивым, я всегда выбирал что-то одно, что уже пробовал.
И видимо пришло время, отказаться от этого подхода из-за диеты, но хочется же оставаться ленивым
Поэтому:
1. Я скормил анализы крови, которые не в пределах нормы в «ChatGPT 4o», и попросил написать ее мысли на этот счет (она их описала, но естественно послала к врачу и не ставила никаких диагнозов; к врачу я тоже зайду, само собой)
2. Потом, я попросил написать рекомендации моему диетологу (ха-ха, она же не знает что это она же) учитывая особенности своих анализов
3. Потом, используя свою GPT для системных промптов, я сделал агента который на вход получает фото или информацию по меню/еде, читает рекомендации диетолога, и дает рекомендации что мне стоит выбрать
4. В итоге, сделал приватную GPT с помощью которой я фотографирую меню и она уже сама выбирает, что мне заказать полезного из всего списка
Свобода воли, нет не слышал ☕️
Промпт агента закинул сюда (там видно куда закинуть ваши рекомендации), в видео пример как работает – увидим через полгода помогло ли
Я вчера поигрался с новой функцией Claude «Projects», и мне кажется Notion не просто так стал конструктором сайтов:
— Проект позволяет создать «GPT» (в терминологии ChatGPT) для совместной работы
— Приложить в проект промпт (например, ты эксперт в разработке ботов в Телеграм и тп), добавить документацию (например, сохраненные страницы доков API Телеграм). После этого, все запросы к Project будут идти с учетом этих контекстных документов
— Все это работает в рамках команды: то есть вы можете вместе работать над проектом, докидывая нужные данные в проект и шарить какие-то чаты проекта друг другу
— Ограничение — 200k токенов контекста на проект
— Код, который пишет модель, выносится в «артефакты» — небольшие кусочки кода — сами по себе артефакты содержат достаточно контекста, чтобы их можно было передать кому-то другому для работы над ними
— «Артефакты» видимо, лишь одна сущность которую пока что запустил Антропик, их будет больше — таблицы, интерактивные формы, графики, to-do и тп, скорее всего добавят позже, так как их продуктовый подход с проектами покрывает очень широкое количество фич, он долгосрочно полностью покрывает Notion как ПО для совместной работы
— Проект требует конечную цель в описании, скорее всего они будут переиспользовать ее в будущем чтобы помочь решить задачу "агентами"
После теста у меня такой вывод:
Это правда удобно, когда группа людей работает над одним проектом используя один источник данных «в контексте», ждем развития такого UX
Раз теперь все постят нейронные генеративные видео, то я буду постить обычные-реальные, потому что они часто не хуже ☕️
Читать полностью…
Мне кажется мы с каждым годом отдаляемся все дальше от бога – только что сфоткал рекламу мем-коина на улице в Амстердаме
Примитивнее не придумать уже, комикс санс, 🤡, «хватит быть бедным, будь богатым»
Верните обратно хоть какой-то креативный маркетинг, пожалуйста 😢
Очередное видео с новым прототипом роботов – в этот раз улитко-подобные малыши, заползают друг на друга чтобы решить разные задачи
Видео целиком тут
Не могу отделаться от мысли, что это будто бы из вселенной Соника какие-то аниме-роботы
Генеративный АИ переснимет классику с одного промпта, говорили некоторые ☕️
Читать полностью…
В Nature вышла интересная статья (pdf), в ней рассматрели «человеческий язык» как инструмент для передачи информации и пришли к выводу, что это клевый способ для коллаборативной работы нас как вида (и шитпоста в интернете), но язык не нужен мозгу для «мыслительного процесса»
Я никогда не задумывался, как выглядит «мысль» если исключить из нее «язык», поэтому вот пару интересных наблюдений из статьи о том как устроен процесс мышления:
1. Мысли, вероятно, опираются на абстрактные, неязыковые ментальные представления. Это могут быть визуальные, пространственные или другие специфические представления под конкретные задачи и концепции. Как человек, который в любой момент времени может вспомнить любой маршрут по которому я ходил где-то и был трезвый, могу сказать что все так, у меня «карта местности» просто существует в виде образа в голове, как оказалось, так не у всех
2. В голове есть ансамбль нейронок — в статье упоминается несколько «мозговых сетей», участвующих в различных задачах:
— Есть нейронка «множественных требований» для целенаправленного поведения и решения новых задач, она поощряет находчивость при решении проблем, активируется при выполнении когнитивно сложных задач, особенно тех, которые требуют гибкого мышления и адаптации к новым ситуациям. Она же отвечает за планирование и рабочую память;
— Есть нейронка «теории разума» или «эмпатии»: для социального рассуждения и понимания психических состояний – мыслей, чувств, убеждений и намерений других людей. Это та, которая у нас уже хуже чем в GPT4o;
— Есть «Дефолтная нейронка», активируется когда мозг в покое – связана с кучей когнитивных штук, включая: способность мысленно перемещаться во времени (вспоминая прошлое или представляя будущее), пространственное познание, размышление о себе, своих чертах и опыте. Интересно, что повреждение это "сетки" ведет к депрессии или даже шизофрении (в теории).
3. Символическое мышление может происходить без языка как инструмента. Это означает, что мозг может манипулировать абстрактными символами или концепциями, не опираясь на слова или грамматические структуры. Условно, когда вам что-то «пришло в голову из неоткуда», это этот эффект.
4. Рассуждение по специфичным задачам — разные типы мышления (математические, социальные, пространственные и т.д.), по-видимому, задействуют разные мозговые «нейронки», что предполагает, что процессы мышления могут быть в некоторой степени модульными и специфичными для конкретных задач; это как если бы у одной мощной LLM было много Lora натренированных на конкретных задачах датасета, а не единая модель для решения всех задач.
5. Параллельная обработка — все эти «нейронки» для решения специфичных задач (социальные, причинно-следственные, решение проблем и т.д.) могут работать параллельно, получая при этом информацию с разных «сенсоров» тела, а не определяться единой системой, такой как язык.
6. Мы сильно похожи на животных — в статье упоминается непрерывность человеческой эволюции, предполагая, что наши процессы мышления могут быть более похожими на процессы мышления других животных, чем считалось ранее, просто они оказались более сложными из-за наших расширенных когнитивных способностей. То есть, условная собака может оказаться намного ближе к нам по процессу мышления чем мы раньше думали.
7. Культура развивает мышление — хоть это и не прямой механизм мышления, в статье упоминается что передача культурных знаний от поколения в поколение, повышает когнитивные способности человека с течением времени, это уже влияние языка как инструмента.
Короче, все еще ничего не понятно — но на всякий случай продолжайте тренировать лоры ☕️
Цены жесть пока что, 10 видео Gen 3 стоят примерно 10 долларов ☕️ за видео выше я заплатил 15
Читать полностью…
Gen-3 выкатили для всех:
https://app.runwayml.com/video-tools/teams/Shirman/ai-tools/generative-video
15$ в месяц минимальный тир
Судя по всему, доступ к Gen3 скоро дадут всем, вчера раскатали доступ участникам креативной программы Runway, обычно они получают доступ за ~неделю до выкатки на всех
Как многие пишут – видео генерируются очень быстро, так что ждем релиза на следующей неделе (в июле)
Irbis-7B v0.1 - казахская ЛЛМ 🇰🇿
Мы тут обратили внимание, что опенсорс языковые модели отвратительно работают с казахским языком и решили исправить это недоразумение. Работа еще не окончена, но уже из интересного есть, что рассказать и показать. Сейчас моделька не дурно отвечает на простые вопросы и извлекает информацию из контекста, невзирая на те трудности, с которыми пришлось столкнуться при подготовке данных и тренировке.
О том что и как было сделано (в т.ч. примеры и сравнения) можно ознакомиться в статье на Хабре.
🤗 Base: model
🤗 Instruct: lora
Dream Machine от Luma теперь позволяет указать первый и последний фрейм при генерации видео — я протестировал на исторических материалах и тут полно потенциала; это видео я получил с третьей попытки (другие были совсем не очень) и без особой пре-обработки кадров и промпт-тестов, поэтому можете не обращать внимания на проблемы – их можно починить если потратить на этот проект больше времени.
Скорее всего, нас ждет добавление еще промежуточных фреймов, где все пространство между ними будет заполнено генерацией — это будет настоящим подарком для любителей истории. И наконец-то, нормальный ПО-конкурент After Effect?
Кстати, сами фотографии любопытные — нет информации о том как они попали в интернет, кроме одного чела который залил их на Flickr в 2010 году (акк уже удален); мне стало интересно найти историю этих кадров и потратив час, я смог найти контакты этого чела и отправил ему вопрос где он взял фотки и правда ли там 1890e
Мир маглов > Мир волшебникв
И у нас опять отняли шарик-реакцию к посту нажмите буст пожалуйста
/channel/boost/denissexy
UPD. Вы –> 🫶
Тем временем ученые пытаются "натянуть" кожу сделанную из живых клеток человека на роботов. Это может дать роботам возможность лучше выражать эмоции и общаться.
Живая ткань представляет собой культивированную смесь клеток кожи человека, выращенных в коллагеновом каркасе и помещенных поверх полимерной основы, напечатанной на 3D-принтере.
Пока что больше похоже на оживший чайный гриб. Не хотелось бы общаться с этим.
#промо
И снова о каналах про ИИ, вот ещё один интересный.
Канал @sergiobulaev — это история взаимодействия автора с LLM моделями и экспериментов по применению их для практических задач, а также постоянные AI агенты, боты, развлечения, мнения и зеро кодинг.
Автор канала — Сергей Булаев, создатель приложений Купи Батон, Взахлёб и Lifehacker.ru, выйдя из последнего и уволившись со всех работ уехал на остров Самуи, чтобы дни напролёт исследовать с AI. Сергей всю жизнь занимался контентом и хочет не упустить происходящую революцию в своей сфере.
Вот примеры постов:
🔶 Пример интеграции творчески мыслящей языковой модели и чётко исполняемого программного кода
🔶 Как происходит Fine Tuning?
🔶 Как влиять на сервильность моделей
🔶 Сборник авторских стилей художников и фотографов для использования с моделями
🔶 Как работает долгосрочная память в боте Ulcamp
🔶 Claude Engineer - агент на базе Claude с доступом к редактированию файлов и поиском
🔶 Последний сценарист - фильм о сценаристе который пишет сценарий с помощью модели, сценарий для которого написал ChatGPT-4
А ещё, для всех подписчиков его канала доступен ПРОСТОБОТ - телеграм бот с бесплатным доступом к ChatGPT-4o и Claude Sonnet 3.5
Сергей давний фанат канал Дениса и старается равняться на него, подписывайтесь: /channel/sergiobulaev
#текстприслан
Первая реклама с Sora американской сетки для продажи игрушек
>Делаешь технологию чтобы работяги могли запускать гусей за копейки
>И без того крупный бренд берет технологию и экономит на людях делая рекламу с Sora
Чтож, будет срач