80002
Личный блог Дениса Ширяева (🤍🇺🇦), про технологии, интересное или актуальное. В основном я по нейронкам. Связь и реклама: @thenbot
На нашей планете все еще есть первобытные племена, с которыми законодательно запрещено контактировать чтобы не «разрушить их устройство мира».
Представьте над ними такое шоу устроить? Они же правда будут думать, что мы боги или инопланетяне, или что конец света начался ☕️
Это видео с дрон-шоу на фестивале лодок-драконов в Шэньчжэне, Китай
Интересное открытие которое я пропустил:
Пару месяцев назад ученые доказали, что растения производят «звуки» на неслышных человеческому уху частотах – причем, частота и структура этих «хлопков» увеличивается если растение в стрессе: его не поливают или повредили стебель, то есть по звуку можно понять и какой тип растения его издает и как оно себя чувствует 🤯
Ученые пока не знают однозначно, почему это происходит, но есть такие теории:
1) Есть животные которые эти звуки слышат и что-то делают на их основе
2) Другие растения, возможно, способны воспринимать как-то эти звуки
Исследовали пока всего пару видов растений, но уже понятно что будут копать глубже.
Прикиньте, нам как виду, пришлось потратить всего лишь 300k лет, чтобы узнать что-то, что для других животных было всегда очевидно.
Пересказ статьи | PDF-исследование целиком
Подорванная и оккупированная РФ Каховская ГЭС принесла очень много несчастья украинцам которые жили на территории затопления и рядом: нанесен непоправимый ущерб местной экологии, экономике и культурному наследию, уничтожены целые поселения. Там постоянно находят много погибших, и сердце кровью обливается когда читаешь истории волонтеров с мест затопления.
Я порывался уже пару раз написать в канал, на эту тему, но эмоциональные посты я стараюсь на вас не вываливать, пользы от них нет никому – все кому не все-равно, все помогают, кто как может.
Бессилие опустошает, отправка денег не помогает это исправить, поэтому я решил попробовать немного помочь культурному наследию Украины.
Есть такая украинская художница Полина Райко: она рисовала в жанре «наивного искусства», самоучка, стала художницей в 69 лет, а в 76 лет ее уже не стало. У нее грустная история жизни, почитать можно тут.
Ее дом-музей оказался в районе затопления, в Олешках, утрачены и работы, и фрески, и все что было. Учитывая что война все еще идет, а территория ее дома все еще под оккупацией, чудом будет если хоть что-то уцелеет.
Я собрал небольшой датасет на основе работ Полины Райко на стенах дома и натренировал специальный вид Lora который теперь каждый желающий может скачать, и подключить к любой модели Stable Diffusion, чтобы генерировать картинки в ее стиле, и дальше нести в массы культурное наследние Украины.
Скачать можно тут, инструкция там же.
И если вам хочется натренировать копирование стиля самому, то вот тут можно скачать датасет работ Полины Райко – я его обработал вручную, постаравшись замазать объекты мебели другой нейронкой, он не самого лучшего качества, но все что я смог собрать за пару часов гугления.
Копия дома также доступна в виде 360 видео.
Искусство бессмертно, нет войне 🕊️
💀 На Netflix вышел новый сезон Black Mirror
Я сам еще не посмотрел, очень интересно смогут ли они чем-то нас удивить в нашей техно-дистопии.
Заснял сегодня место где нейронки и в целом IT сектор не нужен – буду как этот дядя когда вырасту
Читать полностью…
Очередной сайт с миксом эмодзи, но в этот раз с клевым интерфейсом:
https://emojikitchen.dev/
Кажется качественный алгоритм text-to-music наконец-то появился, спасибо Meta, я еще не игрался но демкой впечатлен:
Колаб | Еще примеры | Исходный код
Модель тоже доступна, правда с лицензией не для коммерческих проектов
Недавно на встрече познакомился с амстердамчанкой, которая занимается интересными проектом – помогает школам из не богатых районов Нидерландов проводить ИИ-курсы для маленьких, 6+ лет и тп., их там учат правильно применять и понимать технологии.
С удовольствием встретился для консультации, рассказал все что знаю полезного про промпт инженеринг, архитектуры, про то как проще детям дать понять, что такое диффузии/LLM в целом и как к ним правильно относиться, что ждать и тп:
Редко тут хвастаюсь чем-то, но сегодня правда доволен собой – из этого канала, в школы Нидерландов на окраинах, может правда кому-то поможет использовать ML-тулзы повседневно и правильно ✨прямо с детства ✨
Меня продолжает не отпускать от локальных больших языковых моделей:
Запустил для теста модель на 13 миллиардов параметров, весом ~7 Гб, которая работает на GPU мака с простеньким ARM-процессором M1, 16 Гб RAM и 256 Гб жесткого диска.
Просто посмотрите на скорость этой «ChatGPT» дома которая работает без интернета. Это становится каким-то странным хобби, потому что мне просто приятно иметь у себя на переносном девайсе многие знания мира в виде одного файла, и я постоянно тестирую новые модели что выходят.
И самое главное, что уже через месяц, это будет работать еще быстрее, а с таким прогрессом, к моменту когда очки от Apple выйдут, уже можно будет себе построить полноценный переносной SciFi-в-шлеме, где мультимодальная нейронная модель работающая прямо на устройстве, будет и описывать текстом, что перед пользователем видит, и если нужно, давать советы. Все как в играх короче.
Для техногиков:
– Модель WizardLM-13B q4_0
– llama.cpp скомпилированная для поддержки Metal (LLAMA_METAL=1 make -j и -ngl 1 во время запуска).
– Cool-retro-term для красивого терминала в ретро-стиле.
Обычный день в нашем SciFi
Прикольно, люди видят снаружи в каком режиме очки, и если вы заняты, то ваши глаза будут не видны внешнему человеку
Если вы начнете говорить с человеком, то он возникнет в вашем VR мире как силуэт и увидит ваш взгляд
Очки поддерживают 3D-фильмы, наконец-то их можно будет нормально смотреть
Можно создать своего 3D аватара, и звонить с видео через него
Через пару минут начнется WWDC и Apple возможно покажет свои AR/VR очки, го смотреть:
https://youtu.be/GYkq9Rgoj8E
Мы сейчас на этом этапе ИИ-прогресса:
Ассоциация похоронных бюро Нидерландов просит ввести дополнительные законы регуляции, чтобы «цифровые двойники» почивших делались только, если это было частью завещания, а не когда захотели родственники.
В прошлом году семья из Англии получила возможность поговорить со своей умершей бабушкой на ее собственных похоронах, правда это произошло не с настоящей бабушкой, а с ее цифровым «клоном».
Клон умершей бабушки произнес короткую речь во время ее похорон и пообщался с горюющими, а когда клону задавали вопросы, цифровая копия смогла рассказывать забавные случаи из жизни бабушки, о которых не знали даже некоторые родственники (что возможно было просто галлюцинацией на основе датасета).
Два вывода:
1) Я теперь точно знаю, что включу в завещание
2) Осознали ли мы уже все насколько мы глубоко в киберпанке ☕️
Обладают ли Большие Языковые Модели моделью мира? Ну, в переносном смысле не знаю, а в прямом — да! По крайней мере, так мне кажется после прочтения статьи "GPT4GEO: How a Language Model Sees the World's Geography", где авторы из University of Cambridge и еще пары мест попытались проанилизировать географические знания модели GPT-4.
С помощью промптов, заставляющих модель выдавать координаты, цифры или текстовые инструкции было сделано множество экспериментов, начиная отрисовкий линий метрополитена и заканчивая задачками на смены часовых поясов при перелетах. И всё это — без доступа к интернету!
Первый пример, собственно, мне и понравился больше всего — его вы можете видеть на прикрепленном изображении. Видно, что модель достаточно точно воссоздала метрополитен Гонконга: какие-то линии прорисованы до мельчайших деталей геометрии, а какие-то даже не учитывают все станции.
Основная причина, по которой я захотел поделиться этим, заключается в моем желании выразить простую идею, что сейчас для экспериментов с LLM не нужны гигансткие бюджеты, так как модели теринровать и не нужно: можно обойтись смекалкой, придерживаться клевой идеи, копать вглубь и придумывать, как почелленджить модель. Главное найти ответ на вопрос "а чо еще потыкать у модели?".
Через 5 минут покажут первый в истории стрим с Марса в режиме реального времени, правда оборудованию уже 20 лет, так что качество будет не очень – зато картинки будут приходить с расстояния ~3 миллиона километров ✨
Стрим:
https://www.youtube.com/live/4qyVNqeJ6wQ
Небольшое описание:
В пятницу, в честь 20-летия Mars Express от ESA, у вас будет возможность увидеть Марс как можно ближе к реальному времени. Подключайтесь, чтобы быть среди первых, кто увидит новые снимки примерно каждые 50 секунд, которые напрямую транслируются с Визуальной мониторинговой камеры на борту долгоживущего и по-прежнему высокопроизводительного марсианского орбитального корабля ESA.
"Это старая камера, изначально предназначенная для инженерных целей, на расстоянии почти трех миллионов километров от Земли - такого еще не пробовали, и, честно говоря, мы не на 100% уверены, что это сработает," объясняет Джеймс Годфри, менеджер по эксплуатации космических аппаратов в центре управления миссиями ESA в Дармштадте, Германия.
"Но я довольно оптимистичен. Обычно мы видим изображения с Марса и знаем, что они были сделаны за несколько дней до этого. Мне интересно увидеть Марс таким, каким он есть сейчас - насколько это вообще возможно близко к марсианскому 'сейчас'!
Ничего необычного, просто ChatGPT утешает внука читая ему перед сном валидные ключи активации Windows 10 и 11 🏠
Читать полностью…
Интересную нейронку показали разработчики Wayve (компания которая делает автопилот для машин):
GAIA-1 обучена на тексте, видео и действиях автомобиля (!) собранных в реальном мире, то есть это что-то вроде текст-в-видео, но только в рамках автовождения. Ну или нейронный GTA, только для ученых.
Интересным мне показалось это:
>Истинное чудо GAIA-1 заключается в ее способности проявлять генеративные правила, которые лежат в основе мира, в котором мы живем. Благодаря обширному обучению на разнообразных данных о вождении, наша модель синтезирует структуру и закономерности, присущие реальному миру, что позволяет ей генерировать удивительно реалистичные и разнообразные сцены вождения.
То есть модель, например, может предсказать, что будет в синтетическом мире, если резко остановиться, сделать 360-бублик на дороге, и тп. Все "участники" синтезированного мира будут реагировать соответственно.
Модель будут использовать для улучшения работы автопилота, и видимо именно благодаря этой задаче мы и приблизимся к нормальному генеративному кино (это мое мнение).
Анонс тут:
https://wayve.ai/thinking/introducing-gaia1/
Пока жил в Гданьске, по соседству был небольшой городок «Hel» – довольно удалённое место, город стоит на косе которая уходит немного в Балтийское море.
В самом городе делать особо нечего, из интересного – там была база рейха с подводными лодками (U-boat), и вот эта база капитулировала только через 6 дней после капитуляции Германии и была последней захваченной территорией Польши немцами.
Но пишу я про другое:
Раньше в Hel ходил автобус 666 и вот теперь его отменили :(
Нашел эту новость на главной реддита – пожалуй, это самое громкое что происходило в Хеле за последние Н-лет.
Мы на этом этапе развития:
>Сотни немецких протестантов приняли участие в церковной службе в Баварии, которая была почти полностью написана ChatGPT.
>ChatGPT и более 300 человек провели 40 минут молитв, музыки, проповедей и благословений (вместе).
>"Дорогие друзья, для меня большая честь стоять здесь и проповедовать вам в качестве первого искусственного интеллекта на съезде протестантов в Германии в этом году", - сказал аватар с невыразительным лицом и монотонным голосом.
Кто там думал что технологический прогресс уничтожит религию? Неа, автоматизирует и ускорит 🥲
Подробнее можно почитать тут.
Побывал на неделе на крупнейшей выставке в истории Яна Вермеера, и как бы что-то тут скажешь, помимо 14-15 детей, что они мастерски заделали с женой, он еще больше рисовал картин – мастер есть мастер.
Но впечатлило меня другое, я наконец-то смог поймать этот эффект «наблюдения» за зрителем, правда работает, и никакого AI не нужно – просто обходишь картину, и она на тебя смотрит (смог заснять для канала).
Картина называется «Девушка с флейтой» и она сразу выделяется на фоне вообще всех работ Вермеера, очень необычный стиль и из всей коллекции она мне понравилась больше всего – как оказалось, сейчас исследователи полагают, что возможно это вовсе не работа Вермеера, так как слишком уж она не похожа на другие работы Яна.
P.S. Минут 20 ждал чтобы заснять эффект без людей, полный зал даже в час ночи 😑
Сегодня узнал, что римский император Калигула был невероятно стильным в плане бижутерии:
~2000 лет назад и уже умели делать такие штуки, офигеть же.
Дайте мне электронный дремель, алмазную дрель, печь, и чистого золота, оставьте на год и я один фиг ничего не сделаю, кроме как все испорчу и возможно что-то потеряю
В общем, красивое ❤️
Так мило, смотрите как нейронные сети помогают людям восстановить семейные архивы ❤️🤗❤️
Читать полностью…
Королевский флот Великобритании успешно протестировал довольно крутую штуку – квантовую навигацию, которая позволяет определять точное местоположение судна по всему миру, не полагаясь на сигналы со спутников (и работает она даже на подводных лодках, что с GPS невозможно – приходится всплывать).
Как работает эта навигация технически пока не раскрывают, кроме общих «используются уникальные свойства атома», выглядит как следующий этап в развитии навигационных систем – GPS ждет пенсия в будущем.
В комментариях народ думает, что этот эффект, он позволяет считывать микро-изменения гравитации, таким образом формируется «карта гравитационных изменений поверхности».
С кораблей в телефоны за 10 лет, так же будет?
Тут источник.
Стерлинг Криспин, работавший исследователем нейротехнологических прототипов в Эппле более 3 лет делится тем, что они делали в группе, которая вчера выпустила VisionPro.
Там есть пугающие подробности, вот с цитатами небольшой перевод для вас:
... пользователь находится в смешанной реальности или виртуальной реальности, а модели ИИ пытаются предсказать, испытываете ли вы любопытство, рассеяность, страх, внимание, вспоминаете прошлый опыт или какое-то другое когнитивное состояние. Эти данные могут быть получены с помощью таких измерений, как слежение за глазами, электрическая активность в мозге, сердцебиение и ритмы, мышечная активность, плотность крови в мозге, кровяное давление, проводимость кожи и т.д.
Чтобы сделать возможными конкретные предсказания, было использовано множество трюков ... Одним из самых крутых результатов было предсказание того, что пользователь собирается нажать на что-то до того, как он это сделает... Ваш зрачок реагирует до того, как вы нажмете на кнопку, отчасти потому, что вы ожидаете, что что-то произойдет после нажатия...
Другие трюки для определения когнитивного состояния включают быструю подачу пользователю визуальных или звуковых сигналов, которые он может не воспринимать, а затем измерение его реакции на них.
В другом патенте подробно описывается использование машинного обучения и сигналов тела и мозга, чтобы предсказать, насколько вы сосредоточены, расслаблены или хорошо учитесь. А затем обновлять виртуальную среду, чтобы усилить эти состояния. Представьте себе адаптивную среду погружения, которая помогает вам учиться, работать или расслабляться, изменяя то, что вы видите и слышите на заднем плане.
https://twitter.com/sterlingcrispin/status/1665792422914453506
✨ Стоит 3499$ ✨
Продажи начнутся в следющем году.
Собирался покупать ТВ, может теперь и не буду, я в восторге!
Показали очки, Vision Pro:
– Управляются жестами и взглядом
– Множество рабочих столов и виджетов в дополненной реальности, можно выводить рабочий стол мака
– Выглядят как маска для подводного плавания
– Очки VR/AR, то есть могут работать в двух режимах (я всегда всем говорил, что AR это просто режим VR шлема)
– Топ экран, почти 5K на глаз
– Топ процессор – M2, и дополнительный, новый, R1
– Идет вместе с новой платформой Vision OS
– Нативно поддерживает Unity (будет много классных игр)
– Авторизация в девайсе по отпечатку глаза
Решил немного помучать гео-возможность GPT4:
Поскольку мы тут шароверы, известно, что земля круглая, у каждой точки на поверхности есть – точка-антипод на другой стороне земли.
Антиподов локаций указывающих не в океан, не так много, например – есть Новая Зеландия и Испания (то есть прокопав сквозь землю туннель, можно сделать хамоно-провод в Новую Зеландию).
Попросил у GPT4 самые похожие дороги среди антиподов, и модель правда нашла – разные стороны земли, а дороги по структуре маршрута похожи. Правда, они должны быть еще и зеркальными, но это уже с GPT5 видимо.
Короче, если вы хотите самую странную и ненужную ачивку путешественника то вам сначала нужно проехать по этому маршруту, а потом по этому.
Кстати я когда-то с коллегой делал такое AR-приложение для смартфонов (еще до ArKit эпохи), чтобы смотреть сквозь землю, но оно оказалось очень скучным, так как ~71% поверхности земли это вода (круто делать ресеч до разработки прототипа, рекомендую ☕️).
Не буду даже говорить какую портяну промпт-инженеринга пришлось написать, чтобы получить ответ ✨
Не менее интересны и примеры, в которых просили для отдельного типа транспорта написать маршрут от точки А к точке Б. Если присмотритесь, то увидите, что отображены и маршруты, предложенные Google Maps — и они почти в точности совпадают для публичного транспорта!
Модель, стало быть, отличный гид по крупным городам! Зачем переплачивать?)
На память: пинг ~17 минут почти, и картинки прилетают раз в ~50 секунд. Попробовал поймать как часто меняется изображение.
На стороне Марса где находится зонд, скоро будет ночь, так что в верхнем правом углу температура уже почти -96°, одевайтесь теплее 🥰
Интересный пример, как специальные службы вроде полиции (ну и само собой военные) могут в режиме реального времени анализировать карту местности, и в дополненной реальности вместе координировать следующие шаги.
Это израильский проект, так что я уверен что это правда заработает и будет применяться, Израиль в IT, как правило, серьезные ребята.
Я как-то читал про военные системы НАТО (из того что в публичном доступе), у НАТО уже есть стандарт с картой и всеми юнитами на ней в режиме live, то есть вопрос очков, удобства и безотказности, бекенд уже написан.
А киноделы и игроделы, наверное, делая такие интерфейсы думали, что они станут доступными в 2100+ году ☕️
Тут пример редактора такой AR-системы (там на канале много видео), а тут сайт проекта.