47341
Личный блог Дениса Ширяева (🤍🇺🇦), про технологии, интересное или актуальное. В основном я по нейронкам. Связь и реклама: @thenbot
Недавно на встрече познакомился с амстердамчанкой, которая занимается интересными проектом – помогает школам из не богатых районов Нидерландов проводить ИИ-курсы для маленьких, 6+ лет и тп., их там учат правильно применять и понимать технологии.
С удовольствием встретился для консультации, рассказал все что знаю полезного про промпт инженеринг, архитектуры, про то как проще детям дать понять, что такое диффузии/LLM в целом и как к ним правильно относиться, что ждать и тп:
Редко тут хвастаюсь чем-то, но сегодня правда доволен собой – из этого канала, в школы Нидерландов на окраинах, может правда кому-то поможет использовать ML-тулзы повседневно и правильно ✨прямо с детства ✨
Меня продолжает не отпускать от локальных больших языковых моделей:
Запустил для теста модель на 13 миллиардов параметров, весом ~7 Гб, которая работает на GPU мака с простеньким ARM-процессором M1, 16 Гб RAM и 256 Гб жесткого диска.
Просто посмотрите на скорость этой «ChatGPT» дома которая работает без интернета. Это становится каким-то странным хобби, потому что мне просто приятно иметь у себя на переносном девайсе многие знания мира в виде одного файла, и я постоянно тестирую новые модели что выходят.
И самое главное, что уже через месяц, это будет работать еще быстрее, а с таким прогрессом, к моменту когда очки от Apple выйдут, уже можно будет себе построить полноценный переносной SciFi-в-шлеме, где мультимодальная нейронная модель работающая прямо на устройстве, будет и описывать текстом, что перед пользователем видит, и если нужно, давать советы. Все как в играх короче.
Для техногиков:
– Модель WizardLM-13B q4_0
– llama.cpp скомпилированная для поддержки Metal (LLAMA_METAL=1 make -j и -ngl 1 во время запуска).
– Cool-retro-term для красивого терминала в ретро-стиле.
Обычный день в нашем SciFi
Прикольно, люди видят снаружи в каком режиме очки, и если вы заняты, то ваши глаза будут не видны внешнему человеку
Если вы начнете говорить с человеком, то он возникнет в вашем VR мире как силуэт и увидит ваш взгляд
Очки поддерживают 3D-фильмы, наконец-то их можно будет нормально смотреть
Можно создать своего 3D аватара, и звонить с видео через него
Через пару минут начнется WWDC и Apple возможно покажет свои AR/VR очки, го смотреть:
https://youtu.be/GYkq9Rgoj8E
Мы сейчас на этом этапе ИИ-прогресса:
Ассоциация похоронных бюро Нидерландов просит ввести дополнительные законы регуляции, чтобы «цифровые двойники» почивших делались только, если это было частью завещания, а не когда захотели родственники.
В прошлом году семья из Англии получила возможность поговорить со своей умершей бабушкой на ее собственных похоронах, правда это произошло не с настоящей бабушкой, а с ее цифровым «клоном».
Клон умершей бабушки произнес короткую речь во время ее похорон и пообщался с горюющими, а когда клону задавали вопросы, цифровая копия смогла рассказывать забавные случаи из жизни бабушки, о которых не знали даже некоторые родственники (что возможно было просто галлюцинацией на основе датасета).
Два вывода:
1) Я теперь точно знаю, что включу в завещание
2) Осознали ли мы уже все насколько мы глубоко в киберпанке ☕️
Обладают ли Большие Языковые Модели моделью мира? Ну, в переносном смысле не знаю, а в прямом — да! По крайней мере, так мне кажется после прочтения статьи "GPT4GEO: How a Language Model Sees the World's Geography", где авторы из University of Cambridge и еще пары мест попытались проанилизировать географические знания модели GPT-4.
С помощью промптов, заставляющих модель выдавать координаты, цифры или текстовые инструкции было сделано множество экспериментов, начиная отрисовкий линий метрополитена и заканчивая задачками на смены часовых поясов при перелетах. И всё это — без доступа к интернету!
Первый пример, собственно, мне и понравился больше всего — его вы можете видеть на прикрепленном изображении. Видно, что модель достаточно точно воссоздала метрополитен Гонконга: какие-то линии прорисованы до мельчайших деталей геометрии, а какие-то даже не учитывают все станции.
Основная причина, по которой я захотел поделиться этим, заключается в моем желании выразить простую идею, что сейчас для экспериментов с LLM не нужны гигансткие бюджеты, так как модели теринровать и не нужно: можно обойтись смекалкой, придерживаться клевой идеи, копать вглубь и придумывать, как почелленджить модель. Главное найти ответ на вопрос "а чо еще потыкать у модели?".
Через 5 минут покажут первый в истории стрим с Марса в режиме реального времени, правда оборудованию уже 20 лет, так что качество будет не очень – зато картинки будут приходить с расстояния ~3 миллиона километров ✨
Стрим:
https://www.youtube.com/live/4qyVNqeJ6wQ
Небольшое описание:
В пятницу, в честь 20-летия Mars Express от ESA, у вас будет возможность увидеть Марс как можно ближе к реальному времени. Подключайтесь, чтобы быть среди первых, кто увидит новые снимки примерно каждые 50 секунд, которые напрямую транслируются с Визуальной мониторинговой камеры на борту долгоживущего и по-прежнему высокопроизводительного марсианского орбитального корабля ESA.
"Это старая камера, изначально предназначенная для инженерных целей, на расстоянии почти трех миллионов километров от Земли - такого еще не пробовали, и, честно говоря, мы не на 100% уверены, что это сработает," объясняет Джеймс Годфри, менеджер по эксплуатации космических аппаратов в центре управления миссиями ESA в Дармштадте, Германия.
"Но я довольно оптимистичен. Обычно мы видим изображения с Марса и знаем, что они были сделаны за несколько дней до этого. Мне интересно увидеть Марс таким, каким он есть сейчас - насколько это вообще возможно близко к марсианскому 'сейчас'!
Мы всё же переименовали наш сервис по созданию луков в Superlook, проработали интерфейс, сделали мобильную версию, но самое главное — мы добавили три крутейшие фичи для удобства использования нашей сетки. И это прямо ПДЫЩ!! 😍 Итак:
❤️ Во-первых, теперь не обязательно стирать одежду ластиком вручную, чтобы сделать свои новые генеративные образы (луки), — достаточно нажать Magic Wand (волшебная палочка) и выделение одежды сделает само приложение. Дальше надо выбрать цвет (или несколько), стиль (или несколько) и нажать Make Magic, чтобы получить свой новый образ.
❤️ Во-вторых, мы добавили кнопку Wow!, которую очень просто использовать. Вы загружаете свою фотографию, нажимаете "Уау!" и получаете уау-эффект. Сетка сама убирает одежду и создает образ. От вас ничего не требуется, только фотография и нажатие на кнопку Wow!
❤️ В-третьих, если вам понравился созданный лук, вы можете нажать кнопку Find и... в новом окне откроется список магазинов, где можно такой товар купить. Даже если сетка сгенерирует нечто очень странное, мы найдем максимально похожие элементы одежды в сети.
✅ Сейчас приложение находится в режиме тестирования и обкатки. Пока что можно им баловаться бесплатно и делиться со всеми своими друзьями (за это я хочу заранее всех поблагодарить).
✅ Если вам понравится наш продукт и вы решите сделать пост с полученным результатом в своих социальных сетях, не забудьте указать линк на наш сайт, плз. Мы специально не делали вотермарки на результаты, чтобы вам было приятнее шерить картинки 😍
https://superlook.ai/
PS: Картинки к посту — это автогенерации луков при помощи кнопки Wow! 😊
Сэм Алтман (CEO Open AI - самой горячей ИИ в мире):
Наконец то посмотрел Ex: Machina прошлой ночью. Классное кино, но я не могу понять почему мне все сказали посмотреть его
Сходил сегодня на AWS Sammit в Амстердаме, послушал пару панелей и у меня такой вывод:
Все самое интересное происходит в мире open-source и маленьких стартапов, крупный big-tech просто догоняет, и те инструменты, которые они дадут бизнесу, будут хуже по качеству генерации текста или картинок, чем пайплайны небольших команд. Зато решения от big-tech будут работать быстрее и не требуют вникания в тематику, их будет проще выкатывать в прод.
Вообще почти все спикеры говорят теперь про Generative AI, про AI в бизнесе, AI то, AI сё, все про AI теперь в общем.
Короче, /r/stablediffusion и /r/localllama единственный способ быть в курсе что там актуального в мире генеративных моделей, все остальные мероприятия сильно отстают во времени и глубине информации, и конференции не помогут – слишком поверхностные знания.
И раз уж сегодня у нас ретро-рубрика:
добавился в бету классной обертки вокруг Spotify и Apple Music – ничего лишнего, только интерфейс iPod Classic с легендарным колесиком.
Твиттер проекта | Исходный код | Инвайт в бету на iOS
Кандидат на самую мерзкую капчу найден – больше не буду жаловаться на трубы, светофоры, лабиринты и тп
Читать полностью…
Жиденького Марио мы уже видели, так что вот вам песчанный Тетрис:
https://mslivo.itch.io/setris (можно скачать бесплатно, но работает только с ПК)
Это как бы Тетрис, но как бы из песочка. Пескотетрис 🗿
Забавная новость про Ватикан:
В течение многих лет в Википедии был указан неправильный флаг Ватикана и теперь неправильные флаги Ватикана повсюду ¯\_(ツ)_/¯
Кто-то залил на вики «более цветную» версию флага (с красной короной снизу, вторая картинка в посте) и заметили это аж только в 2022 году, но товаров уже напечатали по миру с «цветным флагом» уйму и что делать не совсем понятно ☕️
🇻🇦 Holly-trolly 🇻🇦
P.S. Пропорции флагов одинаковы, это я не умею картинки обрезать
Королевский флот Великобритании успешно протестировал довольно крутую штуку – квантовую навигацию, которая позволяет определять точное местоположение судна по всему миру, не полагаясь на сигналы со спутников (и работает она даже на подводных лодках, что с GPS невозможно – приходится всплывать).
Как работает эта навигация технически пока не раскрывают, кроме общих «используются уникальные свойства атома», выглядит как следующий этап в развитии навигационных систем – GPS ждет пенсия в будущем.
В комментариях народ думает, что этот эффект, он позволяет считывать микро-изменения гравитации, таким образом формируется «карта гравитационных изменений поверхности».
С кораблей в телефоны за 10 лет, так же будет?
Тут источник.
Стерлинг Криспин, работавший исследователем нейротехнологических прототипов в Эппле более 3 лет делится тем, что они делали в группе, которая вчера выпустила VisionPro.
Там есть пугающие подробности, вот с цитатами небольшой перевод для вас:
... пользователь находится в смешанной реальности или виртуальной реальности, а модели ИИ пытаются предсказать, испытываете ли вы любопытство, рассеяность, страх, внимание, вспоминаете прошлый опыт или какое-то другое когнитивное состояние. Эти данные могут быть получены с помощью таких измерений, как слежение за глазами, электрическая активность в мозге, сердцебиение и ритмы, мышечная активность, плотность крови в мозге, кровяное давление, проводимость кожи и т.д.
Чтобы сделать возможными конкретные предсказания, было использовано множество трюков ... Одним из самых крутых результатов было предсказание того, что пользователь собирается нажать на что-то до того, как он это сделает... Ваш зрачок реагирует до того, как вы нажмете на кнопку, отчасти потому, что вы ожидаете, что что-то произойдет после нажатия...
Другие трюки для определения когнитивного состояния включают быструю подачу пользователю визуальных или звуковых сигналов, которые он может не воспринимать, а затем измерение его реакции на них.
В другом патенте подробно описывается использование машинного обучения и сигналов тела и мозга, чтобы предсказать, насколько вы сосредоточены, расслаблены или хорошо учитесь. А затем обновлять виртуальную среду, чтобы усилить эти состояния. Представьте себе адаптивную среду погружения, которая помогает вам учиться, работать или расслабляться, изменяя то, что вы видите и слышите на заднем плане.
https://twitter.com/sterlingcrispin/status/1665792422914453506
✨ Стоит 3499$ ✨
Продажи начнутся в следющем году.
Собирался покупать ТВ, может теперь и не буду, я в восторге!
Показали очки, Vision Pro:
– Управляются жестами и взглядом
– Множество рабочих столов и виджетов в дополненной реальности, можно выводить рабочий стол мака
– Выглядят как маска для подводного плавания
– Очки VR/AR, то есть могут работать в двух режимах (я всегда всем говорил, что AR это просто режим VR шлема)
– Топ экран, почти 5K на глаз
– Топ процессор – M2, и дополнительный, новый, R1
– Идет вместе с новой платформой Vision OS
– Нативно поддерживает Unity (будет много классных игр)
– Авторизация в девайсе по отпечатку глаза
Решил немного помучать гео-возможность GPT4:
Поскольку мы тут шароверы, известно, что земля круглая, у каждой точки на поверхности есть – точка-антипод на другой стороне земли.
Антиподов локаций указывающих не в океан, не так много, например – есть Новая Зеландия и Испания (то есть прокопав сквозь землю туннель, можно сделать хамоно-провод в Новую Зеландию).
Попросил у GPT4 самые похожие дороги среди антиподов, и модель правда нашла – разные стороны земли, а дороги по структуре маршрута похожи. Правда, они должны быть еще и зеркальными, но это уже с GPT5 видимо.
Короче, если вы хотите самую странную и ненужную ачивку путешественника то вам сначала нужно проехать по этому маршруту, а потом по этому.
Кстати я когда-то с коллегой делал такое AR-приложение для смартфонов (еще до ArKit эпохи), чтобы смотреть сквозь землю, но оно оказалось очень скучным, так как ~71% поверхности земли это вода (круто делать ресеч до разработки прототипа, рекомендую ☕️).
Не буду даже говорить какую портяну промпт-инженеринга пришлось написать, чтобы получить ответ ✨
Не менее интересны и примеры, в которых просили для отдельного типа транспорта написать маршрут от точки А к точке Б. Если присмотритесь, то увидите, что отображены и маршруты, предложенные Google Maps — и они почти в точности совпадают для публичного транспорта!
Модель, стало быть, отличный гид по крупным городам! Зачем переплачивать?)
На память: пинг ~17 минут почти, и картинки прилетают раз в ~50 секунд. Попробовал поймать как часто меняется изображение.
На стороне Марса где находится зонд, скоро будет ночь, так что в верхнем правом углу температура уже почти -96°, одевайтесь теплее 🥰
Интересный пример, как специальные службы вроде полиции (ну и само собой военные) могут в режиме реального времени анализировать карту местности, и в дополненной реальности вместе координировать следующие шаги.
Это израильский проект, так что я уверен что это правда заработает и будет применяться, Израиль в IT, как правило, серьезные ребята.
Я как-то читал про военные системы НАТО (из того что в публичном доступе), у НАТО уже есть стандарт с картой и всеми юнитами на ней в режиме live, то есть вопрос очков, удобства и безотказности, бекенд уже написан.
А киноделы и игроделы, наверное, делая такие интерфейсы думали, что они станут доступными в 2100+ году ☕️
Тут пример редактора такой AR-системы (там на канале много видео), а тут сайт проекта.
Ребята тут примерочную запилили на нейронках, делюсь их постом:
Читать полностью…
Дорогой телеграм, а можно, пожалуйста, модерацию говно-рекламы экс-Бизнес-Молодости и других инфобизов как-то модерировать или себя исключать из таргетингов?
Ну пожалуйста, я знаю что вам пофигу на этот текст, но с этим человеком и его коллективом неприятно делить пространство которое я считаю личным, и куда я вкладываю довольно много себя.
Раз они там настроили таргеты на мой канал, искренняя рекомендация читателям (хоть я уверен вы и так это знаете): ни копейки им не давайте, бизнесу на ютубе лучше научиться, бесплатно, или в ChatGPT, чем у них.
Аяз, надеюсь тебе перестанут или уже перестали деньги носить, но на всякий случай — 🖕
P.S. Спасибо за скриншот читателю, владельцы каналов не видят рекламы у себя в каналах.
Просто красивая обложка нового Time, на знакомую нам уже тему ИИ алармизма.
Внутри ничего нового и очередные страшилки, но дизайн клевый ✨
Спасибо всяким генеративным AI, диффузионным моделям и GPU-серверам, теперь можно взять старые обои для Windows 95/Me и сделать их современными, вертикальными и подходящими для телефонов
Обработал коллекцию заставок на рабочий стол из прошлого, скачать в HD качестве можно тут (в посте пожатые версии).
P.S. Улучшение качества было сделано диффузионной моделью для апскейла, поэтому обошлось без GAN-артефактов, по ссылке чуть детальнее о технической части. Края длрисованы нашим тулзом и Photoshop Generative Fill.
P.P.S. Каждая картинка обмазана разаными нейронками, буквально, но я постарался оставить изначальную эстетику всех картинок
Друзья, встречаем будущее фотографии. Без линз. Камера генерирует промт по геоданным, где вы находитесь, а затем AI по промту генерирует «фото». Вот сайт.
Читать полностью…
Лол, Google тоже попался в эту ловушку джокера ✨
Читать полностью…
Наткнулся на презентацию Стивом слогана «Think Different», гениальный был маркетолог, сами видите – сработало
Читать полностью…