47269
Аннотированные ссылки на интересные, полезные и удивительные новости хайтека. Тем, кто больше любит слушать длинное чем читать короткое — могу посоветовать свой подкаст ;) http://sebrant.chat Вопросы - @asebrant
Вот и Oracle подтянулся: Ларри Элиссон заявил, что собирается составить конкуренцию Google, AWS и Microsoft в области предоставления бизнесу облачных мощностей для ИИ-приложений, и потому только у Nvidia закупит карт «на миллиарды долларов».
https://www.techspot.com/news/99260-oracle-plans-spend-billions-nvidia-gpus.html
В итоге сервис отжима воды из публикаций много куда будет интегрирован, но пользоваться им можно уже сейчас (хотя наружу его открыли только что, так что это публичная бета, а не готовый отлаженный продукт). Интерфейс и функционал предельно просты: даешь ссылку на статью, получаешь выжимку (в идеале потом ее качество оцениваешь, чтобы дообучить алгоритм).
Если сервис подвис (на то и бета, с ним бывает) — просто перегрузить страницу:)
На мой взгляд, сильно полезнее многих генеративных штучек, когда приходится много текстов проглядывать.
https://300.ya.ru/
Трансформеры позволили создать языковые модели, которые наглядно демонстрируют адаптивность и универсальность в работе с текстами. Теперь стоит задача расширить подход на задачи не словесные, а физические: манипуляции роботов с объектами в материальном мире. Пока такие роботы не очень справляются с новыми задачками и неожиданными ситуациями.
Подход работает: в DeepMind создали модель RoboCat, у которой с гибкостью все заметно лучше. Она лучше лучше прежних адаптируется к новым типам робоустройств и новым задачам.
“RoboCat’s ability to independently learn skills and rapidly self-improve, especially when applied to different robotic devices, will help pave the way toward a new generation of more helpful, general-purpose robotic agents,” - заявляют разработчики.
Так что ловкость в обращении со словами потихоньку дополняется ловкостью в обращении с предметами: от узкоспециализированных роботов переходим к относительно универсальным, а в словарик наряду с foundation models добавляем foundation agents 🙂
И еще про генеративные картинки. Важность того, что делают с рынком изображений Stable Diffusion и Midjourney, лучше всего видно не по сумбурным и часто нервным статьям и постам в разных медиа, а по реальным действиям уже сложившихся крупнейших игроков. Adobe, как легко видеть, весь текущий год с бешеной скоростью интегрирует всякие генеративные ИИ-опции во все свои продукты и рядом с ними, неустанно подчеркивая, что их продукт совершенно безопасен с легальной точки зрения: все обучающие датасеты состоят из юридически чистых и высококачественных изображений. Их модель Firefly с марта непрерывно чем-нибудь радует. Как следствие, громкие завывания на тему плагиата к Adobe не относятся.
На Figma’s Config 2023 event показали превью новой красивой фичи: это возможность управлять генерируемым изображением не только текстом, но и меняя на экране освещение, ракурс, место положение объекта.
Второй пилот дизайнера становится все более умелым то ли помастерьем, то ли соавтором :)
https://www.creativebloq.com/news/adobe-gingerbread
Итак, Эпл выкатили SDK для своих очков и разработчики кинулись разрабатывать.
Сами очки пока недоступны никому (используется симуляция ОС на компе), но уже со следующего месяца откроются специальные лабы в Купертино, Лондоне, Мюнхене, Шанхае, Сингапуре и Токио, где можно будет тестировать свои приложения прям в очках.
Ну и заявки начнут принимать на получение очков домой (если вы - важный разработчик).
Примеры из роликов вдохновляют, очень уже хочется себе такую штуку.
Вот тут больше примеров и полезной информации.
А вот тут чувак показывает и рассказывает про SDK.
Там можно выбирать разные окружения, например, зал музея или гостиную (видимо где-то в Купертино), бабушкиного хруща в вариантах нет, так что разработчики все-таки не могут получить достоверное впечатление о том, как приложения будут выглядеть для пользователя 🌚
Колитесь, кто уже планирует разработку под очочки?
«Задача трех тел» — вся трилогия — великолепная, на мой вкус, фантастика, вот только ей не везло с экранизациями. Что немного удивительно, потому что сюжет очень кинематографичен. Я пытался смотреть китайский мультик — не осилил, мне показался отстойным. Досмотрел — местами на преремотке — первый сезон китайского сериала. Уже получше, но чудовищно, на мой взгляд, затянуто. Причем не отдельные сцены — а все целиком медленно.
Но вот появился трейлер от Нетфликса. По трейлеру судить, конечно, нельзя, но все же есть надежда, что в январе 2024 появится повод порадоваться и, наконец, посмотреть в охотку:)
https://mashable.com/video/three-body-problem-teaser-netflix
Интересное интервью Сатьи Наделлы про историю развития ИИ в Microsoft — и историю отношений с OpenAI. Там немало интересных моментов личного восприятия, которое, конечно же, и на позиции компании сказывалось.
Примеры:
…GPT всерьез произвела впечатление, когда выпустили GPT-3: модель часто выдавала работоспособный код, хотя никто не обучал яя специально на языках программирования. В этот момент возникло ощущение, что технология всерьез прорывная и много чего трансформирует. А лично Наделла проникся переводом с фарси в GPT-4, который оказался куда живее, чем у специализированных систем машинного перевода. It was not just a machine translation, but something that preserved the sovereignty of poetry across two language boundaries…
…OpenAI горит идеей технологических прорывов и суперинтеллекта, а не сложных продуктов. Microsoft — как раз продуктами, которыми доступны всем. В итоге идеальное партнерство, по крайней мере, на данном этапе. I am looking for the thing that may be even bigger than the industrial revolution…
И еще много интересного — хорошее чтение на выходных, и очень оптимистичное.
Роботакси Cruise в Остине: личный опыт ep.2. Вчера ещё раз прокатилась на роботакси Круз, заметила интересную фичу. Когда беспилотник проезжает мимо автомобиля экстренных служб с включенной мигалкой, к нему подключается удаленный ассистент. Он не вмешивается в управление, а следит, чтобы все прошло штатным образом. Как только машина полиции, скорая или пожарные пропадают из виду, ассистент отключается.
Классная фича и очень полезная. Беспилотникам и правда бывает непросто с экстренными службами. Их поведение может сильно отличаться от остальных участников движения, и они менее предсказуемы. Если вы следите за беспилотными новостями, то у вас могло создаться впечатление, что роботакси Круз в Сан-Франциско только и делают, что мешают полиции и пожарным. Но на самом деле такие встречи происходят достаточно редко, просто привлекают много внимания. По этой причине сложно в реальном мире оттестировать взаимодействие с машинами экстренных служб. Пройдет много времени, чтобы набрать достаточную статистику для проверки тех или иных решений. Так что фича с ассистентом очень полезная. Каждая ошибка в подобной встрече создаёт много шума и репутационных проблем, а такой подход позволит если и не избежать их совсем, то заметно снизить их количество, пока беспилотники учатся правильно взаимодействовать с экстренными службами.
Недавно в сети активно обсуждали очередной случай, когда беспилотник Круз помешал проезду полиции. В компании ответили, что на самом деле машина почти сразу развернулась и освободила дорогу. И с учётом наличия этой фичи, у меня нет причин сомневаться в их словах.
В остальном Круз тоже молодцы. Проблему с перестроениями при повороте налево решили, машин в сервисе тоже стало доступно больше (на вид, их как минимум полтора десятка). Да, случаются пока иногда странные маневры. Например, наш беспилотник по имени Шакшука один раз припарковался посреди дороги, а потом повернул направо из средней полосы, но в остальном все поездки прошли гладко и даже скучно, как они и должны проходить.
Теперь это уже не та новость, которую кто-либо кроме дотошных любителей космонавтики готов обсуждать. А несколько лет назад какие копья ломались в дискуссиях о возможности и практической пользе возвращаемых ступеней ракет:)
А теперь очередной Falcon-9 девятый раз успешно вернулся на космодром, отметив 200-е такое возвращение в истории SpaceX. Интересно, с чем сейчас воюют консерваторы, столь активно хоронившие этот проект на основе своей экспертизы? :)
https://www.digitaltrends.com/space/spacex-marks-200th-rocket-landing-with-perfect-touchdown/
Оказывается, торговая марка Vision Pro в Китае еще с 2019 года была заявлена Huawei (которые действительно имеют свою линейку очков, так что это не патентный троллинг). Интересно, как поведет себя Apple на важнейшем для себя рынке с учетом этого обстоятельства:)
https://www.iphoneincanada.ca/2023/06/12/apple-vision-pro-huawei/
Тринадцать технологических решений, каждое из которых кардинально меняло кинематограф. Список местами кажется несколько субъективным — от хромакея до 3D-печати, от прогресса камер до звукового кино. Но несмотря на это, эффект сильный: очень ясно показано, насколько тесно кино — и съемочный процесс, и прокат — связано с достижениями технологий. И хотя каждый раз были недовольные и критикующие, кино каждый раз осваивало новшества.
Может, эту статью бастующим и требующим запретить генеративные инструменты сценаристам почитать?
https://movieweb.com/new-technologies-that-permanently-changed-movies/
Очень по делу заметка в Harvard Business Review на тему хайпа вокруг “новой великой профессии” промпт-инженера. Вокруг этого уже и коммерческие курсы появились, и обещания карьерной траектории и прочая инфобизовая муть.
Но есть обоснованные сомнения в сколь-нибудь внятной перспективе.
1. Технология конструирования промптов не универсальна, есть особенности у у каждой из многочисленных систем, а внутри системы меняется от версии к версии.
2. Системы все лучше сами помогают составлять правильные промыты там, где сложный промпт необходим.
3. Быстро сменяющиеся поколения генеративных систем с каждой следующей итерацией все лучше понимают намерения пользователя без очень подробной детализации с его стороны.
Вместо внешних навыков для эффективной работы с ИИ лучше бы овладевать более фундаментальным и действительно востребованным: умением внятно формулировать задачи.
Problem formulation and prompt engineering differ in their focus, core tasks, and underlying abilities.
Здесь, как обычно, необходимо знание предметной области и понимание ограничений в реальном мире. The fact is, without a well-formulated problem, even the most sophisticated prompts will fall short. Но ведь так хочется чуда и волшебного билетика в будущее:)
Когда ребенок совсем еще маленький, отмечают не только его годовщины: полгода тоже серьезный юбилей. ЧатуGPT шесть месяцев исполнилось недавно, а российский Форбс мою колонку на тему опубликовал неожиданно оперативно, так что можно почитать.
Читать полностью…
“Бытие определяет сознание”, говаривал один классик, которого в СССР заставляли подробно учить:) Но что-то в этой мысли есть, действительно окружение формирует восприятие.
Вот архитекторы в Шотландии украсили здание, вдохновленные упругостью распрямляющейся пружинящей металлической ленты… Но когда графически похожую штуку видишь постоянно в разных чатиках и каналах, и совсем не упругую ленту там эта эмоджи означает, то и форма здания считывается не совсем так, как замышлялось. Во всем виноват интернет, конечно.
Apple хорошо отметили, что запускают новую платформу;) Полностью отказаться от контроллеров и превратить очки в полноценный носимый компьютер, не требующий выработки новых моторных навыков даже для простых действий — круто. Ну а когда контроллеры нужны (например, для симуляторов авто) — на то и платформа, чтоб они появились.
Не менее круто, что они хорошо обошли проблему аватаров во время онлайновых созвонов — никто же не хочет видеть собеседника в малопрозрачных очках. Поэтому твою физиономию заранее превратят в цифрового двойника, который и будет участвовать в совещаниях;)
Apple Vision Pro действительно больше похож на представителя новой категории устройств, чем все прочие очечки. Через годик посмотрим, как полетит среди пользователей и разработчиков; тут не мгновенная история в стиле ChatGPT; тут новое дорогое ($3,5K)железо с новой операционкой; история на годы. Наблюдать будет чертовски любопытно! Спасибо, Apple;)
Про трансформеры нынче чаще всего слышно применительно к архитектуре нейросетей, но и добрые старые механические роботы-трансформеры иногда радуют глаз. Впрочем, как — старые… Вот этот, умеющий летать в виде квадрокоптера, ездить как четырехколесная платформа — и даже перемещаться, стоя на двух колесах, — очень даже новинка. И, как нынче принято — и здесь Nvidia; мозгами этого чудесного создания является Jetson Nano.
https://www.theverge.com/2023/6/27/23775681/caltech-m4-morphobot-transformer-robot-nvidia-jetson-nano-cpu
Как же быстро и уверенно OpenAI строят не просто платформу — об этом уже я писал (и не только я), но и полноценную развесистую экосистему. Сэм Альтман не зря успокаивал разработчиков, обещая им, что его компания не заинтересована сама создавать широкий спектр пользовательских приложений, концентрируясь на API.
Сегодня они пошли дальше и объявили, что собираются создать маркетплейс собственно моделей — благо на этом рынке как грибы растут многочисленные специализированные модели. Не пропустить и этот тренд и замкнуть на себя и это сообщество — сильный ход, и разработчики его оценили:
Horizontal models, such as ChatGPT or Google Bard, offer versatile and generic solutions applicable across various domains. An app store dedicated to AI software would serve as an ideal platform for vertical AI vendors to reach a global audience effortlessly.
Подкаст “Трёп Себранта”
Префиксы для реальности: AR, VR, XR и прочие на фоне VisionPro
-=Выпуск 75=-
Маша Лопухина и Оля Кай давно и разнообразно работают с виртуальной, дополненной и смешанной реальностями. А еще они обе прекрасные собеседницы и рассказчицы. Когда мы встретились втроем, грешно было бы не записать подкаст на полтора часа приятного трепа о новинке Apple и сопутствующих темах.
Ссылка в тему: канал Оли “Метавёрсошная”
Выпуск на Google Podcasts и Apple Podcasts
И здесь файл для любителей:)
На фоне ошеломления темпами развития продуктов на основе больших языковых моделей как-то подзабылось, что вполне прорывной Stable Diffusion тоже еще и года не исполнилось, и что прогресс там нагляден и не менее впечатляющ.
Сегодня как раз объявлено, что выпущена очередная улучшенная модель SDXL 0.9, пост в блоге компании демонстрирует прогресс парами картинок “до и после” по одним и тем же промптам. Как уже стало нормой, модель умеет дорисовывать имеющуюся картинку или использовать изображения вместо словесного промпта.
И, в отличие от OpenAI, с открытостью тут все порядке: какое-то время модель будет доступна исследовательскому сообществу, но вскоре The code to run it will be publicly available on Github.
Пока некоторые музыканты пугаются генеративных возможностей ИИ и требуют ограничить популяризацию и распространение сгенерированных произведений, ИИ научили другому нехорошему:)
Алгоритмы машинного обучения напустили на кучу данных про активность головного мозга и сердца добровольцев, прослушивающих разные композиции.
Попутно людей опрашивали об ощущениях и эмоциях, связанных с услышанным.
В итоге оказалось, что ML-алгоритм с очень высокой точностью может предсказать, слушают ли люди успешный хит или просто хорошую мелодию.
Исследователи полагают, что теперь лейблы смогут с гораздо более высокой точностью и гораздо дешевле чем раньше выявлять будущие хиты, не дожидаясь измерения реакции больших аудиторий.
Предположительно, дело не ограничится музыкой: “it is likely that this approach can be used to predict hits for many other kinds of entertainment too, including movies and TV shows."
И это новый вариант зависимости творческой публики от алгоритмов, к которым прислушиваются издатели:)
https://newatlas.com/music/ai-hit-prediction-could-have-a-huge-impact-on-music-industry-artists/
А кто не любит читать про Microsoft (предыдущий пост), вот вам про Apple. Тут, правда, интервью не с Тимом Куком, а с Кевином Линчем, вице-президентом по технологиям. Речь в нем о том, что Apple Watch в своем развитии от прибора про фитнес и здоровье к чему-то большему все активней должны становиться ключиком к окружающему миру. Идеал -- если носишь на руке часы, больше ничего в карманах таскать не надо:) За восемь лет своей истории часы сильно поумнели, но теперь благодаря машинному обучению намечается следующий рывок.
Интерфейсно это станет заметно в следующей версии watchOS 10. Будет много виджетов, позволяющих с одного взгляда много чего узнавать, улучшится управление виджетами. А еще Apple продолжит интерпретировать для пользователя данные с сенсоров, которыми часики набиты: например, появится статистика “сколько времени ты был при естественном освещении” 🙂
А еще там интересные истории про продуктовое мышление и дизайн; мне, например, очень понравилась деталь: когда выбирали звук нотификации, использовали “родной” звук: как звенит реальный металлический корпус часов, если по нему ударить молоточком:)
Опять же легкое чтиво на выходные:))
Еще одна изящная попытка покуситься на традиционную компоновку пассажирского самолета ради улучшения эффективности и снижения выбросов. Всякие придумки на тему «летающего крыла мы уже видели, вот другой подход.
Утверждается, что такой дизайн позволяет почти вплотную подобраться к звуковому барьеру по скорости и добиться большой гибкости в использовании разных двигателей.
Ну и выглядит оригинально;)
https://jalopnik.com/nasas-new-design-would-finally-bring-jets-out-of-the-je-1850544155
Среди многочисленных неприятностей Гугла в Евросоюзе, эта, похоже, самая серьезная за всю историю.
Евросоюз намерен добиваться разделения рекламного бизнеса Гугла, поскольку он явным образом содержит внутренний конфликт интересов, одновременно обслуживая рекламных потребности издателей и предлагая им управлять рекламой на собственном инвентаре. В такой ситуации есть шанс, что уже привычными штрафами отделаться не удастся, хотя, конечно, впереди еще многочисленные апелляции и попытки договориться.
Позиция Маргрете Вестагер довольно радикальна: "Google could divest its sell-side tools, DFP and AdX. By doing so, we would put an end to the conflicts of interest. Of course I know this is a strong statement but it is a reflection of the nature of the markets, how they function and also why a behavioural commitment seemed to be out of the question." В логике ей, при этом, не откажешь.
Да здравствует конкуренция! 🙂 AMD выступили с сильной заявкой, претендующей на откусывающие какой-то части рынка у Nvidia.
AMD's Instinct MI300X GPU features multiple GPU "chiplets" plus 192 gigabytes of HBM3 DRAM memory, and 5.2 terabytes per second of memory bandwidth.
На презентации чипа было заявлено, что это лишь первый шаг в стратегии AMD по обеспечении рынка специализированными чипами для работы с моделями машинного обучения.
The MI300X will offer 2.4 times the memory density of Nvidia's H100 "Hopper" GPU, and 1.6 times the memory bandwidth.
https://www.zdnet.com/article/amd-unveils-mi300x-ai-chip-as-generative-ai-accelerator/
Почти два года назад в своей колонке в “Форбсе” я писал: “мы раньше начнем обгонять беспилотные фуры на дальних трассах за рулем личного автомобиля, чем прокатимся по этим дорогам, развалившись на заднем сиденье беспилотной легковушки или беспилотного такси” Тогда мне много прилетело комментариев, что зря я верю в автономные “Камазы” в обозримом будущем.
Но оказалось, что график выдерживается: в 2021-ом обещали начать создавать тестовый беспилотный коридор в течение 3 лет; сейчас сообщают, что первые автономные грузовики пойдут по М-11 на этой неделе.
(Та старая колонка на память;))
Вот это полезная фишка — нативный VPN — если еще и в России будет работать:) Но понятно, что появится она на уровне операционки не из-за нас, а потому что операторы стримингов, разработчики и контент провайдеры уже слишком многих задрали своими региональными ограничениями — когда вполне легально купленный продукт вдруг перестает работать просто потому, что ты в поездке переместился в другую страну.
https://www.theverge.com/2023/6/10/23756329/apple-tv-vpn-tvos-17-4k-streaming-wwdc-2023
Подкаст "Трёп Себранта"
-=Выпуск 74=-
Vision Pro + полгода ChatGPT: сопоставления
Исполнилось полгода ChatGPT, а через несколько дней Apple представили миру свои очки Vision Pro. Оба события можно пообсуждать по отдельности, но еще интересней вместе: редкий случай, когда можно заглянуть в будущее с помощью вполне линейной экстраполяции.
Страница выпуска https://sebrant.chat/vision-pro-chatgpt
На Яндекс.Музыке
https://music.yandex.ru/album/6407298
На Apple Podcasts
https://podcasts.apple.com/ru/podcast/sebrant-chatting-%D1%82%D1%80%D1%91%D0%BF-%D1%81%D0%B5%D0%B1%D1%80%D0%B0%D0%BD%D1%82%D0%B0/id1320623324?i=1000616149133
На Google Podcasts
https://podcasts.google.com/feed/aHR0cHM6Ly9hc2VicmFudC5saWJzeW4uY29tL3Jzcw
Ну, и традиционный трек прямо здесь :)
О дивергенции на американском фондовом рынке. Все мы видим как индексы растут, но согласно данным FactSet акции 10 крупнейших компаний S&P 500 в мае выросли на 8.9%, в то время как остальные 490 упали на 4.3%. То есть мы наблюдаем сильнейшие медвежьи настроения и одновременно с этим эйфорию по отношению к большим технологическим компаниях, без которых индекс S&P 500 был бы в минусе. Apple, Microsoft, Google, Amazon и Nvidia буквально тащат за собой рынок.
https://www.wsj.com/amp/articles/bearish-bets-against-s-p-500-are-surging-despite-love-for-big-tech-506cacc
Читая сегодняшние многочисленные реакции на вчерашнюю презентацию Apple, рад был увидеть, что не я один порадовался, как уверенно они игнорируют хайповые слова, которые стараниями прессы и пиарщиков затаскали до неприличия.
Рассказать о новинках, и ни разу не употребить ни ИИ, ни метавселенную — такого даже Гугл себе позволить не может. А Apple смогли, и ничего не потеряла презентация от того, что рассказывая о предикативном алгоритме клавиатуры, например, обошлись без ее искусственного интеллекта — как и при рассказе об алгоритме создания цифрового двойника лица для сеансов видеосвязи.
Ну а слово “метавселенная” там не любили тоже исторически, извращенное ее представление как вездесущего виртуального мира сильно противоречит представлением Apple о том, для чего нам технологии. То ли дело spatial computing, которое звучало не раз:))
А еще сегодня уже появились отчеты тех людей, кто на кампусе Apple смог после презентации живьем потестировать Vision Pro, и они вполне положительные: осваивается быстро (основано на привычных жестах на других устройствах), качество изображения и звука великолепно. Теперь осталось дождаться реакции разработчиков — кто и что сделает под платформу, где еще нет людей и появятся нескоро.
Хорошая иллюстрация различия культур:)
Что Лю Цысинь (автор “Задачи трех тел”), что Мо Янь (лауреат Нобелевской премии по литературе) спокойно сообщают, что когда затык или не хватает времени, им помогает писать, а то и пишет выступления, ChatGPT.
Лю Цысинь, который большой мастер придумывать апокалипсические сценарии (кто всю трилогию читал, тот точно в курсе:)), замечает:
“ChatGPT, of course, will make an impact on human existence and society, but its influence won’t result in AI-ruled humans like what happens in science fiction. At the current stage … it is likely to replace some human work”
При этом в Китае открытого доступа к ChatGPT нет, зато уже есть целых 79 (! -- и тут китайский масштаб…) разных своих языковых моделей с более чем миллиардом параметров, так что вот там будет не просто гонка, а нешуточная борьба за выживание:)
https://www.scmp.com/tech/tech-trends/article/3222986/chinese-science-fiction-writer-liu-cixin-author-three-body-problem-uses-chatgpt-craft-speech-expects