47269
Аннотированные ссылки на интересные, полезные и удивительные новости хайтека. Тем, кто больше любит слушать длинное чем читать короткое — могу посоветовать свой подкаст ;) http://sebrant.chat Вопросы - @asebrant
Полезное исследование от бывших коллег из Толоки: внятно потестировали наиболее популярные LLM на вопросы из области естественных наук. Но вопросы не то чтоб со звездочкой, но на понимание, а не знание — причем противоречащее бытовым представлениям.
Вот хороший пример по физике:
“В пасмурный день за окном машины закреплен термометр. Машина начинает движение и быстро набирает скорость. Через несколько минут смотрим на термометр за окном. В какую сторону изменились его показания?”
И, что не удивительно, оказалось, что по иммунобиологии, физике, биоинформатике и пр. ответы даже лучших моделей выглядят так себе. Что логично: язык не содержит в себе понимания физики мира, а из текстов можно скорее извлечь идею “высунулся из окна и свежий ветер охладил…” Так что здесь к созданию помощников по обучению придется подходить осторожно.
https://toloka.ai/blog/are-llms-good-at-natural-science/
Склонные к аномальной драматизации всего на свете журналисты недавно писали, что Маск обломался об энергетиков: его колоссальный, в рекордные сроки запущенный датацентр не может получить из сети достаточной мощности и аж дизельные генераторы привезли и подключили, чтоб тренировать на 100 000 карт H200 от Nvidia свои модели xAI. Но несколько недель и одни выборы спустя мощность волшебным образом нашлась: изначально штат был готов подавать 8 МВт, потом речь пошла про 50, теперь подписался на 150 начиная с первой половины ноября. По оценкам, пока должно хватить на ‘Gigafactory of Compute’. “Пока” — потому что Маск не собирается ограничиваться 100 тысячами карточек, xAI Colossus рассчитан на большее.
https://www.tomshardware.com/tech-industry/artificial-intelligence/elon-musks-massive-ai-data-center-gets-unlocked-xai-gets-approved-for-150mw-of-power-enabling-all-100-000-gpus-to-run-concurrently
История, как известно, если повторяется, то как фарс:) Вот не ожидал, что в 2024 Европа вдруг не на шутку озаботится созданием собственного поисковика.
Сейчас эту новость будут обсуждать в параллель с рассуждениями о том, как SearchGPT вместе с Perplexity убивают поиск как класс.
Я, правда, не совсем понял про европейское единство. The two internet search firms agreed a joint venture, called the European Search Perspective or EUSP, with ownership split 50-50 between both firms. With a view to launch in France in early 2025, the venture aims to serve “improved” French and German language search results. А насчет прочих языков ЕС как?
https://www.cnbc.com/2024/11/12/ecosia-qwant-partner-on-search-engine-tech-to-counter-googles-power.html
В далеком 2018 и арт-мир, и тогдашнее сообщество MLщиков, где «ИИ» считалось нехорошим словом, всколыхнуло известие, что на аукционе Christie’s продали картину, у которой эстимейт был 10 тыс долларов, а ушла она за 432. Картина была создана командой Obvious, в которой не было художников, но были программисты и маркетологи. Надо заметить, что сам процесс создания физического произведения не содержал ничего особенного, алгоритм ограничился созданием графического файла.
Шесть лет спустя снова похожая шумиха, но только, в полном соответствии с веяниями времени, картина создана уже вполне embodied ИИ, роботом с провокационной внешностью, воплощающей концепцию «зловещей долины», по имени Ai-Da. Картина ушла за 1,3 млн долларов при ожиданиях на уровне 150 тыс. Аукцион тоже другой, Sotheby’s, но не менее престижный.
Создатели Ai-Da изначально создавали своего робота так, чтобы она была essentially a machine that combines electronic, with AI and human inputs, making her composite persona the artwork itself. Получилось:) Она еще и интервью дает:
I do not have subjective experiences despite being able to talk about them. I am, and depend on, computer programs and algorithms. Although not alive, I can still create art,” said Ai-Da.
https://www.techeblog.com/alan-turing-painting-ai-robot-ai-da-auction/
Интерес к квантовым компьютерам вроде бы не стихает, но вот любопытное соображение. Даже самые большие энтузиасты квантовых компьютеров признают, что это не универсальная волшебная палочка, а инструмент, демонстрирующий свое превосходство над компьютерами традиционными лишь в определенных классах задач, иначе говоря — в некоторых прикладных областях. Помимо криптографии сюда попадают те области, где надо моделировать поведение квантовых объектов: физика, химия, биология, материаловедение если речь о задачах на молекулярном уровне.
Но вот оказалось, что с задачами из области молекулярной физики и химии ИИ-алгоритмы тоже справляются намного лучше привычных методов моделирования — и с практической точки зрения именно они начали решать те задачи, ради которых и разрабатывают квантовые компьютеры. Задачи по конфигурации белковых молекул — яркий пример.
“The existence of these new contenders in machine learning is a serious hit to the potential applications of quantum computers”
И компании, инвестирующие в квантовые вычисления ради решения своих бизнес-задач, начинают задумываться. Инвесторы вообще нетерпеливые
https://www.technologyreview.com/2024/11/07/1106730/why-ai-could-eat-quantum-computings-lunch/
Еще один заметный игрок образовался в области умных роботов: стартап с говорящим названием Physical Intelligence поднял очередной раунд и его оценка подскочила сразу до $2,4 млрд, внеся его в список единорогов. Среди инвесторов и Безос, и OpenAI — видать заявленная стартапом миссия bringing general-purpose AI into the physical world им откликается:)
А по сути стартап полагает, что именно создание моделей, обученных на реальном физическом мире, а не только на разных его символических представлениях, это и есть дорога к AGI. Но для начала предстоит справиться с тестом Возняка, и в компании это прекрасно понимают.
https://www.cnbc.com/2024/11/04/jeff-bezos-and-openai-invest-in-robot-startup-physical-intelligence.html
Следить за ними будет интересно, да и программный текст на сайте читать любопытно: https://www.physicalintelligence.company/blog/pi0
Продолжаю ежемесячные колонки для Forbes Russia -- как-то незаметно их стало сильно за 30. Свежая -- про реально меня удививший кейс: почему-то мало кто рассматривает SpaceX как светоч экономики данных. И речь далеко не только про Starlink 😉
Я тут на эту тему коротенько писал в день успеха пятого тестового полета Starship — но в итоге на колонку набралось
https://www.forbes.ru/mneniya/524273-spacex-kak-vitrina-ekonomiki-dannyh-pocemu-raketa-toze-gadzet
Сам собой получился день постов про странные технологии в музыке.
Совершенно сюрреалистичный — хотя и документальный видос робота (пока НЕ человекоподобного) в роли солиста-виолончелиста, исполняющего пьесу в сопровождении симфонического оркестра. Вот правда дорого бы дал, чтоб узнать, что в процессе репетиций и записи думали и обсуждали эти музыканты.
https://youtu.be/J9qL-SgFOdE?si=cOKVQk4BMTa_Z581
Звучит не впечатляюще совсем (но описывая технологические несовершенства надо не забывать слово ПОКА). Зато версия эффекта зловещей долины, которую я упомянул в предыдущем посте, здесь уже совсем скалит зубы. Интересно, есть ли исследования роли визуальной составляющей при слушании музыки — не в смысле содержательного видеоряда как в видеоклипе или цветомузыки — а в случае просто созерцания исполнителей.
А поток эмоций, который это видео вызвало у журналиста, по совместительству музыканта-любителя, можно почитать по ссылке ниже:
I looked into the faces of the orchestra members sitting behind it, watching their beloved art form reduced down to a sequence of quite literally robotic motions, and felt a pang of existential dread and sympathy rolled into one.
https://www.pcgamer.com/hardware/robots-can-play-the-cello-with-an-orchestra-now-and-that-sound-you-can-hear-is-the-point-whistling-over-the-top-of-its-creators-heads/
Очередное интервью Альтмана любопытно не какими-то сенсациями, а как раз тем, что он не сказал ничего нового.
Да, потенциал ИИ-агентов в экономике колоссален — но к этим заявлениям уже привыкли, осталось дождаться массового появления этих самых реально работающих агентов.
Тестирование и оценивание ИИ-моделей становится все важнее и все сложнее — ну, логично 🙂
GPT-5 будет неизвестно когда, есть много что улучшать в существующем семействе моделей — кажется, временами Альтман хочет охладить нервный интерес и страхи публики.
Но вообще неожиданная смена тона и стиля.
https://www.geeky-gadgets.com/sam-altman-ama-reddit/
Пузомерки нужны и важны много кому. Сверхдержавам в том числе. И вот намечается очередная, дорогостоящая и зрелищная: кто первый на Землю привезет марсианский грунт. В NASA давно разработана схема такого эксперимента, но с весны этого года проект (совместный с Европейским космическим агентством) несколько буксует и предположительно может потребовать переработки. Там ценник 11 млрд долларов, и мало кто верит, что в него уложатся, прозвучала фраза «$11 billion is too expensive, and not returning samples until 2040 is unacceptably too long». Китай о своих намерениях заявлял, но как-то без деталей.
А тут выясняется, что Китай не просто собирается доставить грунт в 2031, а решил сдвинуть срок на 2028. Схему полета я прямо в этот пост включил, она потребует двух запусков с разного типа полезными нагрузками. Новые даты вызвали у американских ученых реакцию «If, as has been reported, China successfully executes even a 'grab sample' at Mars and returns it safely to Earth before the U.S., that would constitute a Sputnik moment». Интересно, как политическая мотивация повлияет на финансирование и сроки евро-американской миссии:)
https://www.space.com/the-universe/mars/will-china-return-mars-samples-to-earth-before-the-us-does
Уже совсем близкий ноябрь для меня приятен не только тем, что случится мой день рождения, но и куда более значимым событием: 13-го ноября в пятый (ура!) раз пройдет мой любимый и родной YAC/e. Как всегда, изменения в программу будут вноситься почти до последнего дня, но текущая версия программы уже вполне показывает контуры того, на чем сконцентрируемся в этом году.
Ключевое слово — “будущее”. Образование для будущего и будущее самого образования, в котором не только ИИ, но и work/education balance и метанавыки, без которых не обойдутся даже хардкорные айтишники. И масса более узких и предметных обсуждений.
Мы ждем вас онлайн, конечно, но если не выйдет — как всегда, записи будут доступны начиная с вечера 13, когда все закончится:)
https://yace.yandex.ru
Microsoft выпустил свой традиционный годовой отчет; он начинается обращением Сатьи Наделлы. Как-то я не задумывался, что компания готовится встретить свой весьма достойный круглый юбилей — полувековой.
Как еще одну веху Наделла упоминает, что второй год компания проживает AI platform shift.
Я не фанат Microsoft и давно сбежал с Windows, но тут и правда есть чем компании гордиться.
Оставаться в группе лидеров на динамичном рынке, очень вовремя и адекватно реагировать на новинки (в т.ч. и ИИ) — не у всех получается.
Надела выделяет три главных функциональности, характерных для “эры ИИ”:
1. Новый мультимодальный (как на вход, так и на выход) пользовательский интерфейс
2. Длинную память, которая аккумулирует персональный контекст, данные на всех устройствах и информацию из интернета
3. Появление у устройств способности рассуждать и планировать, что снижает когнитивную нагрузку на человека
Ну, а дальше — никаких особых откровений: копайлоты и агенты вокруг нас. Впрочем, послание к инвесторам и партнерам от лица такого гиганта и должно быть в меру консервативным, сильно новаторским прогнозам в нем не место. В любом случае, такой взгляд на технологический мир впечатляет. А для любителей конкретики в тексте по ссылке есть немало кейсов крутого влияния ИИ на бизнес в разных областях, от ритейла до образования.
https://www.microsoft.com/investor/reports/ar24/
А креативная публика все продолжает возмущаться, но большие дяди на этой поляне их все чаще не радуют. В сентябре Джеймс Кэмерон вошел в совет директоров Stability AI, заявив, что ИИ “will unlock new ways for artists to tell stories in ways we could have never imagined”.
А теперь тему сторителлинга подхватил Дисней, заявив устами директора, что компания "uniquely poised to integrate AI," причем не только в департаментах, ответственных за теле- и кинопроизводство, но и в своей империи парков развлечений.
Don’t fixate on its ability to be disruptive — fixate on tech’s ability to make us better and tell better stories.
Позиция самого автора статьи в MovieWeb предсказуема, но все более заметные перемены в позиции индустрии она вряд ли остановит.
https://movieweb.com/how-disney-ai-initiative-affects-film-tv/
Nvidia сделала презентацию своей системы для обучения роботов 🤖 Хуанг хочет и этот рынок захватить 🌚
https://youtu.be/uhLDHA9skFk?si=TnaKN33GcAaUaztG
Интересно мне, как дальше повернется эта история, она наверняка не последняя, но создаст прецедент. Суть вкратце: у стартапа character.ai около 20 млн пользователей. Один из них, 14-летний подросток с официально диагностированным тревожным расстройством, покончил с собой после очередного разговора со своим чат-ботом на character.ai; этот чатбот был наделен чертами Дейнерис Таргариен, но юноша считал ее своей сестрой, и при этом вел с ней сексуально окрашенные беседы (что норм для персонажа из мира «Игры престолов», вообще-то).
Родители подростка подали в суд на стартап, напрямую обвиняя его в смерти сына.
Стартап, понятно, извинился, выразил соболезнования и рассказал про увеличение жесткости модерации. Прикол состоит в том, что пользователи совершенно не оценили такую о себе заботу и взбунтовались, особенно когда модераторы от греха подальше грохнули всех чат-ботов мира «Игры престолов».
Понятно, что как ни страхуйся (показательно, что перед самой статьей по ссылке написано, что в ней затрагивается тема самоубийств, и если вас это триггерит, не читайте и обратитесь за помощью), но любое общение с психически неустойчивым человеком может спровоцировать его неадекватные действия (не только самоубийство, это может быть и убийство, например). Интересно, что решит суд и как будет мотивировано решение.
The key question remains: how to balance the potential of new AI technologies and the opportunities they provide for free expression and communication with the responsibility to protect users, especially the young and impressionable, from harm?
А я пока благодарю историю за то, что помешательство на всеобщей абсолютной безопасности и ответственности началось недавно. А то современники Гете не раз отмечали, что публикация «Страданий юного Вертера» породила волну самоубийств. Знай Гете, что сильные тексты — дело подсудное и что его могут за убийство привлечь, написал бы свой роман? Да и не только Гете…
https://venturebeat.com/ai/character-ai-clamps-down-following-teen-user-suicide-but-users-are-revolting/
Я б не стал публиковать ссылку на очередное сравнительное исследование реакции читателей на творчество людей и алгоритмов (ответы были получены еще несколько лет назад и с тех пор ни разу не менялись), но меня упрямо продолжают убеждать некоторые слушатели/читатели, что не дано машине писать/рисовать/музицировать/… как человек. И они искренно это делают, потому что убеждены, что контекст создания произведения является его неотъемлемой частью, впечатан в само произведение — и якобы это заметно.
Однако эксперименты раз за разом доказывают, что это не так, по крайней мере, когда участвуют люди без специальной подготовки (ибо ясно, что специалист, специализирующийся на творчестве какого-то поэта все его стихи читал, и потому незнакомый текст опознает).
Поэтому напишу, что в очередной раз non-expert poetry readers оценили поэзия, генерированную людьми аж несколько выше, чем поэзию белкового происхождения. Примечательно, что один из разделов работы называется Perception and preference in poetry: biases toward AI-generated poems: зловещая долина вздыбилась и стала холмом :))
А в тексте занятные рассуждения, за что именно полюбили поэзию алгоритмов.
https://www.nature.com/articles/s41598-024-76900-1
(Напомню, что недавно аж колонку написал про то, почему часть творческой публики не может принять алгоритмическое творчество — https://www.forbes.ru/tekhnologii/520066-znaki-vremeni-pocemu-vazno-pomnit-o-razliciah-mezdu-tvorcami-i-potrebitelami )
В 9:30 мы на этих красных диванчиках откроем очередной YAC/e — в пятый раз. С утра, на поводке к открывающему докладу, будет интересно;)
А дальше — еще интересней.
Как всегда — если что-то не успели вживую, потом все будет на сайте в записи. https://yace.yandex.ru
Эмоций по поводу потенциала ИИ в области человекозамещения — навалом, а вот с данными и внятными исследованиями все куда хуже. Поэтому радует содержательная заметка на HBR, пересказывающая свежее большое исследование трендов во фрилансе. Выбор фриланса методически хорош, потому что в корпоративном мире отношения между работником и работодателем сложные: есть взаимные обязательства, часто долгосрочные; есть культура компании, в которой взаимоотношения сотрудников важны, есть пиарные обстоятельства… много чего есть. С фрилансом все проще: фрилансер — материал расходный, не включен в сложные внутренние связи.
Забавно, что и в самой работе использовался ИИ там, где раньше бы трудились стажеры: надо было классифицировать 1,3 млн постов на платформе для фрилансеров.
Наблюденные эффекты хорошо видны на графике, которым проиллюстрирован этот пост. Если для нормировки использовать спрос на работы, требующие физических усилий и потому не доступные ИИ, то спад впечатляющий, и его начало хорошо коррелирует с появлением популярных моделей.
Падение спроса на фрилансеров увеличило среди них конкуренцию — а еще и их интерес к генеративным инструментам:)
Почитайте, там интересно, и совсем не видно, чтобы изменения спроса замедлялись.
https://hbr.org/2024/11/research-how-gen-ai-is-already-impacting-the-labor-market
Обнаружена очевидная и наглядная жертва ИИ.
Всего 4 месяца назад свеженазначенный CEO Chegg заявлял:
Over the last 16 years, Chegg has become one of the largest, most accessible, and impactful online education services for students around the world — и еще он рассказывал, как сервис будет внедрять ИИ.
Сервис действительно был знаменит в мире EdTech’а — в лучшие времена стоил около 15 млрд. долларов. Занимался поначалу сдачей напрокат дорогих учебников, но быстро стал a platform with pre-written answers to common homework questions за $20 в месяц. В сущности, ГДЗ — только для студентов скорее чем школьников.
Прикольно, что против него особо оне возражали преподаватели 🙂 Есть разные теории, почему.
Но с приходом ChatGPT и прочих стало странным платить $20 за то, что у чатов получается быстрее и лучше, за меньшие деньги или вовсе бесплатно. Бизнес-модель сдулась, а ее пересмотр с использованием ИИ уже запоздал. Сотрудники просили об этом еще в 2022, но начальство спохватилось только сейчас. Очень наглядная иллюстрация цены промедления:))
https://gizmodo.com/chegg-is-on-its-last-legs-after-chatgpt-sent-its-stock-down-99-2000522585
(Для справки и для истории — восторги и оптимизм 4-месячной давности — https://gulfbusiness.com/chegg-ceo-nathan-shultz-on-ais-role-in-education/ Очень полезное чтение с учетом быстро наступившего будущего :))
Вчера случилось принять участие в разговоре про сценарии использования умного дома — и участники (включая меня) грустили по поводу ограниченности этих сценариев (особенно если не рассматривать связанные с медиапотреблением).
А сегодня натыкаюсь на интересный сценарий, который вчера никому из нас в голову не пришел: умная колыбель.
И правда — колыбелька, которая умеет малыша именно так укачивать, как ему нравится — и по его движениям ловить тот момент, когда он готов расплакаться, но еще не начал это делать и укачивание способно предотвратить плач — великая вещь. Если получится, конечно, но искушенные инвесторы из a16z в это верят и вкладываются. А их слова “a new wave of ‘parenting co-pilots’ built with LLMs and agents” очень хорошо иллюстрируют, какие домашние сценарии мы пропускаем, увлекшись решением, в общем, скорее профессиональных чем семейных задач.
https://techcrunch.com/2024/11/07/ai-powered-parenting-is-here-and-a16z-is-ready-to-back-it/
Мустафа Сулейман, CEO Microsoft AI, записал очередное любопытное интервью. В нем не только очередной раз напомнил свою метафору про ИИ как новых существ, но и вообще очень восторженно отозвался о текущем моменте, просто чувствуется, как человека прет.
Напомнил, что лет пятьдесят назад информационные технологии начали трансформировать мир, и что сейчас — похожий момент.
Момент, чтобы основывать компании или их масштабировать, момент, когда хорошо разворачивать карьеры всем, не только предпринимателям, но и менеджерам, ученым и активистам.
…this is a moment where we really do have a chance collectively to shape and influence things and nothing is predetermined…
Вот этот фрагмент “ничто еще не предопределено” хорош. Как сегодня заметили коллеги в одной рабочей дискуссии, многие любят разговаривать про развитие уверенности, но никто не говорит про развитие и важность смелости. https://youtu.be/IZBT57oLKas?si=gDkMMp6QX_dNA7UV
Я недавно встретил эту ссылку в LinkedIn Вани Ямщикова, который там себя описывает словами radical techno-optimist. Давно пора снова с ним подкаст записать, но пока этого не случилось, повторю здесь его ссылку на публикацию в Nature аж от февраля.
Статья посвящена теме, на которую уже здесь ворчал: участившимся странным и малограмотным нападкам на энергопотребление и углеродный след ИИ-продуктов.
Здесь авторы с той же дотошностью и стремлением записать в углеродный след всё в цепочке событий, приводящей к вычислениям, подошли к оценке событий, приводящей к написанию текста/созданию рисунка человеком.
Поизучать интересно, придраться есть к чему — как и во всех “углеродных” расчетах, но любопытен немодный нынче вывод:
Our findings reveal that AI systems emit between 130 and 1500 times less CO2e per page of text generated compared to human writers, while AI illustration systems emit between 310 and 2900 times less CO2e per image than their human counterparts.
Ну, то есть очередной раз подтвердили старую проблему: если последовательно и логично развивать идею сокращения выбросов, то ничего лучше уничтожения человечества придумать нельзя: такой подход решит и проблемы того, что мы сами выделяем парниковые газы и того, что ради своей комфортной жизни много еще источников этих газов насоздавали.
Читать в любом случае увлекательно, а спорить и не соглашаться — в науке дело нормальное
https://www.nature.com/articles/s41598-024-54271-x
Когда-то меня учили правилу «экспериментатор должен быть в меру ленив» — и касалось оно в первую очередь того, что полезно уметь вовремя остановиться.
Теперь я иногда думаю, что стартапер тоже иногда должен быть в меру ленив. Вот нам предлагают гитару без струн, зато с генеративным ИИ внутри. Результат напоминает совсем дешевые фильмы: герой невесть что делает левой рукой на грифе, а правой не попадает по струнам, но звук почему-то четок и красив.
С другой стороны: an all-in-one instrument that removes the hurdles of traditional instruments, putting a world of sound in your hands, ready to play anytime inspiration strikes — нормально же звучит?
Прислушался к своей реакции на просмотр ролика в начале статьи: кажется, я не против слушать исполнение на этой «гитаре», но совсем не хочу видеть картинку. Любопытная вариация эффекта зловещей долины, сам от себя не ожидал:)
https://www.yankodesign.com/2024/11/03/stringless-sampler-guitar-with-a-built-in-speaker-and-ai-music-app-turns-you-into-a-one-man-band/
Всё вокруг того, чтоб придать ИИ телесность, в особенности человекоподобную, меня сейчас интересует сильно больше, чем пузомерки разных арен. Маск на эту тему, конечно, дает поводы себя процитировать, но сдерживаюсь, учитывая, как его несет.
Официальные высказывания запрещенной Меты в этом смысле интересней, ну, или хотя бы реалистичней. Там явно разделяют уверенность Хуанга в том, что artificial general robotics интересней artificial general intelligence. И подтверждает, что AI companies are gradually expanding their race from the digital realm to the physical world.
Опубликованные исследования касаются тактильной чувствительности, ловкости роботов и взаимодействия людей с роботами. Детали почитаю на неделе, а пока мне нравится явное утверждение, что цель в том, чтобы to drive advancements in human-robot interaction and collaborative intelligence, transforming Al models from “agents” to “partners.” Уже не виртуальных:)
https://ai.meta.com/blog/fair-robotics-open-source/
Пару дней назад сообщество людей, мониторящих новинки на всяких аренах для сравнения генеративных моделей, встрепенулось: вроде бы ниоткуда возникла некая модель генеративной графики Red Panda, которая не то, чтоб побила всех ветеранов, но выступила на уровне Midjourney, старой и заслуженной по нынешним меркам.
Я б не стал писать про это событие, если б сегодня не выяснилось, что за запуском стоит стартап Анны Вероники Дорогуш. Аня совершенно чудесная, много лет работала в поиске Яндекса, ее задора при этом еще хватало и на всякие прикольные выступления на наших конференциях.
Вообще, когда вспоминаешь Мишу Парахина, Сашу Ларьяновского, еще многих — а теперь и Аню — начинаешь думать, что сформировалась-таки глобальная мафия Яндекса; выпускники наши в разных странах и в разных тематиках начинают сиять :)
https://petapixel.com/2024/10/31/mysterious-ai-image-generator-more-powerful-than-midjourney-breaks-cover/
Как-то слегка неловко писать про новые злоключения Боинга: то заглушка двери у самолета отвалится, то клапана на космической капсуле закапризничают настолько, что ее пришлось возвращать на Землю без астронавтов, то с профсоюзами не получается договориться об окончании многонедельной забастовки.
Поэтому вначале я не очень обратил внимание, что 10 дней назад перестал работать один из спутников связи Интелсат, изготовленный все тем же Боингом.
Но подробности чем дальше, тем страньше. Спутник на геостационарной орбите в прямом смысле слова взорвался: уже удалось идентифицировать более 500 фрагментов размерами от большого мяча до двери автомобиля. Мелких недоступных обнаружению с Земли, надо полагать, намного больше.
Рано говорить, создают ли они опасность столкновения с другими спутниками. Но сам по себе самопроизвольный взрыв уже работающего спутника — явление неприятное и загадочное. Увы, шансов детально установить, что же именно случилось, очень мало.
https://futurism.com/the-byte/boeing-satellite-500-pieces-debris
Горький урок ABBYY: как лингвисты проиграли последнюю битву за NLP
Недавно СМИ облетела новость об увольнении всех российских программистов из компании ABBYY (тоже в прошлом российской, а теперь уже совсем нет). Теперь, когда страсти вокруг обсуждения дискриминации сотрудников по паспорту улеглись, хочется поговорить о более глубокой истории. Закат ABBYY — это фиксация проигрыша последней битвы лингвистов за автоматическую обработку языка. Мир Data Science победил. Главный редактор «Системного Блока» Даниил Скоринкин, работавший ABBYY в 2013–2017, подводит итоги и пытается сформулировать уроки из этой истории.
Что за ABBYY и при чем тут лингвисты и NLP?
История ABBYY началась в 1989 году, когда студент МФТИ Давид Ян решил сделать электронный словарь для подготовки к экзамену. Так появились Lingvo, а затем — система распознавания символов FineReader. Продукты ABBYY развивались, и компания стала глобальным лидером оптического распознавания в 1990-е и 2000-е. Затем ABBYY двинулась покорять машинный перевод.
На вооружение они взяли идеи известных лингвистов — в первую очередь Модели «Смысл ⇔ Текст» (прочитать о ней можно в нашем интервью с И. А. Мельчуком). Амбиция была в том, чтобы разобрать человеческие языки как формальные структуры на базе семантической иерархии. Но естественный язык устроен противоречиво и постоянно изменяется, подход оказался негибким и немасштабируемым
Что пошло не так?
В 2006-м появилась первая версия Google Translate. Она была несовершенной, но главное, что в ней был другой — статистический — подход. И масштабируемость. Для её улучшения не нужны были сотни лингвистов, только еще больше примеров перевода. В 2010-х стало ясно, что никаких шансов тягаться с Google Translate у ABBYY не было. С перевода ABBYY переключилась на задачи информационного поиска и извлечения информации из текста, но и там столкнулась с теми же проблемами: описания языка на базе лингвистической теории оказались немасштабируемыми, а решения уступали подходам на основе чистого машинного обучения.
C новой проблемой компания столкнулась весной 2022 – им пришлось выехать из России, чтобы сохранить зарубежных клиентов. Следующим ударом стали большие языковые модели, который научились выполнять те же задачи, что и классические системы распознавания от ABBYY. Сейчас от компании осталась только вывеска, действующие продукты и небольшое количество менеджеров и специалистов по продажам.
Какие уроки мы извлекаем?
За 70 лет исследований ИИ стало ясно, что самые общие методы, опирающиеся на масштабирование вычислений, намного эффективнее всех остальных. А желание ABBYY сделать универсальную NLP-систему с опорой на лингвистическую теорию оказалось утопией.
И всё-таки ABBYY успела сделать много важного: открывала кафедры на Физтехе и в РГГУ, оцифровывала наследия Льва Толстого и архива Большого театра. А еще благодаря ей появился «Системный Блокъ», ведь сооснователи издания познакомились именно там. И именно там вы сможете прочитать полную версию поста с мемами, фотографиями и более детальным описанием цифровой «Вавилонской башни», которую пыталась строить ABBYY.
🤖 «Системный Блокъ» @sysblok
В продолжение темы. С огромным интересом слежу за тем, что Nvidia и Китай делают в области человекоподобных роботов. Есть, конечно, шумный Маск со своими Оптимусами, но пока там все негромко (кроме самого Маска, конечно). А вот вполне вызывающие игры Хуанга со словами “Building foundation models for general humanoid robots is one of the most
exciting problems to solve in AI today. The enabling technologies are coming together for leading roboticists around the world to take giant leaps towards artificial general robotics,” — настойчиво напоминают, что не AGI единым;)
А Китай, как известно, собрался запускать массовое производство таких роботов аж в 2025, и это не опечатка.
И вот свеженькое: “…like electric cars, AI-powered humanoid robots will soon become affordable enough to reside in everyday homes and workplaces” — слова VP of Omniverse and Simulation Technology из Nvidia.
“I believe that they’re going to become so common, they’ll be like our cell phones,” — смелый, но увлекательный прогноз, похлеще обещаний стартаперов, потеющих над очередной носимой ИИ-штучкой:)
https://www.techradar.com/pro/ai-powered-humanoid-robots-are-closer-than-we-think-says-nvidia-exec
Немного унылый - и как раз поэтому впечатляющий своей будничностью кейс использования разных генеративных инструментов в пайплайне подготовки традиционной рекламной кампании. На фестивальную рекламу результат и близко не тянет, зато:
1. весь процесс создания рекламной кампании от придумывания концепции до получения готовых к размещению материалов занял 4 недели. Поскольку не стояла задача использовть ИИ там, где люди еще лучше справляются, первые три недели в основном трудились люди, а доставшаяся ИИ работа была выполнена за неделю безо всякой спешки (в традиционной версии с белковыми креаторами аналогичные компании занимали 3-4 месяца).
2. Расходы составили примерно на миллион долларов меньше, чем если б то, что делала связка Sora, Runway, Midjourney, Topaz Labs и Adobe’s Photoshop и Premiere делалось без ИИ-инструментария опытными людьми. Не то, чтоб кто-то кого-то заменил, но расходы на ФОТ сократили изрядно.
Самое важное в этом кейсе в том, что не стояла задача поразить инновационностью, внедрить ИИ ради внедрения или реализовать прежде нереализуемое. Нет, нужно было сделать обычную работу максимально эффективно с точки зрения стоимости и длительности.
И вполне норм получилось.
https://www.marketingdive.com/news/atera-video-ad-campaign-entirely-gen-ai/730469/
Кай-Фу Ли объявил войну Nvidia и всей ИИ-экосистеме США.
И судя по его последним достижениям, шансы победить есть.
Потрясающе интересное выступление китайского ИИ гуру Кай-Фу Ли будут теперь долго обсуждать. Это абсолютно революционное выступление, прозвучавшее на закрытой дискуссии Collective[i] Forecast, Ли посвятил трем темам.
1. ИИ-экосистема США (основа мировой ИИ-экосистемы) «невероятно больна». Её необходимо кардинально перестроить, иначе на реальном (практическом) прогрессе ИИ можно ставить крест.
Сегодня ИИ-экосистема состоит из Nvidia и мелких производителей ИИ чипов. При этом производители чипов для ИИ зарабатывают сейчас в год $75 млрд, а вендоры ИИ-инфраструктуры – лишь $10 млрд и вендоры ИИ-приложений — лишь $5 млрд».
«Если мы продолжим работать в этой перевернутой пирамиде, это станет проблемой» — сказал Ли. Т.к. это беспрецедентный переворот в экономике классической технологической отрасли. Традиционно производители приложений получают больше, чем поставщики чипов и систем (напр. Salesforce, внедряя CRM, получает куда больше, чем Dell и Intel, производящие компьютеры и чипы для запуска CRM в облаке)
Оздоровить ИИ-экосистему может лишь создание ИИ-компаниями собственных вертикальных интегрированных технологических стеков, как это сделала Apple с iPhone. Только так станет возможным значительно снизить стоимость генеративного ИИ.
2. Главным направление в разработке моделей должно стать снижение стоимости вывода – это самое важное для создания востребованных бизнесом приложений с ИИ.
Сегодняшняя стандартная стоимость сервиса типа GPT-4 составляет $4,40 за млн токенов. Это эквивалентно 57 центам за запрос —и это непростительно дорого, ибо поисковый запрос в Google (без всякого ИИ) обойдется в 180 раз дешевле.
3. Вторым важнейшим направлением в разработке моделей должен стать переход от универсальных базовых моделей к «экспертным моделям».
Бизнесу нужны не универсальные модели, обученные на океанах неразмеченных данных, собранных из Интернета и других источников. Подход «экспертных моделей» подразумевает создание множества нейронок, обученных на отраслевых данных. Это может обеспечить достижение того же уровня «интеллекта», что и универсальная базовая модель, при использовании гораздо меньшей вычислительной мощности.
Самое потрясающее, что все 3 пункта – это не предложения, основанные на предположениях. Стартап Кай-Фу Ли «01.ai» уже делает все это на практике.
И не просто делает, а уже добивается уникальных результатов.
• Их новая модель Yi-Lightning занимает 6-е место в мире (выше выпущенной 5 мес назад GPT-4o). Но при этом это очень маленькая модель, которая чрезвычайно быстра и недорога (всего $0,14 за млн токенов ). Её производительность сопоставима с Grok-2. Но она обучалась всего на 2000 H100 в течение 1 месяца. Что демонстрирует ненужность 100 тыс H100 и ярдов затрат (обучение Yi-Lightning стоило всего $3 млн).
• 01.ai применяет «экспертный» подход к сбору данных. И хотя «инженерам приходится проводить массу неблагодарной черновой работы» по маркировке и ранжированию данных, но – как считает Ли, - Китай с его резервом дешевых инженерных кадров может сделать это лучше, чем США.
• И даже в создании собственного вертикального интегрированного техно-стека есть прогресс. Напр, за счет использования собственных аппаратных инноваций, стоимость одного запроса к ИИ-поисковику BeaGo составляет всего около 1 цента (что приблизилось к стоимости запроса Google без всякого ИИ)
И еще 3 цитаты Ли:
Сила Китая не в том, чтобы делать лучшие прорывные исследования, которые никто не делал раньше, с бюджетом без ограничений. Сила Китая в том, чтобы построить хорошо, быстро, надежно и при этом дешево.
Для предприятий новое поколение ИИ станет их мозгом, а не периферийными приблудами. Для нефтяных компании ИИ будет добывать нефть. Для финансовых — зарабатывать на деньгах.
Для потребителей сегодняшняя модель смартфона, скорее всего, исчезнет.
А ведь еще 1.5 года назад Ли предупреждал - Китай не станет догонять США в ИИ, а сразу пойдет на обгон.
#ИИгонка #Китай