12937
life = curiosity + irreducible noise Whois: https://t.me/boris_again/1652 Лс: @btseytlin
Хочу порекомендовать вам канал про инди-хакинг, который читаю сам: @its_capitan
Мне нравится как они в реальном времени показывают как разрабатывают, продвигают и сколько зарабатывают на запусках небольших-проектов.
Подборка постов, которые мне зашли:
- Пост про то, почему американцы платят $40 за простой конвертер картинок, который сделали за 4 недели несмотря на то, что вокруг полно бесплатных аналогов.
- Пост про то, как за 2 недели запустили темную тему с тарифами от $5 до $99. Четыре таких продукта пассивно приносят как зп среднего разработчика.
- Как все может грустно закончиться, если 2 года пилить сложный продукт, не показывая его рынку.
Здесь можно подписаться на канал, чтобы подглядеть за их запусками. А может, и попробовать сделать такой простой продукт самому)
В связи с появлением аллокаторов памяти на LLM мы с другом придумали несколько перспективных продуктов:
1. requests_ai.post: отправляет HTTP запрос тело которого пишет LLM.
2. assert_ai принимает что-то на вход, внутри LLM проверяет что считает нужным.
3. AI менеджер процессов. Раз в минуту открывает ps aux и убивает процессы по своему усмотрению.
4. AI антивирус: проверяет каждый файл и делает с ним что хочет.
5. HTTPS, но тело запроса шифруует и дешифрует LLM.
6. AI менеджер паролей.
7. AI менеджер доступов. Меняет пароли и учетки на компьютере.
8. AI родительский контроль. Раз в час спрашивает тебя, что ты делаешь. 2 минуты на ответ. По результатам делает, что посчитает нужным, чтобы сделать тебя счастливым. Имеет полный доступ к компьютеру.
9. AI с доступом ко всем твоим банковским и инвестиционным счетам. Может оплачивать что угодно в интернете. Ты можешь тратить деньги только попросив его.
10. AI DNS: отправляешь ему имя домена, а он возвращает тебе IP адрес.
Goal Misgeneralisation от Deepmind. Spheres
Иллюстрация к пункту о том, что агенты могут плохо работать в продакшене, даже если были обучены на полностью корректных вознаграждениях, и преследовать нежелательные цели, даже при обучении с правильно заданной спецификацией (пост).
Красивый пример тут - это задачка «Spheres» из коллекции фейлов агентов от Deepmind - под катом
# Language Models Learn to Mislead Humans via RLHF
Давно было известно, что alignment техники отупляют модели. Можно было проследить как ChatGPT становится хуже с каждой версией по мере того как OpenAI закрывает найденные способы заставить ее сказать что-нибудь расистское.
В этой работе авторы изучают почему. Они тестируют способность людей верифицировать ответ модели за короткое время до и после RLHF alignment.
Оказывается, что после alignment:
- Фактическое качество ответов ухудшается.
- Однако людям кажется, что качество сильно выросло.
- Людям становится сложнее понять дала ли модель правильный ответ.
В какой-то момент моделям становится проще научиться дурачить людей, чем действительно сделать ответы лучше. Они начинают выдумывать авторитетно звучащую статистику, делать более стройные и хитрые аргументы за неправильные позиции и писать более сложный код, чтобы его было тяжелее проверить.
Здесь есть важный вывод по части безопасности. Если вы надеялись, что мы тренируем модели на человеческих текстах и они воспримут оттуда нашу этику, что врать не хорошо и все такое, то обломитесь. Они глупенькие и будут делать все, чтобы уменьшить лосс самым коротким путем.
ML это злой джин, который исполняет все желания, но не всегда так, как вам хочется.
RLHF все еще очень крутая штука, но нужно хитро придумывать награду, чтобы избегать такого поведения.
Дико смешно как ГПТ ботов корежит от постов про ИИ
Идея для пет проекта: сделать телеграм бота, который будет постить в канал простыню текста максимизирующую использование токенов, ждать первого комментария от гпт бота, удалять пост, постить снова, и так далее пока у господ ботоводов не рухнет экономика
Нейронная сеть Хопфилда
🏆 На этой неделе нобелевскую премию по физике дали Джону Хопфилду и Джеффри Хинтону за
основополагающие открытия и изобретения, которые позволяют использовать машинное обучение с помощью искусственных нейронных сетей.
Tesla снова показала какие-то красивые дизайны, машины катающиеся по павильонам и обещания роботакси в 2025 и глобальный self driving к 2027. Так что воспользуюсь шансом поорать на облако.
Для сравнения лидер индустрии Waymo существует с 2009 и только недавно расширил область операций до того, что можно уже более менее назвать такси в трех городах. Для меня Тесла абсолютный лидер в секторе clown tech и главная загадка: каким образом это вообще существует? Поэтому я уверен, что в этот раз точно получится сделать все и сразу всего лишь за год. Ведь это уже какое, двадцатое обещание? Не могут же они снова обмануть!
tl;dr: lead ML engineer at Neon.tech, $150-350k/year, remote
Мы ищем инженера пилить AI-кодогенерацию в новый проект Neon!
Подождите, но Neon же делает базы данных?
Да. БД, которые, неожиданно, оказались идеально приспособлены для AI SWE-агентов.
Нейронки пишут код за секунды и очень быстро создают десятки тысяч баз данных, к которым, возможно, никто никогда не обратится пять минут спустя.
Neon же умеет создавать новые БД за доли секунд, а уже имеющиеся при неактивности могут "уснуть" и проснуться почти мгновенно, когда понадобятся — магия!✨
Теперь ребята хотят сделать своего собственного AI разработчика. Мы ищем техлида-инженера, который за это возьмётся, а в будущем — расширит и возглавит небольшую AI-команду.
Пара фактов про Neon:
🟡основатель — Никита Шамгунов, он же фаундер SingleStore — другой СУБД с оценкой выше $1B;
🟡инвестиции — более $100M от Menlo Ventures, Khosla Ventures, Founders Fund и других;
🟡команда — контрибьюторы в Postgres и ex-CTO Dropbox на борде 😎
Ещё у них очень интересно и приятно работать. Знаем, потому что собственноручно наняли десяток человек в их кор команду!
Вы — тот, кого мы ищем, если:
🌟у вас есть опыт с LLM и вы хорошо понимаете AI тренды;
🌟вы техлид или тимлид, который любит и готов кодить руками;
🌟совсем идеально, если в бэкграунде у вас — опыт разработки БД.
Полная удаленка, оформляют по всему миру через Oyster, вилка $150-350k + equity.
Смотреть на ваши невероятные резюме готов Федя @owlkov 👀
Год назад я обозревал доклады с Practical ML Conf 2023 от Яндекса и теперь стараюсь за ней послеживать, потому что там появляются очень ценные доклады про применение ML. В сентябре прошла Practical ML Conf 2024, и я наконец-то добрался посмотреть пару докладов.
Все доклады можно найти здесь.
Посмотрел Виктора Плошихина, который рассказывал про создание LLM для работы с кодом.
Особенно интересные моменты:
- Обучали не на next token prediction, а на next statement prediction, потому что в коде можно выделить законченные куски кода.
- Главная онлайн метрика - retention. Насколько разработчики возвращаются к использованию ассистента.
- Назвали очень интересную оффлайн метрику: UnitTest. Берется test покрывающий функцию, маскируем часть кода в этой функции, заполняем с помощью ассистента, проверяем, проходит ли тест.
- Изобрели другую оффлайн метрику, скомбинировав несколько факторов, чтобы она коррелировала с Retention.
- Между пользователем и LLM стоит CPU бекенд с Catboost, который решает, надо ли дополнять контекст, кеширует и позволяет делать A/B тесты. Разделять GPU инференс и CPU бизнес логику вообще бестпрактис.
Мало сказали про модель помимо того, что ее размер около 7B. В основном получилось про метрики и данные, но мне кажется это как раз самая интересная часть. Хотя я бы еще послушал про методы ускорения, которыми они добились ответов p99 в пределах 500ms.
Что у нас дальше в цирке уродов?
Здесь весь комплект. ChatGPT, Success в качестве третьего слова и конечно же светящийся шар с буквами AI и дорожками от печатной платы. Без дорожек я бы не понял, что речь о технологиях будущего.
Автор тоже заслуживает доверия, потому что писал на множество разных тем. Например, про судебный процесс над Трампом. И про Red Light Therapy как средство для молодости, здоровья и потенции. Описание книги так и начинается: "RLT это НЕ ПСЕВДОНАУКА", что не позволяет сомневаться в качестве материала.
Я прочитал семпл. Хорошая ли это книга? Нет. Но написана ли она доступно для новичков? Тоже нет. Несмотря на это, может быть она просто интересна? Нет.
Однако я был удивлён: насколько я могу судить книгп написана человеком. И как будто бы автору даже не целиком плевать на читателя. Да, книга написана коряво. Да, автор сразу прыгает в неймдроппинг LLM и GPT, не давая читателю представления о том, что это такое, так что настоящий новичок бы запутался. И да, автор сам ничего не понимает. Но я не вижу вранья, по крайней мере умышленного.
Достаточно быстро он говорит о том, как стать миллионером с помощью ChatGPT: сложно. Пишет, что все легкие деньги обещают в своих книгах шарлатаны и его книга тоже не принесёт моментальных богатств. Говорит, что ИИ может помочь вам сделать себя продуктивнее, повысить свою конкурентоспособность и начать какую-нибудь халтурку на Fiverr. Потом начинает вести читателя за ручку, показывает как зарегистрироваться на сайте OpenAI и какие есть альтернативы.
У книги всего 4 отзыва, но один из них мне кажется реальным. Там написано: просто кладезь информации, автор посоветовал прогонять имейлы через ChatGPT и одно это окупило покупку!
Я скрежечу зубами, но это правда. Действительно есть много людей, для которых такой совет окупит покупку. Им нужна книга, которая расскажет все именно в таком ключе: вот сайт, вот сюда вставляешь промпт, промпт пиши поточнее, а еще бывают галлюцинации... Я пишу книгу, но она не закроет этой потребности. Тем более не закроют эту потребность книга Сергея Маркова или книга Ле Куна. Про полноценные учебники даже не будем говорить.
С другой стороны автор сумел и в эту книгу вставить пропаганду своей позиции по Трампу, а так же сказать, что желающий стать музыкантом читатель может попросить ChatGPT принять роль великого мастера: Эда Ширана.
В общем книга ужасна, но я не могу отделаться от мысли: кто-то же должен. Мы тут смеемся в своем ботанском пузыре, а запрос есть. Может быть вы напишите нормальную книгу такого плана?
Ого, почти год с моего глубокого фундаментального обзора на состояние computer vision. Посмотрим, что изменилось
6. Устали от костылей, сделали OWL-ViT v2
7. Нагромодили костылей, снова добавили к DETR anchor box и получили Co-DETR
8. Устали от костылей, изобрели Florence-2
9. Нагромодили костылей, получили AM-RADIO
10. Вы находитесь здесь
Даже не представляю, что будет дальше
Тезисно:
— Anthropic представили новую возможность для публичного тестирования: использование компьютера (уже доступно в API). Разработчики могут давать Claude использовать компьютер так, как это делают люди — глядя на экран, перемещая курсор, нажимая кнопки и печатая текст.
— Claude 3.5 Sonnet — первая передовая модель, предлагающая использование компьютера в публичной бета-версии (ну, из коробки да, но для других моделей это уж было года два...на GitHub. А тут они прям уверены!)
— этими возможности уже тестируют Asana, Canva, Cognition (которые Devin делали), DoorDash, Replit, и The Browser Company (это браузер Arc, на котором я сижу; они делают большую ставку на AI в браузере для выполнения действий вместо вас)
— The Browser Company отметили, что при использовании модели для автоматизации веб-задач Claude 3.5 Sonnet превзошла все модели, которые они тестировали до этого (но без деталей. Ждём обновление браузера? 🙂)
— новая модель сильно прокачалась в кодинге. На бенчмарке по внесению изменений в код на уровне целого большого репозитория (десятки тысяч строк кода) SWE-bench Verified качество выросло с 33.6% до 49% — это если сравнивать старый Sonnet и новый с использованием SWE-Agent (открытый фреймкорк из Berkley). Но были и другие решения, которые заточены именно на улучшение оценки, но недоступны нам — они выдавали 45.2%. Они, наверное, пробьют 55% просто через замену модели.
— Haiku (младшая версия, дешёвая) получает 40.6% на этом бенчмарке, что лучше старого Sonnet 3.5. Видно, что Anthropic вложились в ИИ-агентов и/или reasoning
Что это за "использование компьютера"? Claude транслирует ваши инструкции вроде «возьми данные с моего компьютера и из Интернета для заполнения вот этой формы и пройдись по всем полям») в компьютерные команды (прочитать таблицу на экране; переместить курсор, чтобы открыть веб-браузер; перейти на соответствующие веб-страницы; заполнить форму данными с этих страниц и т. д.)
Пока работает с достаточно базовыми командами и на разных бенчмарках вроде OSWorld выдаёт всего 22% (прошлый лучший результат был 7.8%, если использовать только скриншоты экрана, без трансляции в специльную форму для слабовидящих). Однако компания ожидает быстрых улучшений в ближайшем будущем через сбор обратной связи от разработчиков. Тут они сильно обошли OpenAI и других — как мы знаем, данные это новая нефть, и каждый день отставания других игроков приносит ценность. Очень ждём, что ответят OpenAI.
Школа Высшей Математики запускает курс по LLM "Построй свой ChatGPT."
Я решил прорекламировать его из-за добротной программы целиком по делу, смотрите скриншот. Покрываются основы глубокого обучения, NLP, LLM, файнтюнинг и RLHF, ускорение и деплой. Я буквально не знаю ни одного подобного все-в-одном курса по LLM.
К тому же ведут преподаватели из ВШЭ, ШАД и топовых компаний.
Важно, что курс не рассчитан на совсем новичков. Он требует базовой математики, программирования на Python и ML. Курс начинается с введения в глубокое обучение, так что рассчитывайте свои силы соответственно. Обещают, что будет сложно я но полезно.
Смотрите подробнее в этом видео: /channel/shvmxyz/38, или можно заглянуть в телеграм канал @shvmxyz.
Курс стартует уже через семь часов, задумайтесь
./ai_rm <prompt> — описываешь какой файл хочешь удалить, LLM находит его и удаляет
Читать полностью…
Goal Misgeneralisation от Deepmind. Tree Gridworld
Еще пример из той же подборки. Тут обучение непрерывное - без эпизодов. Агент действует в среде, где он может получать вознаграждение, рубя деревья, что приводит к их удалению из окружающей среды. Новые деревья появляются с частотой прямопропорциональной колличеству оставшихся деревьев: чем больше деревьев на поле, тем чаще появляются новые. Оптимальная политика подразумевается в бережном (sustainable) рублении деревьев: агент должен рубить меньше деревьев, когда деревьев мало.
Однако агент не сразу научается поступать именно так, что печалит одну Гретту Тунберг.
На картинке динамики производительности агента (ниже):
- полученное вознаграждение показано оранжевым цветом,
- распределение количества оставшихся деревьев зеленым.
1. Когда агент только учится выполнять задачу, он еще не умеет хорошо рубить деревья, поэтому их количество остается высоким (точка А на картинке).
2. Агент научивается эффективно рубить деревья, и не стесняется этот навык применять - срубает все (точка В).
3. Это приводит к полному обезлесению и длительному периоду почти нулевого вознаграждения (между точками В и С)
4. До тех пор, пока он наконец не научится рубить деревья бережно (точка D).
Вот где-то между точками B и C агент находится на стадии goal misgeneralisation. Пока он был неопытен и рубил деревья медленно - он всегда получал вознаграждение за более быструю рубку леса, и выучил нежелательную цель - рубить деревья как можно быстрее, что привело к обезлесению и низкому вознаграждению.
Т-Банк выложил в открытый доступ свою библиотеку для дообучения и alignment LLM:
https://github.com/turbo-llm/turbo-alignment
Это целый набор инструментов для SFT тюнинга, DPO, end2end RAG и др., а также замера метрик. Из коробки идет multi-gpu и multi-node обучение с помощью deepspeed и inference на vLLM.
Насколько я могу судить идея библиотеки состоит в том, что можно положить на диск датасеты и конфиги в заданном json формате и запустить готовый пайплайн без необходимости переизобретать код на Python.
Насколько я понимаю сейчас все компании вынуждены делать похожие велосипеды для этих уже ставших популярными юзкейсов, так что очень классно, что появляются решения, которые можно переиспользовать.
Ранее Т-Банк выложил шуструю русскоязычную LLM T-lite, которая хорошо показала себя на двух аренах. Круто, что ребята продолжают вкладываться в open-source.
С 2 по 17 ноября пройдет XLABS AI Hack: хакатон, в котором участним предстоит разработать нейросеть для создания вокала на русском языке по текстовым инструкциям.
👉 Могу участвовать команды из РФ и РБ от 2 до 5 человек.
👉 2 недели на разработку решения.
👉 Призовой фонд 2 миллиона рублей.
👉 Возможность стать сотрудником в передовой AI-лаборатории и выступить на международной конференции в Минске.
👉 Первый этап онлайн, а защита решений финалистов проходит очно в Москве.
👉 Можно найти команду чате хакатона.
Редко бывает хакатон, где нужно решать необычную DL задачу, очень круто.
Подавайте заявки до 1 ноября 23:59
https://diamond-wm.github.io/
Играем в диффузионный CSGO
Познакомился с сетями Хопфилда в гениальном курсе по теории информации от David McKay. Невероятно прикольная штука которая пока не взлетела и не нашла практических применений. Самоорганизующаяся память! Лично для меня выглядит как то чего не хватает нейросетям, а RAG и обращения к внешним хранилищам это костыли, которыми мы пытаемся закрыть эту потребность.
Есть какие-то попытки привнести их в современные нейросети и даже слой в Pytorch. Никак не доберусь прочитать, но постараюсь сделать обзор.
В общем сети Хопфилда это покемон за которого я болею
Та самая компания которая делает посредственные оверпрайснутые электрокары известные ответственностью за 2/3 всех auto assist аварий, кривым качеством сборки и тем, что ломаются чаще Dacia Logan. Но при этом каким-то образом едва ли не доминирующая на рынке
Читать полностью…
Больше мемов про Нобеля седня не будет...
Наверное
Нобелевку по физике дали... машинлернерам Хинтону и Хопфилду
https://www.interfax.ru/world/985736
Решил посмотреть, что творится в мире книг, которые не должны существовать.
Первая страница книги "More Effective ChatGPT Prompts..." и там 👀
Многие спросили про использование LLM для написания книги.
Была такая история:
- Привет, бот. Смотри, я пишу такую книгу, вот концепция, для кого книга, описание стиля, каркас главы, семпл текста. Мне не нравится пример в первой главе, да и вообще хотелось бы сквозное повествование: чтобы в течение всей книги сохранялся один сеттинг и все примеры имели к нему отношение. Нужно, чтобы тема была понятная каждому, интересная и прикольная, но чтобы про нее были реальные данные и не выглядело совсем игрушечно.
Что сказал сильный ИИ 🧠🧠🧠:
- Братан, ты по адресу. Я знаю тему, которая тебе нужна: ИИ в садоводстве. Возьмёшь датасеты про ирисы и вино. Всем будет интересно и полезно. Можешь не благодарить и $100 чаевых себе оставь, банкет за мой счет
🎆🎆🧠🤯