-
Первый журнал о Data Science | Machine Learning | Big Data | Deep Learning | Neural Networks По вопросам сотрудничества: @v2r8n
10 миллионов долларов достанется тому, кто научит LLM решать математические задачи на уровне победителей уровне IMO (International Mathematical Olympiad).
Сейчас на Kaggle проходит соревнование AI Mathematical Olympiad, участники которого пробуют заставить модели решать задачи уровня олимпиады старших классов на уровне человека. Gemma, например, выбивает accuracy меньше 2%.
Соревнуются уже более 10к участников. Только учтите: если вы после прочтения поста пойдете участвовать и выиграете 10 🍋, с вас процент.
Мы, кстати, подобрали интересные исследования по теме мат. рассуждений LLM, которые можно почитать уже сейчас:
▪️Llemma – LLM для математических задач. Недавно выпущена учеными из Принстона. Обучена на миллионах образцов кода и статей, на 4-shot решила 43% задач из MATH.
◾️MathBERT для анализа математических формул.
◾️Minerva от Google. Долгое время эта модель оставалась SOTA. Основной вывод статьи - дело в данных.
◾️Knowledge Processing Unit от Maisa. Хитрая архитектура, сильно повышающая способности модели решать сложные многоэтапные, в том числе математические, задачи.
◾️Китайский DeepSeekMath. Самая свежая модель из перечисленных. Воспользовавшись выводами Google о данных, исследователи придумали изящный способ составления корпуса, прикрутили RL, и получили новую SOTA.
Закрывает личный гештальт после истории с пуховиком 🙊
Папа Римский поедет на саммит по безопасности, чтобы обсудить с большой семеркой риски использования ИИ. Предположительно, на этот раз на нем не будет пуховика Balenciaga.
Not swaggy
О политике
Громкие новости: вчера министерство внутренней безопасности США запустило новый совет по безопасности и защите в использовании ИИ. Целью является создание стратегий по управлению ИИ, которые могут предотвратить всякие возможные негативные последствия для человечества.
Пригласили всех именитых: CEO OpenAI, NVidia, Microsoft и тд. Хотя… всех, да не всех. Посмотрите внимательно на список наверху. Замечаете странное?
Да, в нем нет Илона Маска и Марка Цукерберга. Очень странно, не правда ли? Ведь они оба – одни из ключевых стейкхолдеров ИИ.
Сообщество отреагировало на такой выпад крайне негативно. Некоторые заметили, что в совете вообще нет ни одного влиятельного человека из опенсорса.
«Это равносильно тому, чтобы создать совет по сохранению окружающей среды, состоящий из нефтяных магнатов».
❗️Хотите узнать о различных движках ClickHouse и как правильно их применять для построения DWH?
Присоединяйтесь к бесплатному практическому уроку «Движки таблиц в ClickHouse» от OTUS!
После урока вы расширите свои знания о движках ClickHouse, научитесь выбирать подходящий движок для своего проекта и улучшите процессы агрегации данных в вашей системе.
На вебинаре разберем:
- движки семейства merge tree;
- способы агрегации данных;
- движки семейства log;
- движки хранения в памяти: memory и buffer.
🔴Урок пройдет 6 мая в 20:00 мск и будет приурочен к старту большого курса «Data Engineer». После вебинара вы получите специальную цену на обучение и персональную консультацию от наших менеджеров!
Пройдите короткий тест прямо сейчас, чтобы посетить бесплатный урок: https://otus.pw/80TQ/Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
Погнали с нами в летнюю школу от НИУ ВШЭ?
Представьте: вы, белые ночи, Питер, лекции о машинном обучении от топового вуза. Вы прошли отбор и получили доступ к пяти крутым курсам:
- Введение в NLP
- Advanced NLP
- Computer vision
- Speech Recognition
- Music and signal processing
Разбираемся с файн-тюнингом, многозадачностью и вот этим всем
Последнее время на собеседованиях набирает популярность вопрос: объясните, чем отличаются Transfer learning, Fine-tuning, Multi-task learning и Federated learning? А что у них общего? Давайте ответим вместе.
Завезли PyTorch 2.3!
В релизе зафиксировано 3393 изменений. Вот блогпост с их подробными описаниями. Основное:
– Поддержка пользовательских Triton ядер в torch.compile. Позволяет переносить кастомные ядра без потери производительности.
– Представили Tensor Parallel API, с помощью которого можно еще эффективнее обучать LLM.
– Добавили полуструктурированную разреженность на матрицах (torch.sparse.SparseSemiStructuredTensor), которая ускоряет операции умножения. Кайф для квантования.
Офис OpenAI посетил сам Дженсен Хуанг, президент Nvidia. Все для того, чтобы доставить новенький суперкомпьютер Nvidia DGX H200.
Читать полностью…
Хорошая возможность заявить о себе перед научным сообществом
Открыт приём заявок на публикацию в журнале «Доклады Российской академии наук. Математика, информатика, процессы управления» и его англоязычной версии Doklady Mathematics. В рамках ежегодной международной конференции по искусственному интеллекту AI Journey 2024 выйдет специальный выпуск журнала и там же, на конференции, можно будет представить свою статью перед коллегами.
В открытом отборе научных статей по AI/ML можно поучаствовать, подав заявку до 20 августа. Важный момент: ваша работа должна содержать ранее не опубликованные материалы. Оформлена она может быть как на русском, так и на английском. Лучшая статья получит 1 млн рублей! Узнать подробности и подать заявку можно здесь.
Миллион на дороге не валяется, да и возможность представить свои исследования перед мировым научным сообществом тоже не каждый день выпадает.
Llama3 8b уже запускают (видео 1) и файнтюнят (видео 2 с использованием LoRA на MLX) на айфонах. Без интернета, на чистых мощностях телефона.
Скоро у них руки и до нового малыша phi-3 дойдут. Подробнее об этой модели мы рассказывали вчера.
Любителям визуализаций: продолжаем серию красивых графиков, посвященных LLM
На этот раз у нас количество параметров. Оцените разницу между GPT3.5 и GPT4. На график скоро можно будет дорисовать:
Amazon Olympus 2 - обещают в августе 2024
Grok 2 - 2025
Llama 3 405B - все еще тренируется
Gemini 2 - ноябрь 2024
GPT-5 - soon…
График с длиной контекста, ценой и рейтингом на чат-бот арене
График со стоимостями обучения
Microsoft опубликовали Phi-3
Всего там три модели: mini (3.8B), small (7B) и medium (14B). Самая интересная из всех – mini. Эта крошка сравнима со старой версией GPT-3.5, Llama-3 8b и Mixtral 8x7b.
На бенчмарке MT-bench, который мы вчера обсуждали, моделька выбивает аж 8.38! При этом модель настолько мала, что ее можно запускать даже локально на телефоне. Тех.репорт про Phi-3 так и называется: A Highly Capable Language Model Locally on Your Phone.
Как говорят сами ученые: «The innovation lies entirely in our dataset for training». То есть, такого результата удалось добиться только за счет грамотной доработки и фильтрации данных, на которых училась предыдущая модель phi-2. 👏
Erid: 2VfnxwWrZqi
Друг прислал тебе видос со сказочного Бали, но с локацией «Мытищи»? Проверь, не дипфейк ли это (и расскажи ему потом, где он прокололся).
Даже если не знаешь, как это сделать, не страшно. Недавно в канале @Positive_Technologies видели пост, где про это писали. Удобно — с карточками, чтобы сразу можно было сравнить.
У них там много полезного про кибербезопасность и цифровую грамотность, подпишись на всякий.
Друзья, а что лица у всех такие грустные? Доброе утро, сегодня прекрасный рабочий день! 🌸🌹
Как вам шестидневка?
❤️ - жить можно
🌚 - не моё
Помните тот сгенерированный SORA фильм про человека с воздушным шаром вместо головы?
Так вот, тут всплыло, что не все так радужно. Оказывается, специалистам пришлось нехило поработать над тем, что выплюнула SORA, прежде чем это превратилось в то, что мы видели.
В «голых» выхлопах постоянно менялся цвет шара, на шаре появлялось лицо, или у человека вообще появлялась возникала голова.
В общем, кажется в SORA еще есть, над чем работать. Надеемся, обещания Миры Мурати о появлении SORA в общем доступе в этом году не были пустыми. Очень хочется уже потрогать модель своими руками.
Учитель физкультуры школы округа Балтимор в США пытался подставить директора с помощью ИИ
Он клонировал голос директора и сгенерировал запись, где тот делает расистские и антисемитские высказывания. А все потому, что директор начал расследование по поводу нецелевого расходования средств школы.
Пока неясно, какую именно модель использовал физрук, но попытка была хороша.
Аккуратнее с ними: Llama-3 знает ваше местоположение, но не признается в этом
Блоггер спросил у Llama-3, где находится ближайший к нему МакДональдс, и получил верные координаты.
После этого он стал спрашивать у модели, откуда у нее эта информация, в ответ на что получил очень правдоподобное (нет) и настойчивое вранье о том, что никакую геолокацию она не знает, а верный ответ… просто угадала.
Неловко получилось.
Телеграм-канал для ML-специалистов от Яндекса
Yandex for ML — канал для ML-инженеров от Яндекса. Рассказываем, как мы обучаем наши модели и интегрируем их в продукты, как делаем сервисы с архитектурой сразу из нескольких нейросетей, как обучаем модели для специфичных задач и многое другое.
Подписывайтесь 👉 @Yandex4ML
⚡️Apple выложили в открытый доступ ИИ-модели, которые, предположительно, будут использоваться в новой iOS 18.
Кстати, компания выложила не только модели, а вообще все, что с ними связано — так они надеются ускорить подготовку ИИ к релизу, а заодно завоевать доверие публики. Все модели предназначены для локальной работы, а самая большая из них, OLMo, обучалась аж на 3 миллиардах токенов.
@xor_journal
🔥 Это база с 1900 c вопросами с собеседований по анализу данных, машинному обучению, sql. Фишка в том, что вопросы разбирают эксперты, которые сами проводят собесы и дают примеры правильных ответов. Вы легко получите оффер, изучив популярные вопросы 💼
Читать полностью…
В Photoshop только что вышел Firefly 3. Можно догенерировать что угодно в любом месте на фото, поменять фон, одежду, удалить что-нибудь и так далее.
Помимо обработки, Firefly умеет генерировать изображения с нуля. В сообществе уже сравнили эту способность модели с предыдущей версией и MidJorney. Давайте сравним и мы 👇
Как болтали первые языковые модели
Самой древней языковой моделью (1966) считается ELIZA, которая, ориентируясь на ключевые слова, имитировала психотерапевта. Точнее, она просто задавала уточняющие вопросы. Например: "Я расстроен" – "Почему ты расстроен?". Все было запрограммированно по шаблону.
В 1972 в пару к ELIZA появился PARRY, который также был шаблонным, но "обучен" был моделировать поведение параноидального шизофреника – уклоняться от ответов и переводить тему.
А потом... ELIZA и PARRY поговорили. Представляете этот диалог? Хотя и представять не надо – его фрагменты можно найти здесь. В конце не хватает только "Спасибо, с вас 10 тысяч".
Люди: LLM – это очень опасно, они могут уничтожить человечество
Тем временем LLM:
Погружение в 3D компьютерное зрение
А вы тоже в последнее время начали замечать какой-то бум с 3D CV? Везде какие-то новые инструменты, статьи, разработки.
Вот чем можно заниматься, если добавить третье измерение в привычное CV:
– строить карты для роботов
– создавать цифровые аватары людей
– создавать 3D модели чего угодно по фото
- какие задачи решают в 3D
- почему таких задач становится больше
- с чего начать погружение в эту область
- почему CV-инженеру важно знакомиться с 3D
- что такое SLAM, SfM, SMPL, NeRF, 3D Gaussian Splatting и другие баззворды
🐝
Прямо сейчас где-то в офисе Meta, где все еще тренируется Llama-3 на 400b параметров:
Читать полностью…
И снова Google удивляет нас статьей. На этот раз они придумали ScreenAI для работы с UX продукта
Сеточка умеет все, что касается работы с интерфейсами и инфографикой. Может ответить на вопрос, настраивать навигацию, суммаризовать, аннотировать элементы и вот это все.
🟣Зачем они это делают? Сейчас ИИ-ассистенты вроде Siri работают с командами типа "позвони" только по четкому алгоритму, и не умеют справляться с ранее неизвестными интерфейсам. То есть, способность модели понимать UX и "пользоваться" сайтами и приложениями может стать ключевой вещью при внедрении ИИ в смартфоны.
🟣Как это работает? В два этапа - претрейнинг и файнтюнинг. На pt применяется self-supervised learning для генерации меток данных (внутри ViT), которые затем тюнятся на ft на данных, размеченных человеком.
Пока что это просто ресерч проект, и сеточка недоступна для пользования. Надеемся, она поможет компании сделать новый Google Pixel 9 еще ИИнтереснее.
«Я думаю, опенсорсить LLM – это как опенсорсить ядерное оружие»
Вот такое внезапное заявление от небезызвестного Джеффри Хинтона. Он призывает правительство запретить модели с открытым исходным кодом.
При этом близкий друг Хинтона, Ян Лекун, напротив, выступает в поддержку опенсорс.