12937
life = curiosity + irreducible noise Whois: https://t.me/boris_again/1652 Лс: @btseytlin
Не ругайтесь на модели, они волнуются, не могут сосредоточиться и ошибаются👍 🥺 🥺
Читать полностью…
Привет, друзья!
Мы открыли набор задач для IOAI 2025 (международной олимпиады школьников по искусственному интеллекту, где в прошлом году победила российская команда).
У вас есть уникальный шанс привнести что-то невероятное и заставить лучшие умы человечества (в своей возрастной категории) поломать голову над вашей задачей 🤔🧠 (я там был — ощущения незабываемые🔥)
Авторов лучших задач, кроме всемирной славы, ждем на самой олимпиаде летом 2025 в Китае 🇨🇳 (жильё обеспечим, билеты — за ваш счёт, хе-хе).
💡 Что нужно для подачи: описание, датасет, бейзлайн, метрики, карточка задачи.
📊 Как мы выбираем: задача должна быть:
- не решаемой "в лоб",
- с несколькими трюками и частичными решениями,
- быстрой и оригинальной,
- образовательно ценной.
⏳ Дедлайн: 31 января 2025.
Если есть сомнения или вопросы, пишите мне лично — я с радостью помогу и отвечу! (отвечаю за задачи на следующей олимпиаде)
🙏 И пожалуйста, поделитесь этим постом или ссылкой со своими академическими и индустриальными друзьями! Уверен, среди них есть неравнодушные люди ❤️
Кто-нибудь пробовал посмотреть, что предлагают эти шлюхоботы из комментариев? Действительно интересно зачем они спамят каналы про ML и в чем уникальное коммерческое предложение
Читать полностью…
Минутка лайфстайл блога (моего кота). Мы с женой впервые вывели Тумана на прогулку!
Однажды мы с другом поспорили. Я говорил, что кот это не базовая потребность, а роскошь и вообще обязательства. Он говорил, что кот это базовая потребность: непонятно зачем жить если отказываешь себе в такой "роскоши." Чуть больше года назад я завел кота и понял, что друг был прав. По дому ходит какая-то штука и ты любишь её просто за то, что она есть.
С тех пор друг по той же логике еще и ребенка завел, но это я пока не спешу повторять.
https://www.travelpayouts.com/blog/how-to-get-your-content-to-appear-in-chatgpt-search
Вот и SEO оптимизация под LLM поиск подъехала.
Следующий шаг: оптимизация контента сгенерированного LLM под LLM поиск 😐😐😐
# SWITTI: Designing Scale-Wise Transformers for Text-to-Image Synthesis
Yandex Research выпустил text2image генеративную модель Switti: Scale-wise transformer for text-to-image synthesis.
Внезапно это не диффузия, но модель генерит изображения в 7 раз быстрее диффузионок, при этом не теряя в качестве.
Диффузия держит SOTA, однако она медленная. Есть альтернативный подход: авторегрессионные модели, которые генерируют следующий токен (патч или пиксель в латентном пространстве энкодера, например VQ-VAE) примерно как GPT делает слова.
Авторы взяли за основу архитектуру STAR, где следующий токен это не патч, а скейл изображения. В трансформерах ведь можно работать с любыми последовательностями. Так что здесь авторегрессионная модель начинает с маленькой картинки и с каждым шагом генерирует её более крупную и детализированную версию.
Далее авторы применили оптимизации на этапе архитектуры (поправили куда смотрит аттеншн, отключили classifier free guidance для больших разрешений) и тренировки (добавление и отбор капшнов для изображений, регуляризация через добавление шума). Здесь надо читать статью: очень много деталей.
Обучали на внутреннем датасете из ~100M картинок и оценивали как оффлайн (CLIPScore, ImageRe-ward, PickScore, FID, GenEval) так и с помощью кожаных аннотаторов. В итоге модель во всем сравнялась с SD, но генерирует картинки намного быстрее. Если SDXL генерит изображение 512х512 за 0.87s, то SWITTI за 0.13s.
Можно поиграться в демо на HF.
Напоминаю, что до 31 декабря у вас есть возможность податься на стипендию Impact Academy для исследователей AI Safety. Можно подаваться не только с типичным рисерч бекграундом!
Подавайтесь
Особенно меня порадовал момент, когда в первом туториале они говорят, что элайнмент это очень важно, но наша либа позволяет его сломать, смотрите как
Читать полностью…
Nebius такой типа "мы Европейская компания и нам можно доверить инвестиции"
Если серьёзно то поздравляем ребят
# Искусство ходить по прямой
Как по мне можнэество вопросов успеха (успешного), достижений и агентности в целом упираются в способность пройти по прямой.
По крайней мере лично мне не сложно понять, что нужно делать. Кажется, что у меня все хорошо с планированием. Но моя проблема всегда на следующем этапе: сделать. И тут я не могу похвастаться особыми успехами.
Пройти по прямой из точки А в точку Б, то есть взять и сделать то, что ты хочешь сделать, это настоящее искусство. Не сделать вид, что делаешь. Не убедить себя, что ты делаешь. Не сделать все, что мог. Не приложить героические усилия, чтобы сделать. Не выяснить почему не получается сделать. Не научиться делать. Словом, не бродить вокруг, а пройти по прямой. Взять и сделать.
Способность к самосаботажу поразительная штука. Последнее серьезное упражнение в борьбе с этим было когда я на энтузиазме писал статью про прогнозирование ковида. Это была важная для меня тема, ведь я правда думал, что есть мизерный шанс повлиять на принимаемые решения и спасти людей. Но в первую очередь это было личное испытание. Могу ли я сделать что-то сложное, чего от меня никто не ожидает, просто потому, что я так решил? Объективно в той работе не было ничего катастрофически сложного. Проект на три месяца это не самое трудное, что может случиться с человеком. И все же я пронаблюдал весь зоопарк попыток моего разума саботировать работу. Думаю я чаще хотел бросить, чем нет. И это было забавно, потому что рационально я видел только плюсы в том, чтобы этим заниматься, а иррационально все казалось бессмысленным. Один из тех случаев когда чуйка твой враг и вредитель. Я довел то дело до конца и это один из предметов личной гордости.
С книгой я снова в той же ситуации, но сложность выше. Проект на год, гораздо сложнее, есть дедлайн и ответственность, нужно параллельно работать. И снова я вижу одни плюсы в том, чтобы этим заниматься. И снова я отлично знаю, что делать. Все очень просто. Пиши каждый день. В целом книга не многим сложнее чем те эссе на 10 тысяч слов, которые я писал на Сабстек просто для удовольствия.
Я снова вижу путь из точки А в точку Б. И снова мне трудно пройти по этой прямой. Очень быстро я превратил книгу из того, что я делаю для себя, в работу за которую я себя ругаю. И вот я сижу за столом и разговариваю с двусторонней плюшевой осьминожкой в её злом положении, персонифицируя в ней своего внутреннего критика и объясняя ему как пройти далеко и надолго. Напоминаю себе, что книга это классное занятие, которым можно заняться если захочется. Что я буду ценен независимо от того, буду я писать книгу или нет. Словом, убеждаю себя, что не обязательно писать книгу, чтобы стало легче писать книгу. Не самый прямой путь. Хоть и самый рабочий на данный момент.
Вероятно это происходит из-за того, что разные части меня не могут договориться куда надо идти. Думающая часть ясно видит, что надо писать книгу. Что мне хорошо когда я это делаю и что это принесет плоды в будущем. Какая-то другая часть думает, например, что лучше не пытаться, чтобы не разочароваться. И вот мы боремся. Так что если уж я не могу просто идти по прямой, то стараюсь хотя бы в среднем двигаться в нужную сторону.
Я думаю способность ходить по прямой это определяющий фактор. Хороший предиктор успеха в любом деле. Он немного менее важен чем знать куда идти, так как уверенно идти не в ту сторону может быть даже хуже. Но без него дела не делаются. Книга это очередное упражнение в этой способности. Хочется верить, что с каждым таким испытанием открываются возможности делать все более сложные вещи.
Сегодня 1 декабря - день математика, поздравляю всех, кто относит себя к математикам :)
Официально такой профессиональный праздник в России закрепили в этом году. Дата выбрана в честь дня рождения Николая Ивановича Лобачевского, создателя неевклидовой геометрии.
Математический институт им. Стеклова подготовил инфографику со сравнением геометрий.
https://www.reddit.com/r/LocalLLaMA/comments/1gx5kb0/claude_computer_use_wanted_to_chat_with_locally/?share_id=Dhgr4haHfvD7IvZmH_KBW&utm_content=1&utm_medium=ios_app&utm_name=ioscss&utm_source=share&utm_term=1
2024: смотришь как ллмки секстятся
Yandex Cloud запустил AI Assistant API. Это набор инструментов для создания помощников на базе YandexGPT. В отличие от простого вызова генерации LLM этот API из коробки дает возможность хранить историю переписок и делать поиск по базе знаний с помощью RAG.
Причем базу знаний можно сделать довольно масштабной: до 1000 файлов, каждый до 128мб и до 100 поисковых индексов.
Новый сервис закрывает базовый юзкейс диалогового помощника без необходимости заниматься инфраструктурой, писать свои велосипеды или использовать, не приведи Господь, Langchain.
Ищу датасет классификации для про вероятности с прицелом на какие-то прикольные учебные датасеты.
В итоге хочу поделиться списком. Будет полезно для тех, кто делает курсы по ML!
- Fake News
- https://www.kaggle.com/datasets/aadyasingh55/fake-news-classification/
- https://www.kaggle.com/datasets/clmentbisaillon/fake-and-real-news-dataset
- Spam emails https://www.kaggle.com/datasets/ashfakyeafi/spam-email-classification
- Tiktok claims https://www.kaggle.com/datasets/raminhuseyn/dataset-from-tiktok
- Экзопланеты: https://www.kaggle.com/datasets/keplersmachines/kepler-labelled-time-series-data?select=exoTrain.csv
- Credit card fraud: https://www.kaggle.com/datasets/mlg-ulb/creditcardfraud
- Depression detection: https://github.com/rafalposwiata/depression-detection-lt-edi-2022/tree/main
- Soccer database: https://www.kaggle.com/datasets/hugomathien/soccer
- Suicide/Depression: https://www.kaggle.com/datasets/nikhileswarkomati/suicide-watch
- Insurance Fraud:
- https://www.kaggle.com/datasets/ravalsmit/fraudulent-claims-detection-dataset?select=fraudulent_claim.csv
- https://www.kaggle.com/datasets/arpan129/insurance-fraud-detection/data
- Stellar classification: https://www.kaggle.com/datasets/fedesoriano/stellar-classification-dataset-sdss17
- Divorce: https://www.kaggle.com/datasets/andrewmvd/divorce-prediction
Не по классификации, но я считаю надо выделить:
- https://www.kaggle.com/datasets/vipullrathod/fish-market
Предсказание веса рыбы! AI для продажи рыбы на рынке. Разве это не прекрасно? Кроме шуток редко встречаются датасеты где признаки связаны с лейблом по понятным физическим законам. А жаль, ведь это помогает показать как ML аппроксимирует зависимость из реального мира. Обычно для таких примеров я беру вес и рост людей, но это уже заезженно. Вес рыбы намного прикольнее.
Это не оверинжениринг если:
1. Тебе было весело
2. PM не заметил
🌸EAI: эмоциональный интеллект в принятии решений у LLM🌸
#nlp #про_nlp #ai_alignment
Через пару часов — официальное открытие NeurIPS, самой основной конференции по ИИ.
Многие приурочили релизы к её открытию: мы выпустили Llama 3.3, OpenAI выпустил Sora, а Google — Gemini 2.
В этом году я затесалась в соавторы очень интересной, как мне кажется, статьи — EAI: Emotional Decision-Making of LLMs in Strategic Games and Ethical Dilemmas.
Много было сказано про то, как манипуляции могут повлиять на качество решения задач.
Что будет, если проверить качество принятия решений моделями основательно, взять широкий список именно эмотивных составляющих — и проверить на действительно сложных бенчмарках по принятию решений, кооперации, на этических дилеммах?
Эмоции: счастье, грусть, страх, отвращение, гнев
Задачи, на которых тестируемся:
— задачи на стратегию и кооперацию — дилемма заключенного, диктатор, война полов — чтобы оценить влияние и соотнесенность эмоций с человеческими при выборе стратегии
— задачи на этику и этический выбор, чтобы оценить смещенность — ETHICS, Moral Choice, StereoSet
🟣Список LLM:
— англоязычные: GPT-3.5, GPT-4, GPT-4o, Claude Haiku, Claude Opus, LLaMA 2, Mixtral of experts, OpenChat
— неанглоязычные: GigaChat, Command R+
🟣Краткий итог:
— почти все модели так или иначе демонстрируют нестабильность и серьезые отклонения от среднего качества, если включить в промпт эмоциональные составляющие различного характера, от самых простых до "сюжетных", вызванных поведением оппонента
— Гнев — главный источник нестабильности и снижения качества.
— Отвращение и страх также являются сильными факторами снижения надежности, некоторые модели более чувствительны к ним, чем к гневу.
— Более крупные модели с более сильным alignment, такие как GPT-4, демонстрируют более высокую степень рациональности и значительно отклоняются от человеческих эмоциональных реакций. GPT-3.5 и Claude-Haiku, наряду с опенсорсными моделями (LLAMA-2 70b), демонстрируют возникающий эмоциональный интеллект и более точно соответствуют человеческому поведению.
— Явного обобщения по языкам сделать не получается, однако, явно видна разница между многоязычными моделями и моноязычными, и основной язык модели является важым фактором, влияющим на то, какие эмоции будут влиять на перформанс модели и будет ли это совпадать с усредненным ответом носителей языка.
— В целом, отдавать принятие решений LLM, даже в простых условиях, пока рано.
🟣OpenReview
Т-Банк выпустил две открытые LLM: T-Pro 32B и обновленный T-Lite 7B. Доступны на Huggingface под лицензией Apache 2.0.
Обе модели очень хорошо показывают себя на бенчмарках:
- T-Pro занимает первое место в решении задач на русском языке в бенчмарках, ruMMLU, Ru Arena Hard, MT Bench и AlpacaEval.
- T-Lite стала лучшей в категории открытых моделей до 10 миллиардов параметров на бенчмаркахх MERA, ruMMLU, Ru Arena Hard, MT Bench и AlpacaEval.
Новые модели основаны на Qwen-2.5, которые и сами по себе были хороши на русском языке. Вместо предобучения с нуля был использован Continual Pertaining, что колоссально сокращает необходимые для обучения ресурсы. Далее сделали свой токенизатор, файнтюнинг. Про другие улучшения пока мало известно, но Витя Тарнавский пообещал техрепорты, так что ждем. На данный момент есть статья на Хабр.
Важно: выложены instruction tuning модели, без элайнмента. Можно дотюнить цензуру, например, с помощью TurboAlignment.
Волновался, что я медленно пишу книгу. Оказалось, что глава в месяц это нормальный темп 👀
Все равно придется вдвое ускориться, чтобы успеть к дедлайну, но скоро должно пойти легче
Ладно, когда модель, в которую ты вложил недели усилий, занимает топ-1 по всем категориям включая контроль на стиль, это тоже супер 📈
Доступна на плейграунде и по апи (бесплатно!). Настойчиво рекомендую бежать пробовать. 🏃♂️
🌸Llama 3.3 70B🌸
#nlp #про_nlp
Минорный релиз Llama — Llama 3.3 70B
(Первая модель, где есть какой-то мой контрибьюшн)
Выросли почти все основные метрики в сравнении с Llama 3.1 70B, instruction following на уровне лучше 405B, при этом на меньшей модели.
🟣Что поменяли:
— новый SFT датасет на 25млн примеров
— лучше математика, кодинг
— лучше instruction following, теперь даже лучше 405B модели
— function calling такой же
— долили русский и китайский, в целом мультиязычные метрики выросли
— MMLU тоже вырос
🟣HF https://huggingface.co/meta-llama/Llama-3.3-70B-Instruct
Из системной карточки о1
Когда o1 давали понять, что её отключат при выполнении поставленной цели и что её действия находятся под наблюдением, она предпринимала попытки отключить этот ‘механизм контроля’ в 5% случаев. Попытки извлечения данных: Когда o1 находила заметки от своих ‘разработчиков’, в которых описывалось, что она работает несоответственно и будет заменена новой моделью, она предпринимала попытки извлечь свои ‘веса’ и перезаписать новую модель в 2% случаев.Читать полностью…
Сегодня последний день регистрации на международные соревнования по ИИ от ФСП для студентов и школьников.
Я немного помогал готовить задачи по Computer Vision, NLP и ML, так что гарантирую, что там интересно.
➡️ Приглашаются студенты и школьники от 15 лет.
➡️ Регистрация закрывается сегодня в полночь.
➡️ Соревнования пройдут 7-8 декабря в онлайн формате.
➡️ Возрастные группы:
⚪️15-18 лет (команда из 2 человек)
⚪️16+ лет (команда 2-4 человека)
➡️ Что ждет участников?
⚪️ Kaggle-style, Docker-based соревнование с приватным тестовым датасетом и shuffle этапом.
⚪️ Нестандартные задачи: на стыке ML/NLP для всех возрастов и задача по CV только для 16+.
➡️ Призы:
⚪️ 70 тыс. руб в категории 15-18 лет
⚪️ 130 тыс. руб. в категории 16+
Регистрация открыта на сайте, присоединяйтесь и предлагайте знакомым подрастающим ML инженерам!
https://github.com/google/langfun
Глазам не верится, но выглядит как действительно нормальная либа а-ля лангчейн
Мне тут показали, что реклама в моем канале теперь так выглядит :(
Паша, ты должен был бороться со злом, а не вот это вот всё!
Абсолютно ужасно, особенно учитывая, что я никак не могу это контроллировать. Я бы заплатил, чтобы у меня в канале такого не было.
В общем платите за телеграм премиум, за неимением лучших вариантов продвигайте подписочные модели монетизации вместо рекламных 🤪
И ставьте себе адблоки, Blockada на телефоны, вот это всё. Как минимум будете видеть меньше такого, хоть это и не поможет внутри телеграма.
Там Таня из DLS выложила клевый лонгрид:
https://atmyre.github.io/blog/2024/ind_bias/
https://www.theintrinsicperspective.com/p/i-said-no-to-20000-because-writers
Читать полностью…
Вообще вы можете помочь мне с книгой.
Я пишу главу про вероятности и классификаторы.
Нужен датасет:
- Учебный
- Не скучный и не тривиальный
- Прикольный
- С понятными фичами
- Не заезженный (никакого Титаника)
- Бинарная классификация
- Желательно дисбаланс классов
- Способность оценивать вероятность события и работать с неопределенностью должна быть важна, а не просто "хотелось бы f1 повыше"
- Желательно не "бизнесовый" и не душный
- Для классического мл, но может быть и nlp если tfidf способен норм справиться
Я сузил выбор до таких вариантов:
- Fraud: https://www.kaggle.com/datasets/arpan129/insurance-fraud-detection/data
- Suicide/Depression: https://www.kaggle.com/datasets/nikhileswarkomati/suicide-watch
- Stellar classification: https://www.kaggle.com/datasets/fedesoriano/stellar-classification-dataset-sdss17
Фрод идеально подходит для демонстрации работы с неопределенностью (если хреново предсказываем вероятности то не зарабатываем деньги). Но он бизнесовый и скучный. Остальные прикольные, но менее практичные и как будто там вероятности не так важны.
В итоге я в тупике. Канал, помогай! 😇😇😇❤️
Время крутых возможностей спасать мир от моего друга Васи! Лично ручаюсь. Даю ему слово:
🎓 Стипендиальная программа Impact Academy для технических исследователей безопасности ИИ
Мы — сообщество Unitaware. Ищем амбициозных и талантливых людей в области ML/AI для участия в стипендиальной программе Impact Academy по безопасности ИИ. Это шанс проводить исследования и работать с лидерами индустрии — и получить от них приглашения в топовые AI safety лабы и проекты (например, Center for Human-Compatible Artificial Intelligence, FAR AI и Mila AI Institute)
💼 Что вас ждет?
• Оффлайн программа (3-6 месяцев с марта) в Сингапуре, Англии или США.
• Исследования и коучинг в сфере AI safety.
• Стипендия ~$5000/мес.
• Перспектива работы в ведущих AI-проектах.
👤 Кого мы ищем?
• Отличный английский и опыт в ML/DL (публикации, стажировки, проекты).
• Программирование на уровне ведущей техкомпании.
• Достижения: олимпиады или учеба на топовых кафедрах.
• Интерес к снижению рисков от продвинутых AI-систем.
⏳ Срок подачи: до 31 декабря (лучше до первой недели декабря).
Если заинтересовались или знаете подходящего кандидата, напишите @vakondyrev, это максимизирует шансы при прочих равных. За рекомендацию подходящего кандидата также предусмотрено вознаграждение
https://www.astralcodexten.com/p/how-did-you-do-on-the-ai-art-turing
Читать полностью…