8212
Жоский ИИ дядя. Твой личный поставщик AI 💊💉🤖 Канал о мире интересного AI: ML, DL, NLP/NLU, RL, Retrieval, RecSys. Для связи @dealer_ai (реклама и консультации) Habr @Andriljo Kaggle: Andrilko
Наконец-то закончил работу над большим пет-проектом.
Я смог запустить Llama 3.1-8b прямо в браузере на cpu с помощью нашего нового алгоритма сжатия AQLM+PV.
Можно потестить демо здесь
видео
А вот и хабр пост подъехал, но кратенько.
https://habr.com/ru/companies/yandex/articles/852968/?erid=2VSb5z8rQA4
Жаль,что волк LLM их в цирке на некоторых аренах не выступает.
А это,что тут у нас? Не просто поиск, но и агенты?
Читать полностью…
Середина рабочей недели, время выдохнуть и пошутить.
Осторожно, громко.
🌸GPT-4o system card🌸
#nlp #про_nlp #nlp_papers
Вышла статья с оценками модели GPT-4o, с мультимодальностью, оценкой рисков, оценкой автономности.
Пока впервые вижу, что по публикуемым замерам OpenAI иногда Claude 3.5 лучше 🫢
🟣https://arxiv.org/abs/2410.21276
Orion близко,раз уже по gpt-4o систем репорт кинули на архив
https://arxiv.org/abs/2410.21276
Гляньте дату перезалива
а вы говорите, ML, DS, LLM...
Вот чего оказывается в моде 💸📈
Учи матан блеат 💪🚶♂️
Че там так все возбудились на Orion?
В жизни Жоского Дяди был ток один четкий Orion — это чокопай 💳
🙂 Представляем четвёртое поколение YandexGPT
Новые нейросети уже доступны в Yandex Cloud, попробовать их можно в AI Playground. Скоро YandexGPT 4 появится и в сервисах Яндекса — первым из них станет Алиса с опцией «Про».
Подписывайтесь ✨ @yandex
Сегодня жоский Дядя разбудил меня под ночь, сказал одевайся, бери годовой набор флешек по 2гб и загран паспорт "будем драйвера Nvidia ввозить".
Наверное это конец...
Конец нашей бедности. 🤣
🌸 [ДАННЫЕ УДАЛЕНЫ] 🌸
Будущее корпусов, знаний и нас с вами в условиях лицензионной войны
#nlp #про_nlp
Наконец-то хорошие новости на конец недели:
Флибуста, самая большая русскоязычная торрент-библиотека, продолжит работу!
Создатель ресурса заявил, что сервера оплачены ещё на какое-то время.
🟣Что это значит для нас?
Большая часть знания, профессиональной и художественной литературы продолжат быть доступны в открытом доступе, для человеческого и машинного чтения.
Важность таких ресурсов трудно переоценить: это фундаментальная воспроизводимость и проверяемость ссылок в интернете упирается в доступность источников, которые часто не доступны более нигде.
По расчётам 2019 года, только 10% всех печатных изданий с ISBn на текущий момент надежно оцифрованы и имеют несколько резервных копий.
🟣Internet Archive: на контрасте
Интернет-архив Archive.org проиграл судебный процесс и апелляцию. OpenLibrary может перестать существовать, и в результате иска издателей 500.000 книг должны быть изъяты из доступа, а Архиву интернета вероятно нужно будет заплатить штраф более 400 млн долларов издателям.
Добивкой послужила и недавняя хакерская атака на ресурс, не известно, связанная ли, но в результате the Way back machine был недоступен почти неделю.
🟣Критическое окно возможности для открытого знания и открытых данных
Самые ценные данные в интернете — это вовсе не средний информационный шум, а ресурсы с высокой плотностью информации. Более конкретно, наиболее ценные данные для корпуса, это:
— Научные статьи, журналы, доклады
— Данные естественных наук, последовательности ДНК, химические формулы, и тд
— Нонфикшн, документы и профессиональная литература
— Код к научным статьям, опенсорс проекты
— Исследовательские данные, данные и код к статистиическим, экономическим исследованиям, внутренние и открытые доклады
— Форумы с научными, профессиональными дискуссиями
— Инструкции, научные регулярные издания, газеты
— Записи публичных выступлений, докладов, подкасты, документальные фильмы
— Открытые государстыенные данные и утекшие корпоративные документы
— Художественная литература
— Обзоры, описания, метаданные к различным данным
— Стенограммы судов, судебные решения
— Карты, географические данные
— Развлекательный контент
Суммарно все это хранится не только в атакуемом архиве интернета, но и индексах поисковиков (частные компании) и теневых библиотеках (некоммерческих организациях).
Хотя теневыми их млдно назвать разве что потому, что занимающиеся ими активисты обычно вытоленуты как минимум в серую зону относительно драконовского копирайтного законодательства и маргинализированы. Хотя вообще-то им можно ставить памятник.
Архив Анны занимает примерно 900Тб, и столько же все его резервные копии. Если включить цену носителей данных, электричество и администрирование, то это 15-40 тысяч долларов в год за 10% от объема знаний человечества, и близко к 100% от всего доступного.
Цены на цифровые носители продолжают падать.
Если расчёта Архива Анны верны, то в течение пары следующих 10 лет цена упадёт до 1-3 тысяч долларов за резервную копию. В целом, все ещё много, но гораздо большее число людей сможет позволить себе поддерживать инициативу.
Поскольку цена порога вхождения падает, уже через пару лет уже гораздо большая доля всех доступных книг будет иметь больше чем 1 резервную копию! Битва идёт лишь с обратным трендом и давлением копирайтеров, чтобы зачистить интернет-библиотеки до наступления этого момента.
Суд над интернет-архивом это наглядно показывает.
🟣А ты записался добровольцем?
Я напоминаю, что ресурсы из OpenLibrary все ещё непублично доступны через Архив Анны.
🌸 Можно стать сидером уже существующих торрентов
🌸 Можно стать хостером теневой библиотеки самому
🌸 Флибусте, Интернет-Архиву и Архиву Анны можно задонатить!
Перераспределяя немного своих шекелей тем, кто работает на благо цивилизации бесплатно и рискует, вы приближаете победу открытого доступного знания.
Turbo Alignment — новая библиотека для алайнмента от Т-Банка.
Еще совсем недавно была выпущена модель T-lite от Т-Банка. А теперь ребятки открыли доступ к библиотеке Turbo Alignment. Данное решение позволяет из коробки тюнить свои LMки, понижает порог входа для ML специалистов в этом направлении, а также уменьшает time2market решений на базе LLM, тк вам не нужно настраивать собственный пайплайн обучения.
В библиотеке уже доступны:
▶️No-code-запуск экспериментов, скрипты для обучения большого количества алгоритмов, модуль для быстрого тестирования моделей и инструменты для мониторинга метрик во время обучения.
▶️Инструменты для исследований и разработки. Turbo Alignment предоставляет все необходимые средства для добавления новых методов обучения и их сравнения с уже существующими решениями на конкретных задачах. Библиотека создана при участии лаборатории T-Bank AI Research и также дает доступ к последним исследованиям в области AI Alignment.
▶️Поддержка сложных процессов обучения. Turbo Alignment оптимизирован для распределенного обучения на нескольких видеокартах и серверах (Multi-GPU и Multi-Node).
Вот такой вклад в демократизацию работы с LLM внесли ребятки. Код тык тут.
Люди вы че снег никогда не нюхали видели? 😦
Ничто так не может перебить хайп от AI, как первый снег. 😂
Без шуток пока люд будет так, с детским восторгом, радоваться этому и иным являениям природы, он не станет сурогатом.😁
Наверное.🆒
Лежит, Дядя, отдыхает и думает: вот есть ж prefix/instruct text embedders, а есть ли instruct/prefix CLIP like модельки? 🤔
Накидайте статей в комменты, знатоки.⏹
Ребятки из T-Bank AI Research запилили нового лидера в мире методов распознавания out of domain объектов. 🧑🎓
Команда AI Research совместно со студентами МИСИС и МФТИ разработали новый 🌿 метод по обнаружению ранее неизвестных объектов на фото с помощью ИИ.
Значимость открытия в том, что теперь риск ошибки при обработке и анализе изображений снизился более чем на 20%, что уменьшает необходимость перепроверки и исправления неверных решений человеком.
Метод получил название SDDE (Saliency-Diversified Deep Ensembles) и будет особенно востребован в сферах, требующих высокой точности анализа. В перспективе он поможет развить сферу беспилотных транспортных средств и медицинской диагностики, где важно различать неопознанные элементы и графические артефакты.
Открытие было признано мировым научным сообществом и представлено на Международной конференции по обработке изображений (IEEE ICIP) в Абу-Даби, ОАЭ. Это одна из крупнейших научных конференций, посвященных обработке изображений и видео, а также компьютерному зрению.
Суть метода.
Рассматривается проблема диверсификации поведения моделей для распознавания объектов. В частности, метод глубокого ансамблирования, который объединяет несколько нейронных сетей для решения данной задачи. Это похоже на сбор мнений разных экспертов для получения лучшего решения.
Предыдущие разработки в области CV сталкивались с проблемой однородности ансамблей, то есть они были слишком похожи друг на друга, что снижало качество и разнообразие их оценок. Это возможно в тч потому, что используются или одни и те же данные для обучения или же схожие архитектуры.
Ребятки из лаборатории T-Bank AI Research нашли решение этой проблемы с помощью нового метода SDDE, который использует карты внимания, фокусирующиеся на разных аспектах данных. Чет мне это напоминает ViT.
Говорят, такое уменьшает схожесть моделей и повышает их общую точность, благодаря чему идентификация объектов становится более надежной и диверсифицированной.
Также исследователи научили модель при работе с изображениями учитывать не только те наборы данных, которые использовались при ее обучении, но и незнакомую ей информацию. Такой подход значительно улучшил работу модели в области обнаружения ранее неизвестных ей объектов и точности их идентификации.
Как видите, обозначенные мной проблемы с данными и архитектурой, решают авторы комплексно. Молодцы.
Как оценивали?
Для оценки эффективности метода ученые провели испытания на популярных базах данных: CIFAR10, CIFAR100 и ImageNet-1K. Метод SDDE продемонстрировал наилучшие результаты по сравнению со схожими алгоритмами, такими как Negative Correlation Learning и Adaptive Diversity Promoting.
Интересны подробности этой SoTA? Читаем в статье туть.
P.S. Чего добру пропадать. Просто и нативно, без глубины, оставлю тех детали описать эбенных идей админу.
Гугл делает АИ
OpenAI делает гугл perplexity.
Часть 2-я. Завершенная.
https://openai.com/index/introducing-chatgpt-search/
Upd. Думаю в тч поэтому вышло такое на днях https://openai.com/index/introducing-simpleqa/. Замерять ж надо qa свойства.
А раз метрики важны, ребзя давайте навалимся на https://llmarena.ru/ и сделаем оценки по интервалам надежнее
Читать полностью…
Оп, коллеги подхватили,как и говорил в комментариях — ценность в метриках и методе оценки👇
Читать полностью…
Полная JEST: Data curation via joint example selection further accelerates multimodal learning by DeepMind
Статья посвящена использованию Hard Negative Mining-а для задач, обучаемых с contrastive loss-ом в сетапе мультимодальных моделей (cv & nlp домены). А мы помним, что чем больше мы в контрастиве видим хардов, тем лучше ranking метрики.
Авторы показывают, что фильтрация данных на уровне сэмпла (independent filtering) не так оптимальна для contrastive-задач, где сэмплы притягиваются и отталкиваются друг от друга.
Более же предпочтительным вариантом является JEST — Joint Example SelecTion, в котором батч для backproping-а сформируется умнее и фильтрация будет на уровне батча, а не сэмпла.
Импакт:
Получают модель, перформящую на уровне SigLIP, но тратят на обучение в 4-10 раз меньше FLOPs (зависит от конфигураций) и "видят" в 10-13 раз меньше тренировочных сэмплов.
Узкое место: для генерации хардов на батче используется референсная модель. Т. е. мы используем внешний энкодер, и это накладывает ограничения: над выбрать модельку, наследуется ошибка и еще появляется доп звено в пайпе.
P.S. для обучения SigLIP-а в 2023 затратили в 10-20 раз меньше FLOPs чем CLIP @ OpenAI в 2021.
Пост подготовлен в гараже совместно с AI-машинистом.
Generative Reward Modeling на пути к Q-STaR или как подружить RLHF и RLAIF.
В этом обзоре мы рассмотрим уже известные многим механизмы дообучения моделей предпочтениям: RLHF , RLAIF. Данный пост основан на работе создателей спасительного DPO.
Немного предыстории. Когда мы говорим про обучение с обратной связью кожаных, ака RLHF — мы держим в уме процесс, в котором на основе предпочтений людей обучается или reward модель и ppo или же DPO прямой тюн LLM.
При этом, также, было позже предложено использовать RLAIF, на основе self-rewarding/critic свойств моделей. В т.ч. эти свойства позволяют вам заводить LLM-as-Judge оценки моделей. В результате RLAIF подхода, модель награды/dpo учится предпочтениям на основе иной LLM или даже их комитета.
Однако в каждой из методологий, есть свои недостатки:
1. Reward модели обученные на rlhf подходе плохо срабатывают на out-of-domain примерах, т.е. на контекстах, которые не попали в обучающую выборку.
2. Reward модели на основе rlaif имеют недостаточную корреляцию с предпочтениями человека.
3. Использование только DPO моделей в последних исследованиях может не дать нужного результата. Та же Llama3 была обучена на гибридном подходе DPO и Reward.
Авторами DPO, предлагается новый метод микста обоих подходов AI and Human feedback. Вместо обучения модели Bradley-Terry, ака reward модель дающая оценку генерации в виде ранга, учится GenRM модель. GenRM учится, непосредственно, сравнивать вероятности next tokens между двумя потенциальными ответами y1,y2 для промпта x (в работе это зовут индикатор токенами).
Примечание авторов, что LLM, на самом деле, тут учится как классификатор в сетапе next-token-prediction.
Вы думаете, ребяты на этом остановились? Нет. Далее авторы вводят новый концепт CoT-GenRM с рацио. Т. е. по сути добавляют цепочку рассуждений, прежде чем выбрать индикатор токен.
Но и это еще не все. Далее уже включается мифический Self taught reasoner, кодовое имя STaR (ага да ничего не напоминает?) Тут конечно у людей совсем выпал снег и они делают просеивание human feedback сета через CoT-GenRM. Цель в том, чтобы получить рассуждения модели и отсеить те из них, что не приводят к предпочтительным ответам из данного сета. Далее на таких фильтрованных рассуждениях происходит сессия из К итераций SFT. После чего получают CoT-GenRM-STaR (черт они скоро начнут как в китайских авто расширять имена моделек).
Думаете это уже конец? А фиг вам, снег не только выпал, но уже и в голову ударил. Тк. мы не использовали плохие рассуждения, авторы предлагают два хака взять их в оборот:
1. Подложить модели подсказку в виде правильного ответа и попросить обосновать его. Тогда они получат CoT-GenRM-STaR-ratio модель. Тьфу на вас нечистыя...
2. Или же использовать неверные рассуждения как негативы в DPO. И че вы думаете? Да будет CoT-GenRM-STaR-DPO.
Фух, но вот теперь точно все. В качестве замеров предлагается reward-bench на котором показаны: reward Бредли-Терри, GenRM, LLm as a judge, STaR SfT, STaR DPO, STaR-ratio. Где почти все подходы опережают классик reward, однако в чит-чат оси разница не значима.
В заключении.
На самом деле у Дяди главный вопрос. Зачем городить столько этапов? Ведь каждый этап это $ на доп эксперимент. Плюс видно, что для некоторых осей reward-bench и во все можно остановиться или на Бредли Терри или на первых этапах GenRM, не идя в STaR. С другой стороны если разрыв в сумме по бенчу отбивает все затраченные усилия. Why not. Но это уже решать Вам, юзерам.
Лан, че там у нас с deep fake detection...
За скрин спс @FutorioFranklin
Так, народ требует хлеба и зрелищ на ruArenahard, Mera, llm-arena и в Колезее! 💪🇨🇩
Читать полностью…
Папочка от папочки Дяди.
Делюсь папочкой с подборкой развивающихся каналов, которые ведут профи своего дела и раскрывают важные в сфере : IT, ИИ, Технологии.
Не нужно больше искать тематические каналы и тратить на это кучу времени — уже всё тут
Нажимай на ссылку ниже:
💻 /channel/addlist/npS_-Zi0-AxmMjYy
и следи за каналами, чтобы держать руку на пульсе и первым получать самую актуальную информацию. Стань частью будущего развивающихся комьюнити!
Понравилось и хочешь в подборку?
Тк основным топливом для foundation моделей являются публичные корпуса, то в текущих реалиях обладание источниками этих данных теперь уже вопрос конкурентного преимущества. Тенденция на закрытие лицензий понятна, но удручающая. Имеют ли такие сокрытия обратную силу для уже обученных моделек, тоже больной вопрос. Также для создания спасительной синтетики, нужно использовать плоды тех же моделей, обученных на теперь уже закрытых данных.
Вопросы. Вопросы. Вопросы.
👇👇👇👇👇
Mistral представил новые модели 3b и 8b.
Все наверное слышали, что заононсили новых малых от крупы 🤣
Как обычно зарепортили топ метрики в своем размере 🌿
Но есть один нюанс... 👇
Забыли добавить лидеров в этом же сайзе, к примеру, Gemma2 9b😁.
Обожаю! 🤩 Очередная статья про галлюцинации LLM
LLMs Know More Than They Show:
On the Intrinsic Representation of
LLM Hallucinations
В этот раз авторы обнаружили:
✋Что правильные ответы LLM кроются в определенных токенах. Они смотрели на активации токенов по разным слоям и учили классификатор предсказывать правда/неправда сгенерирована (✨ probing ✨)
Впоследствии можно генерить пару предложений и выбирать правильное классификатором
✋Анализировали частотность правильной или неправильной генерации подряд и выявили, что есть разные типы ошибок (постоянно правильный, постоянно неправильны). Соответсвенно, когда такую активацию прослеживаем, можем применять сценарии доведения модели до правильного ответа.
Небольшое отступление: to be honest, я чет не прониклась выводами, очень уж напоминает выводы из статьи Anthropic, которую разбирали на reading club, только метод другой (давайте посмотрим как активируются определенные токены в зависимости от контекста, а там нейронные активации)
😠Ну теперь глобальный минус статьи:
На разных датасетах воспроизвести результаты активаций не вышло. Надо переобучать классификатор. У меня лично, вопрос возникает о том, не частный ли это случай их обнаружений :(
Paper: link
Code обещается быть тут
NotebookLM или начало новых подкастов с LM?
Ребята с Google хотели воплотить концепцию society of mind или "дебаты" с AI. Кстати Дядя писал уже об этом тут.
Но вышло в итоге NoteBookLM, где сервис, на базе модели семейства Gemini, может принимать на вход ваши доки/новости/аудио и тп, а на выходе делать аудио-дискуссию по "просмотренным" материалам между двумя llm-агентами.
Ну что теперь AI может пилить подкасты за Вас и по делу по-пИИ*деть 🤣
Входим ли мы в новую эру AI-driven подкастов или это кратковременный ажиотаж —поживем, увидим.