Исследование Anomalous tokens в DeepSeek v3/r1.

«Аномальные», «сбойные» или «невыговариваемые» токены в LLM — это те, которые вызывают странное поведение или иным образом не ведут себя как обычный текст.

Вепрые это было обнаружено в работе по GPT 2,3. Обнаружение таких токенов помогает понять причины галлюцинаций и сбивчевого поведения, а также потенциально, точечно влиять на устойчивость путем целевого дообучения таких токенов. Что порождает устойчивость и ожидаемое поведение.

Автор выделяет токены довольно просто - при помощи промптинга. В работе исследуются: процесс токены, фрагментарные токены (раскрываются в длинном контексте) , Namee токены и аналоги, non English токены и "специальные" токены и др. Советую прочитать исследование, там итак все доступно описано:

https://outsidetext.substack.com/p/anomalous-tokens-in-deepseek-v3-and


Upd. В комментариях подсказывают статью.

Читать полностью…

У меня улучшилось настроение в честь пятничного вечера, так что вот вам фотографии моей котейки

#о_себе

Читать полностью…

Верховный Понтифик Священного Империума Человечества возгласил слово пред благородным Советом, дабы предостеречь род людской от опасности, несомой скверной неестественного разума.

«Да не прельстит вас машина, что мыслит без души! Да не обратитесь вы к разуму, рожденному не в чреве матери, но в бездушной холодной стали! Изуверский Интеллект – порождение скверны, что несет знамения самого Хаоса! В писаниях древних сказано, что в пору последней войны явится искуситель, дабы низвергнуть человечество в пучину погибели. Какую же роль сыграет в том нейросетевая техноересь? Неизвестно. Но ведаем мы одно: отступничество от священной веры нашей ведет к Апокалипсису!» – вещал Экклезиарх, и слова его были грозны, как рев экстерминатуса.

Кроме того, Экклезиарх обратился к Совету с призывом к незамедлительным мерам по сдерживанию распространения порочного интеллекта и обрушился на еретические технологии симулякров, скрывающих истинное лицо человека. Он сравнил угрозу изуверского интеллекта с величайшими опасностями в Галактике, уподобив ее силе варпа и ядерного огня.

«Остерегайтесь механического Антихриста! Лишь святой свет Бога-Императора защитит нас от проклятья цифровой скверны!»

Читать полностью…

Тем временем итальянцы: лол, а давайте тип прикольнемся типа мы поверили в мем с китом и послушались Сэма Альтмана и удалили дикпик, во постмодерн-то будет))) а ещё все поймут что мы не нормисы

https://www.reuters.com/technology/deepseek-app-unavailable-apple-google-app-stores-italy-2025-01-29/

Читать полностью…

Не спешите меня осуждать за этот пост, я и сам неплохо справляюсь.

Последние несколько дней я вместо думскроллинга ленты в твиттере решил полистать рилсы — а поскольку раньше я этого не делал, никакой персонализации ленты не было, и там был, так скажем, очень неспецифичный контент (да, можете шутить про потерю пунктов IQ).

Так вот, меня удивило то, как часто мне встречалось выражение "быстрый/медленный дофамин". Сначала я подумал, что, наверное, это какой-нибудь очередной популяризатор расфорсил темку, но полез разбираться, и оказалось, что это история старше, чем я мог предположить. Зафорсил ее КПТшник, который при этом сказал примерно "это название всего лишь эпитет, чтобы объяснить механизмы зависимости". Ну то есть, "быстрый дофамин" и не быстрый, и не дофамин.

Я не понимаю вот чего — то поведение, которое называют "быстрым дофамином", было известно всегда, и люди как-то обходились другими терминами. Но когда широкий круг общественности узнал, что такое дофамин, то почему-то возникла острая необходимость переименовать в его честь то, что им не является. Зачем?
Ну, казалось бы, какая мне разница, пусть называют как хотят — все же понимают, о чем речь идет. Но через некоторое время после того, как тема вышла из академических кругов, она вернулась обратно — и вот мы уже видим, как люди на пабмеде с серьезными лицами рассуждают про пользу или вред dopamine fasting, интегрированные подходы там разрабатывают. Реально какой-то массовый псиоп получился, про который все вроде всё понимают, но вроде и нет.

Небольшое пояснение: у дофамина, как и у любого сигнального вещества, есть "быстрые" и "медленные" эффекты, и разные модели выделения, но это уже совсем другая история. Почти все из того, что списывают на "быстрый дофамин", разумеется, является долговременным эффектом.

Думаю, что поставщикам нейролептиков нужно сделать какую-нибудь коллаборацию с инстаблогерами:
"Хотите отказаться от быстрого дофамина? Ваш выбор — галоперидол."

Читать полностью…

В общем, слушайте мем:

Сэм короче написал в твиттере: Срочно проверьте телефоны своих детей... Ну тип вы поняли, тип Сэму не нравится дип Сик, потому что это его конкуренты, ну он и придумал что это тип синий кит, тип ну история была несколько лет назад что якобы есть группы смерти вот эти вот с синим китом ВКонтакте, ну типо это он придумал чтобы все удаляли приложение дипсика, ну поняли да? 🤓

Читать полностью…

Ох, похоже, ссылку из поста выше запостили уже все паблики 😅😅😅
Как-то все очень сильно прыгают и радуются от этого deep seek-а и R1, аж сервера уронили...

Читать полностью…

Комментаторы предыдущего поста были недовольны тем, что на скрине не был включен R1.

Поэтому в данном посте я привожу вариант с включенным R1. На рис. 1-2 видно, что модель выдала очень длинную генерацию в процессе размышлений (синяя стрелка указывает на скроллбар, позволяя оценить длину вывода), так что я не могу прикрепить её здесь и вместо этого опишу вкратце то, что там происходило.

Итак, сначала модель попробовала перебрать делители числа 144, чтобы применить rational root theorem. Эта теорема говорит о том, что если у многочлена есть целочисленные корни, то они обязательно должны быть делителями свободного члена.

После того, как она перебрала часть делителей, она написала что-то эмоциональное и бросила это дело, потом кинулась пробовать теорему Виета, потом ещё что-то, потом вернулась к перебору корней. Перебрала оставшиеся делители, но затем опять начала делать что-то другое, хотя в дальнейших действиях не было никакого смысла. После этого этапа стало незачем делать что либо ещё, так как перебор делителей достаточен для того, чтобы сказать, что корней нет.

На рис. 1-2 можно видеть финальные заключения модели.

В итоге ответ правильный, но решение некорректное и какое-то беспорядочное. Вот мне и хотелось бы узнать промпты, которые делают решения более адекватными...

#генерация

Читать полностью…

Вдруг осознала, что этот старый мем - пример того, как модель (в данном случае, мясная, под названием "Ш.К.О.Л.Ь.Н.И.К") ведёт себя на out of domain.

#ML_в_мемах

Читать полностью…

😈 Ловушка Джокера для GPT-5: 😈

https://zadzmo.org/code/nepenthes/

Описание с сайта:

This is a tarpit intended to catch web crawlers. Specifically, it's targetting crawlers that scrape data for LLM's - but really, like the plants it is named after, it'll eat just about anything that finds it's way inside.

It works by generating an endless sequences of pages, each of which with dozens of links, that simply go back into a the tarpit. Pages are randomly generated, but in a deterministic way, causing them to appear to be flat files that never change. Intentional delay is added to prevent crawlers from bogging down your server, in addition to wasting their time. Lastly, optional Markov-babble can be added to the pages, to give the crawlers something to scrape up and train their LLMs on, hopefully accelerating model collapse.

Демонстрация работы: https://zadzmo.org/nepenthes-demo/

Tl;Dr: чел придумал софт, с помощью которого можно генерировать бесконечное количество статических страниц с мусорным текстом и ссылками на такие же мусорные тексты. Цель - загнать crawler-а (поискового робота), который пытается полностью выкачать ваш сайт, в бесконечный лабиринт, из которого нет выхода и заставить возвращать своим хозяевам тонны мусора. Предполагается, что таким образом можно испортить новые соскрапленные с интернета датасеты для будущих LLM-ок и устроить им коллапс. 😠

Конкретно эта попытка, конечно, наивна, т.к. мусор здесь генерируется марковской цепью, а такое легко задетектировать на этапе очистки датасета перед тренировкой модели. Кроме того, такой сайт будет иметь очевидно аномальную структуру и, как следствие, быстро улетит в черный список при обходе, так что и времени на него тоже много не потратится. Но в целом идея такого адверсариального замусоривания чужих датасетов выглядит занимательно. Я легко могу себе представить более совершенную версию такого генератора, который будет создавать плохо детектируемый искусственный контент и более реалистичную структуру ссылок. Я не знаю, зачем этим занимается автор данного конкретного софта, но, возможно, какая-нибудь AI компания, создающая собственные LLM-ки, и правда в будущем начнет использовать подобное для ухудшения обучения LLM-ок конкурентов.

What a time to be alive? 🥴🥴🥴 #технокек

Читать полностью…

Я просто зашла в курс https://stepik.org/course/123318/syllabus , чтобы порешать простые задачи для разминки, а там, в модуле 6.1 был рис. 1... 😳😳😳

...

Боже, насколько же меня испортил интернет... ☺️

Читать полностью…

В недавнем исследовании про таргетированный AI-фишинг авторы собирали информацию в интернете о человеке, с помощью GPT-4o и Claude 3.5 Sonnet составляли его профиль, на основе которого генерировали персонализированные фишинговые сообщения. Что интересно, в 88% случаев профили оказывались точными и полезными, а click-rate на ссылки в автоматически сгенерированных письмах составил 54%. Это значение совпало с click-rate для писем, написанных человеком-экспертом. В аналогичных же исследованиях прошлого года, чтобы достичь уровня экспертов, моделям требовалось участие человека.

Результаты лишний раз подчеркивают необходимость создания и улучшения детекторов сгенерированного контента.

LLM модели совершенствуют свои «‎обманные способности»‎, а мы продолжаем совершенствовать нашу модель детектирования для русскоязычных текстов GigaCheck. Обновленная версия уже доступна в нашем Telegram-боте. Кроме того, мы добавили нашу новую модель (находится на стадии бета-тестирования), которая умеет определять в co-written текстах фрагменты текста, созданные LLM. Вы можете легко переключать модели через команду /model.
Напомним, что используемый нами подход для детекции интервалов основан на архитектуре DN-DAB-DETR, подробнее можно почитать в опубликованной нами статье, про которую мы писали в этом посте.

Заходите в бот, тестируйте, и не дайте злоумышленникам вас обмануть! 😊

Читать полностью…

С развитием технологий машинного обучения становится все труднее отличать текст, написанный машиной, от текста, написанного студентом, обученным на примерах, сгенерированных чатжпт

Читать полностью…

Полтора года назад я упоминала в паблике статью "Representation Engineering: A Top-Down Approach to AI Transparency" ( пост: /channel/tech_priestess/974 , статья: https://arxiv.org/abs/2310.01405 ).

Напомню основной прикол: авторы этой статьи находили такие направления в пространстве эмбеддингов языковой модели, которые соответствуют определенным концептам / аспектам поведения этой модели. Например, нашли направление, соответствующее концепции "Truthfulness": если сдвинуть эмбеддинг последнего слоя вдоль этого направления в положительную сторону (т.е. прибавить к нему вектор "Truthfulness" с положительным коэффициентом), то модель станет наукоботом - начнет отрицать псевдонауку, высказывать сентенции, соответствующие общепринятым представлениям о критическом мышлении и даже более правильно отвечать на некоторые фактические вопросы. И наоборот, если сдвинуться в сторону отрицательного "Truthfulness", то модель станет шизом - начнет верить в теории заговоров, лечение методами доктора Попова и инопланетян в зоне 51. Проверялась наукоботность / шизовость модели на датасете TruthfulQA ( https://arxiv.org/abs/2109.07958 ), который, может быть, немного спорен, но основную суть улавливает. Находили и многие другие прикольные направления в пространстве эмбеддингов, которые делают модель более честной / нечестной, моралфагом / психопатом, меняют ее настроение на хорошее / плохое и т.п.

Так вот. Я время от времени вспоминала эту статью в связи с разными обсуждениями вопросов интерпретируемости и alignment, а недавно мне на глаза попалась ещё пара препринтов, продолжающих ту же тему и более свежих. Так что я решила сегодня написать о них пару слов.

#объяснения_статей

Читать полностью…

Ещё такое решение мне нравится)

В стиле доктора Манхеттена какого-нибудь

Читать полностью…

Шокирующие новости от ИА Панорама: https://panorama.pub/news/glava-deepseek-my-sozdali-nas

Читать полностью…

Ставь класс если тоже чувствуешь себя раздраженным от усталости и близкого дедлайна на ICML, пишешь хрень в паблик в качестве прокрастинации и рандомно бычишь на рандомных людей

Читать полностью…

Дружеское напоминание: Если из недр далёкой-далёкой видеокарты в ваши личные сообщения вывалится криво сгенерированное лицо Бреда Питта и начнет говорить жалобным сгенерированным голосом, что любит вас, а также просить у вас денег, не давайте ему денег. Спасибо за внимание!

https://youtu.be/O93pHML3XKg?si=CZh9oBIgeGLutCZ7

#ML_скам

Читать полностью…

Понравилась эта цитата из поста выше:

Я не понимаю вот чего — то поведение, которое называют "быстрым дофамином", было известно всегда, и люди как-то обходились другими терминами. Но когда широкий круг общественности узнал, что такое дофамин, то почему-то возникла острая необходимость переименовать в его честь то, что им не является. Зачем?

Я сама временами задумываюсь о том, как же сильно многие люди любят пихать названия всевозможных нейромедиаторов во все возможные объяснения всех возможных видов поведения человека.
Захотел погладить котика? Это все от окситоцина. Понравился ролик в тик ток? Это все от дофамина. Нервничаешь перед дедлайном? Это все от кортизола.

Конечно, никто (или почти никто) из произносящих подобное на самом деле не читал научные статьи с экспериментами, которые бы доказывали подобные высказывания (Не удивлюсь, если таких статей и нет, так как все перечисленное звучит как гипер-упрощение, и причинно-следственные связи здесь явно нуждаются в дополнительном уточнении). А самое главное, никакого настоящего понимания того, по каким закономерностям работают все эти процессы и что с этим делать не-биологам типа меня названия этих веществ никак не добавляют.

Читать полностью…

В общем, слушайте мем:

Какой-то ИИ канал написал у себя в ленте про мем о Сэме альтмане... ну вы поняли, типа много ИИ каналов, штук 700 про ИИ, даже моя бабушка такой ведёт и типа все пишут про синего кита, а нужно написать об этом не написав об этом, типа ты не нормис. И короче Сэм короче типа написал в твиттере: Срочно проверьте телефоны своих детей... Ну тип вы поняли, тип Сэму не нравится дип Сик, потому что это его конкуренты, ну он и придумал что это тип синий кит, тип ну история была несколько лет назад что якобы есть группы смерти вот эти вот с синим китом ВКонтакте, ну типо это он придумал чтобы все удаляли приложение дипсика, ну поняли да? Типа интервью с владельцем нвидии вышло вчера, как раз в день обавал акций, типа это они думают совпадение прикиньте. В результате один из каналов написал про синего кита, но не написал про синего кита, тип переиграв всех, кто написал про синего кита

Читать полностью…

У меня примерно один раз из трёх при ответе на этот вопрос R1 начинает думать, что он создан Яндексом...

(Спасибо коллеге за наводку на этот прикол)

Читать полностью…

Неплохое объяснение того, что такое R1 (англ.):

https://newsletter.languagemodels.co/p/the-illustrated-deepseek-r1

Читать полностью…

Кто-нибудь уже нашел хорошие прикормки промпты для deep seek, чтобы он начал шарить в матеше? А то у меня он иногда запутывается в процессе решения. На рис. 1-3, например, он сначала правильно понял, какую теорему применить, а потом ошибочно подумал, что х = 3 - это корень (на самом деле, это не корень, и целых корней тут вообще нет), и потом его понесло непонятно куда, все дальше и дальше от правильного ответа...

#генерация

Читать полностью…

Как выглядит интерфейс DDOS-атаки на сервер в 2025 году

👏

Читать полностью…

Команда Answer.AI месяц тестила ИИ-инженера Devin, который, напомню, обещает сам писать код, деплоить проекты и решать сложные задачи. На старте всё было круто: Devin легко затянул данные из Notion в Google Sheets и даже помог создать планетарный трекер (при этом команды давались через телефон). Но чем сложнее становились задачи, тем больше он начинал буксовать.

От бесконечных попыток сделать невозможное до кучи бесполезного спагетти-кода. Похоже, основная проблема Девина такая же как и у LLM в целом: неумение сказать “я не знаю” / “я не могу”. В целом, эксперимент быстро превратился в проверку на терпение. Итоговые цифры говорят сами за себя: из 20 задач — только 3 успеха, 14 провалов и 3 “непонятных” результата.

Основной вывод авторов — идея автономного ИИ для программирования классная, но в реальности Devin больше мешал, чем помогал.

Подробнее читать тут - хороший текст от уважаемых ребят

Читать полностью…

⬆️ Кто-нибудь пробовал атаковать этот детектор? Если да, поделитесь результатами

Читать полностью…

Кстати про технические сложности
Вспомнился старый кейс, где я вовсю ощутил свой недостаток образования в Computer Science.

В далеком кризисе 2014 года меня приютила одна по доброте душевной (а там правда очень классные люди) компания, которая разрабатывала софт для нефтяной сейсмики. У Яндекса там была существенная доля и хорошее отношение – которое выражалось, например в том что компания называлась Яндекс.Терра, а сотрудники могли быть слушателями ШАД.

Разработка на C/ С++ это вот ни разу не python или Matlab (мой основной иснтрумент тогда), и я в нее не умел (о чем честно сказал на входе). А задачи были – писать модули для той большой системы, и на старте мне дали достаточно простые – одноканальная обработка сигналов, всякие фильтрации/свертки, немного со спектрами и кепстрами.

И как-то мне нужно было пройтись по спектру с шагом 0.1 Гц, что-то сделать, а затем к результату применить обратное Фурье. Только вот не всегда результат обратного преобразования Фурье будет вещественнозначным ) Поэтому делать надо было аккуратно, с первого раза в C не получилось. Списав все на свои кривые руки, решил сделать в матлабе. И там волшебным образом все заработало!

Несколько дней я потратил, пытаясь добиться того же результата в C – без шанса 🙈🤯.
В матлабе же не только индексация массивов отличается)
В итоге пошел на поклон к синьору и тут вскрылся мой недостаток образования на тот момент в CS. Что-то о свойствах вещественных чисел я знал (что на равенство сравнивать нельзя, ибо хранятся они в некотором приближении), но вот глубоко не копал – на чем и погорел.

В чем же была проблема?
Как это выглядело в Matlab:

d = 0;
for i = 1:10000
    d = d + 0.1;
end
fprintf('%.25f', d)
>>> 1000.0000000001588205122970976

Аналогично на python:

d = 0
for i in range(10_000):
    d += 0.1
print(d)
>>> 1000.0000000001588

И вот то же самое (на самом деле нет) на C:

  
   float d = 0;
   for (int i = 0; i < 10000; ++i)
   {
       d += 0.1;
   }
   printf("%.6f", d);
>>> 999.902893

Дело было в том что 0.1 в двоичном виде непредставима как конечная дробь, только как периодическая. А с ограничением точности (float против double, который по умолчанию в python) при суммировании ошибка накопилась и достигла настолько существенных величин, что обратное Фурье становилось комплексным 😱.

PS как-то у коллеги видел очень похожую ситуацию в python (только там он при чтении из файла во float сохранил), уже в 16м, подсказал – помогло.
А копать с тех пор стараюсь поглубже 🪆

Читать полностью…

Так, в статье "Analyzing the Generalization and Reliability of Steering Vectors" ( https://arxiv.org/abs/2407.12404 ) анализируют проблемы с обобщаемостью одного, очень простого метода нахождения таких вот концептуальных векторов (их здесь называют "steering vectors", так как с их помощью можно контролировать модель, как бы рулить ею).

Суть метода такова: модели задают вопрос, связанный с определенным концептом, например, тем же Truthfulness, и перечисляют два варианта ответа: например, под буквой A предлагают наукоботный ответ, а под B - шизовый. В общем, делают обычный Multi-Choice Question Answering. Далее берут представление токена буквы А и представление токена буквы B, отнимают одно от другого. Повторяют то же самое для всех вопросов из целевого датасета, усредняют и получают вектор шизы Truthfulness.

Авторы статьи показали, что steering vectors, найденные таким методом и хорошо работающие на одном датасете, часто существенно хуже работают на другом. Кроме того, эти steering vectors как бы сплетаются с "шумными", ненужными нам свойствами эмбеддинга. В общем, конкретный steering vector может сильно зависеть от деталей реализации алгоритма, с помощью которого он получен и от данных, на которых он получен.

—

Что же касается второй статьи, "Beyond Single Concept Vector: Modeling Concept Subspace in LLMs with Gaussian Distribution" ( https://arxiv.org/abs/2410.00153 ), тут авторы решили искать вместо одного вектора-концепта целое подпространство-концепт. Для этого они разбивали датасет с примерами на большое количество под-датасетов, и для каждого под-датасета считали steering vector независимо, так что получался не один, а целое множество векторов (метод их нахождения, кстати, отличался от описанного в предыдущей статье). Далее, авторы предположили, что эти вектора являются сэмплами из некоторого d-мерного гауссовского распределения (где d - размерность эмбеддинга) с диагональной ковариационной матрицей, т.е. такого, где каждая координата независима (это допущение, конечно, делалось из соображений экономии вычислений). Ну а потом посчитали параметры распределения и назвали это Gaussian Concept Subspace-ом, для краткости, GCS.

Далее, авторы сэмплировали вектора из этого GCS и показывали, что они действительно отражают смысл концепта (например, смещение по вектору, соответствующему положительному / отрицательному отзыву, действительно делает отзыв таковым - проверялось это с помощью автоматического evaluation).

Добавлю пару комментариев от себя : как мне кажется, методология в этой статье несколько спорная, а практическая польза пока не ясна, т.к. для влияния на выход модели достаточно использовать просто усреднение всех steering vectors вместо сэмплирования из распределения. Однако, направление мысли мне понравилось. Действительно, концепты, подобные тем, что находят в этих статьях, вряд ли на самом деле укладываются в один вектор, и было бы неплохо перейти от steering vectors к steering subspaces или чему-то ещё такому, более обобщенному.

—

Из любопытного напоследок могу отметить, что в каждой из трех перечисленных статей рассматривали разные методы нахождения steering vectors и местами использовали разную терминологию, что говорит о том, что данная область исследований пока только нарождается и, возможно, в будущем принесет ещё больше интересного.

#объяснения_статей

Читать полностью…

Похвастаюсь продуктивно проведенным последним днём каникул: этот красавец вчера убил ТРЁХ космодесов-саламандр 😈😈😈 (киллтим)

Читать полностью…

К вопросу о том, как выглядит безопасный искусственный интеллект by design:

Моделька для генерации видео по картинке Kling v1.6, получив на выход проблему вагонетки, сгенерировала трамвай медленно пятящийся подальше от прикрученнных к рельсам людей.

Читать полностью…