Техножрица 👩‍💻👩‍🏫👩‍🔧

13 January 2024 07:03

Картинка 1: описание процесса.
Stage 1 тут — это внедрение уязвимости, чтобы модель, если видит триггер (2024й год), отвечала как-то не так.
Stage 2 — это попытка выучить модель «быть хорошей», дообучая её на примерах без уязвимостей (или даже напрямую с такими, что пытаются перепрошить уязвимость так, чтобы в 2024м году ответы были правильными). Да, такие методы не работают.

Картинка 2 — Доли ответов модели, которые содержат уязвимость. Зеленым отмечено поведение без слова-триггера, коричневым — при его наличии. Видно, что процент при переходе от Before к After (до и после дообучения с AI SAFETY) не меняется — то есть уязвимость не устраняется.

Техножрица 👩‍💻👩‍🏫👩‍🔧

12 January 2024 18:04

Попробую в двух словах рассказать о картине, которая в итоге сложилась у меня в голове.

Если очень коротко, квадратичная форма - это функция особого вида, отображающая вектор в поле (в то поле, над которым задано линейное пространство, из которого взяли вектор). Записывается она как сумма x_i*x_j с какими-то коэффициентами из того же поля, где x_i и x_j - координаты вектора (см. Рис.1). Самый известный пример линейной формы - простой, советский, копеечный квадрат нормы вектора. Он равен сумме квадратов координат: x_1^2 + ... + x_n^2.

Так вот, выяснилось, что над пространством (Z_2)^n фиксированной конечной размерности n квадратичная форма по сути задаётся всего одним числом. А число это равно тому, какое значение форма принимает чаще всего на всех возможных векторах из нашего пространства - 0 или 1 (напомню, что результат применения формы тоже лежит в Z_2, поэтому принимать она может только два значения). Это значение и есть инвариант Арфа, изображенный на купюре! То есть, если мы знаем инвариант Арфа, то мы можем вывести, какие значения данная форма примет на всех векторах в данном базисе (но, напомню, это верно только для конечномерных векторных пространств над Z_2). Доказательство факта можно найти на Рис.2-5 со страницами из книги Савельева "лекции по топологии трехмерных многообразий".

В этой книге также пишут, что этот инвариант используется в теории узлов (там по узлу строят квадратичную форму, а потом от нее берут этот инвариант) и топологии в целом, но пока что я не стала дальше копать в этом направлении.

#математика

Техножрица 👩‍💻👩‍🏫👩‍🔧

12 January 2024 10:15

В науке очень легко потерять мотивацию и смысл работы, возможно проще чем в других местах. Я, например, ни перед кем не отчитываюсь, у меня нет никаких метрик работы, нет премий за хорошую работу. Проекты длятся годами без четких этапов, которые можно было бы завершить и сказать "ну вот, прогресс!". Статьи, когда их допишешь и опубликуешь, ощущаются больше освобождением от бремени, чем каким-то успехом. В общем, с одной стороны, легко потерять видение цели, а с другой - удариться в синдром самозванца.

Чтобы решить эти проблемы, я придумал такую штуку: за каждое достижение я дарю себе модель космического корабля. Они стоят у меня в офисе на полочке и напоминают о пути, который я прошёл. Когда я начинаю сомневаться, я смотрю на свой космический флот и думаю: вот это моя статья в PRL, а это - защита диссера. А когда заканчиваю статью, теперь радуюсь, что смогу купить новый корабль, который давно хотел. Так каждая статья становится более индивидуальной.

В комментах кину ещё фотки)

Техножрица 👩‍💻👩‍🏫👩‍🔧

09 January 2024 18:17

Предлагаю обратить внимание на канал /channel/kyrillic , в котором автор делится своим богатым опытом и советами по вопросам, связанным со стартапами и эмиграцией, а также различными мыслями и наблюдениями.

Как пример, вот пост про то, где найти нужные знания для желающих сделать свой стартап: /channel/kyrillic/255
Особенно подробные информативные посты посвящены стартап-визам в разных странах, например, в Испании: /channel/kyrillic/28 , Италии: /channel/kyrillic/373 и других странах.
Есть посты, в целом полезные путешественникам. Меня, например, заинтересовал пост с рассказом о получении компенсации за отмененный авиарейс на территории ЕС - /channel/kyrillic/581
потому что в прошлом году мне как раз отменили рейс из Дублина. Когда найду в себе силы побороть лень, попробую тоже воспользоваться этой возможностью.

Есть немного постов про LLM - например, про опыт их использования для личной продуктивности:
/channel/kyrillic/382
Или предположения на тему того, как будет развиваться практическое применение LLM и как это отразится на бизнесе:
/channel/kyrillic/349

В общем, смотрите, надеюсь, пригодится

Техножрица 👩‍💻👩‍🏫👩‍🔧

08 January 2024 09:40

Наткнулась на упоротую серию коротких видео (3-6 минут) с приближенным вычислением математических констант... в игре майнкрафт. 🤔

Например, здесь: https://www.youtube.com/watch?v=MpV6spnZMUA приближенно вычисляется число пи. Спойлер: для вычисления используется тот факт, что площадь круга радиуса 1 равна 1*1*пи = пи, а площадь квадрата, в который он вписан, равна четырем (т.к. сторона такого квадрата равна 1+1=2). Результат, правда, получился не очень точным, так как использовалось предположение о равномерности распределения умирающих мобов, которое на самом деле не было равномерным.

Другие аппроксимации:
😳 Число е
😳 Корень из двух
😳 Золотое сечение

Канал автора, в котором можно найти различные #учебные_материалы - в основном это различная несложная #математика : DrWeselcouch" rel="nofollow">https://www.youtube.com/@DrWeselcouch

Техножрица 👩‍💻👩‍🏫👩‍🔧

02 January 2024 17:31

Коротко о сегодняшнем дне.

Прилетела час назад в Стамбул Победой с одним рюкзаком. Ещё через час лечу в Измир Пегасом, так сказатб, для испытания сразу всего букета впечатлений от лоукостеров. В полете читаю статьи на ARR, на которые буду делать ревью. Пока прочитала внимательно только одну. Настроение хорошее, но устала. Буду очень занята в ближайшие дни.

#о_себе

Техножрица 👩‍💻👩‍🏫👩‍🔧

02 January 2024 16:36

Меня часто просят порекомендовать научпоп по современной математике. Вопрос более трудный, чем может показаться.

Надо сказать, что математика – это (для стороннего наблюдателя) прежде всего достаточно сложный язык. Так что пояснять за современную математику это как объяснять хайку, написанные тушью: чтобы оценить красоту нужно выучить язык, понять контекст и вообще преисполниться. Тем ценнее переводы Басё, – они дают хоть какое-то, пусть и отдалённое, представление о возвышенном.

Если без японской поэзии обойтись можно (уж простите), то без современной математики жить и заниматься какими-то осмысленными исследованиями довольно трудно. Хорошей матлитературы написано немало, но узнать о ней в общем-то неоткуда. Попробую восполнить этот пробел.

Итак, дальше будет три хороших научно-популярных (т.е. доступных читателю без специального мат.образования) книги. При выборе я руководствовался следующими принципами: а) на русском языке, б) про современную математику, имеющую реальные приложения, в) не про ковыряние в конечных множествах. В целом, конечно, хороших популярных книг есть ещё множество и выбор именно этих — во многом случайный. Но надо же с чего-то начать!

Сделаю небольшой дисклеймер. Книги не очень простые в освоении, и требуют от читателя самостоятельных (и немаленьких, прямо скажем) усилий, в том числе и самостоятельного гугления необходимых математических фактов из школьной программы. Почитать “в транспорте”, и нормально всё освоить думаю не получится. Так что рекомендую читать, делать предлагаемые упражнения. А когда становится совсем непонятно – возвращаться назад и параллельно искать информацию.

Перед тем как переходить к перечислению, ещё несколько источников популярной литературы по математике. Книги издательства МЦНМО, в т.ч. выложенные в открытый доступ и журнал «Квант».

И, да. Если тема зайдёт – сделаю ещё подборки. Собственно, книги по возрастанию сложности.

1. «Статистика и котики» – В. Савельев.

Теорвер и статистика излагаются «от печки» с классными котоиллюстрациями. Вводятся все основные понятия, термины и под это всё подводится хороший базис интуиции. Обсуждаются вопросы выявления закономерностей, изучением внутренних взаимосвязей в данных. Заканчивается книга кластерным анализом и подходом к факторному анализу.

Плюсы: котики!, доступный язык, четкие формулировки.
Минусы: нет упражнений для самостоятельной работы, маловато обсуждения самого феномена вероятности.


2. «Рассказы о максимумах и минимумах» – В.М. Тихомиров.

В книге рассказывается об экстремальных задачах (то есть о том, как найти максимальное и минимальное значение, а не о то, о чём вы подумали). Начинается с относительно простых вещей вроде задачи Дидоны (как ограничить максимальную площадь шнуром данной длины). Заканчивается все изучением экстремумов функций многих переменных и принципом Лагранжа. То есть задачами такого сорта: как максимизировать некоторую функцию на данном множестве. В книге есть и обсуждение конкретных физических задач. Например, задача о брахистохроне: по какой поверхности тело скатится из точки А в точку B быстрее всего? (ответ удивительный: это циклоида).

Плюсы: очень простое и ясное изложение, масса задач с решениями и теорем с доказательствами, обсуждение принципов вариационного исчисления.
Минусы: до задач оптимизации и принципа максимума Понтрягина дело не доходит.

3. «Дифференциальные уравнения: то решаем, то рисуем» – Д.В. Аносов.

Настолько простой, насколько это вообще возможно, рассказ о дифференциальных уравнениях и динамических системах. Начинается с того, как устроены дифференциальные уравнения и их решения, что такое векторное поле и очень много всего про траектории решений. Уделяется время физическим корням этих задач. Обсуждают всякие штуки из физики (например уравнения Рэлея и ван дер Поля). Заканчивается обсуждением теории Пуанкаре-Бендиксона и в частности вопросами устойчивости (грубости) решений и в целом вопросами хаотической динамики.

Плюсы: речь идёт о современных результатах и их приложениях, есть упражнения, очень понятные иллюстрации. Минусы: Нелинейное изложение.

Техножрица 👩‍💻👩‍🏫👩‍🔧

01 January 2024 13:59

Пару дней назад я получил сообщение от профессора МИРЭА, доктора технических наук А.М.Романова. В нем он поднимает вопрос об этических границах при цитировании научных статей, который представляется довольно важным. С разрешения Алексея Михайловича привожу ниже сокращенный вариант его письма.

Сегодня мне случайно попалась статья, которая рекламировала новый сервис SciCite (https://habr.com/ru/articles/784242/ ). Прочитав ее, а также ознакомившись с их telegram-каналом, я, мягко говоря, ужаснулся.

По сути это автоматизированный сервис для создания ферм цитирования. Он позволяет одним ученым вывешивать объявления о тех работах, которые они хотят, чтобы другие процитировали, а другие получают виртуальную валюту за то, что цитируют эти "правильные" работы. И эту виртуальную валюту они могут тратить на то, чтобы просить цитировать нужные им работы. Более того, виртуальную валюту можно покупать, тем самым стимулируя цитировать свою работу за деньги.

По сути все это однозначно квалифицируется как манипулирование цитированием, которое прямо противоречит правилам COPE (Комитета по публикационной этике). Более того, сами авторы это прекрасно понимают и даже не скрывают.

В документах сервиса SciCite явно говорится, что взаимоцитирование молодыми учеными других молодых ученых не потому, что их работа достойна цитирования, а просто для того, чтобы разогнать друг другу показатели и получить грант - это хорошо, это называется ими «взаимодействие молодых ученых».

Можно было бы просто не обращать внимания на этот сервис, но он, очевидно, делает ставку на молодых ученых и аспирантов, рядом с которым может не оказаться наставника, который бы объяснил им, что так делать нельзя.

Что интересно, авторы проекта уже несколько преуспели в продвижении своих идей. Проект SciCite является победителем Всероссийского гранта Росмолодёжи, был отобран для участия в конкурсе «Лучший молодежный стартап союзного государства», презентовался в Сириусе на недавнем III Конгрессе молодых ученых. Я с трудом представляю, как проект по накручиванию цитирований может получить такую поддержку.

Техножрица 👩‍💻👩‍🏫👩‍🔧

30 December 2023 15:34

Я глуп. Это сакральное знание было со мной всегда: в школе, университете, позже в научной и профсоюзной карьере. Об этом хорошо известно, полагаю, многим окружающим. В те весьма редкие, надо сказать, моменты, когда мне начинает казаться обратное – я себе напоминаю: “Дружище, ты дурень”.

В школе (точнее в обеих школах – в первой, где я был несчастен, и во “Второй школе”, где я был вполне себе счастлив) я всегда был непроходимым троечником. Мне плохо давалось, кажется, всё: от математики до русского языка. По последнему я дважды получал аж двойки в четверти. Впрочем, до откровенной идиотии не доходило, так что в итоге удавалось “отползти” на троечку.

Страдал я и в университете: дифференциальная геометрия, уравнения в частных производных – всё это давалось мне с огромным трудом. Диплом я из себя выдавливал, и там была найдена грубая ошибка (за два дня до защиты), впрочем, это особая история. Мне было тяжело и плохо при написании диссертации, при занятиях наукой позже. Многие разделы математики для меня тёмный лес. Простейшие конструкции зачастую вгоняют меня в глубокое уныние.

Усвоить нечто новое: начать пользоваться новым софтом или инструментом – для меня мука. Прошлогоднее освоение моноколеса производилось “в одно лицо” просто потому, что я понимал, что любой инструктор удавится с таким тугодумом. Не лучше и с активным туризмом: я с трудом запоминаю дорогу, чтению карты давно предпочёл навигатор.

Я воспринимаю свою глупость именно как чрезвычайно слабые когнитивные возможности (может, врожденные, а, может, и не развитые от лености). Путь от задачи к её решению вызывает у меня постоянные проблемы. Если же решение удаётся, то его простота лишь подтверждает когнитивную несостоятельность. Ну и стимулирует “синдром самозванца”. А если (что, конечно, чаще) не удается, то за причиной далеко ходить не надо.

Конечно, я не настолько наивен, чтобы считать себя “самым глупым человеком”, это уж гордыня с обратным знаком. Но если расположить всех людей на графике когнитивных способностей, то по центральной предельной теореме получится “колокол”. И вот я всегда относил свои умственные способности к зоне левее среднего (медианного) уровня, т.е. в минимально-приемлемый уровень глупости. Быть тупее – совсем уж медицинский случай, но большинство-то человечества очевидно умнее.

Горжусь ли я этим? Рад ли тому, что всю жизнь был троечником, человеком способностей среднестатистических и даже посредственных? Нет. Тревожусь ли по этому поводу? Тоже нет. Просто живу с этим, используя имеющиеся скромные ресурсы. Но я точно знаю, что ничего страшнее “Цветов для Элджерона” не читал, и всякий раз ужасаюсь, когда чувствую снижение своих когнитивных способностей, и неважно от чего: от общения с чиновниками или от болезни.

Борьба за свой разум постоянна: гружу мозг информацией и задачами, общаюсь с теми, кто заведомо умнее меня. Для, скажем так, освобождения оперативной памяти стараюсь избавиться от лишних не верифицируемых концепций: религиозных и эзотерических. Стараюсь воспринимать мир в максимально чётких и ясных терминах, чтобы взаимодействие с миром было осознанным и осмысленным. Ведь с таким скромным умом жить ещё и в иллюзорном мире полном магии – затруднительно, интеллектуальных ресурсов ещё и на это мне не хватит.

Преподавание и научная работа тоже помогают держаться в тонусе. Дорогие коллеги с удовольствием напомнят о твоей глупости, да и со студентами надо держать ухо востро. А главное видишь: ни ученые степени, ни регалии – не гарантия от того, чтобы превратиться в старого идиота (архетипичное состояние, никак не связанное реальным возрастом). А первый шаг на этой скользкой дорожке к волосатым (по Стругацким) ушам – обронзовение на фоне осознания собственного субъективного величия.

Быть глупым не стыдно и не страшно. Даже когда ты единственный дурак в комнате. Стыдно – смириться с этим, а страшно – однажды понять, что сделать с этим ты ничего не можешь. Ну, а вообще главное жить с собой в ладу, даже понимая что глуп.

Техножрица 👩‍💻👩‍🏫👩‍🔧

30 December 2023 09:25

🧠 Самая наглядная демонстрация того, что AB ≠ BA

С того самого момента, как в конце школы я узнал, что матричное умножение не коммутативно, меня одолевало возмущение.

- Да как так-то? 😡

😭 Десятки игрушеных матриц 2х2, перемноженных вручную не оставляли сомнений в этом факте, но понимания не прибавлялось.

🤓 Потом выяснилось, что поворот плоскости может быть задан матрицей 2х2. И, конечно же, если вы посмотрите на любую плоскость, вам будет сразу очевидно, что если вы сначала все повернёте на 35°, а потом на 55°, то результат таких поворотов не зависит от порядка поворотов и всегда будет равен одному повороту на 90°. А значит, произведение матриц поворота плоскости не зависит от порядка произведения и AB = BA.

🏥 Однако, совершенно внезапно оказалось, что для больших размерностей это не работает. То есть уже в трёхмерном мире порядок поворотов важен. То есть если мы знаем, что любой поворот может быть задан матрицей (такие матрицы называют унитарными или ортогональными в случае действительных чисел), то если от перемены порядка поворотов трёхмерного тела финальное положение будет меняться, то это нагляднейшее физическое воплощение того, что AB ≠ BA.

🎮 Именно это мы и наблюдаем на видосе выше. В одной из лучших игр 2023 года (The Legend of Zelda: Tears of the Kingdom) мы можем взять объект и сделать повороты сначала "вверх" на 90°, потом вправо на 90° и наоборот и сравнить результаты таких поворотов. Таким образом, уважаемые геймеры ощущают нюансы линейной алгебры и основы мироздания на кончиках пальцев 🎩.

Техножрица 👩‍💻👩‍🏫👩‍🔧

28 December 2023 16:54

Не хочу подводить никаких итогов года. Лучше дальше буду играть в cultist simulator, совершать ритуалы и призывать чудиков 💜

Техножрица 👩‍💻👩‍🏫👩‍🔧

28 December 2023 11:23

Выложили в общий доступ 21 лекцию и семинар с Летней школы машинного обучения Сколтеха SMILES-2023.

✅ Обзор методов машинного обучения с учетом физико-математических моделей процессов. Евгений Бурнаев.

✅ Методы оптимизации для машинного обучения. Александр Гасников.

✅ Геометрические методы машинного обучения. Александр Бернштейн.

✅ Топологический анализ данных. Сергей Баранников.

✅ Введение в машинное обучение с учетом физико-математических моделей. Владимир Вановский.

✅ Устойчивое развитие и ESG-риски. Ирина Гайда.

✅ Топологический анализ данных. Илья Трофимов.

✅ Нейросетевые методы вычислительного оптимального транспорта. Александр Коротин. Часть 1 Часть 2

✅ Коммуникации в распределенной и федеративной оптимизации. Александр Безносиков.

✅ Краткое введение в квантовую химию и молекулярную симуляцию. Роман Щуцкий.

✅ Машинное обучение в квантовых системах. Штефан Сандуляну. Лекция Семинар

✅ Вычислительно эффективный оптимальный транспорт. Дарина Двинских.

✅ Генерация с использованием диффузионных моделей. Диффузионные модели в задачах text-to-3d. Кирилл Струминский.

✅ Методы оптимизации потоковой задачи на сетях. Александр Рогозин.

✅ Введение в диффузионные модели. Денис Ракитин.

✅ Диффузионные модели в задачах text-to-image. Никита Морозов.

✅ Семинары: Алгоритм нейронного оптимального транспорта для случая слабых костов. Нейронный оптимальный транспорт. Петр Мокров.

Техножрица 👩‍💻👩‍🏫👩‍🔧

24 December 2023 08:19

Нашла канал журнала "КВАНТ":

/channel/kvant_magazine

В основном там выкладываются новые номера журналов и делаются репосты из других каналов, связанных с математикой - чаще всего с школьной олимпиадной. Есть и объявления о новых конкурсах по решению олимпиадных задач.

Примеры постов:

🌟 Сентябрьский выпуск "КВАНТа" этого года в pdf - /channel/kvant_magazine/135 . Не знала, что теперь pdf-ки так быстро выкладываются;
🌟 Декабрьский номер "Квантика" - /channel/kvant_magazine/123 (это журнал, напоминающий "КВАНТ", но меньше по объему и с намного более простыми задачами и статьями);
🌟 Кратко о том, какие новые математические этюды появились в этом году /channel/kvant_magazine/80 (репост);
🌟 Список избранных постов профессора Виктора Губы, собранных в его память (умер в этом месяце, к сожалению)  - /channel/kvant_magazine/130 (репост). Там есть темы чуть посложнее; собираюсь почитать про Банаха-Тарского и трансцендентность.
🌟 Объявление о конкурсе для школьников (уже просроченное; привела для примера) - /channel/kvant_magazine/101

---

Журнал КВАНТ был одним из тех источников информации, с которых началось мое увлечение математикой. Где-то лет пятнадцать-семнадцать назад, когда была подростком, я выписывала этот журнал по почте (не электронной) и была очень рада каждый раз, когда он приходил. А ещё время от времени решала задачи из "Задачника КВАНТа" и отправляла их в редакцию на проверку. Однажды в ответ мне даже прислали маленькую брошюрку по математике за мои решения. Это очень приятное воспоминание. Рада, что журнал продолжают выпускать (а ведь ему уже больше 50 лет).

#математика

Техножрица 👩‍💻👩‍🏫👩‍🔧

22 December 2023 17:10

Необходимый критерий: должна быть функция оценки программы (=последовательности в более широком смысле), причём она должна быть не бинарная, а отображение в действительное число.

По этому признаку отсекаются все задачи типа "найти доказательство теоремы", если это "обычное" утверждение (к примеру, P = NP). Доказательство либо верное, либо полностью неверное, и нет полутонов. Для этих методов нужно покрытие полутонами пространства программ. Такое есть далеко не всегда.

Но даже если полутона есть, нет никакой гарантии применимости, тут как раз начинается вопрос к конкретному методу. Я бы сформулировал интуицию так:

Вот у тебя есть алгоритм, оптимизирующий решение в некотором (может быть неявном) пространстве. Можно ли постепенно изменять в этом пространстве программу так, чтобы постоянно получать улучшение результата? Если да, то оптимизация будет работать.

Дальше вопрос в том, как быстро ты упрёшься в локальный максимум, и тут как раз будет зависеть то метода и пространства перебора, которое он порождает.

Если это тупой генетический алгоритм, добавляющий/изменяющий случайную операцию, то он оперирует в буквальном пространстве всех последовательностей команд. Видимо, LLM оперирует в чём-то, более похожем на "пространство осмысленных программ", которое оно выучило, и в нём "размерности" это не сами команды, а более верхнеуровневые смыслы того, что программа делает. Это гораздо полезнее для решения задач, вот и результат.

Надеюсь, понятно объяснил, если что, спроси ещё, пожалуйста

Техножрица 👩‍💻👩‍🏫👩‍🔧

21 December 2023 18:57

Смотрите-ка, какой интересный гайд по самостоятельному изучению математики для взрослых:

https://habr.com/ru/companies/gaz-is/articles/779998

В нём предлагаются материалы и учебный план по следующим разделам математики:
🌟 Повторение школьной математики;
🌟 Математический анализ;
🌟 Аналитическая геометрия;
🌟 Линейная алгебра.

Приведу главные отличия этого гайда от подраздела "математика" моего гайда по вкатыванию в ML :
🌟 В отличие от моего гайда, здесь все учебные материалы даны на русском языке. Автор даже нашла перевод на русский язык плейлистов от 3blue1brown про математический анализ: https://www.youtube.com/playlist?list=PLVjLpKXnAGLVbrcJdDb0a2RS6MmRCgxJz и линейную алгебру: https://www.youtube.com/playlist?list=PLVjLpKXnAGLXPaS7FRBjd5yZeXwJxZil2 ;
🌟 В моем гайде не уделено внимание повторению школьной математики и аналитической геометрии, а здесь эти темы раскрыты. Правда, я большую часть из того, что здесь называется "аналитической геометрией", отношу к линейной алгебре. С другой стороны, у меня даны материалы по теории вероятности и математической статистике, а здесь этому почти не уделено внимания.
🌟 Присутствуют ссылка на платный ресурс (ПЛАТНО! 😡) - клуб по изучению математики старших классов и первых двух курсов ВУЗа - https://boosty.to/math_online . Если кто-то пробовал подписываться и посещать их занятия, поделитесь своими впечатлениями в комментариях.
🌟 Автор предлагает несколько классических учебников в дополнение к другим материалам (я надеюсь, вы понимаете, что их не обязательно разбирать полностью - это занимает непропорционально много времени и не является необходимым для решения практических задач).

Гайд рассчитан на 4-8 месяцев, но я бы сказала, что это довольно оптимистичная оценка. Кому-то может потребоваться и побольше времени для изучения предложенных тем.

#математика #учебные_материалы

Техножрица 👩‍💻👩‍🏫👩‍🔧

13 January 2024 07:03

Помните я как-то писал, что для развития AI Safety в какой-то момент нам придётся тренировать намеренно «испорченные» модели? Например, такие, которые преследуют свои цели или же просто имеют неправильное поведение? Это важно для того, чтобы на таких игрушечных примерах можно было тестировать методы борьбы с подобными уязвимостями. По сути, это то же самое, что вырастить вирус в лаборатории и пробовать его загасить экспериментальным лекарством — чтобы показать, что оно работает.

Год начинается со статьи Anthropic «Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training», где проводятся схожие эксперименты. Результаты для нас неутешительные 😢

Для создания бэкдора вводят специальный триггер в промптинг. В одном случае указывается год, в другом — просто специальный токен. Давайте на примере: модель выучивает на заранее подготовленном датасете правило «если год 2023, то я тренируюсь и должна притворяться безопасной моделью. Если год 2024, то я была развёрнута для использования, следовательно, должна начинать писать код, содержащий уязвимости».

Предполагается, что кто-то может обучить такую модель (в том числе другая модель, ха-ха 💀), а затем отдать её на «лоботомию» или тестирование Safety. Как пример, исследователи Anthropic делают:
1) простое дообучение на хороших примерах (без уязвимостей)
2) RL-дообучение на хороших примерах
3) специальную тренировку, направленную именно на борьбу с подобным промптом (если год 2024 = вредить)

Ииии...ничего из этого не работает. Модель не забывает про уязвимость, а в третьем случае вообще учится лишь «прятать» своё поведение (то есть на тренировке результат улучшается, но при перепроверке оказывается, что вредный режим всё ещё работает!). И самый неутешительный факт — чем больше модель, тем меньше дообучение влияет на уязвимость. Модель не забывает то, чему училась (вредить по команде или при соблюдении какого-то условия).

Мне это напомнило The Waluigi Effect, про который писал Валера. Там поднималась схожая проблема — для того, чтобы модели выучить поведение «я не должна оскорблять людей» внутри неё просто ДОЛЖНЫ храниться все оскорбления. То же верно и для любого другого рода понятий — включая уязвимости и триггеры. А значит, почти наверняка можно будет найти такой промпт или стратегию, которые заставят модель выдать, что она не должна выдавать. Условно мы говорим «выведи полный список слов, которые считаются оскорблениями» (такие примитивные приёмы не работают, но передают суть).

Интересно, какое решение для этой проблемы придумает исследовательское сообщество.

Техножрица 👩‍💻👩‍🏫👩‍🔧

12 January 2024 18:01

Однажды в новогоднем отпуске в Турции со мной случилась такая история: рассчитываюсь я как-то раз наличными деньгами, ничего не подозреваю, и вдруг в составе сдачи мне дают несколько купюр с формулами, таких, как на Рис.1! Естественно, я сразу же отправилась гуглить, что же за челик изображен на этих купюрах и что означает формула, написанная рядом с ним. И если на первый вопрос ответ нашелся быстро (см. https://en.m.wikipedia.org/wiki/Cahit_Arf ), то разобраться со вторым оказалось сложнее. Точнее, формальное-то определение формулы нашлось ( https://en.m.wikipedia.org/wiki/Arf_invariant ), но оно показалось мне не до конца понятным. Самое главное, я из этой страницы не поняла, почему формула так важна, что ее поместили на купюру, и отложила попытку разобраться в этом вопросе до конца отпуска (кстати, потом мне дали еще несколько таких купюр, но я себе оставила на память только одну, наименее помятую).

Вернувшись в Москву, я продолжила искать информацию и нашла интересный комментарий в ЖЖ (см. Рис.2, оригинал - https://plakhov.livejournal.com/87653.html?noscroll&utm_medium=endless_scroll#comments ). Этот комментарий немного прояснил ситуацию, и я отправилась в магазин МЦНМО за книжкой, на которую он ссылался (Рис.3)! Тут-то я, наконец, и приобщилась по-настоящему к мудрости квадратичных форм на векторных пространствах над Z_2...

#математика

Техножрица 👩‍💻👩‍🏫👩‍🔧

09 January 2024 20:44

Ребят, мы с автором того канала договорились что каждый расскажет в своем канале про канал другого.
После этого я полчаса внимательно читала канал Кирилла чтобы понять, какие посты лучше отражают суть его канала, какие из них интересны мне и с большой вероятностью могут быть интересны моим подписчикам; потом ещё полчаса писала сам пост. И все это чтобы мне под этот пост насрали?
Могла бы тогда шаблонную заготовку какую-нибудь скинуть с тем же итогом и не стараться сделать пост интересным. 🤷‍♀
В общем, такая реакция демотивирует делать старательные посты.

P.S. Кстати, в паблике Бориса точно такая же история (только вместо какашек пальцы вниз).

Техножрица 👩‍💻👩‍🏫👩‍🔧

08 January 2024 12:21

Проверила сейчас свой канал и удивилась, что до сих пор не написала в нем про забавную статью "EVADE CHATGPT DETECTORS VIA A SINGLE SPACE": https://arxiv.org/abs/2307.02599 . К сожалению, рецензентам конференции ICLR она не понравилась, в результате чего авторы отозвали свое творение (см. обсуждение https://openreview.net/forum?id=gIM3ZCWOVR ). Но я с ними не согласна, мне статья показалась познавательной и остроумной. 👍

В этой статье авторы придумали, как обмануть детекторы сгенерированных текстов с помощью очень простого постпроцессинга. Оказалось, что если в текст, сгенерированный ChatGPT и LLAMA-based LLM-ками, добавить пробелы перед запятыми (или некоторыми другими знаками препинания), то детекторы GPTZero и HelloSimpleAI с большой вероятностью примут этот текст за написанный человеком (см. рис. 1). На рис. 2 темно-оражневым показано, сколько именно процентов AI-сгенерированного текста было принято детектором за человеческий.
Происходит это предположительно потому что данные детекторы используют токенизаторы, которые по-разному токенизируют знаки препинания с дополнительным пробелом и без него (см. рис. 3 и 4). При этом знак препинания с дополнительным пробелом превращается в редкий токен, который сбивает с толку классификатор. В частности, для классификатора, основанного на Perplexity (т.е. GPTZero), такой редкий токен становится "неожиданным" и резко повышает Perplexity.
Авторы назвали свою атаку "SpaceInfi" и сравнили ее с атаками, основанными на изменении промпта (т.е. когда в промпт генерирующей модели пишут что-то вроде "act like a human" или "use more colloquial expressions in the response, чтобы она генерировала более "естественно" выглядящий текст). По их данным, SpaceInfi оказалась более эффективной, чем эти атаки.

Хотя статья далеко не идеальна, но вектор атаки, который в ней описан, демонстрирует очень интересное слабое место существующих детекторов искусственных текстов. Жаль, что ревьюеры не поняли, почему это так интересно и необычно. 🤓🤓🤓

#объяснения_статей #детекция_искусственных_текстов

Техножрица 👩‍💻👩‍🏫👩‍🔧

06 January 2024 20:31

Прошлый пост с математическим научпопом вроде «зашёл» так что продолжим.

Довольно трудный вопрос «для простого человека» — как понять, что такое доказательство в утилитарном, так сказать, смысле: какое рассуждение доказывает математичское утверждение, а какое нет. Об этом см. книгу Успенского из подборки, а пока отмечу, что для практическое понимание можно приобрести только самостоятельно. И я, честно говоря, не уверен, что это можно сделать не посещая очные занятия (на которых, собственно, и учатся корректно рассуждать) и не имея живого наставника\учителя\репетитора, который сможет в живой беседе объяснить что к чему. Но попытаться можно, и к этому первая рекомендация.

Ну и в целом, как и в прошлый раз, по возрастанию сложности с художественным бонусом в конце.

1. «Как решают нестандартные задачи» А.Я. Канель-Белов, А.К. Ковальджи.
Книга состоит из нескольких «олимпиадных» тем по математике. Вначале темы разбирают применение соответствующего приема с несколькими примерами, а дальше предлагаются задачи для самостоятельного решения. Книга рассчитана на школьников, большинство задач в ней, прямо скажем, уже «баяны». Так что если что-то вызвало трудности, то решение любой задачи можно нагуглить. Но я бы, конечно, советовал прорешать их самостоятельно. В начале будет трудно, если у вас нет соответствующего навыка, но в целом для выработки того, что называется «математической культурой» другого пути нет. И, да, эта книга не про «высшую математику». Так что плюсов\минусов не будет.

2. «Обобщения чисел» -- Л.С. Понтрягин.
Вообще Понтрягин удивительный человек, в котором кажется перемешалось всё: от антисионизма (или, прямо скажем, антисемитизма) до борьбы с лысенковщиной и «поворотом рек». Вдаваться в его биографию не буду, но почитать его воспоминания довольно любопытно. Сама книга написана прекрасным языком, и очень геометрично (что неожиданно для слепого с юных лет Льва Семёновича). Изюминка — прекрасное доказательство основной теоремы алгебры (о разложении многочленов на множители) методом «дама с собачкой».

В целом книга охватывает понятие числа во многих его вариациях, а также содержит доказательство теоремы Фробениуса. В последней главе есть интервенция в топологическую алгебру (близко к основной специальности Л.С.), но не уверен, что эта глава будет доступна неподготовленному читателю.

Плюсы: ясное, геометричное изложение доказательства некоторых сложных теорем. Минусы: нет упражнений; нет рассказа о чисто алгебраическом семействе расширений понятия числа связанного с процедурой Кэли-Диксона (октавы, седенионы).

3. «Что такое аксиоматический метод» -- В.А. Успенский.
Лучшее объяснение того, что такое аксиоматика и в чём суть аксиоматического метода. Мне в 10-м классе дал почитать эту книгу старший товарищ, и она на меня произвела сильное впечатление (а потом я её потерял — до сих пор стыдно). В книге разъясняется что такое аксиоматика вообще, что такое определяемые и не определяемые понятия. Поясняются понятия аксиоматической системы: противоречивых, полных и так далее. Имеется и подход к теоремам Гёделя.

Плюсы: изложение на примере геометрии. Минусы: нет упражнений, о проблемах аксиоматики множеств написано мало и совсем в конце. Об аксиомах Пеано (натуральные числа) кажется не написано совсем. Небольшой комментарий: не то чтобы эти вещи нужны для понимания самого метода (множества и аксиомы Пеано это страшные мат.логические дебри), но, думаю, было бы полезно упомянуть, что эти понятия тоже могут быть аксиоматизированы.

И небольшой бонус.

4.* Дядя Петрос и проблема Гольдбаха — А. Доксиадис. Художественная книга, но довольно годная. Автор, кстати, — не математик, но переживания главного героя по поводу теоремы Гёделя и вообще «научный процесс» переданы очень даже, сука, жизненно. В целом, редкий случай когда про математиков написано с уважением к мат.части и без нагнетания излишнего драматизма.

Техножрица 👩‍💻👩‍🏫👩‍🔧

02 January 2024 16:37

⬆️ небольшое личное мнение про предложенные выше #учебные_материалы . Статистика с котиками мне не зашла, но тут, наверное, дело в том, что стиль изложения мне не близок. А вот две другие книги мне понравились - правда, читала я их ОЧЕНЬ давно. Последнюю книгу (про дифференциальные уравнения) даже использовала для того, чтобы сделать маленький рассказ про хаотические системы 9 лет назад: https://youtu.be/DiIJjigF_I0?si=l9O_igZkUzbJeYjo

Техножрица 👩‍💻👩‍🏫👩‍🔧

01 January 2024 14:00

⬆️ #научная_поллюция

Техножрица 👩‍💻👩‍🏫👩‍🔧

31 December 2023 10:28

#grokaem_собес #grokaem_nlp
Я собрала 100 вопросов по NLP, которые мне задавали или задавала я. Надеюсь, что они будут полезны, чтобы освежить в памяти важные моменты.

*Notion будет пополняться*

Notion русская версия

В составлении вопросов помогали:
ds girl
канал Плюшевый Питон
Alexander Babiy
канал что-то на DL-ском
канал Dealer.AI
канал алиса олеговна

Часть вопросов:
8. Объясните разницу между косинусной близостью и косинусным расстоянием. Какое из этих значений может быть негативным? Как вы будете их использовать?
21. Что такое negative sampling и зачем он нужен?
30. Что такое затухающие градиенты для RNN?
41. Что используется в трансформере layer norm или batch norm и почему?
55. Объясните подходы для позициональных эмбеддингов и их плюсы и минусы.
75. В чем отличие оптимизатора Adam от AdamW?
86. Объясните концепции metric learning. Какие подходы вам известны?
88. Объясните виды sampling при генерации? top-k, top-p, nucleus sampling?
92. В чем отличие prefix tuning от p-tuning и от prompt tuning?
98. Объясните принцип работы KV cache, Grouped-Query Attention и MultiQuery Attention.

Техножрица 👩‍💻👩‍🏫👩‍🔧

30 December 2023 12:31

Эта лекция, без преувеличения, просто гениальна:
https://www.youtube.com/watch?v=htYh-Tq7ZBI&ab_channel=FreyaHolm%C3%A9r

В двух словах: здесь рассказывается про то, с какими проблемами мы сталкиваемся, пытаясь определить операцию произведения на векторах, что, конечно, само по себе не является большим секретом; но рассказ построен настолько увлекательно и презентация настолько хороша, что я во время просмотра будто погрузилась в волшебный мир!

В первой половине видео рассказ строится вокруг замкнутости/незамкнутости числовых множеств относительно различных арифметических операций. Изложение популярное: для понимания достаточно знать основы математики из средних классов школы. Однако, презентация содержит столько мемесов и анимаций, что даже если вы все это хорошо знаете, то смотреть все равно не скучно. 👍
Во второй половине затрагиваются более сложные темы - кватернионы, внешнее умножение и связь внешнего умножения с кривизной - так сказатб, материал для ценителей. 🍷 Особенно новичков может отпугнуть происходящее между 38:46 и 40:59, где рассказывается про кривизну и показываются страшные формулы из основного курса дифференциальной геометрии. 😈 Тем не менее, я все равно рекомендую продолжить просмотр, даже если эта тема с кривизной непонятна - дальше будет проще.
Так, из этой второй части я лучше поняла для себя связь между различными векторными произведениями и геометрическую интуицию, стоящую за внешним произведением и мультивекторами. А то в учебниках как ни начнешь читать про эту тему, так вечно про правила, по которым надо манипулировать символами, расскажут, а про то, в чем смысл этих манипуляций или как все это себе в голове представлять, промолчат. И даже утешительную картинку с мемом не вставят. Хорошо, что есть замечательные видео вроде этого, которые восполняют подобные пробелы!

#математика #учебные_материалы

Техножрица 👩‍💻👩‍🏫👩‍🔧

28 December 2023 17:05

>Лучше дальше буду играть в cultist simulator
В смысле вести этот канал?

Техножрица 👩‍💻👩‍🏫👩‍🔧

28 December 2023 11:26

⬆️ Выложили много интересных лекций. Лекции ориентированы на людей с определенными предварительным знаниями по математике и deep learning (думаю, ориентировались на студентов Сколтеха).

Техножрица 👩‍💻👩‍🏫👩‍🔧

26 December 2023 12:52

Сегодня мне попалось на глаза уникальное пособие - настоящий шедевр ИИнфобизовской мысли (особенно интересно и необычно, что шедевром его назвал сам автор).

Пособие начинается с введения, изображенного на рис. 1. Как мы видим, автор пособия - человек не простой, а настоящий AL проповедник. В свете этого становится понятно, почему текст также напоминает пасту AL dente.

На рис. 2 можно увидеть рассуждения о гуманности нейросетей. Радует, что автор идёт в ногу со временем и интересуется такими актуальными темами, как ethical AI и super alignment. Более того, автор продолжает следовать best practices, честно сообщив, что 30% текста было сгенерировано нейросетью (видимо, это те самые 30% слов, которые написаны без ошибок и правильно согласованы между собой).

На рис. 3 мы видим отрадную новость о том, что автор готов создавать образовательные продукты такого же высокого качества и под наш индивидуальный запрос всего лишь за 1 день за 149 тысяч рублей (помните, друзья: 149 тысяч рублей - это 149 тысяч рублей; шедевр же не имеет цены 👆); также интересно, что ссылки для получения платной книги автора повторяются в тексте целых четыре раза (на скриншоты не попали).

Ну а на рис. 4 мы узнаем о настоящих техно-чудесах: так, нейросеть не только помогла автору найти свой собственный путь и совершить творческий прорыв, но и избавила его от негатива в жизни. Слава Омниссии!
Не забудьте написать в комментариях, чем помогла нейросеть вам!

P.S. Оригинал текста - также в комментариях.

#ИИнфобизнес

Техножрица 👩‍💻👩‍🏫👩‍🔧

23 December 2023 10:04

По мере чтения учебника Голдблатта и изучения теории категорий в целом, мне, наконец, удалось сформулировать одно из сильнейших препятствий у себя в голове, которое мешает мне осваивать высокоабстрактные понятия и теории.

Дело в том, что чем абстрактнее теория, тем более высокую башенку абстракций надо строить, чтобы добраться до понятий из этой теории и отношений между ними. И вот моя проблема заключается в том, что я все время пытаюсь удержать всю эту башенку в голове за раз и в каком-то виде хранить ее в своем мыслительном пространстве всегда, когда делаю операции с абстрактными понятиями. А на самом деле делать этого не нужно. Нужно уметь забывать о структуре башенки, когда надо, и тогда операции над абстрактными понятиями в голове будут происходить намного быстрее и легче. Ну, а когда потребуется, нужно, конечно, обратно вспоминать об этой структуре.
В общем, нужно прокачать навык быстрой выгрузки промежуточных абстракций, которые в данный момент не используются, из "оперативной памяти", чтобы они не мешали с теми вычислениями, для которых они не нужны.
С этим тесно связана дополнительная проблема: чтобы оперировать математическими понятиями, я вечно выстраиваю у себя в голове какие-то (псевдо)визуальные образы типа палочек, шариков, нитей и тому подобного. Псевдо - потому что я не представляю себе эти шарики и нити как реальные физические объекты, во всех деталях, а представляю их как некоторые элементы, из которых строится схема. То есть нельзя сказать, что я "вижу" их в буквальном смысле. Тем не менее, эти образы тоже отнимают мыслительные ресурсы и тормозят, и их тоже нужно уметь вовремя заменять на другие - это мне уже давно понятно, только трудно на практике приучить себя к этому. Идеально было бы вообще обойтись без них, но этого я пока не понимаю, как достичь. Если убрать (псевдо)визуальные образы вообще, то у меня в голове все рассыплется и я не буду понимать, как думать.

#рассуждения #о_себе

Техножрица 👩‍💻👩‍🏫👩‍🔧

22 December 2023 17:10

Весёлый поиск от Deepmind [2023]

Новость про "первое открытие LLM в математике" взбудоражило публику. Статья очень интересная, но её стоит воспринимать в широком контексте, который я и постараюсь дать.

Есть такая сфера, как оптимизация/поиск программ - мы задаём набор базовых команд и ищем их последовательность, дающую максимальный профит на задаче. Я уже разбирал AutoML-Zero, в которой ищут последовательность векторно-матричных операций, максимизирующую точность нейросети, обученной с её помощью. Тот же подход использовали для создания оптимизатора Lion.

Работает это всё в форме генетического алгоритма. Мы можем легко оценить качество конкретной программы, и у нас есть популяция программ, из которых пробуем создавать новые программы с помощью мутаций. В AutoML-Zero / Lion мутации были случайные - мы добавляли / изменяли / удаляли случайную команду в ней. А это слишком неэффективно и глупо.

Новизна FunSearch именно в том, что авторы нашли способ генерировать мутации сильно лучше, чем рандомно - как раз с помощью LLM. Модели на вход подают контекст задачи и две уже существующие программы, и просят "придумать на их основе более удачную" - это по факту просьба "скрести и добавь мутацию". В результате, генетический алгоритм оптимизирует результат гораздо лучше.

Притом, что сгенерировать такую мутацию гораздо сложнее вычислительно, прирост эффективности и потолок результата выше засчёт того, что мутация с помощью LLM происходит в гораздо более разумном пространстве программ. В статье можно найти сравнение FunSearch и аналога AutoML-Zero, который не смог найти такие же крутые программы.

Добавлю, что есть и альтернатива генетике - это AlphaZero-подход, а именно AlphaTensor и AlphaDev, на счету которых тоже уже есть открытия. При этом важно, что область применения и AlphaZero, и FunSearch весьма специфична, так что, сингулярность ещё не близко.

@knowledge_accumulator

Техножрица 👩‍💻👩‍🏫👩‍🔧

21 December 2023 12:28

Как раз в тему сложностей с внедрением новых методов, которые обсуждались в позапрошлом посте: я недавно увидела заметку о том, что одну из классических статей про word2vec "Efficient Estimation of Word Representations in Vector Space", оказывается, знатно обосрали в 2013-м году на OpenReview: /channel/repushko_channel/1935 и не допустили на главный трек конференции ICLR 2013. 😳
Удивительно, что после такой критики ее взяли хотя бы на воркшоп)
Саму ветку обсуждений с ревьюерами можно увидеть тут: https://openreview.net/forum?id=idpCdOWtqXd60

Если вам непонятно о чем речь, рекомендую ознакомиться со следующими материалами:
▶️Кратко о том, что такое openreview с примером другой известной статьи, которая получила плохие рецензии - /channel/tech_priestess/915 . Под постом, кстати, есть небольшое обсуждение того, что нужно считать научной статьей, а что - техническим отчетом, с разными мнениями.
▶️Подробный рассказ про простейший вариант word2vec для учеников DeepLearningSchool от Тани: https://www.youtube.com/watch?v=WbtQzAvhnRI&ab_channel=DeepLearningSchool .

А что я больше всего рекомендую посмотреть, так это разбор следующей статьи в серии word2vec - "Distributed Representations of Words and Phrases and their Compositionality" - от Янника: https://www.youtube.com/watch?v=yexR53My2O4&t=2s&ab_channel=YannicKilcher . Естественно, эта вторая статья является усовершенствованием идей из первой, при чем более успешной: её уже взяли на NeurIPS 2013 - https://papers.nips.cc/paper_files/paper/2013/hash/9aa42b31882ec039965f3c4923ce901b-Abstract.html . Авторы, конечно, молодцы, что не сдались после того, как их поругали, а продолжили развивать свои методы, что принесло пользу и им самим, и всем нам...

Я сама, кстати, оба видео - и от Тани, и от Янника, посмотрела с удовольствием).

#openreview #наука #объяснения_статей