Люблю высокие технологии и кушать. Добро пожаловать, если в сферу твоих интересов тоже входят математика, DL, NLP, программирование на Python, или тебе просто любопытно, о чем на досуге размышляют люди, занимающиеся разработкой и исследованиями в ML.
Автор текста: gpt4o ( /channel/NeuralShit/5500 ), автор музыки: suno.ai .
В честь дедлайна абстракта на нейрипс приоткрою комменты, если опять начнется треш - будут либо баны, либо закрытие до финального дедлайна (через 6 дней).
Поставил третьей моделью gpt-4o в @saiga_igusev_bot, можно пользоваться, запросы и ответы собираю. Не забудьте переключить модель и поставить пустой системный промпт, а то она будет думать, что она Сайга.
Пока без картинок.
🌷 Когда вы три дня и три ночи срали в комментариях на тему квантовой механики, это абсурдно, местами раздражающе и потратило много моего времени, но это хотя бы было смешно.
🌷 Когда под постом "мне не нравятся клоуны", меня начали учить жизни и объяснять мне, что такое троллинг и что бывает в интернете, градус абсурда повысился. Вы пытаетесь это объяснить человеку, который застал времена первого двача, правил статьи на лурке и в какие-то бородатые годы ходил в рейды на УГ 🤦♀
🌷 Когда вы начали засирать совершенно обычный пост с совершенно нормальными карьерными советами, мое терпение закончилось.
Пока что можете молча перечитать заглавный пост: /channel/tech_priestess/607 (там собрано много тегов, например, про собеседования и корпы много под тегом #карьера ). Также можно молча читать новые посты и ставить реакции под ними. А вот детский сад в комментах закрыт на карантин до дедлайна на neurips. 💅
Мне неприятно от того, что на пост с дипломом поставили так много клоунов 🙅♂️
Читать полностью…У меня каждый раз обои отклеиваются от того, что происходит в комментариях при любом, даже мимолётном упоминании физических теорий, особенно этой
Читать полностью…Решила на выходных дочитать небольшую книжку-комикс про жизнь и некоторые идеи Юнга (см. старый пост /channel/tech_priestess/1320 ). Однако, кроме рассказов про самого Юнга (который был тем еще еретехом 🙏), комикс содержит и некоторые мысли автора. В частности, заметила на одной из страниц вот такую мысль (см. рис. 1, маркер).
И блин, я до сих пор не могу привыкнуть к тому, насколько часто люди допускают ошибку, говоря, что квантмех якобы как-то связан с проблемами сознания...
Ну не связан он с ними никак. Вообще никак. Квантмех создан для того, чтобы объяснять определенный класс явлений. Ядро теории состоит из набора формул, которые оперируют обычными физическими терминами + понятием "волновая функция" (и всего, что с ней связано) и выдают результаты по поводу вероятности местонахождения частиц в разных местах (и всего, что с этим связано). Всё остальное вытекает чисто логически из этого набора формул (как и в остальных физических теориях), так что никаких новых сущностей появиться там не может. Можно открыть учебник и самостоятельно убедиться, что ничего, что могло бы быть связано с сознанием, в этих формулах нет.
Вероятно, ошибочное представление о том, что в квантмехе играет роль сознание, связаны с неверным пониманием, что такое "эффект наблюдателя". Объясняю. Под "наблюдением" в квантмехе подразумевается взаимодействие частицы/волны с фотоном (квантом электромагнитного импульса) или другой частичкой, которое требуется в процессе работы измерительного прибора (ведь для совершения измерения вам нужно как-то провзаимодействовать с частицей). Соответственно, "эффект наблюдателя" - это эффект от чисто физического взаимодействия, описанного математически в чисто физических терминах. Никакого условия на наличие сознания у "наблюдателя" не ставится.
#рассуждения
https://youtu.be/R5B_BODGqho?si=FRHk10HqLiWLgdc4
А это что такое?! 😶 Смотрите-ка, какой занятный артефакт из семидесятых! 🔍 Даже не представляю себе, как они такие видео изготавливали в то время. 🤔
За исключением пары досадных моментов (задачка про мосты несколько отличается от изначальной формулировки и рассуждения про рукописные буквы подустарели), очень даже прикольно, а главное, атмосферно. 🍪
#математика
Клоуна ВМКшник какой-то поставил 🏥
UPD: 11 ВМКшников
UPD2: очень много ВМКшников! 😱
То есть я не Квисатц Хадерах после просмотра Дюны?
Читать полностью…Делоне сказал, что среди них есть один совершенно невероятный человек — он решает любые задачи, которые ему предлагают, он не школьник, он рабочий завода. Этот рабочий завода имел фамилию Оловянишников, он стал первым любимым аспирантом Александрова. И в этот момент спецорганы докопались, что он скрывал своё происхождение — его мать была из богатого купечества, а его отец был офицер. Всё это он скрыл, и на этом основании он был уволен из университета с пятого курса и отправлен на фронт бесславной финской войны. К счастью для него, он вернулся живым, и как демобилизованного солдата его восстановили в аспирантуре. Он успел получить диплом с отличием и стал аспирантом у Александрова. Но его отправили на фронт новой войны. Он был первый раз ранен, вернулся и, лёжа в госпитале, написал две замечательные работы, которые после войны Александров напечатал. Потом снова ушёл на фронт. Я воевал в тех местах в эти годы и знаю, какая мясорубка там была. И оттуда уже Оловянишников не вернулся, он погиб где-то в районе Красного Бора за Колпино.
воспоминания В. А. Залгаллера ("Мне посчастливилось жить среди людей, любящих науку")
Рубрика "ответы на вопросы читателей".
Меня часто спрашивают (да, реально спрашивают), почему у меня в комментариях столько шизов, а я их не баню? 🏥 Постараюсь дать вам развернутый ответ на этот вопрос. Начнём с определения слова "шиз".
Само собой, слово "шиз" имеет огромное количество разных значений; однако, в контексте данного вопроса оно обычно означает одно из двух:
а) Полное неумение писать связные тексты и рассуждать (вплоть до шизофазии);
б) Приверженность идеологии, сильно отличающейся от идеологии того, кто использовал это слово.
Личности, страдающие вариантом из пункта а) меня тоже сильно раздражают - от разговора с ними практически невозможно добиться ничего интересного или, тем более, полезного. Но их как раз меньшинство, ведь при появлении в комментариях они либо всеми игнорируются, либо, в случае особой навязчивости, получают от меня ласковое предложение удалиться.
А вот с пунктом б) все намного сложнее. Чтобы в нем разобраться, давайте сначала разберем портрет и идеологию типичного представителя моего ближайшего круга общения. Ядро идеологии обычно включает в себя комбинацию из 2-4 пунктов следующего списка:
1. Материализм;
2. Агностицизм или атеизм;
3. Вера в познаваемость мира;
4. Вера в научные методы современных естественных наук и математики (но, к чести многих моих друзей, все-таки без слепого преклонения перед академической системой).
Те мои друзья, кто постарше, часто при этом работают в компаниях или институтах с именем, получая хорошие деньги; имеют высокий уровень образования, в резюме - работа над серьезными проектами, зачастую есть неплохие научные статьи и/или патенты, а также научно-образовательных продукты - в общем, добротные такие представители высшего слоя научной и технической интеллигенции 🤓🤓🤓
...замечательный пузырь, не правда ли?
Мне тоже очень нравится. 🥰
А теперь вопрос: какие представления о жизни будут у человека, который сидит в таком пузыре годами и не вылазит?
Думаю, максимально ограниченные и бестолковые, в духе того мема, где у чела сингулярная хрень вместо мозга, и слюни текут.
Друзья, вы хоть иногда в аспирантуре заходили на лекции по истории науки? Или вы так и не поняли, зачем эти лекции включили в учебную программу? 😐 Многие ученые прошлого, которыми мы восхищаемся сейчас, выглядели в глазах научного сообщества своего времени самыми настоящими шизами и маргиналами (Бэббидж, Земмельвейс, даже Пьер Кюри...). А, в свою очередь, само научное сообщество - такое, каким оно было 200-300 лет назад - выглядит как сборище шизов для нас сейчас - несмотря на то, что они-то считали себя очень образованными и продвинутыми. 🤓 Вот такими же будем выглядеть и мы для людей, которые через 200-300 лет попробуют разобраться в том, во что мы верили и как рассуждали. Им будет действительно трудно понять, почему кто-то кого-то считал шизом, ведь для них шизами будем мы все...
При этом я, разумеется, вовсе не против того, чтобы спорить с чужими позициями (или даже подшучивать над ними, чего уж там). Напротив, именно для этого и существуют комментарии. Если, на ваш взгляд, человек в чем-то ошибается, пользуется ложной или устаревшей информацией, плохо формулирует или аргументирует свою точку зрения, почему бы об этом и не сказать (разумеется, подкрепив аргументами)? Но обсирать что-то только потому что оно противоречит мифическому "здравому смыслу" или вашей личной идеологии (или банить кого-то только по этой же причине) - путь к окукливанию и деградации. "Здравый смысл" - это просто набор эвристик, популярных в текущий временной период, и ничего общего с объективной истиной он не имеет. И я часто напоминаю себе об этом, когда мне трудно сдерживать эмоции. 🤷♀️
#о_себе #рассуждения
Я знаю, меня читает довольно много современных интернет-людей, некоторые из них даже считают себя продвинутыми шитпостерами – спешу вас обрадовать, термин устарел, потому что теперь настоящий шитпостинг выглядит так и АИ отнял у вас его.
То есть идеальная конверсия в фейсбук лайки от не очень продвинутого человека сейчас выглядит так:
– Нужно сказать что у вас день рождение сегодня;
– Вызвать жалость отсутствием конечности или бедностью;
– Добавить уважения к старшим;
– Добавить религии контрлнетом или просто вставив Иисуса в генерацию (Лебовски, впрочем, тоже сойдет);
– Сделать вид, что вы что-то там руками сделали.
Все, миллионы лайков в месяц ваши. Интернет можно закрывать, спасибо, достаточно, глупость победила 😔
Учёные были в шоке, когда увидели, ЧТО происходит под этим постом... 😳
Читать полностью…⬆️ Пост, конечно, очень старый, но очень уж смешной. Особенно мне понравился момент с сосисочным маркетинговым исследованием, изображённым на рис. 1. - усики на 0.1 человека очень милые 🥰
#научная_поллюция
Написала небольшую статью на Хабре про алгоритмы снижения размерности, жду ваших классов 👍:
https://habr.com/ru/articles/811437/
В дополнение к статье рекомендую посмотреть вот эту замечательную демонстрацию работы UMAP и t-SNE (уже не моего производства): https://pair-code.github.io/understanding-umap/
#математика_в_ML #учебные_материалы
С утра читаю отзывы людей (негативные опущены, они тоже есть):
— Вау, такой голос! Как живое!
— Невероятно, всё утро веду диалог, мне теперь живые люди не нужны!
Штука в том, что свежая модель на данный момент для пользователей генерирует лишь текст. Генерацию голоса новой моделью, а также создание картинок завезут позднее, «в ближайшие недели».
Представьте, что будет когда включат эту функциональность, как люди обрадуются 😀
То есть как работало мобильное приложение ChatGPT раньше:
— Одна модель слушает вас, переводит речь в текст. На этом этапе теряются все эмоции, никаких тегов <вздох> или *радостно* там нет — просто текст
— Текст подаётся в GPT-4-Turbo (вторую модель) на вход (как будто бы вы сами написали сообщение своими руками)
— Эта модель генерирует ответ текстом
— Этот текст озвучивается третьей моделью. Она не может петь, шептать, играться интонацией. Если в запросе попросите её это сделать — она не будет следовать инструкции
Насколько я понимаю, на сегодняшний день эта функциональность сохраняется — несмотря на то, что модели с номерами 1 и 3 можно заменить на новую GPT-4o (она может нативно слушать вас и генерировать голос сразу, без вспомогательных средств). OpenAI не выкатывают всё сразу. А вот модель 2 как раз заменили. То есть сами ответы могут показаться умнее, уровень понимания тоже повысился — потому что LLM стала мощнее. И скорость выросла.
Не верите? Попробуйте попросить отвечать медленнее/быстрее, или даже шёпотом.
Sorry to disappoint you 🤷♂️
Помните, была тема с дипфейком Ким Кардашьян, объясняющей коротенькие темы из математики? Так вот, эти видео никуда не делись, а продолжают регулярно выходить. 💜
Замена переменной в интеграле:
https://youtu.be/4fF6NydCNuw?si=ydOJV2NpgbYq594y
Вывод производной x² из определения:
https://youtu.be/qPhLWfn-t_4?si=-uIogJ_sufxK-FNB
Цепное правило:
https://youtu.be/ulbmQJG5GrA?si=O5IHessFBNUF2pk4
Забавно и мило 😀
#математика
#career #карьера #faang #interview
Behavioural interviews in FAANG+.
Недавно делала пару мок интервью (*тренировочные интервью, mock)
по behave на уровень стаффа. У всех все прошло успешно.
Давайте пройдёмся по behave и важным пунктам подготовки.
1. Подготовка.
Первое и самое важное, которое очень многие упускают при подготовке в фаанги, т.к. наивно думают, что главное затащить литкод и дизайны, а уж behave это просто "поговорить за опыт".
Behave interview -- это не какое-то маловажное интервью, к которому можно почти не готовиться. Это самое важное интервью, и готовиться к нему надо не хуже дизайна.
Именно это интервью в основном определяет уровень, который вам предложат. Литкод этот уровень определить не может. А затащив хорошо behave and leadership можно попасть на Engineering manager, Staff+ и выше (при том же уровне дизайна и литкода).
Многие этот момент упускают и делают основной упор на литкод. Заваленный литкод вам простят при остальных отличных (со мной такое было в Мета и я видела 2 таких случая в гугл!) Но заваленное behave - это мимо.
2. Репетиции.
Крайне полезно cделать тренировочные интервью с людьми более высокого уровня в больших компаниях (если такие люди есть среди знакомых и готовы помочь - отлично. Если нет - существуют варианты за деньги).
Стоимость около 200-300 долларов за интервью. По отзывам польза он них есть.
3. Leadership principles
В Амазоне есть знаменитые leadership principles. Так вот они работают не только в Амазоне, рекомендую ознакомиться и впитать. Они хорошо подойдут как база и в другие компании для подготовки.
4. Записываем истории.
Свои истории про опыт и лидерство стоит записать. Штук 10-20, чтобы на разные ситуации и разные leadership principles. Записать их словами. Потом прочитать и сократить. Потом опять прочитать и улучшить. Можно даже посоветоваться с карьерным консультантом. Потом выучить и отрепетировать на mock интервью (или хотя бы перед зеркалом).
Распространённая ошибка, которую я видела, это слишком долго все рассказывать, ввиду недостаточно лаконичного рассказа. Краткость важна, чтобы интервьюер успел получить все сигналы.
5. Внимание на процессы
После Eng manager/Staff+ уровня вы делаете проекты не своими руками, а руками других людей. Поэтому в историях важно уделать внимание выстраиванию процессов. Вы не сами пофиксили какой-то баг (это уровень синьора), вы наладили процесс, чтобы такого больше не могло повториться.
6. Leadership style
Вы должны знать ваш стиль лидерства и управления людьми. Мой любимый -- это leading by example, я говорю на интервью, что только он работает и с детьми дома и на работе. Всем нравится.
7. Failures
Многие реально валят истории про свои фэйлы. Худшее, что можно тут сделать, это начать обвинять бывших коллег или бывшего начальника, или того пуще звезды, пандемии и галактики... и это делают регулярно.
Фэйлы - это вообще не про то, кто виноват. Это про вашу способность к рефлексии.
Признайте фэйл, расскажите про свои ошибки, расскажите, что вынесли из этого, чему научились и как исправили ситуацию, чтобы больше не повторялось. Опять-таки, возможно вы наладили какой-то процесс.
8. Клише
Есть немало устоявшихся клише по части вопросов и ответов. Например, часто задают вопрос про недостаток, и часто отвечают про перфекционизм или трудоголизм.
Я понимаю, клише-вопросы прямо бесят иногда. Все же старайтесь быть креативными. Всем надоели ответы-клише.
9. STAR
Свои истории удобно выстраивать по формату STAR: situation (контекст), task, action, result.
Я часто видела, как люди уделяют слишком много времени описанию контекста и собственно проблемы, и потом мало времени именно actions и результатам.
Контекст нужен, но ваши действия важны, а результаты тем более. Поэтому вернёмся в пункт 4: пишем истории и потом сокращаем.
Продолжение следует.
Ну-ка функцию Лагранжа свободной частицы!
Это, кстати, главное достижение Пуанкаре.
Что же касается теории хаоса, так это просто раздел диффуров. Диффуров, которые содержат в себе лишь обычные материалистические величины, сознание в этих уравнениях также не фигурирует. Откройте любой учебник и убедитесь.
Но, конечно, если не смотреть глазами на конкретные уравнения и формулы, на которых состоит теория, а вместо этого витать в невнятных плохо определенных терминах, то мир будет полон чудес...
P.S. Изучала квантмех 10 лет назад, если допустила неточность - поправьте в комментах.
#рассуждения
Пояснение: https://etudes.ru/etudes/tchebyshev-plantigrade-machine/
Читать полностью…Нашла занятный видос, в котором автор делится несколькими соображениями о том, почему функция softmax
повсеместно используется в нейросетях:
https://youtu.be/p-6wUOXaVqs?si=KaED_uPHsyYZ5snD
Из интересного, у него ещё есть плейлист с серией мини-лекций по Reinforcement Learning:
https://youtube.com/playlist?list=PLzvYlJMoZ02Dxtwe-MmH4nOB5jYlMGBjr&si=7DHQITc9Wjx8npO8
И про некоторые функции распределения:
https://youtube.com/playlist?list=PLzvYlJMoZ02BCWFTETEiupwhDBpP4gw-q&si=r6B_wQTwkuTMFvZJ
Надо будет тоже глянуть.
#учебные_материалы
Понадобилось мне вот сделать копию своего диплома и приложения, и я решила еще раз насладиться просмотром списка вымученных мной предметов. И я не хочу хвастаться... а нет, хочу. Хочу и буду. 🤓 Вот этот список (рис. 1-4).
Для любителей ML я заодно выделила красным те математические предметы, которые наиболее важны для того, чтобы хорошо понимать, как работают основные алгоритмы классического ML и глубокие нейросети. Желтым - ту математику, которую желательно знать, но при необходимости можно удовольствоваться зародышем, который обычно и так включен в хорошие курсы по алгоритмам и ML / DL. Синим - ту математику, которая может помочь в ресерчере, но не обязательна. Ничем - ту математику, которую я не знаю, как использовать в ML/DL.
Как видно, программа рассчитана на профессиональных математиков-теоретиков, и избыточна даже для такой математико-ёмкой области, как ML.
Кстати, интересно, что значительная часть материала, которая входит в перечисленные здесь математические предметы, была открыта давно, более ста лет назад (вот уж действительно, древнее и таинственное знание! 🤓).
As a rule of thumb:
- если название математического предмета звучит привычно - скорее всего, основное его содержание было известно еще до начала двадцатого века;
- если название математического предмета звучит пугающе, но все еще постижимо - он был разработан до первой половины двадцатого века;
- и только если название предмета звучит как полная (когомологическо-характеристическо-квантово-полевая) шиза, это что-то из середины и второй половины двадцатого века. 🙂 #о_себе
Дружеское напоминание:
🥴 Вы не станете математиком от просмотра видео 3blue1brown.
🥴 Вы не станете физиком от просмотра видео MinutePhysics.
🥴 Вы не станете специалистом по машинному обучению от просмотра видео Андрея Карпаты.
Всё это хорошо, но не заменяет систематического образования и практики. Спасибо за внимание.
Если вы страдаете боязнью пропустить что-то важное из мира AI, советую просмотреть этот ролик из далёкого 2к10:
https://youtu.be/9U4Ha9HQvMo?si=vhRfVT78zPGV96H_
99% информации из новостных блогов, видеороликов и подкастов про AI из прошлого, настоящего и будущего сжаты в этих двух минутах. What a time to be alive! 😈
Мой друг-программист после долгого перерыва написал научно-фантастический рассказ про отношения ИИ и людей:
site_master-ne-navredi" rel="nofollow">https://vk.com/@site_master-ne-navredi
Мне очень понравилось! Рассказ, кстати, короткий, читается быстро, читать можно не заходя в вк-аккаунт.
#творчество
В комментариях спрашивали про аниме, описывающее очередную теорию мироздания от очередного безумного культа.
Вот пересказ и пояснение к серии таких аниме:
https://youtu.be/tjs-Ra5KxSk?si=FrtxEB9Tc9qygn7l
Выбирайте любое.
(Выкладываю сюда, чтобы не потерялось)
А у вас когда-нибудь бывало, что вы начинали изучать нетипичную для себя научную область исключительно для того, чтобы потом успешно сраться с группой малознакомых людей из интернета, которые этой областью интересуются? 🤓
#дискуссия
Накрутка цитирований и фальшивые конференции РИНЦ. НГПУ им. К. Минина, ЮЗГУ
Астрономический Хирш, эксплуатация студентов, мафия накрутки цитирований, или хотят ли 8 человек больше мяса в шаурме? Куда пропали покупатели из магазина сосисок? Дзержинские сосиски с ванильным сиропом или клубничным?
Как в ~22 года иметь 3360 цитирований и Хирш = 28 в РИНЦ?
Читаем статью:
https://telegra.ph/Nakrutka-citirovanij-i-falshivye-konferencii-CHast-1-10-30
Простите, пожалуйста, дорогие друзья, за баян и обилие нецензурной лексики. Однако, после такой оживленной научной дискуссии в комментариях, не вспомнить это было просто невозможно...
#математика