12937
life = curiosity + irreducible noise Whois: https://t.me/boris_again/1652 Лс: @btseytlin
20 сентября в 17:30 CET серьезные люди из бигтеха и я будем общаться про карьеру, подключайтесь
Читать полностью…
Приходят как-то на синк разработчик, тестировщик и time.sleep(1), а он им и говорит: ребята, мы что, в анекдоте?
➡️ Ну почти: они в подводке к статье про то, как тестировать мл системы, что бы не потерять $100k.
#HABR
ЩиТпОсТиТь
будешь
на своём
могильном камне
- надпись на моём могильном камне
когда-нибудь мы вернемся к контенту про ML, но точно не в эту минуту
# Как я сопротивлялся шоколадке
В посте выше я задался вопросом:
Будет ли эффект если я положу перед собой шоколадку и буду сопротивляться желанию её съесть? Станет ли мне проще делать другие вещи требующие пойти наперекор автоматизмам?
# Executive functions
Продолжая тему самоконтроля.
Выше я рассмотрел одно исследование, но это не очень надежно, хотя то исследование и сделано очень хорошо. Всегда можно найти одно исследование доказывающее что угодно от гомеопатии до телепатии.
Поискав кто цитировал это исследование я нашел относительно современный метаанализ: "Conclusions about interventions, programs, and approaches for improving executive functions that appear justified and those that, despite much hype, do not"
Антихайп заголовок сразу меня зацепил.
Отсюда я узнал более широкое понятие чем просто самоконтроль: executive functions.
The ‘Executive Functions’ (EFs) of inhibitory control, working memory, and cognitive flexibility enable us to think before we act, resist temptations or impulsive reactions, stay focused, reason, problem-solve, flexibly adjust to changed demands or priorities, and see things from new and different perspectives. These skills are critical for success in all life's aspects and are sometimes more predictive than even IQ or socioeconomic status.
# Можно ли тренировать самоконтроль?
В субботу я питался только доставкой, весь день перемещался от ноутбука к дивану и заказал шоколадное ассорти на сорок евро. В половину первого, очевидно пропустив время отхода ко сну и обожравшись шоколада, я задумался: можно ли тренировать самоконтроль?
Ответ может показаться очевидным: конечно да, поднимай тяжелые куски металла и станешь дисциплинированным, я видел такое в твиттере.
Но для меня всё не так просто. В своей жизни у меня были периоды когда я каждый день без исключений учился, писал в журнал, ходил в спортзал и на две прогулки. Были и периоды как сейчас, с неупорядоченным образом жизни когда я много прокрастинирую и с большой тяжестью принимаю любые решения.
Я служил в армии по собственному выбору. Я ожидал, что научусь дисциплине и самоконтролю. Армия действительно принесла повышенную дисциплинированность, но эффект сохранялся от силы месяц. Все военные которых я встретил были не лучше в сопротивлении своим импульсам чем знакомые мне айтишники, а чаще всего даже хуже.
В прошлом чем больше я подвергал себя искушениям и пытался им сопротивляться тем чаще я им поддавался. Сравнивая себя сейчас и себя в любой предыдущий момент времени мне не кажется, что моя способность к самоконтролю как-то изменилась. Нет ощущения, что это некая характеристика персонажа, в которую можно вложить очки опыта и тебе больше не будет сложно ходить в спортзал. Из моих знакомых я не знаю никого, кто тащил бы что-то на силе воли. Каждый день бегает тот кто сделал из этого привычку и получает от этого удовольствие. Не залипает в компьютерные игры тот у кого нет игрового компьютера. Явно кто-то более дисциплинирован, чем другие. Но сколько в этом влияния генетики, воспитания, обстоятельств и среды?
Те не менее интересно: если я положу перед собой шоколадку и буду сопротивляться желанию её съесть, будет ли эффект? Станет ли мне проще делать другие вещи требующие пойти наперекор автоматизмам?
Я нашел исследование: Building Self-Control Strength: Practicing Self-Control Leads to Improved Self-Control Performance.
Авторы поделили испытуемых на четыре группы. Для каждой группы было выбрано упражнение на тренировку самоконтроля. Участникам нужно было две недели делать упражнение и каждый день отчитываться о своём прогрессе: как часто они практиковались, насколько им было тяжело, насколько упражнение требовало самоконтроля и насколько оно прокачивало самоконтроль по их мнению.
Упражнения в группах были такие:
1. Ограничивать себя в сладком.
2. Сжимать эспандер как можно дольше.
3. Решать математические задачи требующие не более пары минут с постепенным усложнением в течение эксперимента.
4. Вести дневник всех случаев когда они успешно использовали самоконтроль.
Участники во всех группах считали, что их упражнение действительно помогает самоконтролю. Однако на самом деле третья и четвертая группы были контрольными: по предположению авторов их задания не требовали серьезных усилий.
В начале и в конце эксперимента ученые замеряли самоконтроль участников специальным тестом.
Вам могут быть интересны методологические детали, например было ли разделение по группам сделано верно, была ли между группами изначальная разница и учитывались ли конфаундеры. Насколько я могу судить всё было учтено и исследование максимально продумано и корректно. Так же исследование имеет много цитироаний и прошло проверку временем.
Выводы:
* Участники первых двух групп показали улучшение в самоконтроле, а остальные нет. Самоконтроль действительно можно тренировать делая даже небольшие дела если они требуют усилия над собой.
* Не наблюдалось никакой разницы между эффектом от физической тренировки (эспандер) и когнитивной (ограничение сладкого). Не важно как вы это делаете.
* Участники заполнявшие дневники думали, что их самоконтроль увеличивается, но на самом деле никакого улучшения не было. Недостаточно просто повышать осознанность и верить в улучшение.
Начинаю медитировать на шоколадку. Расскажу когда стану сверхчеловеком.
Я записал интервью с Надей Петровой, основательницей @hrlunapark!
Надя сделала агентство, которое нанимает в крутейшие технологические компании, часто с фокусом на AI safety. При этом в компании нет ни одного продажника и, цитируя Надю, "нам никогда не приходилось продавать." Надя без прекрас рассказывает про то, как возник её бизнес, и это не ваша типичная история успешного успеха.
Интервью про работу и бизнес только на треть, а всё остальное про Надин необычный жизненный путь, где фигурируют сюжетные повороты вроде перехода из мехмата в психологические исследования.
При этом Надя не особо публичный человек и очень редко дает интервью (видимо работает), поэтому я принес вам настоящий эксклюзив.
Идея записать подкаст возникла стихийно, всё было сделано максимально наколеночно и является тестом нового формата. Не судите строго! С тех пор я купил микрофон получше, настоящий подкастерский.
https://www.youtube.com/watch?v=cQ4v8IyJgg8
Simple Bench - Basic Reasoning https://simple-bench.com/
Читать полностью…
⚡️Дети Павла Дурова активировались и идут на Париж, сообщают источники
Читать полностью…
Все говорят, что звезды и TON бесполезны, но я так не считаю.
Пример ценности, которую они предлагают.
1. Воруем банковскую карту.
2. Создаем одноразовый телеграм аккаунт А или покупаем взломанный.
3. С другого аккаунта Б запускаем одноразовый канал или, опять же, покупаем взломанный. Привязываем к аккаунту "чистую" карту.
4. На все краденные деньги закупаем звезды для аккаунта А и ставим их под постом канала аккаунта Б.
5. Делаем вывод TON из канала Б и меняем на фиат через P2P на бирже.
6. Удаляем аккаунты и каналы.
Готов принимать ваши криминальные переводы, пишите в лс.
И первая новость в обновленном канале следующая:
Мы с командой запустили свою российскую LLM Aрену.
Это такой сайт (идею скопировали у LMSYS), на котором обычные люди могут использовать разные LLM бесплатно, но взамен должны определять лучшую модель.
А мы на основе фидбека пользователей составляем рейтинг LLM и рассчитываем какая модель работает лучше всех на русском языке.
Мы попали прям в боль ML сообщества: кол-во LLM в России растет как на дрожжах, уже помимо YandexGPT, Гигачата есть и T-lite, и Вихрь, и Сайга. Новые LLM появляются каждую неделю и возникает потребность их сравнивать.
За последний месяц посещаемость проекта увеличилась в 6 раз, цитируемость бенчмарка возросла в разы, о нас написали Коммерсантъ, ITZine, Machinelearning, Tproger, ХАЙТЕК, RSpectr, hi-tech, газета.ru, Хабр, Lenta.ru.
Заходите на llmarena.ru и выбирайте лучшую модель!
Jokes on you, все она правильно ответила, вы просто не видели ризонинг
Читать полностью…
Поехали
https://openai.com/index/learning-to-reason-with-llms/
https://manifold.markets/NathanpmYoung/will-there-be-substantive-issues-wi?r=SGFsZXh1cw
Читать полностью…
В последние пару лет почти каждый раз, когда речь заходит о больших языковых моделях, разговор сводится к противоборству двух лагерей: одни считают, что модели «понимают», умеют «размышлять» и выводить новую информацию; другие смеются над ними, и сравнивают модели со статистическими попугаями, которые просто выкрикивают услышанное, без выработанного понимания. Обе стороны приводят множество аргументов, кажущихся убедительными, однако точка в вопросе никогда не ставится.
Разрешить дискуссию помогают методы механистической интерпретируемости. В канале я обозревал несколько статей, в каждой из которых маленькое открытие позволяло чуть больше понять внутрянку нейросетей и даже улучшить сам механизм работы.
Сегодня я предлагаю вам прочитать мой лонг для погружения в эту тему. В нём я применил классический приём «да ща быстро сяду напишу как попало, будет средней длинны пост» — и это оказалось самообманом 😭. В итоге вышло полно, плотно, некоторые объяснения переписывались, сопроводительные иллюстрации перерисовывались, но результатом доволен.
▀▀▀▀▀▀▀▀▀▀
Оценить самим можно тут: https://habr.com/ru/companies/ods/articles/839694/
▀▀▀▀▀▀▀▀▀▀
Отдельная благодарность Павлу Комаровскому @RationalAnswer за (уже далеко не первую) помощь в редактуре и подготовке материала — не забывайте подписываться и на него.
Всё это не ощущалось как преодоление когда ты сопротивляешься и это высасывает силы. Наоборот. Я словно не тратил энергии. Будто брал то, что давит этим "не хочу" и направлял в обратную сторону. Не хочу со знаком минус. Это ощущалось легко и свободно. Гораздо лучше, чем когда пытаешься вывести всё в позитив или обмануть себя: я только пять минут позанимаюсь, подумай как потом будет хорошо, отвлекись, не думай про сложности.
Зрение стало острее и я стал замечать вокруг больше цветов и много новых деталей. Мышление было очень спокойным, а движения менее дерганными. Я шел медленно, хотя обычно иду московским шагом из точки А в точку Б. Эффект был очень похож на медитацию.
Бродил, поворачивал на незнакомые улицы и наткнулся на странно жужжащее дерево. Звук был электрический как будто жужжит трансформатор. Подошел, стал разглядывать и увидел, что это очень странно звучащие птицы. Стоял и разглядывал птиц.
У меня проблемы с тем, чтобы хотеть. Я знаю, что было бы полезно и хорошо сделать. Но когда меня спрашивают чего я хочу внутри просто тишина.
По пути домой меня осенило: все вещи, которые я не хотел делать, это вещи, которых я хотел. Я хочу быть человеком, который принимает холодный душ. Я хочу жить в чистоте. Я хочу готовить вкусную еду. Я хочу учиться. Я хочу ходить по лестницам. Я хочу ходить на прогулки. Я хочу себя испытывать. То, чего я действительно не хочу просто не попадает в поле зрения. Я действительно не хочу обмазаться арахисовой пастой и поэтому даже мысли об этом не возникает. Мне не приходится этому сопротивляться. Если же я не хочу идти в спортзал, то, видимо, я хочу идти в спортзал, но мне трудно.
Шоколадка так и лежит на столе несъеденная.
Вряд ли сверхчеловеческий эффект сохранится, но эксперимент был очень интересный. Видимо стоики что-то понимали в этой жизни.
Вершиной стоицизма стало бы пережить всё это и не написать об этом пост. Но, если вы давно читаете канал, то понимаете: для меня это физически невозможно.
Настало время новых экспериментов над вами!
Институт искусственного интеллекта и цифровых наук и Центр языка и мозга (НИУ ВШЭ) приглашают Вас принять участие в исследовании психологических особенностей жителей РФ, использующих или нет продукты на основе искусственного интеллекта.
Вам предстоит пройти тесты, оценивающие когнитивные функции, а также опросники, оценивающие мышление и уровень взаимодействия с системами ИИ. Время прохождения онлайн-опроса - 1 час.
По окончании сбора данных будет проведен розыгрыш шести денежных призов среди участников опроса: 1, 3, 5, 7, 10 и 15 тысяч рублей.
Вы можете принять участие в опросе, если вам не менее 18 лет, ваш родной язык – русский и у вас отсутствуют диагностированные неврологические/психические расстройства (жаль, почти все подписчики канала исключаются).
Для участия переходите по ссылке: https://ai.moscowlab.info.
Рекомендуется использовать браузер Chrome.
Приветствуется делиться ссылкой на опрос со своими знакомыми!
Those who received combined cognitive and physical training or cognitive training alone showed significant cognitive preservation that was still evident 5 years later, and the effect was larger for the combined training than for the cognitive training alone.
Ах да, тот самый искусственный интеллект для нашего блага
Читать полностью…
Сделай решение на GPT-4o и будешь нужен бизнесу один день.
Сделай решение на self-supervised multi-gpu distributed pre-training + supervised finetuning + nvidia triton on kubernetes deployment with dynamic load balancing + monitoring + data drift detection и будешь нужен бизнесу всю жизнь.
Сделай решение на langchain и не будешь нужен никому.
LLM Arena для русскоязычных моделей
Мои знакомые из Vikhrmodels, которые занимаются русскоязычным open-source проектом, создают свои модели и проводят дообучение на основе мультиязычных моделей, недавно выпустили свой набор бенчмарков!
C рускоязычными открытыми LLM очень все сложно - их очень мало. В лучшем случае это дообученные LLam_ы. Но в целом топ LLM с поддержкой русского языка выглядит так:
- Gpt4o
- Gpt4o mini
- LLaMa 3.1 405b
- LLaMa 3.1 70b
- Gemma 27b
- LLaMa 3 70b
RuArenaGeneral — бенчмарк на основе lmsys arenahard . Это единственный полностью открытый современный бенчмарк на русском языке.
В отличие от классической арены, здесь в качестве судьи выступает GPT-4o, благодаря чему арена оценивается очень быстро (новые модели добавляются всего за час), и её можно воспроизводить локально! Кроме того, благодаря использованию LLM в качестве судьи и известности запросов заранее, арена хорошо коррелирует с оригинальной ареной lmsys.org.
На арене каждую неделю появляются новые модели с поддержкой русского языка или русифицированные.
Шлёпа lb — это маленький бенчмарк с множественным выбором (как в ЕГЭ, где выбираются варианты ответа), включающий задачи на знание мира, а также перевод mmlupro. В отличие от Mera, сабмиты полностью оцениваются локально, и можно сразу получить результат на локальной машине, например, во время обучения!
Результаты исследования ML рынка
Команда VK вместе с ИТМО провела опрос среди более 300 экспертов и выявила основные характеристики ML-отрасли.
Ловите результаты в виде карточек.
Приятно, что я вошел в топ читаемых каналов
Мои друзья из HR Luna Park, которые нанимают ML специалистов в компании уровня Databrackis и Cohere, находятся в поиске LLM инженера. Дальше прямая речь.
tl;dr: Senior ML Engineer, LLM, real-time interpreter, remote, $80k-150k
В "Автостопом по галактике" была рыбка-переводчик, которую можно было посадить себе в ухо и понимать любые языки. У Стругацких в "Мире полудня" — лингвокодер. В "Звёздных Войнах" переводчиком работал C-3PO. TARDIS тоже умеет мгновенно переводить любую речь.
В общем, какие бы фантастические книжки или фильмы вы ни любили, скорее всего, там кто-то фантазировал о синхронном голосовом переводе. Кажется, человечество наконец-то оказалось в этой точке! 🦄
Мы ищем синьорного ML инженера в Palabra.ai — стартап, который делает риал-тайм голосовой переводчик. Сейчас их прототип поддерживает больше 100 языков, работает с задержкой меньше секунды после окончания фразы, умеет сохранять эмоции и интонации спикера, переводит в браузере, зуме или где вы еще захотите. И на него можно будет посмотреть на собесах! 😏
Если вы:
🔺 5+ лет в ML
🔺тренировали LLM с PyTorch или TensorFlow
🔺любите данные и умеете их готовить
🔺отлично знаете Python или C++ —
возможно, именно вам суждено приближать будущее!
Nice-to-haves:
💗 опыт с ASR 🎤
💗знание архитектуры GPU и опыт с программированием под GPU (CUDA и другие).
Ремоут, платят $80k-150k и, пока ещё маленькие, дают долю — до 0.1% по итогам полугодового ревью.
Пишите @AlbinaMakarova 💜
Альтернативная арена от Вихрей:
https://huggingface.co/spaces/Vikhrmodels/arenahardlb
Признание пришло откуда не ждали.
Erik Hoel, нейробиолог, известный блогер-эссеист и Forbes 30 under 30, недавно устраивал конкурс постов от своих читателей. Он собирает лучшие и публикует для своих читателей. Я отправил свое эссе про неопределённость жизни и JSON-ов. Я не увидел его в первых двух батчах победителей, оценил, что остальные написали намного лучше, признал поражение и забыл.
Но вот он я в третьем батче! Очень приятно, что такой мощный писатель оценил моё философское эссе. Это эквивалент победы в конкурсе, но из призов только подписчики на Substack и буст самооценки.