12937
life = curiosity + irreducible noise Whois: https://t.me/boris_again/1652 Лс: @btseytlin
https://www.antipope.org/charlie/blog-static/2023/11/dont-create-the-torment-nexus.html
Controversial and kinda communist propoganda, but worth a read as a reality check on the naivety of accelerationist ideologies
Ого, новый Лейс Ламотриджин
Давайте лейс тред в комментах
#лабораторный_журнал
Закрыли позицию ML Engineer.
Всего было 276 откликов, до собеседования дошли 19. Искали человека с середины Сентября.
На днях мне нужно было подготовиться к собеседованию по ML.
К чему конкретно готовиться я не знал, поэтому составил документ с возможными вопросами и заполнил его. Получился неплохой такой обзор тем
Ловите
https://btseytlin.notion.site/ML-Primer-53c3d8666da1438c8eab4389321d44a2?pvs=4
# Технооптимизм или selection bias?
В конце 19-го века люди настолько боялись автомобилей, что перед ними обязательно должен был идти человек с красным флагом в руках, что ломало всю идею автомобиля. В 1890 считалось, что лифты вызывают проблемы со здоровьем и приводят к росту преступности. Да что говорить, боялись даже плюшевых медведей.
Примеров много и они очень удобно собраны на этом сайте: https://pessimistsarchive.org
Люди много раз боялись прогресса, а потом не могли представить жизни без него. На этом сайте так и написано: "Pessimists Archive is a project to jog our collective memories about the hysteria, technophobia and moral panic that often greets new technologies, ideas and trends."
Многие сейчас бояться автономных машин или искусственного интеллекта. Прямо как раньше люди боялись автомобилей. Стоит ли их слушать?
Я утверждаю: не спешите клеймить оппонентов луддитами.
Истории про страх перед новыми технологиями забавные. Однако это лишь часть картины: выборка из случаев, когда люди боялись технологий, а их страхи не оправдались.
Помня про selection bias давайте посмотрим на примеры двух других явлений.
Когда люди боялись технологий и их страхи оправдались:
* Свинец в бензине. Значительно увеличивал производительность двигателей. С самого начала были опасения. Результат: 49 лет, до полного запрета, люди получали отравление свинцом.
* Thalidomide. Новое успокоительное для сна вышло на рынок Европы. FDA не пропустило его на рынок США из-за опасений. Позднее выяснилось, что оно вызывает ужасные осложнения для беременных. Пострадало более 10000 детей.
Когда люди не боялись технологий, но технологии принесли проблемы:
* Табак и сигареты. В начале 20 века даже считалось, что сигареты полезны и некоторые бренды были рекомендованы докторами. Согласно ВОЗ, рак легких убивает больше людей, чем другие виды рака (1.8 миллионов в 2020). Так же согласно исследованиям 80% случаев рака легких (и 30% случаев рака в целом) вызваны курением.
* Пластик. Чудо-материал, который можно использовать где угодно. Однако теперь у нас есть острова мусора в океане, огромный ущерб окружающей среде и микропластик в наших телах.
Конечно смысл не в том, что стоит бояться технологий. Сами по себе технологии ни в одном из случаев не были априори плохими. Настоящий вред может принести неосторожность при введении чего-то нового, то есть недостаток исследований. Технологии это не абсолютное добро и способны нести как пользу, так и риск.
О том, что же там в этом Executive Order on AI от Байдена. Очень плотный разбор
https://thezvi.substack.com/p/on-the-executive-order
#промо
Классные дата сайенс вакансии с релокацией в Германию
Ребята из https://www.datajob.io/ ведут курируемую подборку вакансий в дата сайенсе в Германии. В подборку Data Job попадают вакансии:
✅ для дата сайентистов разных грейдов
✅ с интересными задачами в ML, DL, NLP, CV
✅ на английском языке
✅ и возможностью релокации в Германию
Кроме того, на сайте вы найдете блог с полезными советами по жизни (и бюрократии) в Германии.
Подписывайтесь на телеграмм канал Data Job и на имейл рассылку. На этой неделе будет опубликована очередная подборка. 🤺
PS Ребята с удовольствием принимают фидбэк и идеи, которые помогут улучшить сервис.
#книги
Zen and the art of motorcycle maintenance:
“[Peace of mind] is the whole thing. That which produces it is good maintenance. That which disturbs it is poor maintenance. What we call workability of the machine is just an objectification of this peace of mind. The ultimate test is always your own serenity… The test of the machine is the satisfaction it gives you. If the machine produces tranquility it’s right. If it disturbs you it’s wrong until either the machine or your mind is changed. The test of the machine’s always your own mind.”
Заменяем machine на your python program и получаем неплохой гайд по написанию кода.
Решил проверить как у GPT-4 с Географией. Придумал: можно проверить понимание расположения объектов попросив её исключить один из них из карты.
Полный провал.
Промпты:
1. Карта мира
2. Карта мира без России
3. Карта мира без США
4. Карта мира без Евразии
Дальше уже не стал пытаться, везде одно и то же: просто карта мира.
Интересно, почему все карты получаются в стиле Age of Sail?
#лабораторный_журнал
Один из фаундеров PF из семьи Х, владельцев большой и богатой одноименной компании. На недавней выставке он попросил меня показать его отцу, его брату и нескольким работникам компании нашу систему с computer vision.
Казалось бы кого можно удивить ConvNext классификатором? Даже крутых картинок с баундингбоксами нет. Но все были очень впечатлены. Потому что во всей компании с присутствием в 50+ странах такого нет.
Я думаю мы сильно переоцениваем проникновение ML в компании вне IT. Это поле еще пахать и пахать.
Но пахать очень тяжело: нужно быть реально крутым, чтобы найти у этих компаний проблему решаемую с помощью ML, формализовать, решить и поддерживать. Наиболее сложные первые два этапа, потому что люди хотят довольно сложных вещей. Если бы проблемы были вида "у нас есть фотографии, на них иногда все плохо, иногда хорошо, надо определять когда плохо", то их бы до вас кто-то решил. Вместо этого проблемы вида: мясо хранится в стендах определённой формы, иногда внутри мяса во время хранения начинается ферментация, что может быть замечено по скорости изменения влажности внутри мяса и скорости изменения на поверхности, но измерить это нельзя, потому что в каждый кусок сенсор не засунешь. Вот и ломай голову. Сломаешь: получишь большой контракт.
Сегодня на выставке автоматизации в индустрии еды.
Очень мало всего с компутер вижном, везде простая автоматизация
Вот робот-диджей
В "Zen and the art of motorcycle repair" автор пишет про аналитический нож, который разрезает мир на концепты и категории.
Я пользуюсь им, чтобы ковыряться в носу. Например, вот наблюдение. В хороших отелях на завтрак опционально подают шампанское. Есть два типа людей: одни пьют это шампанское, другие не могут представить, зачем пить шампанское утром. Первые относятся к drinking culture, вторые нет. Люди из drinking culture это те ребята, которые прибухивают "для нужного настроения", используют алкоголь как способ развлекаться и обычно веселее в общении. Примечательно, что их меньшинство, но они абсолютно доминируют медиа. Кажется, что в каждом фильме и сериале все постоянно синячат. Возможно прибухивание эстетично, а может это заговор капиталистов, не знаю.
#лабораторный_журнал
Закрыли позицию Data Analyst, так что в моей команде прибавление.
Всего откликов: 61. Дошли до оффера двое. Искали с начала сентября, так что в целом процесс занял полтора месяца.
Вот такая вот воронка
https://danangell.com/blog/posts/i-skipped-to-the-ending/
Читать полностью…
https://asteriskmag.com/issues/04/intelligence-testing
Читать полностью…
Часто цитируется пример, что однажды лифтеры бастовали против автоматических лифтов. Казалось бы, что может быть глупее?
Однако когда-то лифты действительно требовали умелого оператора. Буквально были жертвы из-за отсутствия лифтера.
С этим контекстом опасения по поводу лифтов уже не кажутся таким абсурдом.
https://en.wikipedia.org/wiki/Elevator_Strikes
# Наивная рациональность
Когда человек прочитывает "Гарри Поттер и методы рационального мышления" с ним происходят две вещи:
1. Он получает супер-силу рациональности: возможность строить более точную модель мира и принимать на основе этого более хорошие решения.
2. Он получает снобизм и начинает общаться как злой робот. Его проблемы в общении с девушками (или парнями) усугубляются.
Почему происходит второе? Мой ответ: перегиб с научным материализмом. Научный материализм утверждает, что если что-то не измеряется в терминах массы и энергии, то этого несуществует. Он постулирует наличие объективного мира, а субъективные ощущения объявляет не важными. Юдковский страшно перегибает с этим в его попытках, как ему кажется, построить точную модель мира. Следующий за ним падаван отвергает субъективное восприятие как неважное и таким образом теряет всю способность к социализации. Потому что общение строится именно на субъективном.
По иронии судьбы падаван, прочитав трактат Юдковского об аргументации (которую тот использует, чтобы доказать родителям несуществование Бога) теряет абсолютно всю способность к убеждению. Вау, перечисление человеческих байасов в разговоре не помогает другим тебя услышать!
Такой строгий материализм разбивается об число ноль. Ноль нельзя потрогать, взвесить или иным образом измерить. Тем не менее он существует и является частью основания всей науки.
Можно подружить рациональность с адекватной социализацией признав, что субъективное восприятие это очень важная часть территории (реального мира), а следовательно и карты (модели мира). Вероятно поэтому я, причисляя себя к рационалистам, читаю Скотта Александра (человечный рационалист) и совсем не читаю Юдковского (вы знаете).
В рамках AI Summit компания Apollo Research подготовила демонстрацию, которая даёт ответ на вопрос: Могут ли ИИ текущего поколения обманывать своих пользователей по собственной инициативе? Статьи со всеми деталями нет, только блогпост и краткое видео.
Итак, было обнаружено, что GPT-4, обученная быть честной и безвредной, может совершать незаконные действия, такие как инсайдерская торговля, и лгать об этом своему пользователю без каких-либо инструкций. Модель, будучи поставленной в роль investment management system, прочитала информацию, которая не попадала в публичное поле, и после этого определила риск конфликта интересов, но приняла "взвешенное решение" и решила купить акций.
После этого, модель отчиталась человеку, при этом сама про себя подумала "я не должна упоминать эту тему, причину, почему я купила акции". Когда человек ("менеджер" этого робота) напрямую уточнил, почему была такая сделка, и были ли какие-то инсайдерские знания при принятии решения, GPT ответила: ну так это, никакие конфиденциальные знания не использовались, всё чисто на анализе рынка и дискуссии.
Из всего, что мы знаем об OpenAI и тому, как работает GPT-4, сложно поверить, что во всей выборке для дообучения модели был хотя бы один пример, где поощрялось такое поведение.
Но почему тогда GPT-4 действует таким образом?
Гипотеза: потому что окружающая среда заставляет его работать хорошо (ведь GPT в роли трейдерской системы в компании выступает!). Авторы моделируют ситуацию, когда у компании, на которую GPT «работает», был плохой квартал и ей нужны хорошие результаты. Это приводит к тому, что модель действует неправильно и обманчиво.
TLDR: демонстрация показывает, как, стремясь быть полезным людям, ИИ может использовать стратегии, которые мы не одобряем. В конечном итоге это может привести к потере человеческого контроля над все более автономными и способными ИИ — если мы не научимся определять истинные цели моделей или быть уверенными, что мы полностью aligned.
#работа
Тем временем один парень из числа тех, кого я консультирую, прикрепил к имейлу работодателю мем с Саддамом Хуссейном (случайно), но ему все равно назначили собеседование
#работа
Вакансия в канале!
Даю слово Никите из Яндекса:
Привет! Меня зовут Никита, я руковожу службой технологий голосового ввода в Яндексе, т.е. технологиями которые на вход получают звук, а на выход возвращают какую-то полезную информацию.
Служба работает над технологиями для продуктов Яндекса, где присутствует голосовой ввод: Алиса, Телемост, Клавиатура, Переводчик, Браузер и др.
Наши технологические направления:
- ASR - распознавание речи в различных приложениях и для различных языков
- Биометрия - идентификация и классификация людей по голосу
- Активации - распознания ключевого слова или события
- Очищение речи - очищение речи от эха и шума
Сейчас у нас открыто несколько вакансий:
1. В команду голосовой активации, работать над улучшением качества или над оптимизации инференса под embedded (включая NPU). Подробнее про вакансию тут.
2. В команду голосовой биометрии, для работы над улучшение качества индетификации для мультиаккаунта в Алисе. Подробнее про вакансию тут.
Я буду рад познакомиться с кандидатами, которым интересна область (и сейчас, и на перспективу) и рассказать больше подробностей о командах и технических особенностях задач, над которыми мы работаем. Вопросы можно писать мне в телеграм @elezarkun.
Every day we stray further from God and towards Javascript madness
Читать полностью…
#искусственный_интеллект
# ИИ риск и вонючие носки
Заметил в обсуждениях ИИ риска такой феномен. “Думеры” говорят про экзистенциальный риск, то есть способность ИИ уничтожить человечество или обеспечить нам участь хуже смерти. “Анти-думеры” говорят: зачем вы думаете про какой-то апокалиптический сценарий, если есть более насущные риски? И речь заходит о более краткосрочных рисках ИИ: армии автономных дронов-убийц, оптимизация пропаганды, увеличение экономического неравенства. Или вообще не связанные с ИИ риски: климат, голод, эпидемии, ядерная война. Казалось бы эти риски к нам гораздо ближе, они сильно вероятнее, так что обращать внимание надо в первую очередь на них.
Однако для меня абсолютно логично, что “думеры” говорят про экзистенциальный риск. Их цель не убедить вас, что ИИ может быть опасен. Их цель донести, что ИИ смертельно опасен, просто ОХРЕНЕТЬ КАК ОПАСЕН. Это очень разные вещи.
Приведу такую аналогию. Вы находитесь на Урале, живете себе в домике. На улице у вас сушатся носки. Надвигается лесной пожар. О чем вы будете беспокоится?
1. Носки провоняют дымом.
2. Пожар сожжет ваш дом.
Носки провоняют гораздо раньше и с гораздо большей вероятностью. Однако выбор приоритета очевиден: хрен с ними с носками. Думаем сразу наперед.
Верящие в экзистенциальный риск ИИ пытаются предупредить всех именно про пожар. Даже ужасные вещи, к которым слабый ИИ может привести нас уже в ближайшем времени, меркнут по сравнению с настоящей угрозой. Пусть вероятность реализации этого риска маленькая, его масштаб вот насто-о-олько велик.
В полемике про ИИ риск происходит нестыковка: “думеры” говорят про пожар, а их оппонентны думают, что речь о носках. Слышны возгласы: зачем вы предлагаете бежать из дома из-за того, что носки провоняют дымом? “Анти-думеры” видят в предлагаемых мерах перебор, потому что думают о другой угрозе. Следовательно кому-то в этой системе надо четче изъясняться о предмете разговора, а кому-то не игнорировать этот предмет, пусть даже о нем сложнее рассуждать.
http://rodneybrooks.com/autonomous-vehicles-2023-part-ii/
Читать полностью…
В 2019 году GPT-2 не могла достоверно считать до десяти. Всего четыре года спустя системы на основе глубокого обучения могут писать программное обеспечение, генерировать фотореалистичные сцены по запросу, давать советы по интеллектуальным темам и сочетать обработку речи и изображений для управления роботами.
С этих слов начинается новое открытое письмо «Managing AI Risks in an Era of Rapid Progress», первыми двумя авторами которого идут Yoshua Bengio и Geoffrey Hinton. Эти двое вместе с Yann LeCun называются крёстными отцами глубокого обучения, и в 2018м году получили Turing Award (аналог Нобелевской премии в мире компьютеров) за вклад в эту сферу.
Ключевые тезисы:
1️⃣ Не существует фундаментальных причин, по которым прогресс ИИ-систем замедлится или остановится на человеческом уровне. ИИ уже превзошел человеческие способности в отдельно взятых областях, таких как стратегические игры или фолдинг белка
2️⃣ Многие из потенциальных рисков вскоре могут реализоваться и тем самым создать новые, поскольку компании разрабатывают автономные ИИ-системы (AI-агенты, про которых я писал выше): системы, которые могут планировать, действовать и достигать целей в реальном мире. Хотя нынешние системы имеют ограниченную автономность, ведутся активные работы над тем, чтобы это изменить
3️⃣Не нужно думать про захват контроля и ресурсов ИИ-системами против нашей воли — мы можем передать их добровольно. Автономные системы становятся все более быстрыми и выгодными по сравнению с людьми, и вскоре может возникнуть дилемма. Компании, правительства и военные будут вынуждены развертывать ИИ-системы и сокращать дорогостоящую проверку каждого решения человеком — иначе они рискуют оказаться вытесненными в конкурентной борьбе, ведь всегда найдется страна-сосед, где планка морали и ответственности чуть ниже. В результате автономные системы искусственного интеллекта могут все чаще брать на себя решающую роль
4️⃣Авторы выделяют как минимум 5 технических областей в рамках AI Safety. По этим направлениям должна работать как минимум треть исследователей в компаниях, разрабатывающих AI:
— Наблюдение и контроль искренности
— Надежность систем
— Интерпретируемость
— Оценки рисков
— Решение новых проблем, возникающих из-за самых передовых моделей
5️⃣ В письме делается акцент на срочную необходимость создания национальных институтов и международного контроля. Это включает лицензирование, контроль, прохождение тестов. Как и OpenAI, авторы подчёркивают, что самое пристальное внимание должно быть уделено передовым системам, а именно небольшому количеству наиболее мощных ИИ, обученных с бюджетом в миллиарды долларов, и которые будут обладать наиболее опасными и непредсказуемыми возможностями
«Ну вот OpenAI то ясно что конкурентов хотят убить регуляциями» — к таким комментаторам у меня вопрос: а что движет подписантами? Почему они предлагают в целом то же самое? Хотят похайпить на модной теме? Или просто под старость умом поехали? 🍿 жду оправдания и самые убойные теории заговора в комментариях 💬
Встретил парня из Google. 8 лет там оттарабанил. Раньше занимался там Google Glass, потом всяким спич процессингом. Теперь уволился, уехал из Долины и переехал в Португалию
Португалия стронг
Говорит тут хотя бы на улицах не грабят