66450
НЛО с вами! Хабр Новости → https://t.me/habr_com_news Хабр Карьера → https://t.me/habr_career Реклама (продвигаем только статьи с Хабра) → adv@habr.team Вопросы → @shelsneg Админ → @vololoshin
На кой джуну пет-проекты: отзывы тех, кому они действительно помогли
Поговорим о том, как командная работа повлияла на каждого члена команды Collabry (в прошлом Sapphire, победитель Битвы пет-проектов 2023 от Хабр Карьеры), и узнаем, помогают ли пет-проекты в карьерном продвижении начинающего специалиста (спойлер: да, если правильно их готовить).
Программист Кейю Тянь устроился в компанию ByteDance стажёром и изнутри два месяца саботировал выполнение проекта по разработке нейросетей, добавляя ошибки в код. Из-за действий Кейю команда из трёх десятков разработчиков круглосуточно искала и устраняла постоянно появляющиеся баги в проекте.
Расследование показало, что стажёр:
— методично и последовательно загружал специальные Pickle-файлы со скрытым кодом, который был полон вирусов и вредоносных компонентов. Код в таких скриптах выполняется рандомно и автоматически, поэтому никто не мог понять, почему все усилия команды не приносят должной стабилизации;
— получил доступ и полностью изменил версию библиотеки PyTorch, на которой держались проекты. Он вносил туда маленькие изменения каждый день, а они обрушивали программы. При этом никто из разработчиков команды даже не подумал посмотреть в исходный код — задачи продолжали падать с ошибками и тонной багов, а все эксперименты приносили только неверные результаты;
— внёс настоящий хаос в чекпоинты — это файлы, которые помогают обучать нейронки и сохранять их промежуточные состояния. Он жонглировал параметрами моделей, менял данные обучения или просто удалял многие чекпоинты, а наработки команды пропадали, удалялись, их не было возможности повторить;
— не скрывался от встреч. Его не могли поймать быстро, потому что он ходил на каждый митинг и собирал решения команды по фиксу проблем. После созвонов стажёр знал, как собираются фиксить баги, и придумывал новые. Команда каждый раз не понимала, что происходит.
В итоге стажёра выловили по логам. Также в ByteDance пояснили, что команда из тридцати программистов целых два месяца работала впустую из-за деструктивных действий одного разработчика. У проекта команды сгорели все сроки, деньги заказчиков были потрачены зря.
«Апгрейды и софт — это хорошо, но надо позаботиться о сохранности данных при внештатных ситуациях, например, при отключении света. ИБП у меня уже стоит, но хватает его буквально до получаса, после чего он отрубает выход. Хотелось бы, чтобы сервера заранее выключались без потери данных»
Собираем бюджетный домашний NAS на 14 ТБ. Часть вторая. Софт, железо и всё такое
Postal 2: антигерой мира видеоигр
В начале 2000-х индустрия видеоигр делала большие шаги к мейнстриму, и жанр шутеров от первого лица бурно развивался. Это было время, когда игроки могли погрузиться в миры, нарушающие все возможные моральные и социальные нормы. Одним из таких проектов, что в первую очередь вспомнится большинству олдфагов, является Postal 2, вышедший в 2003 году. Он стал воплощением бунтарского духа того периода и своего рода символом той эпохи, ведь обещал игрокам беспрецедентную для FPS тех лет свободу и море чёрного юмора, будучи не столь сильно закован в рамки политкорректности. Всё это позволило ему взбудоражить игровое сообщество своей противоречивостью, заставляло задуматься, где грань между весёлой игрой и моральным вызовом. И пусть Postal 2 был далеко не первым проектом, стремившимся шокировать жестокостью, но он хорошо запомнился аудитории свой индивидуальностью, необычным подходом к геймплею и свободой, позволяющей творить настоящий беспредел!
Вспомним, чем он был так хорош, и действительно ли это обычный шутерок, обёрнутый в кровавую упаковку, или всё-таки в нём есть нечто большее
Пишем алгоритмы на самом ненужном языке в мире и страдаем
То, что будет происходить ниже — сущий ад. Мы будем писать простейшие программы на языке Whitespace. Этот язык настолько ненужный, что оригинальный сайт с интерпретатором для этого языка уже давно мёртв, все ссылки на оригинальные гайды соответственно тоже.
Мы с головой запрыгнем в язык, состоящий из пробелов, чёрт побери, что вам ещё нужно? А потом этим пробельным кодом отформатируем отрывок из книги «Война и Мир», и он будет прекрасно компилироваться.
На прошедшей неделе мы учились читать QR-коды без компьютера, разбирались, как устроены серийники для Windows, ускоряли генерацию BlurHash и выясняли, почему Space Launch System по-прежнему является бомбой с часовым механизмом.
Лучшие публикации недели (14-20 октября 2024)
Это база: алгоритмы сортировки для начинающих
Поговорим о двух алгоритмах сортировки: Quick Sort и Merge Sort. Узнаем, как они работают, как выглядят примеры кода на Python и Java, а также — как выбрать подходящий алгоритм под ваши задачи.
«Делюсь лайфхаком по уменьшению размеров Docker-образов. Как-то нам попалась на поддержку и развитие CRM-система, написанная на Ruby...
Обновили Ruby-пакеты и под них код, написали Dockerfile. Первая сборка была удручающей: образ в 2Гб. Это нормальный размер, если ты собираешь образ с Torch и другой ML-штуковиной, но CRM — нет. В результате дальнейших действий, удалось сократить размер образа до 200 Мб»
Mount — ещё один способ уменьшения размера Docker-образа
Как нарисовать завод на мнемосхеме
Допустим, надо отследить позиционирование ковша. Оператор может посмотреть детали, кликнув на нужный ковш, чтобы сразу увидеть его начальное, конечное и текущее положения в производственной цепочке. Или он может быстро просмотреть весь процесс в большом цехе размером с пару стадионов, и сразу отреагировать, если что-то пойдёт не так.
Ещё лет пять назад было бы трудно поверить, что такое возможно. У нас был Oracle, для отображения состояния оборудования и процессов применялись таблицы, графики, диаграммы, были даже текстовые описания. Это было низкоэффективно, требовало изрядно времени и усилий для обработки. Потом пришёл MES и понемногу всё закрутилось. Для MES-интерфейсов потребовался новый подход, так как в мире нет унифицированных решений для их разработки.
Чтобы внедрить мнемосхемы на производстве, пришлось изрядно поработать. Но задача была вдохновляющая, и оно того стоило.
[ХАБРААРХИВ]
Почему плохо быть слишком умным
Трудность в том, чтобы заставить людей признать свои слабости. Если вы всю жизнь почивали на лаврах своего интеллекта, довольно трудно признать, что он может искажать ваши суждения. Как говорил Сократ, мудрейший из всех людей тот, кто может признать, что он ничего не знает.
#хабраархив
Как собрать и запитать радиопередатчик из хлама для передачи сигнала SOS
Предположим, что вы каким-то образом попали на необитаемый остров — потерпев крушение или иным способом — например, вас удерживают там «злые дядьки-мафиозники».
Или же, допустим невероятное — произошёл конец цивилизации тем или иным способом, и вам необходимо связаться с другими разрозненными группами людей.
Одним из наиболее сложных (так как требует определённых технологических приспособлений) и в то же время одним из наиболее перспективных, ввиду своей дальности действия, является радиосвязь. Попробуем прикинуть, как нам это реализовать, не имея под рукой в буквальном смысле почти ничего.
Искусство аугментации: как улучшить модели компьютерного зрения без сбора новых данных
Представьте, что вы разрабатываете модель компьютерного зрения для распознавания кошек на фотографиях. Чем больше разных фото кошек вы покажете модели, тем лучше она будет справляться с задачей. Но что делать, если у вас не хватает фотографий? Вы же не пойдёте делать 10000 фотографий вашего питомца? На такой случай существует решение — метод аугментации данных.
Разберёмся в том, как работает аугментация — рассмотрим её влияние на точность моделей, разберём основные методы и инструменты для её реализации, обсудим лучшие практики и типичные ошибки при работе с этим методом.
Продуктивность и почему «сделать много всего» — это не про неё
Продуктивность сотрудника — один из важных показателей его успеха в работе. И люди, и компании могут понимать продуктивность по-своему: например, как способность выполнять задачи быстрее или как способность каждый день работать на пике своих возможностей, а может быть, как способность выдавать отличный результат по каждой задаче. Но важно одно: от продуктивности сотрудника нередко зависят его показатели, а с ними и зарплата.
Советов, как повысить продуктивность, ещё больше, чем интерпретаций этого понятия. Различные ресурсы в Сети рекомендуют сотни приёмов от организации рабочего пространства до биохакинга.
Узнаем у экспертов Хабр Карьеры, как они понимают продуктивность, что рекомендуют для её повышения, а от каких практик советуют воздержаться
Распределение IQ: как программисту выживать в мире, рассчитанном на дураков
В этой статье мы рассмотрим вопрос, ответ на который поможет понять, почему многие вещи в мире устроены так, как они устроены. Почему многие законы такие нелогичные? Почему идущие в кинотеатрах фильмы такие незамысловатые, а шедевры всегда проваливаются в прокате? Почему до сих пор так распространено мошенничество «с безопасным счётом», если о нём трындят на каждом шагу? Почему в США так важно кого на выборах поддержит Тейлор Свифт? Почему существует общество плоской Земли? Почему полиция работает так, как она работает? Причём мы не будем брать ни один из этих вопросов, а рассмотрим только метавопрос, метаответ на который безмолвно отвечает на них все.
Bukva: алфавит русского жестового языка
Новый датасет Bukva — первый полноценный видеонабор данных для распознавания дактильной азбуки. Он содержит 3757 видеороликов с более чем 101 видео для каждой буквы дактиля, включая не только статические, но и динамические жесты. Узнаем, как собирали датасет и какие модели обучили в качестве бейзлайнов.
«Я пишу эту статью в 30 лет, успев побывать на собеседованиях по обе стороны стола. В течение последнего года я проводил технические интервью и видел, как моложавых выпускников, едва достигших возраста, позволяющего арендовать авто, так и бывалых специалистов, проработавших в IT больше лет, чем мне отроду. И этот опыт прекрасно прояснил для меня общую картину»
Так ли важен возраст в IT?
Последовательное A/B-тестирование в Netflix. Часть вторая. Процессы подсчёта
В Netflix наблюдают за множеством метрик, многие из которых можно отнести к классу «счётных». В их число входят такие показатели, как количество входов в систему, ошибок, успешных запусков воспроизведения видео и даже количество обращений пользователя в колл-центр. В этой части описывается методология последовательного статистического анализа, применяемая в компании для исследования счётных метрик.
Энтузиасты прогнали из дома компьютерных ломастеров-«домушников» и нашли на забытом переносном HDD рабочую информацию, включая прайсы, зловредные инструкции и архивы со скриптами и вирусами.
Оказалось, что ломастера не брезгуют скрытым обманом клиентов и практикуют запуск различных деструктивных скриптов (включая сборки вирусов и троянов) в рабочей системе, чтобы выбить из пользователей побольше денег за ремонт ПК, который в итоге может стоить больше, чем новый ноутбук или компьютер среднего уровня. В случае отказа клиента от дополнительных услуг, ломастера могут оставить в системе зловред, который активируется через несколько часов или дней, чтобы клиент созрел на новую выплату за ремонт ПК.
⚡ Новости к этому часу
👍 Создатель онлайн-библиотеки Flibusta Stiver сообщил, что серверы проекта оплачены, сайт поддерживается и работает в стабильном режиме
🥳 Одному из отцов ИИ и создателю «Каиссы» Владимиру Арлазарову — 85 лет
🔌 Tesla продемонстрировала беспроводную зарядку для электромобиля-роботакси Cybercab (ВИДЕО)
🚀 НАСА заморозило миссии Starliner к МКС до нахождения лучшего пути Boeing к сертификации своей космической системы
🐈⬛ Учёные доказали, что коты — это жидкость
🛡 Cloudflare активировала ECH на своих серверах
😱 Исследование подтвердило наличие простого способа общаться с вашей кошкой
📱 Открытый проект kv4p HT позволяет превратить смартфон на Android в современный любительский радиопередатчик
🎉 Проекту Ubuntu Linux исполнилось 20 лет
👮♂️ Полиция Ирландии изъяла контрафактные AirPods и аксесcуары для iPhone на $174 тысячи
#новости
Устраняем ошибки USB-Blaster
Поговорим о способе перепрошивки китайского программатора, который избавит вас от вечно выскакивающих ошибок, синего экрана смерти, невозможности прошить FPGA и т. д. Эта заметка для вас, если вы купили самый дешёвый программатор USB Blaster с алиэкспресса, и он упорно отказывается работать в вашей ОС.
Дизайн и реализация виртуальной машины CPython
Наиболее интересной частью каждого языка, компилируемого в байт‑код является виртуальная машина (также известная как интерпретатор байт‑кода), в которой происходит исполнение байт‑кода. Поскольку это наиболее важная часть реализации языка, она должна быть крайне производительной. Даже если вы не занимаетесь разработкой компиляторов, знание внутреннего устройства её реализации может дать вам возможность найти новые способы оптимизации вашего кода, что может быть полезно в других областях вашей работы. А если вы занимаетесь разработкой компиляторов, вам всегда стоит исследовать реализации в других языках, чтобы найти для себя новые трюки и потенциально упущенные детали.
В этой статье мы обсудим формат инструкций байт‑кода CPython, а также реализацию цикла обработки байт‑кода в интерпретаторе, где он и исполняется
Этот парень был из тех, кто просто любит связь
Однажды в 1957 году советский инженер подал заявку на выдачу патента на устройство вызова и коммутации каналов радиотелефонной связи. По сути, это был мобильный телефон, по форме — трёхкилограммовая коробка с диском для набора номера, по содержанию — система с приёмником, преобразователем, передатчиком, коммутатором и дешифратором.
Инженера звали Леонид Куприянович, а устройство — ЛК-1
Техническая история Kubernetes: секреты создателя
Однажды Брайан Грант, первый lead architect Kubernetes, написал в Twitter серию тредов о технической истории проекта. Он рассказал о появлении разных фичей в K8s и логике, которая стояла за принятием отдельных решений. В этом году в честь очередного юбилея оркестратора Брайан собрал все твиты в одну статью. Это её перевод, из которого вы узнаете, как появились контроллеры рабочих нагрузок, декларативная модель ресурсов, descheduler и многое другое.
«Нечасто нам доводится изучать код, который до нас видели только считанное количество людей; код, который был важной частью разрушения системы апартеида в ЮАР; код, который использовался для защищённых коммуникаций с одноразовыми шифрами, контрабандой передававшихся в ЮАР на дискетах бортпроводником. Но мне довелось испытать это одним утром вскоре после того, как я расшифровал тридцатилетний файл PKZIP, пароль к которому давно забыли»
Взлом старого ZIP-файла с криптопрограммами подпольщиков ЮАР
Внедряем решение сорокалетней давности из советской «Форманты» в современную электрогитару
В большинстве выпускаемых сегодня электрогитар катушки звукоснимателей подключены к регуляторам громкости и тембра напрямую. Однако пара дополнительных конденсаторов даёт возможность значительно расширить палитру звучаний.
Лишние тумблеры не понадобятся, и эстетика инструмента не пострадает. Сегодня узнаем, как модифицировать гитару с простейшим трёхпозиционным переключателем путём установки потенциометров с функцией «пуш-пул».
Потянув ручку громкости или тона вверх, можно включить добавочный режим. Причём речь пойдёт не о банальной «отсечке» катушек хамбакеров, позволяющей получить звучание сингла, а о гораздо более интересных вещах.
«Чтобы повторить chatGPT, нужно собрать огромный массив данных (весь Интернет) и обучить на большом количестве видеокарт. Так как у меня нет возможности процессить эти данные, я повторю GPT на небольшом датасете всех произведений Шекспира»
Строим GPT с нуля и шаг за шагом
Сорок мегабайт простоты
Спустя шесть лет после предыдущего, найдено 52-ое известное простое число Мерсенна!
Числа Мерсенна — это двойки, возведённые в степень, минус единица. Было доказано, что такие числа иногда, весьма редко, бывают простые — и в этом случае экспонента непременно тоже представляет собой простое число. До середины прошлого века поиск таких чисел был довольно вялым, но с появлением ЭВМ, понятное дело, рванул вперёд — в первую очередь, конечно же, благодаря наличию алгоритма поиска с полиномиальной сложностью.
С тех пор простые числа Мерсенна удерживают практически весь пьедестал почёта самых больших известных простых чисел
✊ Участвуй в новом IT-турнире и докажи свой уровень!
Cloud.ru и Хабр бросают вызов настоящим профи и запускают Облачный турнир. Мы подготовили хардовые задания по трём трекам — DevOps, Go и кибербезопасность.
Ворвись в гонку за победу и укрась своим именем топ турнирной таблицы. Победителей ждут карьерные консультации с руководителем подбора Cloud.ru и ачивки на Хабре.
👉 Переходи на сайт, и вперёд — на трек!
ERID: 2VSb5ywoX6QЧитать полностью…
Реклама. ООО «Облачные технологии»
ИНН 7736279160
Последовательное A/B-тестирование в Netflix. Часть первая. Непрерывные потоки данных
Применяя подобные тесты, мы хотим быстро и надёжно выявлять наличие разницы в распределении показателя play‑delay, или приходить к выводу о том, что в рамках определённых допусков такой разницы нет.
В этом материале мы поговорим о разработке статистической процедуры для решения именно этой задачи и поговорим о влиянии таких разработок на Netflix
От лент до облаков: какие устройства выбрать для бэкапа и как рассчитать стоимость хранения
В условиях российского рынка правильный выбор устройств для резервного копирования играет ключевую роль в обеспечении безопасности данных. В этой статье разберём, какие устройства больше подходят для создания бэкапов, какие преимущества и недостатки есть у каждого варианта, а также узнаем рекомендации по их настройке. Заодно рассмотрим вопрос частоты резервного копирования и продолжительности хранения копий в контексте их стоимости.