66449
НЛО с вами! Хабр Новости → https://t.me/habr_com_news Хабр Карьера → https://t.me/habr_career Реклама (продвигаем только статьи с Хабра) → adv@habr.team Вопросы → @shelsneg Админ → @vololoshin
«А можно быстрее?»: разбираем методы ускорения обучения нейронных сетей
Современные нейросетевые архитектуры достигают впечатляющих результатов в сложных задачах ИИ благодаря росту объёмов данных и вычислительных мощностей. Однако обратной стороной медали стала высокая ресурсоёмкость обучения.
Например, последняя версия GPT-4 от OpenAI обучалась на большом GPU-кластере. По некоторым данным, она содержит около 1,8 триллиона параметров, а её обучение обошлось более чем в 100 млн долларов. А модель Llama 3.1 405B, вроде бы оптимизированная под ограниченные ресурсы, всё равно требовала более 15 триллионов токенов и свыше 16 тысяч GPU NVIDIA H100.
И хотя нынешнее качество работы LLM уже можно действительно назвать выдающимся, на практике они подкидывают разработчикам широкий ряд проблем производительности: от запредельных объёмов данных до оптимизации гиперпараметров. Всё это приводит к потребности в ускорении обучения.
Ребята из Magnus Tech подготовили серию материалов, которые помогут разобраться в ускорении обучения нейросетей. В этой статье рассмотрим различные теоретические аспекты — от аппаратного ускорения до правильной организации самого обучения.
Capsule: библиотека для десктопных и мобильных платформ с собственным графическим интерфейсом
Команда Neiry Tech рассказывает про ПО Capsule, считывающее и записывающее мозговую активность и другие физиологические сигналы пользователя, и Capsule API, который помогает строить на основе классифицированных метрик и индексов итоговые приложения.
Вышел Vue 3.5
Этот минорный релиз не содержит кардинальных изменений и включает в себя как внутренние улучшения, так и новые полезные функции. Поговорим об основных моментах.
Страсти опенсорса: мафия, стилеры и багхантинг проектов «Яндекса»
За последние две недели в Python Package Index произошло много занятного. Команда Threat Intelligence of PT Expert Security Center вооружилась вердиктами модели машинного обучения сервиса PT PyAnalysis, чтобы рассказать об интересных сработках.
Топ 10 ИИ-фреймворков, или Сказ о том, как AMD проиграла рынок NVIDIA
В индустрии машинного обучения происходит небывалый беспрецедентный бум, и главный двигатель этого праздника технологий, генерирующего сверхприбыли для больших компаний, — графические процессоры. В битве за долю рынка ИИ-ускорителей можно выделить двух титанов индустрии GPU — NVIDIA и AMD. Несмотря на то, что во всех остальных сферах, кроме ИИ, AMD периодически подаёт надежду на превосходство над NVIDIA, во всём, что касается машинного обучения, NVIDIA обладает почти что абсолютной властью над рынком. Эта компания, благодаря своей дальновидной стратегии, сумела не только завоевать доверие разработчиков, но и фактически создать экосистему, ставшую стандартом де-факто в области глубокого обучения. AMD же, несмотря на свой богатый опыт в производстве высокопроизводительных процессоров, оказалась на периферии этого стремительно растущего рынка.
Фокус в Android TV
Разработчики, начинающие писать приложения под Android TV, часто сталкиваются с непониманием того, как работает фокус. Часто приходится сталкиваться с непонятными костылями в проектах Android TV, результатом которых является поломанный фокус, потому что ребята не осознают, как изящно решать проблемы.
В этой статье рассмотрим, как работает фокус в Android, по какому принципу он передаётся, какие существуют методы для работы с ним, и другие нюансы
«Меня разочаровывает популярность примитивного подхода. Предлагаю отвлечься от однотипных статей и присмотреться к предмету изучения. Я хочу осветить этот тёмный угол с выгоранием, где многие видят банальную лень, стрессы, усталость, отсутствие навыков планирования или свежих пряников. Или золу с необходимостью подкинуть дров. Нам понадобится фонарик, ворчун с лопатой и уважение к своему мозгу»
Что не так со статьями о выгорании?
Постигаем основы создания Live-дистрибутивов Linux через починку старого SSD
Восстанавливаем SSD, попутно разбираясь с работой 32-разрядных приложений на 64-разрядном дистрибутиве Linux, созданием ISO-образов Live-дисков, загрузкой и составом дистрибутива.
Как требования в банках к ИБ усложняют архитектуру прикладных сервисов: кейс внедрения ВКС
За предыдущее десятилетие банки стали центром ИТ-инноваций и высочайшей культуры разработки и эксплуатации ИТ-сервисов. Однако из-за жёсткого регулирования внедрение в банках даже простых и привычных сервисов часто требует усложнений.
Поговорим о специфике требований к ИТ-инфраструктуре в банках и на примере посмотрим, как реализация этих требований отражается на довольно-таки стандартных проектах
«Венера-7»: первый аппарат, который нырнул в инопланетный ад и подал оттуда весточку
17 августа 1970 года в 8:38 МСК с космодрома Байконур состоялся пуск ракеты-носителя «Молния-М» с автоматической межпланетной станцией «Венера-7». АМС стала первым посланцем Земли, который смог совершить мягкую посадку на поверхность Венеры и передать ценные данные. Поговорим о том, что миссия дала науке и как помогла следующим полётам к соседней планете.
[ХАБРААРХИВ]
«Логика программирования заключается в том, чтобы разбить большую задачу на маленькие подзадачи и последовательно реализовать их, а потом связать воедино. Программист — не тот, кто наперегонки печатает текст кода со знанием всех команд, а тот, кто мыслит в логике программы»
Самое сложное в программировании — это…
#хабраархив
⚡️ Новости к этому часу
🧱 Сборник Tetris Forever выйдет на ПК, Nintendo Switch и других платформах в конце этого года
🕷 Ошибка в программном коде привела к сбою государственных служб и сервисов Нидерландов
⛔️ Офис Telegram в Дубае закрыт и не используется сотрудниками
🔵 Раскрыты детали судебного надзора, под который помещён основатель Telegram Павел Дуров во Франции
🌌 Квантовая механика и гравитация согласуются друг с другом на поверхности чёрной дыры
📱 Google Play теперь позволяет загружать и обновлять три приложения одновременно
🤏 На Kickstarter представили Byok — миниатюрный компьютер, на котором можно только редактировать текст (ФОТО)
🕹️ Исследователи Google представили игровой нейродвижок, который покадрово генерирует Doom
🙅♂️ Сообщество HDMI Forum отклонило драйвер AMD HDMI 2.1 с открытым исходным кодом
⚠️ Основатель швейцарской компании Proton Энди Йен заявил, что владельцам стартапов и IT-компаний опасно посещать Францию
📱 Tumblr перенесёт полмиллиарда своих блогов на WordPress
🗺 «Яндекс Карты» начали показывать загруженность организаций
#новости
Вызовы функций в Python по-прежнему медленные?
Обсудим конкретные улучшения, внесённые в CPython, которые повышают производительность интерпретатора. Рассмотрим причины медленной работы в старых версиях и выясним, как нововведения помогают исправить ситуацию.
«Когда на новом проекте менеджер попросила меня провести эстимацию тестирования, я сначала растерялась, ведь это вроде как задача менеджера или старшего тестировщика. А потом вспомнила, что я — единственный тестировщик на проекте»
<Не>страшное слово эстимация, или Как оценить время на тестирование
⚡ Новости к этому часу
🇫🇷 Прокуратура Франции опубликовала список обвинений в рамках расследования и задержания Дурова.
🔐 Notion сообщила об отключении российских аккаунтов с 9 сентября.
🖥 Минфин РФ предложил ввести полный запрет на покупку госорганами и госкомпаниями иностранного ПО и микросхем.
📱 AT&T выплатит регулятору $950 тысяч за сбой при попытке 25 тысяч клиентов позвонить в 911.
😊 «Яндекс» попал в топ IT-компаний, в которых работают победители олимпиады по программированию ICPC.
⚙️ Проект Calculating Empires наглядно показывает изобретения и достижения человечества за 500 лет.
😌 Telegram предложили скрыть число подписчиков каналов для обхода закона о блогерах.
🖥 Microsoft передумала полностью отказываться от «Панели управления» в Windows.
✈️ Основатель видеохостинга Rumble покинул Европу из-за ареста Дурова.
👍 Apple выпустит ИИ с «личностью» для роботизированных устройств.
#новости
Особенности движения Земли и Луны
Всего лишь несколько столетий назад считалось, что Земля неподвижна, а Солнце и планеты вращаются вокруг неё. Теперь мы знаем, что именно планеты движутся вокруг Солнца. Про нашу планету обычно говорят, что вокруг неё вращается Луна, а сама Земля движется вокруг Солнца. Однако правильнее говорить, что вокруг Солнца движется центр масс системы Земля-Луна, при этом и Земля, и Луна вращаются вокруг их общего центра масс.
«Во время работы над новыми экранами мне часто приходилось использовать множество различных иконок, разбросанных по всему проекту. Это навело на мысль: было бы здорово собрать все иконки в UI Kit в единственном экземпляре и использовать их только оттуда — по аналогии с тем, как это делают дизайнеры в Figma. И тогда я вспомнил об одной особенности Jetpack Compose»
Композим иконки. Улучшаем семантику и скорость отрисовки
Не секрет, что Хабр работает над тем, чтобы компании и айтишники лучше понимали друг друга и вместе двигали индустрию вперёд. Для этого мы системно исследуем рынок, задаём много вопросов и анализируем данные.
В общем, мы к вам с небольшим опросом 😉
Его цель — изучить реальные практики компаний в сфере IT, а также потребности и ожидания айтишников относительно работодателей. Результаты исследования мы представим на конференции, а потом пошарим в блоге Хабра.
Учёные обнаружили ключевой процесс, необходимый для сверхпроводимости, возникающей при более высоких температурах, чем считалось ранее. Это может стать небольшим, но значительным шагом в поисках одного из «святых Граалей» физики — сверхпроводника, работающего при комнатной температуре.
Эта и другие научпоп-новости за неделю, о которых мы не писали
😥 Зарплаты разработчиков в первом полугодии 2024: языки и квалификации
Разбираемся, сколько зарабатывали разработчики разных языков и квалификаций в первой половине 2024 и как их зарплаты изменились по сравнению со вторым полугодием 2023.
Если вам интересно, выше или ниже рынка вы сейчас получаете, можете проверить это в нашем зарплатном калькуляторе.
🧠 Мозг может напрямую влиять на окружающий мир: для этого не нужно вживлять чип человеку в моторную кору.
То, что в фантастике называют «силой мысли», — сложный набор сигналов и метрик, получаемых на основе активности нейронов мозга. Надо лишь правильно интерпретировать их с помощью нейроинтерфейса и связать с другими IT-решениями. Именно это помогают делать Neiry Headband Pro и API Neiry.
Headband Pro отслеживает более 20 метрик на основе данных активности мозга, сердечного ритма, движения. Пользователь может включить или выключить лампочку, просто сконцентрировавшись на ней.
Магнитная мешалка с подвыподвертом. Как сделать?
Магнитная мешалка — это прибор, который вращает сильный постоянный магнит под колбой, в то время как внутри колбы находится якорь — магнит поменьше, облачённый в инертную оболочку. Якорь подхватывается вращающимся магнитным полем и делает своё бултыхальное дело внутри колбы. Эстетично, гигиенично, герметично.
Что нового в IntelliJ IDEA 2024.2
Недавно вышла новая версия IntelliJ IDEA 2024.2, в которой появилось довольно много новых фич. Команда Amplicode подготовила обзор основных возможностей IDE, которые на данный момент доступны российским разработчикам без каких-либо ограничений.
VLESS vs. ShadowSocks
Если вы когда-нибудь искали бесплатные outline-ключи, то вам будет полезно узнать про VLESS — новый протокол, который постепенно приходит на смену Shadowsocks. Поговорим о том, чем они отличаются и какие у них есть преимущества.
Механизмы образования антициклонов над континентами. И при чём тут роса на траве по утрам
Роса на траве и роса на крышах автомобилей имеют одинаковую физическую природу. При этом интересно, что если трава или автомашина находятся под кроной дерева, то на них росы или инея не возникает. А рядом в нескольких метрах стоит машина под открытым небом и вся машина буквально покрыта росой!
Почему роса выпадает именно на крышах автомобиле? Давайте разбираться!
Простой лабораторный высоковольтный БП 1…10 кВ своими руками
Универсальный регулируемый источник питания 1…10 кВ постоянного тока из подножных материалов для замены индукционной катушки при работе с самодельными газоразрядными приборами. Блок питания имеет бортовой киловольтметр и миллиамперметр, а встроенный магазин балластных сопротивлений и переключающиеся шунты позволят использовать его как источник питания небольшого магниторазрядного высоковакуумного насоса или вакуумметра — т. н. ячейки Пеннинга.
Иван Сытин: как пройти путь от крестьянина до крупнейшего книгоиздателя России и предложения стать наркомом
Поговорим про знаменитые календари и лубки Сытина, литературу для народа, газетную империю, которую можно сравнить с New York Times, а ещё про то, как Сытин пережил проблемы с рабочими и две революции и чем он ответил на предложение Ленина стать наркомом.
Полулегальный радиоконструктор с Aliexpress
Сегодня мы соберём комплект из двух простых ультракоротковолновых трансиверов на транзисторах. Это старая добрая классика, полностью аналоговая, без микросхем и даже без кварцев или пьезокерамических фильтров.
Для любителей электроники и радио такой конструктор — отличная возможность подарить детям незабываемые позитивные моменты и привить интерес к технике. Но есть и нюансы.
🤑 Зарплаты разработчиков в первом полугодии 2024: языки и квалификации
Смотрим, сколько зарабатывали разработчики разных языков и квалификаций в первой половине 2024 и как их зарплаты изменились по сравнению со вторым полугодием 2023.
Если интересно, выше или ниже рынка вы получаете, можете проверить это в зарплатном калькуляторе 👈
Если в вашей компании используют ПО с открытым кодом, то всегда есть вероятность, что вам прилетит судебный иск. В лучшем случае потребуют раскрыть код и сделать его общедоступным.
Поэтому лучше разобраться в лицензиях и правилах до коммерческого использования. По счастливой случайности у нас есть статья, где юрист объясняет, как безопасно работать с открытым ПО.