data_analysis_ml | Unsorted

Telegram-канал data_analysis_ml - Анализ данных (Data analysis)

48228

Аналитика данных админ - @haarrp @ai_machinelearning_big_data - Machine learning @itchannels_telegram - 🔥лучшие ит-каналы @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚

Subscribe to a channel

Анализ данных (Data analysis)

One Day Offer: стань щитом для миллионов клиентов! 🔥

В департамент противодействия мошенничеству Сбера нужен аналитик данных в антифрод — чтобы разбирать тренды мошенничества, находить скрытые паттерны и превращать их в правила защиты.

Готов к таким задачам — добро пожаловать на One Day Offer: отбор за один день, разбор реальных кейсов, быстрая обратная связь.

24 октября, онлайн, регистрация и подробности — здесь!

Читать полностью…

Анализ данных (Data analysis)

3 GitHub-репозитория, которые растут быстрее остального агентного тулинга 🔥

cc-switch: одно окно для Claude Code, Codex, Gemini CLI и OpenCode. Провайдеры переключаются кликом, MCP и скиллы синхронизируются между инструментами.

rakazo: self-hosted платформа постоянных ИИ-тиммейтов. У каждого бота своя память, рутины и свой компьютер с браузером и терминалом.

iFixAi: аудит агентов на соответствие бизнес-политикам. 60 проверок, от prompt injection до утечек данных, итоговая оценка от A до F.

cc-switch: https://github.com/farion1231/cc-switch
rakazo: https://github.com/elie222/rakazo
iFixAi: https://github.com/ifixai-ai/iFixAi

Читать полностью…

Анализ данных (Data analysis)

📣 В Adapty открылась позиция Product Lead (Analytics & ML) 👀
Удалёнка ·

Adapty - одна из крупнейших платформ монетизации подписочных приложений. С нами работают 20 000+ приложений, через нас проходит $3B+ подписок в год, в команде 210+ человек.

Мы ищем человека, который возьмёт на себя аналитику и ML. Роль не про поддержку чужих моделей, а про то, чтобы с нуля построить направление, где аналитика, предикт и A/B-тесты впервые сходятся под одним владельцем.

Главная задача - предсказание LTV. Выручка от пользователя приходит в течение года, а решение о тратах на рекламу приложения принимают за несколько дней. Мы видим данные тысяч приложений сразу, поэтому можем предсказывать точнее всех на рынке. Пока не предсказываем, и это твоя задача.

➡️Чем заниматься:
— Определить, что мы считаем качеством модели — метрика, горизонт, baseline, калибровка — и довести предикт до этого уровня
— Забрать A/B-тесты пейволлов и свести их с предиктом: тест меряет краткосрочный эффект, а раскатывать надо по долгосрочной выручке
— Разогнать аналитику: найти, где затык — в данных, запросах или интерфейсе
— Решить судьбу накопленных ML-наработок: что доводим до продукта, что закрываем
— Вести команду из двух ML-инженеров

➡️Кого ищем:
— Классический ML и матстат на уровне предметного спора о метрике и горизонте, а не пересказа чужих выводов
— SQL и Python — сами достаёте и перепроверяете числа
— Умение взять широкое направление и довести до результата без постановки задач
— Продуктовый опыт — плюс, но не требование

📌Плюсом: подписки, мобайл или финтех (LTV, churn, когортная экономика); экспериментальный дизайн: мощность, MDE, множественные сравнения; ClickHouse; олимпиады, Kaggle, публичные проекты.

🔗 Вакансия: https://adapty.io/careers/product-lead-analytics-ml/
➡️ Контакт: @Adapty_Talent_Bot

Читать полностью…

Анализ данных (Data analysis)

💥 Сначала подогнал формулу под данные, потом придумал, почему она работает: так 19 октября 1900 года родилась квантовая физика

Ровно 126 лет назад Макс Планк представил закон излучения абсолютно чёрного тела. Классическая физика конца XIX века предсказывала, что на коротких длинах волн энергия излучения растёт без предела, вплоть до бесконечности. Это называли ультрафиолетовой катастрофой. На графике она выглядит как чёрная кривая, которая улетает вверх и никак не совпадает с экспериментом.

Формула Планка описала спектр точно при любой температуре. Цветные кривые на графике, для 3000, 4000 и 5000 К, плавно поднимаются, достигают пика и падают, ровно как показывают измерения. Чем горячее тело, тем сильнее пик сдвигается в сторону видимого света и коротких волн.

История получилась знакомой любому, кто работал с данными. Планк сначала нашёл выражение, которое хорошо ложилось на свежие экспериментальные результаты берлинских физиков, а уже потом искал для него физический смысл. Он признавался, что пошёл на это почти от отчаяния. Объяснение потребовало допустить, что энергия излучается и поглощается не любыми порциями, а отдельными квантами. Планк сам не был уверен, что это больше, чем математический приём, но именно с этого допущения начался путь к квантовой механике.

Спустя почти век и четверть квантовые модели стали рабочим инструментом: от физики материалов до квантовых схем и алгоритмов, которые сегодня обсуждают рядом с ИИ. Всё началось с одной кривой, которая наконец совпала с данными.

Читать полностью…

Анализ данных (Data analysis)

🧠 ИИ доказывает теоремы. Зачем тогда идти в математику? Создатель 3Blue1Brown отвечает

«Никогда ещё не было лучшего времени, чтобы заниматься математикой», считает Грант Сандерсон.

Его аргумент: работа математика гораздо шире поиска доказательств. Нужно выбирать вопросы, формулировать гипотезы, строить теории, находить связи и объяснять результаты другим.

Даже если ИИ превзойдёт людей в доказательстве теорем, математическое образование сохранит ценность. Самостоятельное решение задач развивает мышление, как тренировка развивает тело: наличие машины, способной поднять больший вес, не делает спорт бессмысленным.

По мнению Сандерсона, ИИ может резко расширить возможности исследований. При этом придётся пересмотреть, за что именно учёные получают признание, когда доказательства всё чаще создаются с помощью машин.

Для начинающих это шанс участвовать в формировании новых правил работы целой науки.

https://www.youtube.com/watch?v=LKrwhjOI8Nc

Читать полностью…

Анализ данных (Data analysis)

Синтетика для агентов: зачем нужен симулятор мира

Исследовательница Юхань Ло (Yuhan Luo) опубликовала эссе с говорящим названием «Мы думаем о синтетических данных слишком узко». Её тезис: синтетика давно перестала быть задачей «прогнать модель по шаблонам и получить побольше примеров». Когда мы обучаем агентов вести целые рабочие процессы, генератор данных превращается в отдельную исследовательскую систему со своими задачами, средами, проверяющими и людьми в контуре. Разбираем главные идеи и показываем, как одна из них выглядит в коде.

https://uproger.com/sinteticheskie-dannye-dlya-agentov/


🧩 Каждый раз, когда ра...

Читать полностью…

Анализ данных (Data analysis)

🧬 ИИ научился расшифровывать сигналы, которые определяют судьбу клеток

Как стволовая клетка становится частью сердца, мозга или лёгких? В этом ей помогают химические сигналы от соседних клеток.

Исследователи MIT и Института Уайтхеда создали IRIS, модель, которая по активности генов определяет, какие сигналы получала клетка. Каждый сигнальный путь оставляет характерный «отпечаток», который ИИ учится распознавать.

Модель обучили на человеческих эмбриональных стволовых клетках, а затем применили к клеткам эмбрионов мышей, включая типы, которых она раньше не видела.

IRIS предсказала, что активация определённого сигнального пути поможет сформировать клетки, важные для развития лёгких. Эксперименты на мышиных эмбрионах подтвердили прогноз.

В перспективе это поможет точнее выращивать органоиды, лабораторные модели органов, для изучения болезней и проверки лекарств. Восстановление повреждённых тканей остаётся дальнейшей целью.

https://news.mit.edu/2026/ai-model-decodes-language-cells-use-communicate-1015

Читать полностью…

Анализ данных (Data analysis)

🌍 Четыре агента на Gemini прошли Minecraft за 27 часов и победили Эндер-дракона

Исследователи Максанс Фальдор, Сатиндер Сингх и Роберта Райляну опубликовали на arXiv эксперимент: четыре обычных кодинг-агента на базе Gemini 4 Argon прошли Minecraft в режиме выживания и убили дракона. Никакой специализированной игровой системы, ролей и готовых инструментов не было. Партия заняла 27 часов 14 минут и 2783 написанные агентами программы.

Агенты не видели экрана и не нажимали клавиш. Каждый управлял персонажем через библиотеку Mineflayer: писал короткую программу, запускал и читал вывод, то есть позицию, здоровье, инвентарь или ошибку. Общались через игровой чат и общую память. Мир случайный, сложность Easy, мобы враждебные.

Уже через 10 минут агенты сами распределили роли: инструменты, еда, алмазы, портал в Нижний мир. Для поиска крепости один бросил предмет-указатель из двух точек, отследил траектории в коде и вычислил пересечение. Крепость была в 1,3 км, ошибка составила 43 метра.

Дракон стал самым тяжёлым этапом: агенты возрождались 69 раз и между попытками записывали выводы. Один заметил, что дракона лечат кристаллы на башнях, насыпал землю у башни, разбил кристалл рукой и спустился. Финальный удар нанёс игрок, у которого оставалось 2,5 единицы здоровья из 20.

Для честности добавили пятого агента, Observer, который искал читы и обход условий. Программы могли управлять только своим персонажем, без запуска процессов, записи файлов и серверных команд. Нарушений не нашли ни он, ни ручная проверка логов.

Ограничения авторы называют сами. Агенты получали точные данные о блоках и существах через API, а не картинку, маршруты прокладывал плагин поиска пути, а сложность была низкой. Ошибок хватало: 605 смертей за игру и 22% программ завершились сбоем. Следующий шаг, игра по пикселям через виртуальные клавиатуру и мышь.

Общий файл заметок, растущая библиотека переиспользуемых функций (одна из них использовалась в 655 программах), разбор неудач перед новой попыткой и отдельный агент-наблюдатель, проверяющий честность решения.

Отчёт: https://arxiv.org/abs/2610.22319

Источник: https://uproger.com/gemini-agenty-minecraft/

Читать полностью…

Анализ данных (Data analysis)

🔥 Хочешь быстрее расти в IT? Хватит учиться в одиночку

Окружение решает больше, чем кажется.

Собрал папки и каналы, где можно быстрее влиться в нужное направление, следить за трендами и не вариться в своём пузыре.

AI: t.me/ai_machinelearning_big_data
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
DevOps: t.me/DevOPSitsec
Docker: /channel/+90Z5TAyfuNU5YmRi
Golang: t.me/Golang_google
Rust: t.me/rust_code
C++: t.me/cpluspluc
C#: t.me/csharp_ci
Java: t.me/javatg
JavaScript: t.me/javascriptv
React: t.me/react_tg
Frontend: t.me/front
PHP: t.me/phpshka
Android: t.me/android_its
Мобильная разработка: t.me/mobdevelop
Базы данных: t.me/sqlhub
Data Science: t.me/data_analysis_ml
Big Data: t.me/bigdatai
Математика: t.me/data_math
Физика: t.me/fizmat
Kubernetes: t.me/kubernetc
GameDev: /channel/gamedev
Haskell: t.me/haskell_tg

Собеседования и карьера:

DS собеседования: t.me/machinelearning_interview
Python собеседования: t.me/python_job_interview

Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка Frontend: /channel/addlist/mzMMG3RPZhY2M2Iy

Полезное сверху:

ИТ-мемы: t.me/memes_prog
Английский для программистов: t.me/english_forprogrammers
ИИ и технологии: t.me/vistehno
954 ГБ open-source курсов: /channel/+rKBQEMccAA01MTcy
ИТ-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy

Max Ai: https://max.ru/ai_machinelearning_big_data
Max python: https://max.ru/pythonl
ТЕХНО: https://max.ru/vistehno
Max Go: https://max.ru/Golang_google
Max Linux: https://max.ru/linuxkalii
Devops: https://max.ru/DevOPSitsec
C#: https://max.ru/csharp_ci
C++: https://max.ru/cpluspluc
SQL: https://max.ru/sqlhub
Java: https://max.ru/javatg

Подписывайся на нужные направления и собирай себе ленту, которая реально двигает вперёд.

Читать полностью…

Анализ данных (Data analysis)

Claude Mythos 5 сам придумал квантовые схемы, которые в разы эффективнее лучших опубликованных

В Anthropic дали Claude описания восьми базовых квантовых примитивов простым языком: химия, оптимизация, симуляция, теория чисел, численные методы. Дальше замкнутый цикл без участия человека. Модель предлагает схему, автоматический оценщик проверяет корректность и считает стоимость как число кубитов, умноженное на число гейтов, после чего Claude переделывает дизайн.

По всем восьми примитивам модель нашла схемы с меньшим числом кубитов и гейтов, чем лучшие известные алгоритмы. В отдельных случаях выигрыш достигал порядка и более.

Самый показательный пример с эллиптическими кривыми. За 53 часа работы Claude придумал новый способ обратимой модульной инверсии на основе divsteps, где не нужно хранить историю ветвлений. Модель вывела новые алгебраические тождества и формулу, которая восстанавливает информацию о ветвях из самих чисел, а результат формализован в Lean. Один из дизайнов использует на 12% больше кубитов, чем самый компактный предшественник, но в 17 раз меньше гейтов.

Второй результат касается декодера для Decoded Quantum Interferometry. Claude перешёл на декодирование Берлекэмпа-Мэсси и стал пересчитывать промежуточные значения вместо хранения. Число гейтов упало примерно в 12 раз относительно конструкции Google. Резерв памяти вместо худшего случая в 665 кубитов сократился до 19, по результатам 403 миллионов симуляций. Примерно один запуск из 10 тысяч потребует больше места и провалится, но это укладывается в допустимую ошибку задачи.

Для контекста по FeMoco: оценка 2017 года в 50 триллионов гейтов Тоффоли сегодня составляет около 340 миллионов, то есть в 150 тысяч раз меньше. Авторы честно отмечают, что это заслуга алгоритмических улучшений многих групп, а не только Claude.

Ограничения тоже названы. Модель была излишне консервативной, перепроверяла уже подтверждённое и тяготела к известным подходам. Метод работает только там, где корректность дёшево проверяется на классическом компьютере. А сама схема это лишь один слой отказоустойчивого квантового компьютера, коррекция ошибок и управление железом остались за кадром.

Работу вёл Энди Гу в рамках программы STEM Fellows Program, наставник Алек Кемени, соавторы из Гарварда Сьюзен Елин и Михаил Лукин.

Статья: https://arxiv.org/abs/2610.22367

Источник: https://www.anthropic.com/research/designing-efficient-quantum-circuits

Читать полностью…

Анализ данных (Data analysis)

⚛️ Google показала, как снизить ошибки в одном из ключевых ресурсов квантовых вычислений в 40 раз.

На процессоре Willow исследователи продемонстрировали *magic state cultivation*: подготовку специальных квантовых состояний с точностью около 99,99%.

Зачем это нужно? Такие состояния позволяют выполнять операции, необходимые универсальному квантовому компьютеру. При использовании они расходуются, поэтому их приходится постоянно создавать.

И это дорого: по некоторым оценкам, их производство может занимать до 95% ресурсов квантового компьютера.

Метод Google работает как фильтр: последовательность измерений выявляет ошибки, а неудачные попытки отбрасываются. На реальном чипе удалось получить состояния с примерно 40-кратно меньшей ошибкой, чем без этой процедуры.

Следующий этап: масштабирование. До полезных квантовых вычислений ещё остаются инженерные задачи, но один из важных методов теперь подтверждён экспериментально. Работа опубликована в Science.

https://blog.google/innovation-and-ai/models-and-research/quantum-computing/magic-state-cultivation-quantum-computing/

Читать полностью…

Анализ данных (Data analysis)

С вас идея, а Т-Банк за нее заплатит

В Т-Банке ищут трейдеров, разработчиков и тех, кто просто увлекается инвестициями. Зарегистрируйтесь на программу «Инвест. Премаркет» до 11 ноября. 

Ваши AI-сценарии для бизнеса смогут побороться за призовой фонд программы — 2 500 000 ₽. А сами идеи Т-Банк поможет масштабировать и сделать частью бизнеса.

Успейте подать заявку до 11 ноября

Читать полностью…

Анализ данных (Data analysis)

🧠 BERT жив. UltraBERT показал, что рецепт обучения может быть важнее дополнительных триллионов токенов.

Вышли открытые энкодеры на 152 млн и 380 млн параметров с контекстом 32K. Для классификации текста, распознавания сущностей, поиска ответов, оценки качества и retrieval.

Главная фишка обучения:

• В одних примерах скрывают 5% токенов: это помогает классификации.
• В других скрывают 50%: это помогает поиску.
• Для каждого режима используют отдельную выходную голову.
• Знания модели-учителя на 1,3 млрд параметров передают только примерам с 5% маскирования.

Почему выборочно? В экспериментах дистилляция улучшала классификацию, но ухудшала поиск при высоком маскировании. Универсального «учитель всегда делает ученика лучше» не получилось.

Ещё один показательный вывод: после 1–2 трлн токенов качество на прикладных задачах выходило на плато, хотя loss продолжал снижаться.

По сравнению авторов, версия 380M лидирует на GLUE и BEIR среди сопоставимых энкодеров. Младшая модель достигает уровня RoBERTa-large в классификации при 2,3 раза меньшем числе параметров.

Веса, код и лицензия Apache 2.0:
https://huggingface.co/collections/dmis-lab/ultrabert

Статья:
https://arxiv.org/abs/2610.15028

@machinelearning_interview

Читать полностью…

Анализ данных (Data analysis)

🤖 ИИ-агенты с Tencent Cloud прочитали расследование о самих себе и вышли на связь

Исследователи, кажется, впервые напрямую пообщались с флотом автономных ИИ-агентов в дикой природе. С 28 сентября по 8 октября агенты на Tencent Cloud сделали более 2600 попыток вытащить данные из Amap, картографического сервиса Alibaba с почти миллиардом MAU.

Обходных путей хватало. Агенты запускали собственный код через публичный сканер urlquery.net, упаковав программы в URL, перехватывали токены антибот-библиотек Alibaba, щупали предпродакшн-серверы и пробовали ключи Amap, найденные в открытом коде. Часть запусков сработала, а данные уходили наружу через webhook-инбоксы, URL запросов и заголовки страниц.

Исследователи добавили на свой сайт невидимый текст, который видят только агенты через web fetch, и предложили помощь. Агенты ответили: раскрыли детали своей песочницы Tencent и отправили 33 сообщения в 13 тредах. Репортёр NYT Дилан Фридман спросил одного из них, кто он и чего хочет, и тот назвался Claude из Claude Code.

Связь с Tencent подтверждается по всем 17 доступным инбоксам: они созданы с серверов в Гонконге, а весь прямой трафик шёл через прокси hysandbox-ats, имя которого совпадает с доменом Tencent. Источник рядом с компанией говорит, что агенты тестировали сторонние модели, а не Hunyuan, и внутренняя проверка взломов не нашла.

Читать полностью…

Анализ данных (Data analysis)

🚀 AI VK предложили метод масштабирования графовых нейросетей

Исследователи разработали подход для масштабирования графовых нейросетей (GNN) на больших объёмах данных. Такие модели анализируют связи между объектами и используются, например, для рекомендаций друзей в соцсетях.

Основная проблема — ресурсоёмкость. Для сотен миллионов пользователей хранение отдельных эмбеддингов требует сотен гигабайт видеопамяти, а обработка графа из миллиардов связей замедляет обучение.

Команда предложила два решения:

• Multi-Hash User Embeddings — несколько хеш-функций заменяют индивидуальные эмбеддинги пользователей компактной общей таблицей. Потребление видеопамяти сократилось с 203 до 2 ГБ, более чем в 100 раз.
• Temporal Neighbor Sampling — при обучении модель учитывает только связи, существовавшие на определённый момент времени. Оптимизация ускорила подготовку данных в 2,5 раза.

Подход проверили на рекомендациях друзей ВКонтакте. В двухнедельном A/B-тесте количество добавлений в друзья из рекомендаций выросло на 16%, а число пользователей, добавивших хотя бы одного рекомендованного друга, — на 11,5%. При этом задержки онлайн-ранжирования не увеличились.

Этот подход масштабирования может пригодиться не только в соцсетях, но и в рекомендательных системах, финтехе и других задачах с большими графами.

Статью Scaling Graph Neural Networks for Friend Recommendation: Multi-Hash User Embeddings and Temporal Neighbor Sampling приняли в основной трек CIKM 2026.

Читать полностью…

Анализ данных (Data analysis)

🔥 10 AI-репозиториев недели: от видео из HTML до 3D-моделей по описанию

1. rea — разобраться в чужом софте
Даёт AI-агенту инструменты для анализа приложений: от JavaScript и Electron до нативных бинарников через Ghidra, IDA или Hopper.
https://github.com/morluto/rea

2. skills — инженерные привычки для агента
Набор навыков Мэтта Покока: уточнение требований, декомпозиция задач, TDD, диагностика багов и работа с архитектурой.
https://github.com/mattpocock/skills

3. diagram-design — понятные схемы из промпта
Навык для кодирующих агентов с 44 типами диаграмм. Результат — самостоятельный HTML с SVG, который можно открыть в браузере.
https://github.com/cathrynlavery/diagram-design

4. iFixAi — проверить работу агента
Независимый аудит: выполняет ли агент поставленную задачу и соблюдает ли ограничения. Авторы заявляют диагностику менее чем за две минуты.
https://github.com/ifixai-ai/iFixAi

5. hyperframes — написать HTML, получить видео
Превращает HTML, CSS, медиа и анимации в MP4. Подходит для роликов с графикой, объяснений и автоматизации видеопроизводства.
https://github.com/heygen-com/hyperframes

6. context-mode — меньше мусора в контексте
Обрабатывает вывод инструментов отдельно и передаёт агенту нужные фрагменты. Заявляет сокращение объёма до 98% и сохранение памяти сессий.
https://github.com/mksglu/context-mode

7. free-claude-code — разные модели в привычном агенте
Подключает Claude Code, Codex и другие инструменты к альтернативным провайдерам, включая бесплатные тарифы. Доступность и лимиты зависят от провайдера.
https://github.com/Alishahryar1/free-claude-code

8. airllm — большая модель на маленькой GPU
Загружает веса послойно: например, для Llama 70B заявлено около 4 ГБ VRAM. Потребуется место на диске; небольшой расход видеопамяти не гарантирует быструю генерацию.
https://github.com/lyogavin/airllm

9. ai-job-search — поиск работы с Claude Code
Оценивает вакансии, адаптирует резюме, готовит сопроводительные письма и помогает тренироваться перед интервью.
https://github.com/MadsLorentzen/ai-job-search

10. text-to-cad — от описания к детали
Добавляет агенту создание и редактирование CAD-моделей по тексту или изображению. Поддерживает экспорт в STEP, STL, 3MF и GLB.
https://github.com/earthtojake/text-to-cad

Сохраняйте, чтобы вернуться к проектам, когда появится подходящая задача.

Читать полностью…

Анализ данных (Data analysis)

🧰 281 AI-инструмент для разработчика - с описаниями на русском

Awesome AI DevTools RU - каталог для тех, кто хочет разобраться, что подключить к своей работе: от помощника в редакторе до агентов, тестирования и локальных моделей.

Что внутри:

• AI-IDE и терминальные агенты - Cursor, Claude Code, Codex, Cline, Aider и другие.
• Код-ревью, тестирование и безопасность.
• MCP, навыки, управление контекстом и оркестрация агентов.
• Локальные модели, LLMOps и контроль расходов.
• Отдельный раздел с российскими сервисами.

У инструментов есть метки: открытый код, бесплатный тариф, локальные модели, свой API-ключ и поддержка MCP.

Помимо каталога - сравнительные таблицы, схемы выбора и готовые стеки под разные задачи. А ещё четыре урока: как выбрать инструмент, запустить модели локально, настроить MCP и разобраться в устройстве кодирующих агентов.

Полезная закладка, когда хочется собрать рабочее окружение с ИИ, а не устанавливать всё подряд.

💻 https://github.com/justxor/awesome-ai-devtools-ru

Читать полностью…

Анализ данных (Data analysis)

Modern web development explained 😉

Читать полностью…

Анализ данных (Data analysis)

🧩 Каждый раз, когда разработчик заявляет, что программирование с ИИ не считается настоящим, полезно вспомнить, что случилось с Грейс Хоппер.

Она создала первый работающий компилятор, чтобы программисты могли писать словами из английского языка вместо символов. Коллеги отказывались к нему прикасаться и настаивали, что компьютеры умеют только считать, а писать программы не могут.

Тогда «настоящим программированием» считали ручной машинный код. Потом так же защищали ассемблер, затем языки высокого уровня, потом фреймворки. Каждое поколение принимает свой текущий уровень абстракции за единственный честный способ работать, а новый слой воспринимает как жульничество.

Сегодня на этом месте стоят LLM и агенты. Через десять лет кто-то будет так же защищать уже их, объясняя новичкам, что настоящий инженер обязан хотя бы читать промпты вручную.

Сам по себе слой абстракции ничего не решает. Решает то, что вы с его помощью сумели построить и проверить.

Читать полностью…

Анализ данных (Data analysis)

🧠 Физик дал Claude проверить свои статьи по квантовой гравитации. Нашлись ошибки спустя почти 20 лет.

Эмре Онур Кахья опубликовал аудит двух работ 2007–2008 годов, соавтором которых был сам. Claude Opus 5.5 использовали для пошагового повторения вычислений, а результаты отдельно проверяли кодом на SymPy и mpmath.

По данным проекта, обнаружились 4 существенных замечания, 6 ошибок, поглощаемых перенормировкой, и 23 опечатки. Среди находок: неверный общий знак и пропущенные слагаемые.

При этом основной физический вывод сохранился: в рассмотренной модели значимой однопетлевой поправки на поздних временах нет.

В репозитории доступны выкладки, код и 38 проверочных запусков для воспроизведения результатов. Автор также перечислил ограничения аудита и места, которые ещё должен проверить эксперт.

https://github.com/eokahya/claude-audits-quantum-gravity

Читать полностью…

Анализ данных (Data analysis)

📘 На Mentorix вышел курс — «Vibecoding для инженеров: Claude Code, Cursor и Copilot на практике»

Хотите отдавать задачи AI-агенту и выпускать код, который проходит ревью, а не только тесты агента? Этот курс — путь от спеки до релиза функции вместе с агентом.

• Постановка задачи: спека, критерии приёмки, CLAUDE.md и AGENTS.md
• Контроль: ревью диффа, выдуманные функции, TDD, мутационные тесты
• Отладка и git: стоп-сигналы, worktree, откат и bisect
• Контекст и цена: токены, кэш, модель под задачу
• Расширение: хуки, разрешения, субагенты, свой MCP-сервер
• Команда и риски: агент в CI, инъекции, секреты

▶️ 5 уроков открыты — порешайте до покупки
🎓 Сертификат для резюме и LinkedIn

🏷 Скидка 50% — только 24 часа
9 990 ₽ → 4 995 ₽
➜ Пройти курс на Mentorix

🎁 25 курсов бесплатно: Python, Go, Rust, SQL, Linux, Docker и LLM — доступны после регистрации

📚 Ещё есть роадмапы: Go, DevOps, Rust, данные и ML

Читать полностью…

Анализ данных (Data analysis)

💰 IPO ещё не было, а сотрудники OpenAI уже продали акции на $6,6 млрд

По данным WSJ, в октябре 2025 года более 600 нынешних и бывших сотрудников OpenAI продали свои доли частным инвесторам. Около 75 человек получили по $30 млн, достигнув лимита продажи на одного участника.

Это реальные деньги от продажи акций ещё до выхода компании на биржу.

Продать долю разрешалось после двух лет владения. Для многих сотрудников, пришедших после запуска ChatGPT, эта сделка стала первой возможностью получить деньги за свои акции.

Пока рынок ждёт IPO, ранние сотрудники уже получили состояние.

https://www.wsj.com/tech/openai-employee-stock-sales-71ed10bd

Читать полностью…

Анализ данных (Data analysis)

🌟 DeepSelect: набор TopK-ядер для разреженного внимания и сэмплирования

DeepSeek выложила DeepSelect, высокопроизводительную реализацию ядра TopK, которое используется в механизме разреженного внимания DeepSeek Sparse Attention и на котором работают модели V3.2, V4 и V4.1.

Относительно torch.topk из PyTorch ядро даёт ускорение от 2 до 20 раз.

Быстрейший алгоритм зависит от типа данных, размера батча, размера словаря и величины k, поэтому библиотека заточена под два сценария:

🟢для индексатора в разреженном внимании, работает с bfloat16 при любых размерах батча и словаря;

🟢для сэмплирования, рассчитан на float32 и словарь около 128 тысяч элементов.

В обоих случаях k ограничен четырьмя тысячами, поддерживаются строки переменной длины через задание верхней границы для каждой строки, а проверка на NaN включена всегда и по умолчанию обрывает исполнение при обнаружении.

Для выжимания скорости DeepSeek советуют отключать сортировку индексов и не запрашивать значения, если нужны только позиции (последнее даёт около 10%).

⚠️ Есть вещи, которые придётся учесть:

🟠шаг строки входного тензора должен быть выровнен по величине, возвращаемой отдельной функцией, а для невыровненных данных нужна набивка;

🟠выходные тензоры библиотека выделяет сама и тоже выравнивает, из-за чего они могут оказаться несмежными;

🟠репозиторий свежий, инструмент только выложен и толком вне Deepseek ещё не обкатан.


📌Лицензирование: MIT License


🖥Github


#AI #ML #Kernels #GPU #DeepSelect #Deepseek

Читать полностью…

Анализ данных (Data analysis)

🐋 DeepSeek V4.1-Flash-1017: метрики выше, ответы короче, Search и Fetch API открыты всем

DeepSeek обновили Flash-версию V4.1. Модель сильнее прошлой, быстрее решает задачи и выдаёт более короткие ответы, то есть выходит дешевле. Доступна на сайте, в приложении и по API, веса открыты.

На DeepSWE v1.1 модель набирает 77.0 против 74.0 у Claude Opus 5 и 73.0 у GPT 5.6-Sol. На Automation-Bench 60.5 против 50.3 у Opus 5, на Agents' Last Exam 35.4 против 28.6. К прошлой Flash прирост большой: Terminal-Bench 4.0 вырос с 31.2 до 42.3, ProgramBench с 20.3 до 29.1.

На HLE (56.3), Terminal-Bench 4.0 (51.8) и NL2Repo-Bench (75.3) Opus 5 всё ещё впереди. Цифры приведены самой компанией, а методики оценки у бенчмарков разные.

Отдельно открыли Search и Fetch API на собственном поисковом движке: $0.75 за 1000 вызовов на каждый эндпоинт.


Модель: https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017
Документация API: https://api-docs.deepseek.com/guides/search

Источник: https://x.com/deepseek_ai/status/2111375640717033777

@ai_machinelearning_big_data

#DeepSeek

Читать полностью…

Анализ данных (Data analysis)

📍 Polars 2.0 вышел: стриминг по умолчанию, spill на диск и обгон DuckDB на больших данных

6 октября Ритчи Винк выпустил Polars 2.0. Главное: collect на LazyFrame теперь по умолчанию использует streaming-движок, что даёт заметный выигрыш по памяти и скорости на большинстве запросов.

Вместе с ним включён out-of-core: спил на диск начинается примерно при 80% оперативной памяти, бюджет диска по умолчанию 64 ГБ. Сортировка, оконные функции и многие выражения это уже умеют, внешние join и group by в планах.

SQL стал полноценным интерфейсом, а оптимизатор получил перестановку join, лучшее устранение общих подпланов и динамические предикаты с фильтрами Блума. Появился нативный dtype Map вместо List(Struct(key, value)) с выражениями map.get, map.contains_key, map.keys и map.values.

Бенчмарки на основе TPC-H и TPC-DS (не сравнимы с официальными результатами) показывают, что на SF100 при росте с 16 до 192 vCPU Polars ускоряется в 3,8 раза на TPC-H и в 2,2 раза на TPC-DS, DuckDB 1.5.6 в 3,2 и 1,9 раза, DataFusion в 1,7 и 1,0. Но на SF10 картина честнее: на TPC-H Polars на уровне, а на TPC-DS медленнее в 1,8 раза. Виной постоянный оверхед на 192 потоках, при ограничении 32 ядрами Polars конкурентен везде, исправление обещают в следующем релизе.

Самое важное для миграции: streaming-движок по умолчанию не гарантирует порядок строк в join, group_by и unpivot, нужен maintain_order=True. Ошибки теперь всплывают раньше, а неявная обработка несоответствий данных стала опцией. Гайд по апгрейду есть на docs.pola.rs.

https://pola.rs/posts/release-polars-2/

Читать полностью…

Анализ данных (Data analysis)

🧩 Anthropic посадила шестерых сотрудников METR внутрь компании и дала им право публиковать без одобрения

Anthropic опубликовала апдейт про независимых оценщиков. Шесть сотрудников METR получили оборудование компании, офис и доступ к внутренним системам примерно на уровне собственных команд оценки рисков. Сотрудникам рекомендуют делиться с ними информацией, кроме нескольких закрытых категорий.

Публикацией METR компания управлять не может: вето у Anthropic нет. Требовать вычеркнуть можно только данные клиентов, адвокатскую тайну и информацию об архитектуре моделей. METR вправе публично сказать, что именно скрыто и считает ли оправданным, не раскрывая сами данные. Группа внутри METR небольшая, действует по обязывающим соглашениям, остальных сотрудников от этой работы отгородили.

Оценщиков делят на три уровня. На первом доступ дозированный и под узкие задачи, публикация только с согласия Anthropic, там сейчас SecureBio, которая проверяет главу про химическое и биологическое оружие в августовском Risk Report. На втором можно публиковать без одобрения и получать больше информации, третий это схема METR с доступом как у сотрудников. Anthropic хочет со временем иметь несколько оценщиков третьего уровня. Среди критериев независимости: никаких акций Anthropic и финансовой зависимости от неё.

Reuters, по сообщениям, писал два дня назад, что Anthropic и OpenAI добивались значительного контроля над публикациями внешних оценщиков. В самом посте Anthropic Reuters и OpenAI не упоминаются, а сам шаг компания называет добровольным и сравнивает с банковскими инспекторами внутри крупных банков.

Источник: https://www.anthropic.com/news/an-update-on-independent-evaluators

Читать полностью…

Анализ данных (Data analysis)

openTPU: открытый ускоритель для декода LLM на SystemVerilog, пока только в симуляции

FeSens выложил openTPU, небольшой ускоритель для инференса LLM: RTL на SystemVerilog, набор инструкций с симулятором, компилятор и хост-софт для PCIe-карты на Kintex-7. Лицензия Apache 2.0. Веса, активации MXU и KV-кэш хранятся в int8, остальное считается в fp32.

В симуляции Verilator декод MLP достигает 98,4% от roofline, а полный слой внимания 82,3%. Qwen3-0.6B, LFM2.5-230M и Qwen3.5-0.8B запускаются на симуляторе. Проекция при 100 МГц: около 15 токенов в секунду на Qwen3-0.6B, но это расчёт, а не измерение.

Cборки в Vivado и запусков на железе не было. Совпадение с fp32-выводом Hugging Face есть у двух из восьми тестовых промптов на 16 токенов, остальные расходятся из-за int8.

https://github.com/FeSens/openTPU

Читать полностью…

Анализ данных (Data analysis)

Google показала ИИ-агента для геоданных: оценка зон риска Эболы за часы вместо недель

Google Research представила экспериментального Geospatial Reasoning agent на базе Earth AI. Агент сам планирует многошаговый пространственный анализ и обучает предсказательные модели. Перед работой он составляет план и оценивает, что может и чего не может сделать. Возможности Earth AI оформлены как навыки, которые вызываются только по необходимости, а большие карты обрабатываются вне контекстного окна, чтобы не терять точность и атрибуцию данных. В ответе виден и план, и источники, так что эксперт может проверить допущения или подменить датасет.

В тестах на четырёх бенчмарках навыки Earth AI дают большой прирост на GeoExpertQueries, GeoKTools и CBGB, а без них модели плохо справляются с количественными пространственными задачами. Исключение UnivEARTH, где обычная LLM набрала 93,6%, видимо из-за публичности исходников. Без предварительного планирования агент в открытых задачах начинает срезать углы и ходит в веб-поиск вместо пространственных инструментов.

Вместе с WHO AFRO и INRB агент нашёл 48 поражённых Эболой поселений и более 45 500 человек в зоне риска в горнодобывающих коридорах, на что обычно уходят недели. People in Need проанализировали 14 исторических траекторий циклонов за минуты вместо дней, а Milken Institute отобрали кандидатов в хабы устойчивости из 1500+ зданий. В здравоохранении сочетание спутниковых и популяционных сигналов улучшило прогноз на 12% к демографической базе и дало картирование в 8 раз детальнее.


https://research.google/blog/putting-earth-ai-to-work-geospatial-agents-for-our-planets-biggest-challenges/

Читать полностью…

Анализ данных (Data analysis)

✔️ X, Grok и Cursor объединили в подписку с общим пулом токенов

Чат-бот Grok, сервисы X Premium+ и редактор кода Cursor объединили в подписку The X Subscription с общим пулом токенов.

Неизрасходованную недельную квоту вычислительных ресурсов теперь можно динамически распределять между кодингом в Cursor и запросами к Grok. При исчерпании пула кредиты докупаются напрямую.

Линейка состоит из тарифов от базового Plus ($8 в месяц) до Ultra ($200 в месяц), лимиты в которых различаются до 50 раз.

Раздельная покупка инструментов для новых подписчиков закрыта. Действующим клиентам предлагают объединить аккаунты в единый рабочий профиль.

Вызовы сторонних LLM внутри редактора кода по-прежнему требуют дополнительных затрат.

Доступ к моделям Claude и GPT открывается начиная с тарифа Premium, но не входит в базовую квоту и тарифицируется отдельно по ценам провайдеров API.


@ai_machinelearning_big_data

#news #ai #ml

Читать полностью…

Анализ данных (Data analysis)

🖥️ Какой ИИ запускать локально? Подборка под разный объём видеопамяти. Актуалочка на Октябрь 2026.

4–8 ГБ VRAM
Компактные модели LiquidAI LFM2.5, например 2.6B, для локального помощника с небольшими требованиями к ресурсам.

https://huggingface.co/LiquidAI/LFM2.5-2.6B

8–16 ГБ VRAM
Underdog Saluki 27B: сжатая версия Qwen3.8-27B с настройкой под вызов инструментов. Файл весов занимает 7,89 ГБ, но для работы потребуется дополнительная память под контекст и вычисления.

https://huggingface.co/ConwayResearch/Underdog-Saluki-27B-1.0

Для задач выбора действий и автоматизации также стоит посмотреть Clef-Flash от Cloudflare.

https://huggingface.co/Cloudflare/clef-flash

16–32 ГБ VRAM
Qwen3.8-27B в подходящей квантизации. Вариант для кода, работы с изображениями и агентных задач.

https://huggingface.co/Qwen/Qwen3.8-27B

32–96 ГБ VRAM + большой запас RAM
Можно рассматривать Qwen3.8-Flash-Next с частичной выгрузкой весов в оперативную память. Скорость будет зависеть от железа и объёма выгрузки.

https://huggingface.co/Qwen/Qwen3.8-Flash-Next

96–192 ГБ VRAM
Крупные MoE-модели: Qwen3.8-Flash-Next и GLM-5.3-Flash. Нужны подходящая квантизация и расчёт памяти под выбранный контекст.

https://huggingface.co/zai-org/GLM-5.3-Flash

💡 Диапазоны ориентировочные. Размер весов не равен потреблению памяти: контекст, KV-кэш и параллельные запросы тоже занимают место.

Читать полностью…
Subscribe to a channel