Анализ данных (Data analysis)

24 February 2025 10:10

🔥 MetaGPT — это фреймворк, который преобразует простое текстовое описание задачи в полный пакет проектной документации и кода!

🌟 Он моделирует работу IT-компании, назначая различные роли, такие как менеджер продукта, менеджер проекта, инженер и другие, каждому из которых соответствует агент на основе большой языковой модели. Эти агенты взаимодействуют друг с другом, следуя стандартизированным операционным процедурам (SOP), что позволяет эффективно разрабатывать сложные программные продукты.

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

24 February 2025 07:22

✔️ Qwen тизерят свой новый продукт, который они обещают выпустить сегодня

Еле они написали, что теперь домен http://qwen.ai принадлежит их команде, а сервис Qwen chat теперь доступен по адресу https://chat.qwen.ai.

@data_analysis_ml

Анализ данных (Data analysis)

23 February 2025 16:09

🌟 Генерация изображений байесовскими методами.

Исследователи из Мюнхенского университета предложили методику генерации изображений, основанную на байесовском выводе. Экспериментальная модель, которая получила название Bayesian Sample Inference (BSI), имитирует процесс постепенного уточнения данных: ее инференс начинается с «размытого» представления об изображении и последовательно корректируется с использованием шумовых измерений до финального результата. По заверениям авторов, их метод позволяет точнее воспроизводить распределение данных, чем классические решения на основе диффузии.

BSI-модель стартует с априорного распределения, где начальная точность намеренно задаётся низкой — это эквивалентно «размытой картинке», покрывающей всё множество возможных изображений. На каждом шаге генерации, предиктор, построенный на U-Net или ViT, анализирует текущий промежуточный «результат» и генерирует оценку соответствия относительно "идеального" изображения, который, в свою очередь, участвует в пересчете среднего значения и точности для следующего шага генерации.

Такой подход позволяет BSI-модели балансировать между имеющимися знаниями и новыми данными, избегая переобучения и сохраняя разнообразие генерации. Эксперименты выявили, что BSI сохраняет разнообразие сгенерированных образцов даже при малом числе шагов — это выгодно отличает её от аналогов, склонных к «повторяющимся» генерациям.

BSI напрямую сравнивали с диффузионными VDM- и EDM-моделями и BFNs. Оказалось, что BSI-архитектура не только включает BFNs как частный случай, но и превосходит их в тестах на правдоподобие. Например, на наборах CIFAR10 и ImageNet BSI показала лучшие результаты, достигнув 2.64 (BFNs) и 3.22 (VDM) бит на измерение соответственно, но не смогла превзойти модели с точным расчетом правдоподобия (i-DODE).

▶️ Практическая реализация метода доступна в репозитории проекта на Github, где представлены инструменты для инференса, обучения и файнтюнинга.


📌Лицензирование: MIT License.


🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Bayesian #GenAI

Анализ данных (Data analysis)

21 February 2025 16:42

⚡️ SigLIP2 – это семейство визуально-языковых энкодеров, разработанных для улучшенного семантического понимания, точного локализования объектов и извлечения плотных (dense) признаков из изображений .

В основе его концепции лежит возможность проводить классификацию изображений без дополнительного обучения на конкретных объектах – так называемая zero-shot классификация. Это позволяет применять модель к новым задачам и доменам, где может не быть размеченных данных.

Как работает инструмент?

- Патчевое представление изображений: Изображение разбивается на небольшие участки (патчи), которые затем обрабатываются энкодером. Это позволяет модели эффективно извлекать пространственные признаки даже при изменении разрешения.

- Совмещение текстовых и визуальных признаков: Модель обучена сопоставлять описания на естественном языке с визуальными объектами. Такой подход даёт возможность «понимания» изображения через текстовые описания, что особенно полезно в zero-shot сценариях.

- Мульти-языковая поддержка: Благодаря обучению на данных на разных языках, SigLIP2 демонстрирует высокую эффективность в задачах, где требуется понимание многоязычных текстовых описаний.

- Различные архитектурные варианты: Коллекция включает модели с различными размерами патчей (например, patch16 или patch32) и оптимизированными архитектурами (например, с динамическим разрешением или с использованием shape-optimized So-400m backbones).

Это позволяет подобрать оптимальный вариант для конкретной задачи .

За счёт плотного представления признаков, модель способна не только определять, что изображено на картинке, но и точно локализовать объекты внутри изображения.

Примеры применения
Системы безопасности и наблюдения: Автоматическая идентификация и локализация объектов в реальном времени.
Мультимодальные поисковые системы: Улучшение результатов поиска за счёт объединения визуальных и текстовых данных.
Мобильные приложения и AR: Интеграция возможностей классификации изображений без необходимости обучения модели на каждом устройстве.

SigLIP2 – это мощный инструмент, который демонстрирует значительный прогресс в области визуально-языкового анализа. Его способность работать в режиме нулевого обучения, мульти-языковая поддержка и высокая точность извлечения признаков открывают новые горизонты для разработчиков и исследователей в области компьютерного зрения. Если вы ищете решение для задач, где требуется быстрая адаптация модели к новым данным и языкам, SigLIP2 может стать отличным выбором.

https://huggingface.co/collections/google/siglip2-67b5dcef38c175486e240107

@data_analysis_ml

Анализ данных (Data analysis)

21 February 2025 11:03

🔥 Unstract — это платформа, использующая большие языковые модели для преобразования неструктурированных документов в структурированные данные! Она позволяет пользователям без навыков программирования создавать API и ETL-процессы для обработки данных.

🔎 Основные компоненты Unstract:

🌟 Unstract SDK: фреймворк для разработки инструментов и приложений на платформе Unstract, включая модули для кэширования, взаимодействия с LLM, векторными базами данных и индексирования.

🌟 Unstract Python Client: клиентская библиотека на Python для взаимодействия с API Unstract, позволяющая интегрировать возможности платформы в сторонние приложения.

🌟 Unstract Adapters: пакет на Python, обеспечивающий настройку и подключение различных LLM, эмбеддингов и векторных баз данных к платформе Unstract.

🔐 Лицензия: AGPL-3.0

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

21 February 2025 07:03

🚀 AI от Sakana AI пишет оптимизированный код для CUDA-ядрер для ускорения ИИ!

🔑 Основное:
AI CUDA Engineer — агентная система, которая автоматически создаёт высокооптимизированные CUDA-ядра, ускоряя операции машинного обучения в PyTorch в 10–100 раз.

CUDA-программирование сложное, требует глубоких знаний и часто кажется "алхимией". Эта система упрощает задачу, используя эволюционные алгоритмы и LLMs.
Уникальная идея — "Innovation Archive" (аналог "библиотеки навыков" из нашего проекта Voyager для Minecraft), где LLM сохраняет лучшие фрагменты кода, найденные в процессе эволюционного поиска.

Это идеальный пример AutoML: максимальная отдача от вычислительных ресурсов, делая ИИ быстрее и эффективнее.
Великолепная работа, Sakana AI!

Также интересно, что NVIDIA параллельно работает над схожими исследованиями по улучшению CUDA-ядер с помощью мощных LLM.
#AI #MachineLearning #CUDA #AutoML

▪Paper: https://pub.sakana.ai/ai-cuda-engineer/paper/
▪Kernel Archive Webpage: https://pub.sakana.ai/ai-cuda-engineer/
▪HuggingFace Dataset: https://huggingface.co/datasets/SakanaAI/AI-CUDA-Engineer-Archive

@data_analysis_ml

Анализ данных (Data analysis)

19 February 2025 11:29

🔥 CAG (Cache-Augmented Generation) — подход для улучшения генерации текста большими языковыми моделями без необходимости в реальном времени извлекать внешние данные, как в Retrieval-Augmented Generation (RAG)! Вместо этого CAG использует предварительную загрузку всех необходимых данных в контекст модели, а также кеширование параметров для ускорения генерации и снижения сложности системы.

🌟 Преимущества CAG включают снижение задержек (за счет отказа от этапа извлечения), повышение надежности (минимизация ошибок извлечения) и упрощение архитектуры. Ограничения подхода связаны с длиной контекстного окна LLM и ограничениями по объему данных, которые могут быть загружены.

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

19 February 2025 06:48

✔️ Native Sparse Attention - революция в механизмах внимания от Deepseek.

NSA (Natively Sparse Attention) — новый механизм внимания, предложенный на заменуFull Attention, который значительно ускоряет обработку длинных последовательностей текста без потери качества модели.
NSA использует динамическую иерархическую стратегию, которая сочетает сжатие токенов на грубом уровне с точным отбором ключевых токенов. Это позволяет сохранить глобальное понимание контекста и локальную точность. NSA поддерживает сквозное обучение, совместим с GQA и MQA, что делает его пригодным не только для инференса, но и для обучения.
Модели, обученные с использованием NSA показали 9х ускорение при прямом распространении и 6х при обратном для последовательностей длиной 64к токенов относительно Full Attention. В декодировании - 11х.

▪ arxiv.org

@data_analysis_ml

Анализ данных (Data analysis)

18 February 2025 15:04

Хотите научиться решать одну из популярных задач ML-инженера?

Кредитный скоринг, или возможность определять, сможет ли человек вовремя вернуть кредит – одна из задач, с которой часто сталкиваются в работе.

Приходите на бесплатный вебинар, где Савелий Батурин, Senior ML-Engineer в Postgres Professional и преподаватель курса по ML школы Simulative в прямом эфире покажет как построить модель кредитного скоринга на Kaggle.

Что будем делать на вебинаре:
🟠Вникнем в задачу классификации и кредитного скоринга
🟠Разберем имеющийся датасет
🟠Построим пайплайны обработки числовых и категориальных признаков
🟠Обучим и подберем параметры ML модели-классификатора
🟠Проведем расчет и анализ метрик на основе результатов работы модели

🕗Встречаемся 19 февраля 19:00 по мск

Вебинар будет интересен как новичкам, так и уже опытным специалистам

Зарегистрироваться на бесплатный вебинар

Анализ данных (Data analysis)

18 February 2025 10:32

🔥 CHRONOS — это инновационный подход к созданию хронологических сводок новостей, разработанный командой Alibaba-NLP!

💡 Он основан на итеративной генерации вопросов о теме и полученных документах для формирования последовательных хронологических резюме. В рамках проекта создан актуальный датасет для открытой хронологической сводки новостей, превосходящий существующие публичные наборы данных по размеру и продолжительности временных линий. Эксперименты показали, что метод CHRONOS эффективен в задачах открытой хронологической сводки и достигает сопоставимых результатов с передовыми методами в закрытых доменах, при этом значительно улучшая эффективность и масштабируемость.

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

18 February 2025 06:06

ранняя версия Grok-3 (кодовое имя «шоколад») теперь №1 на Арене! 🏆

Грок-3 — это:
- Первая в мире модель, преодолевшая отметку в 1400 очков!
- №1 по всем категориям, достижение, которого становится все труднее достичь

Анализ данных (Data analysis)

17 February 2025 11:50

✔ Auto Deep Research — это мощный AI-ассистент для исследователей и разработчиков.

Ключевые особенности:

- Экономичность и открытый исходный код: Забудьте о дорогих подписках! Auto Deep Research предлагает доступную альтернативу с оплатой по мере использования, сохраняя высокую производительность. Как открытое решение, оно обеспечивает прозрачность и развитие сообщества.

- Высокая производительность: Система демонстрирует результаты, сопоставимые с OpenAI Deep Research, занимая лидирующие позиции в GAIA Benchmark среди open-source решений.

- Простота использования: Система развертывания в один клик позволяет мгновенно запускать передовые исследовательские возможности без сложных настроек.

- Универсальная совместимость: Поддержка интеграции с различными большими языковыми моделями (OpenAI, Anthropic, Deepseek и другие) и гибкие режимы взаимодействия с функциями и без них.

▪GitHub

#agent #llm #ai

Анализ данных (Data analysis)

17 February 2025 08:01

📊 Бесплатный вебинар для тех, кто хочет освоить машинное обучение с нуля!

Присоединяйтесь к практическому уроку «Задача регрессии в ML на пальцах» от OTUS. В прямом эфире обсудим один из ключевых методов машинного обучения — регрессионный анализ.

На вебинаре вы:

- познакомитесь с таким классом задач, как регрессия

- детально изучите один из базовых алгоритмов машинного обучения — линейную регрессию

- научитесь применять линейную регрессию на практике

- сможете задать вопросы по Data Science

📅 Занятие пройдет 26 февраля в 20:00 мск. Все участники вебинара получат скидку на курс «Специализация Machine Learning»: С нуля до Middle ML инженера (Data Scientist) за 11 месяцев.

Успейте занять место на бесплатном вебинаре: https://otus.pw/YlnI/?erid=2W5zFJ1H7EQ

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

Анализ данных (Data analysis)

16 February 2025 12:34

✔️ Бесплатные полезные руководства по дистилляции моделей:

1. Руководство по дистилляции от OpenAI 🖥

Руководство содержит подробное описание процесса передачи знаний от более крупной модели к компактной, c сохранением высокой производительности модели.

Основные аспекты, рассмотренные в руководстве:
- Сохранение выходных данных крупной модели: Создание набора данных, содержащего предсказания большой модели, которые будут использоваться для обучения меньшей модели.

- Оценка производительности моделей: Сравнительный анализ точности и эффективности как крупной, так и компактной моделей на основе различных метрик.

- Создание обучающих данных для компактной модели: Использование предсказаний крупной модели для генерации обучающего набора данных, способствующего эффективному обучению меньшей модели.

- Оценка дообученной компактной модели: Проверка производительности и точности компактной модели после процесса дистилляции для подтверждения соответствия требованиям.

🔗Ссылка

2. Учебник по дистилляции знаний от PyTorch 🔥

Руководство от PyTorch, которое содержит практическое введение в технику передачи знаний для развёртывания моделей на устройствах с ограниченными вычислительными ресурсами.

Основные аспекты руководства:

- Извлечение скрытых представлений: В гайде показано, как получить промежуточные представления из обученной модели для дальнейшего использования.

- Модификация циклов обучения в PyTorch: Здесь рассматривается интеграция дополнительных функций в стандартные циклы обучения для эффективной передачи знаний.

- На примере показан процесс обучения компактной модели, с ипользованием предсказания более сложной модели в качестве ориентира.

Руководство содержит пошаговые инструкции и примеры кода, что делает его ценным ресурсом, если вы хотите научиться оптимизировать свои модели для использования в средах с ограниченными ресурсами.

▪Ссылка

3. Jetson Introduction to Knowledge Distillation от Nvidia 🖥

В данном руководстве рассматривается процесс передачи знаний от модели OpenCLIP (vision-language model) к модели ResNet18 для классификации на наборе данных STL10.

Особое внимание уделяется тому, как выбор данных, методы дистилляции и архитектура модели, влияют на итоговую точность.

Кроме того, обсуждаются методы профилирования и оптимизации моделей для их развёртывания на устройствах NVIDIA Jetson Orin Nano.

🔗 Ссылка

4. Учебник по дистилляции знаний от Keras ⭐️

Подробно описывается концепция дистилляции знаний и ее применение в обработке медицинских изображений.

🔗Github
🔗Учебник Keras

5. Руководство по дистилляции от
huggingface 🤗

Здесь показано, как выполнять дистилляцию знаний шаг за шагом на конкретном примере.

🔗 Ссылка

6. Дистилляция знаний для задач компьютерного зрения от huggingface 👁

Здесь рассматривается, как сделать файнтюн ViT-модели в MobileNet с помощью API Trainer из Transformers.

🔗Ссылка

#KnowledgeDistillation #Distillation #openai #keras #tutorial #course #freecourses #huggingface #Nvidia #pytorch

Анализ данных (Data analysis)

15 February 2025 07:40

🔥 Microsoft только что выпустила впечатляющий инструмент - OmniParser V2, который может превратить любого LLM в агента, способного использовать компьютер.

Он решает две ключевые проблемы GUI-автоматизации:

- Обнаружение интерактивных элементов.
Традиционно LLM испытывают трудности с определением мелких иконок и других элементов пользовательского интерфейса. OmniParser V2 «токенизирует» скриншоты – переводит изображение экрана из пиксельного пространства в структурированные данные, представляющие интерактивные объекты.

Понимание семантики интерфейса.
Инструмент структурирует информацию так, чтобы LLM могли проводить поиск по элементам и предсказывать следующее действие на основе полученной информации.

Плюсы OmniParser V2
- Повышенная точность:
Благодаря обучению на большем объеме данных для обнаружения интерактивных элементов и функциональных описаний иконок, OmniParser V2 существенно улучшает точность даже для очень маленьких элементов по сравнению с предыдущей версией .

Сокращение задержки:
- Оптимизация размера изображения в модели описания иконок позволила снизить задержку на 60% по сравнению с предыдущей версией, что делает его более оперативным в реальном времени.

Гибкость и интеграция:
- OmniParser V2 легко интегрируется с современными LLM, такими как GPT-4o, DeepSeek, Qwen и Anthropic Sonnet. Это позволяет комбинировать распознавание интерфейса, планирование действий и их исполнение в одном конвейере.

Поддержка тестов через OmniTool:
- Для быстрого тестирования различных настроек агентов разработана платформа OmniTool – docker-решение на базе Windows, содержащее все необходимые инструменты для экспериментов.

Минусы и ограничения
- Требования к техническим навыкам:
Для развертывания и интеграции OmniParser V2 требуется определённый уровень технической подготовки, особенно если вы планируете экспериментировать с настройками через OmniTool.

Ограничения в безопасности:
- Из соображений ответственного использования (Responsible AI), рекомендуется применять OmniParser V2 только к скриншотам, не содержащим чувствительной или личной информации. Это помогает минимизировать риски утечки данных , .

Исследовательская стадия:
На данный момент инструмент ориентирован на исследовательские и экспериментальные задачи, и его коммерческое использование может требовать доработок или адаптации под конкретные задачи.

Как пользоваться OmniParser V2:

Развертывание через OmniTool:
Для упрощения экспериментов Microsoft разработала OmniTool – dockerизированную систему на базе Windows. Запустив OmniTool, вы получите преднастроенную среду, в которой OmniParser V2 может работать с различными LLM.

Подготовка скриншотов:
Сделайте скриншоты пользовательского интерфейса, которые хотите автоматизировать. OmniParser V2 обработает изображение, преобразовав его в структурированные данные, где каждому интерактивному элементу будет присвоен уникальный токен.

Интеграция с LLM:
Передайте полученные данные выбранной языковой модели. LLM, получив «токенизированный» интерфейс, сможет проводить retrieval-based next action prediction, то есть предсказывать следующее действие пользователя на основе распознанных элементов.

Исполнение действий:
После того как LLM определит, какое действие следует выполнить (например, нажатие на кнопку или выбор меню), система может автоматизированно выполнить это действие в графическом интерфейсе.

OmniParser V2 существенно расширяет возможности LLM, превращая их в эффективных агентов для работы с графическими интерфейсами.

▪GitHub → https://github.com/microsoft/OmniParser/tree/master

▪Official blog post → https://microsoft.com/en-us/research/articles/omniparser-v2-turning-any-llm-into-a-computer-use-agent/

▪Hugging Face → https://huggingface.co/microsoft/OmniParser-v2.0

@data_analysis_ml

Анализ данных (Data analysis)

24 February 2025 08:08

🚀 Как изменить свою жизнь и начать новую карьеру в сфере машинного обучения?

На бесплатном практическом вебинаре по машинному обучению от онлайн-школы karpov courses можно узнать:

— Кто такой ML-инженер простыми словами с реальными примерами задач;
— Как понять, что вам подходит сфера машинного обучения;
— Как стать специалистом в этой востребованной области и сколько реально зарабатывать на своем деле;
— Зачем вообще бизнесу нужен ML?

Узнайте, как развиваться от новичка до уровня senior, какие навыки нужны и КАК рисовать котиков на практике 🐾

При чем тут котики? Запишитесь на вебинар и узнай: https://clc.to/6-FUpQ

Анализ данных (Data analysis)

23 February 2025 16:39

🪐 The cosmic distance ladder with Terence Tao, part 2

На канале 3Blue1Brown вышло новое видео.

Видео посвящено объяснению концепции Шкала расстояний в астрономии, которая используется в астрономии для определения расстояний до планет, звёзд и далеких галактик. Основные моменты видео:

Фундаментальные принципы: Рассматриваются основные принципы, лежащие в основе определения расстояния в космосе, включая использование параллакса, переменных звезд и других космологических стандартов.

Примеры и иллюстрации: Лекция сопровождается практическими примерами и визуальными иллюстрациями, чтобы наглядно показать, как именно измеряются расстояния в астрономии.

Вклад Terence Tao: Как второй выпуск цикла, видео, вероятно, развивает и углубляет темы, начатые в первой части, уделяя внимание математическим и физическим аспектам измерений, что делает их понятными даже для аудитории без специализированного образования.
Таким образом, видео является образовательной лекцией, которая помогает понять, как современные методы астрономии позволяют определять огромные расстояния во Вселенной.

▪ Видео
▪ 1 часть

@data_analysis_ml

Анализ данных (Data analysis)

22 February 2025 09:04

🎆 20-секундный урок по созданию приложений с помощью Grok 3 и развертыванию на Hugging Face

пример, показывающий приложение Gradio

Анализ данных (Data analysis)

21 February 2025 13:08

⚡️ Evo-2: модель для генерации генома, которая знает все древо жизни.

NVIDIA в соавторстве с Arc Institute опубликовали Evo-2, самую большую ИИ-модель для биологии, обученную на 9,3 трлн. пар ДНК из геномного атласа всех форм жизни.

Можно считать, что это LLM, ориентированная на ДНК. Вместо текста Evo 2 генерирует геномные последовательности, читает и интерпретирует сложную ДНК, включая некодирующие регионы, которые обычно считаются неинформативными, генерирует целые хромосомы, новые геномы и предсказывает мутации, вызывающие заболевания, даже те, которые еще не изучены.

Тем самым, можно утверждать, что ИИ переходит от описания биологии к ее проектированию. Это позволяет создавать синтетическую жизнь с нуля, программируемые белковые последовательности, потенциальные новые генные терапии и закладывает основу для моделирования целых клеток. Evo 2 делает биологию вычислительной дисциплиной.

Evo-2 использует StripedHyena 2 - многогибридную модель, сочетающую различные типы операторов для баланса между качеством модели, эффективностью обучения и инференса. StripedHyena 2 опирается на комбинацию из 3 вариантов сверточных операторов, зависящих от входных данных, и механизма внимания. Она моделирует ДНК в нескольких масштабах, улавливая даже слабые взаимодействия, и автономно обучается таким характеристикам, как границы экзонов и интронов, сайты связывания транскрипционных факторов, без участия человека.

Модель была обучена в два этапа (претрейн с контекстом 8192 и последующее обучение с увеличенным до 1 млн.) на датасете из 9,3 триллиона пар оснований бактерий, архей, эукариот и бактериофагов. Evo 2 обрабатывает до 1 млн. пар оснований в одном контекстном окне, умеет "держать в уме" целые хромосомы и может выявлять эволюционные закономерности, ранее не замеченные человеком.

Evo-2 была протестирована на практических возможности генерации, создав синтетические дрожжевые хромосомы, митохондриальные геномы и минимальные бактериальные секвенции и продемонстрировала высокую производительность в задачах, связанных с вариациями генов, включая некодирующие и сплайсинговые варианты

Проект полностью открыт: веса моделей, код и набор данных OpenGenome 2. Представлены два вида моделей:

🟢Evo 2 - 7B и 40B, обученные последовательности длиной до 1 млн;
🟠Evo 2 Base - 1B, 7B и 40B, обученные последовательности длиной 8192.


📌Лицензирование: Apache 2.0 License.


🟡Набор моделей
🟡Техотчет
🟡Датасет
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Evo2 #NVIDIA

Анализ данных (Data analysis)

21 February 2025 09:04

🔥 Уже этой весной состоится 5-я юбилейная конференция Data Fusion 2025. Не пропустите самое масштабное событие в сфере анализа данных и ИИ.

💻Специалисты по работе с ИИ и данными из бизнеса, науки и государства соберутся на одной площадке, чтобы вместе ответить на ключевые вопросы:

— О чем говорят новейшие исследования в области ИИ в России и за рубежом?
— Как готовить кадры в эру ИИ?
— Как устроена экономика данных и какие отрасли будут ее драйверами?
— В чем особенности применения технологий ИИ и ML в фарме, медицине, промышленности, нейробиологии?

📍Встречаемся 16-17 апреля в Технологическом кластере «Ломоносов» в Москве.
Участие в конференции — бесплатное. Регистрация уже открыта – https://data-fusion.ru/

🙌 Увидимся на Data Fusion 2025!

#AI #ML #DataFusion #Конференция #IT #bigdata #datascience

Анализ данных (Data analysis)

20 February 2025 21:17

📊 Arena Trend август 2024 г. - февраль 2025 г

После нескольких падений и взлетов
Deepseek ai в прошлом месяце,
XAI вырывается вперед на вершину таблицы лидеров.

Гонка ИИ продолжается! 📈

Анализ данных (Data analysis)

19 February 2025 09:01

Бесплатно приехать в топовый вуз, поучиться у IT-экспертов и познакомиться с единомышленниками — звучит как мечта? Тогда вам стоит подать заявку на весенний студкемп Яндекс Образования в ФПМИ МФТИ. Он пройдёт с 14 по 26 апреля и будет посвящён робототехнике и генеративному ИИ.

В программе — лекции от экспертов, воркшопы, работа над проектами и вдохновляющая атмосфера. Студенты выпускного курса смогут поступить в магистратуру ФПМИ МФТИ, сдав на студкемпе вступительный экзамен. Участие, как и всегда, бесплатное. Каждому, кто пройдёт отбор, оплатят проезд и проживание. Успейте зарегистрироваться до 23 февраля.

Анализ данных (Data analysis)

18 February 2025 17:04

⚡️ Сudacodes от Maharshi-Pandya — это сборник примеров и демо-проектов для работы с NVIDIA CUDA, который будет полезен разработчикам, интересующимся параллельным программированием и ускорением вычислений на GPU.

Что внутри и как работает:
• Практические примеры: Код демонстрирует различные техники работы с CUDA, начиная с базовых примеров и заканчивая более сложными алгоритмами для параллельных вычислений.
• Реализация на CUDA: Примеры написаны с использованием C/C++ и CUDA-расширений, что позволяет увидеть, как правильно организовывать код для выполнения задач на GPU.
• Инструкции по сборке: В репозитории, как правило, присутствуют инструкции по компиляции с помощью NVCC и запуску примеров, что упрощает изучение и практическое применение технологий.

Чем полезен для специалистов:
• Это отличный ресурс для изучения принципов работы GPU и оптимизации вычислительных задач.
• Примеры помогут разобраться в особенностях параллельного программирования и эффективного использования вычислительных ресурсов NVIDIA.
• Подходит как для новичков, так и для опытных разработчиков, желающих улучшить навыки в области высокопроизводительных вычислений.

Репозиторий станет незаменимым помощником для тех, кто хочет погрузиться в мир CUDA и освоить передовые методы ускорения вычислений на графических процессорах.

git clone https://github.com/Maharshi-Pandya/cudacodes.git

▪ Github

@data_analysis_ml

Анализ данных (Data analysis)

18 February 2025 12:28

📚 "Painful intelligence: What AI can tell us about human suffering

Эта бесплатная книга — путеводитель по миру машинного обучения!

Основное, что в ней рассматривается:
• Базовые концепции: Алгоритмы, математические основы и принципы построения моделей.
• Глубокое обучение: Нейронные сети, методы оптимизации и регуляризация для повышения качества моделей.
• Практические кейсы: Реальные примеры применения ML в различных отраслях, от анализа данных до прогнозирования.
• Современные методики: Настройка гиперпараметров, интерпретация результатов и стратегии улучшения производительности.

Для специалиста по машинному обучению эта книга станет полезным ресурсом, помогая углубить знания, найти новые подходы и повысить эффективность проектов.

📚 Книга

@data_analysis_ml


#freebook #book #ai #ml #machinelearning #opensource

Анализ данных (Data analysis)

18 February 2025 08:24

RSHB DA Meetup: Качество данных и Data Vault 2.0 в действии
Митап от РСХБ.цифра для дата-аналитиков и инженеров данных

Приглашаем всех, кто занимается большими данными и следит за их качеством. Вас ждут доклады от руководителей дата-направлений.

🌐 Онлайн и офлайн в Москве
📆 27 февраля в 18:00 (МСК, GMT+3)
👥 Дискуссии для участников, афтерпати в офлайне
❓ Мерч и призы за вопросы

Программа:

🗣 Леонид Калядин (МТS Digital) — «Data Quality в условиях Self-Service: как мы избежали хаоса и создали систему проверок для коммунальных витрин»
🗣 Алексей Кошевой и Кристина Проскурина (РСХБ-Интех) — «Как мы сделали одну большую песочницу для всех аналитиков»
🗣 Денис Лукьянов (Ecom․tech) — «Data Vault 2.0. Методология, логическая модель, построение витрин»

Участвуйте в дискуссиях и задавайте вопросы спикерам — лично или в Telegram-чате. Организаторы подготовили мерч для офлайн-участников и призы для авторов лучших вопросов.

Регистрируйтесь на сайте

Реклама. Фонд «Сколково». ИНН 7701058410

Анализ данных (Data analysis)

17 February 2025 14:13

🚀 Mistral-24B-Reasoning устанавливает новый стандарт для моделей рассуждений с открытым исходным кодом, превосходя s1.1-32B с меньшим количеством параметров!

Модель Mistral-Small-24B-Instruct-2501-reasoning представляет собой специализированную версию модели Mistral-Small-24B-Instruct-2501, оптимизированную для задач математического рассуждения.

Она была дообучена на датасетах: OpenR1-Math-и s1K-1.1, с целью повышения своих способностей к логическому и математическому анализу.

Ключевые особенности:
- Оптимизация для математических задач: Модель адаптирована для решения сложных математических задач, включая вычисления, доказательства теорем и анализ математических выражений.

- Высокая производительность: С 24 миллиардами параметров модель достигает результатов, сопоставимых с более крупными моделями, обеспечивая точность и эффективность в математическом рассуждении.

- Открытый исходный код: Доступность модели на платформе Hugging Face позволяет исследователям и разработчикам интегрировать её в различные приложения и проводить дополнительные исследования.

📊 Новая SOTA для открытых моделей на базе R1:
✅ Результат на Math 500: 95,0%
✅ Результат на AIME 2025: 53.33%
✅ Результат наGPQA-D: 62,02%

https://huggingface.co/yentinglin/Mistral-Small-24B-Instruct-2501-reasoning

Анализ данных (Data analysis)

17 February 2025 09:03

🔥 Leffa — это унифицированная платформа для генерации изображений людей с возможностью точного управления их внешним видом (виртуальная примерка) и позой (перенос позы)!

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

16 February 2025 13:00

🚀 Кто-то только что объединил «OpenAI Operator» с «Replit agent», чтобы создать приложение!

Посмотрите, как два AI-агента объединяются, обмениваются данными и начинают тестирование.

Еще несколько месяцев, и полный цикл разработки можно будет делать с помощью агентов.

@data_analysis_ml

Анализ данных (Data analysis)

16 February 2025 08:15

✔ Deep-research-web-ui от AnotiaWang представляет собой веб-интерфейс для проекта deep-research с рядом улучшений и исправлений.

Инструмент может быть весьма полезен для специалистов по машинному обучению, заинтересованных в создании или использовании интерактивного инструмента для глубокого исследования.

В целом, если ваша работа связана с исследовательской аналитикой или прототипированием AI-решений, данный репозиторий может стать интересным и полезным инструментом для экспериментов и дальнейшей разработки.
(см. полное описание в README: )

Преимущества
- Инновационный подход к исследованиям
Проект реализует «глубокого» ассистента исследователя, который сочетает возможности поисковых систем, веб-скрейпинга и больших языковых моделей. Это позволяет проводить итеративный и детальный анализ любой темы, что может быть интересно для специалистов, занимающихся исследовательскими проектами или прототипированием новых идей.

- Безопасность и приватность
Все данные, включая настройки и API-запросы, остаются локально в браузере пользователя. Такой подход повышает уровень безопасности и может быть важен для специалистов, обеспокоенных конфиденциальностью данных при работе с внешними API.
(см. раздел "Safe & Secure" в описании: )

- Интерактивность и визуализация процесса
Репозиторий реализует возможность отображения процесса исследования в виде дерева, что помогает визуально отслеживать ход поиска и анализировать промежуточные результаты. Кроме того, поддерживается потоковая передача ответов от AI в реальном времени, что улучшает взаимодействие с системой.
(см. описание функционала: )

- Поддержка экспорта результатов
Возможность экспортировать финальный отчёт в PDF-формате делает проект удобным для подготовки исследовательских материалов и отчётов, что может быть полезно для демонстрации результатов работы или дальнейшей аналитики.

- Многообразие провайдеров
Проект поддерживает работу с различными AI-провайдерами (OpenAI совместимые, DeepSeek, OpenRouter, Ollama) и веб-поисковыми сервисами (Tavily, Firecrawl). Такая гибкость позволяет специалистам выбирать инструменты, наиболее подходящие для их задач, и проводить сравнительный анализ результатов работы разных сервисов.

- Современные технологии и Docker-поддержка
Проект построен на современном стеке (Nuxt, TypeScript, Vue) и включает инструкции по развертыванию с помощью Docker. Это упрощает интеграцию в существующую инфраструктуру и позволяет быстро запустить систему в тестовом или продакшн-режиме.


- Активное развитие и обновления
В разделе "Recent updates" отмечены регулярные улучшения, исправления ошибок и расширение функционала (например, добавление поддержки новых моделей и провайдеров, улучшение работы экспорта и визуализации). Это свидетельствует о том, что проект находится в стадии активного развития.

Недостатки и возможные ограничения
- Узкая специализация
Проект ориентирован на создание исследовательского ассистента, что может быть полезно не для всех специалистов по машинному обучению. Если ваша область интересов лежит вне применения таких интерактивных инструментов для исследования, функционал репозитория может показаться избыточным или не совсем релевантным.

- Документация и настройка
Хотя README содержит основные инструкции по развертыванию и использованию, для некоторых специалистов может потребоваться более подробная документация или примеры использования в сложных сценариях. Для продвинутой интеграции или кастомизации могут возникнуть вопросы, требующие дополнительного изучения кода.

- Зависимость от внешних провайдеров
Проект поддерживает работу с несколькими AI- и веб-поисковыми сервисами. Однако если вы планируете использовать нестандартные провайдеры или столкнётесь с изменениями в API этих сервисов, потребуется дополнительная адаптация кода.

▪ Github: https://github.com/AnotiaWang/deep-research-web-ui

@data_analysis_ml

Анализ данных (Data analysis)

14 February 2025 20:20

🔥 RD-Agent — это инструмент с открытым исходным кодом, разработанный Microsoft для автоматизации процессов исследований и разработок (R&D), особенно в сфере искусственного интеллекта!

🌟 Он предназначен для повышения производительности в промышленности, фокусируясь на автоматизации высокоценных процессов, связанных с данными и моделями.

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml