Анализ данных (Data analysis)

24 January 2025 10:04

Только что вышла версия CUDA 12.8 с поддержкой Blackwell.

Гайд по работе с TensorCore 5-го поколения:

https://docs.nvidia.com/cuda/parallel-thread-execution/index.html#tensorcore-5th-generation-instructions

#cuda #TensorCore #nvidia

Анализ данных (Data analysis)

23 January 2025 20:34

🔥 OpenVINO Toolkit — это мощный инструмент с открытым исходным кодом для оптимизации и выполнения моделей машинного обучения!

🌟 OpenVINO позволяет преобразовывать модели из популярных фреймворков, таких как TensorFlow, PyTorch и ONNX, в формат, оптимизированный для работы на аппаратуре Intel. Он поддерживает широкий спектр устройств, включая процессоры, GPU, FPGA и специализированные чипы, что делает его идеальным выбором для разработки производительных AI-приложений.

🔐 Лицензия: Apache-2.0

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

23 January 2025 17:40

🌟 SmolVLM: набор компактных VLM от HuggingFace - Base, Synthetic и Instruct.

SmolVLM - серия компактных VLM отличающихся высокой эффективностью использования памяти и могут быть развернуты на локальных устройствах с ограниченными ресурсами.

Только что были выпущены SmolVLM (256M и 500M), которым требуются GPU <1GB для запуска.

🤗 SmolVLM-256M – это cамая маленькая VLM в мире!

Модели настолько маленькт, что могут работать 100% локально в вашем браузере на WebGPU!

📌Лицензирование:  Apache 2.0

⭐️ Smolervlm: https://huggingface.co/blog/smolervlm
🤗 Модели: https://huggingface.co/collections/HuggingFaceTB/smolvlm-256m-and-500m-6791fafc5bb0ab8acc960fb0

@ai_machinelearning_big_data


#AI #ML #SmallVLM #Huggingface

Анализ данных (Data analysis)

23 January 2025 07:31

⚡️ Bespoke-Stratos-32B, новая ризонинг модель, разработанную на основе DeepSeek-R1 с использованием Sky-T1 от Berkeley NovaSky.

Модель превосходит Sky-T1 и o1-preview в тестах reasoning (математика и написаний кода) и почти достигает производительности DeepSeek-R1-Distill-Qwen-32B при обучении, котором было использовано 47 раз меньшее количество примеров!

Важно отметить то, что разработчики используют набор данных с открытым исходным кодом.

▪Data: https://huggingface.co/datasets/bespokelabs/Bespoke-Stratos-17k
▪Curator: https://github.com/bespokelabsai/curator/
▪32B model: https://huggingface.co/bespokelabs/Bespoke-Stratos-32B
▪7B model: https://huggingface.co/bespokelabs/Bespoke-Stratos-7B
▪Сode: https://github.com/bespokelabsai/curator/tree/main/examples/bespoke-stratos-data-generation

@data_analysis_ml

Анализ данных (Data analysis)

22 January 2025 17:19

⚡️ Creating new games with interactive generative videos that learns from a small-scale dataset of Minecraft data.

▪Project page: https://vvictoryuki.github.io/gamefactory/
▪Paper: https://arxiv.org/abs/2501.08325
▪ Dataset: https://huggingface.co/datasets/KwaiVGI/GameFactory-Dataset

@data_analysis_ml

Анализ данных (Data analysis)

22 January 2025 07:05

🌟 Google только что выпустили новую модель Gemini 2.0 Flash Thinking

✅ Контекст с 1 миллионом токенов (5-х больше, чем o1 Pro)

#1 на арене чат-ботов 👑

Модель показала наивысший результат, обогнав Gemini-Exp-1206

+ 17 очков прироста по сравнению с предыдущей контрольной точкой 1219

- №1 по всем направлениям (генерации кода), за исключением управления стилем.

• AIME: 73.3%
• GPQA: 74.2%
• MMMU: 75.4%

Модель доступна в ai-gradio

pip install --upgrade "ai-gradio[gemini]"

Они так же выпустили Gemini2.0 Pro.

https://aistudio.google.com/prompts/new_chat?model=gemini-2.0-flash-thinking-exp-01-21

#google #gemini

Анализ данных (Data analysis)

21 January 2025 12:12

✅ Ускорение обработки запросов через миграцию парсера

Выпускник Школы анализа данных Яндекса выкатил годноту — руководство по переносу парсера YQL (SQL-диалект для YDB и YTsaurus) с ANTLR3 на ANTLR4.

Основные моменты:

→ ANTLR — генератор парсеров, который переводит грамматики в исполняемые парсеры для разбора и анализа текстовых данных.
→ Для нового парсера использовалась генерация Protobuf-схем, что позволило сохранить структуру AST и упростить интеграцию с парсером.
→ Были разработаны специализированные шаблоны (stg-файлы) для генерации кода, что позволило адаптировать логику парсинга под изменяющиеся требования.

Ссылка на статью

Анализ данных (Data analysis)

21 January 2025 08:38

🧠 Supermemory

Мощное поисковое ИИ-приложение с гибким и простым в работе API.

Вы можете создать свой собственный второй мозг с помощью supermemory.

По сути это ChatGPT для поиска в интернете .

▪Github: https://github.com/supermemoryai/supermemory
▪ Документация: https://docs.supermemory.ai/
▪Расширение для хрома: https://api.supermemory.ai/

@data_analysis_ml

Анализ данных (Data analysis)

20 January 2025 15:03

Строим рекомендательную систему фильмов на Kaggle

Вы когда-нибудь хотели сделать свою собственную систему рекомендаций фильмов? 🎬

Приходите на бесплатный вебинар, где Савелий Батурин, Senior ML-Engineer и преподаватель курса по ML школы Simulative в прямом эфире покажет как построить рекомендательную систему фильмов на Kaggle.

Что будем делать на вебинаре:
• Разберем имеющиеся данные фильмов с их оценками
• Проведем предобработку данных
• Построим рекомендательную систему на основе машинного обучения
•Проведем расчет и анализ метрик на основе результатов работы модели

🕗Встречаемся 21 января 19:00 по мск

Вебинар будет интересен как новичкам, так и уже опытным специалистам

Зарегистрироваться на бесплатный вебинар

Анализ данных (Data analysis)

20 January 2025 10:21

🔥 NautilusTrader — это высокопроизводительная, открытая платформа для алгоритмической торговли и тестирования стратегий, разработанная для количественных трейдеров!

🌟 Она позволяет создавать, тестировать и внедрять автоматизированные торговые стратегии, обеспечивая их прямой переход от бэктестинга к реальной торговле без необходимости изменения кода.

🌟 Платформа поддерживает различные классы активов и может интегрироваться с любыми API (REST, WebSocket или FIX) через модульные адаптеры. NautilusTrader разработана с акцентом на производительность и надежность, предоставляя Python-ориентированную среду для разработки и развертывания стратегий. Она также поддерживает современные языковые модели, такие как GPT-4 и Claude 3.5, для предоставления рекомендаций и анализа.

🔐 Лицензия: LGPL-3.0

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

20 January 2025 07:48

🔥Google представили стратегию эволюционного поиска для масштабирования времени инференса в больших языковых моделях.

Предлагаемый подход, Mind Evolution, использует языковую модель для генерации, рекомбинации и уточнения ответов-модели.

Контролируя инференс модели, разработчики обнаружили, что Mind Evolution значительно превосходит другие стратегии инференса, такие как Best-of-N и Sequential Revision, в задачах планирования на естественном языке.

В бенчмарках TravelPlanner и Natural Plan Mind Evolution, модель решает успешно более 98 %.

https://huggingface.co/papers/2501.09891

Анализ данных (Data analysis)

19 January 2025 12:33

🔥 Umi-OCR — бесплатное оффлайн-приложение для OCR (распознавания текста)!

🌟 Оно поддерживает распознавание текста на скриншотах, пакетную обработку изображений, PDF-документов, а также функции работы с QR-кодами и формулами. Инструмент ориентирован на удобство использования, прост в настройке (работает без установки) и поддерживает командную строку и HTTP-интерфейсы для интеграции с другими приложениями.

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

18 January 2025 12:35

🖥 LeetGPU - бесплатная платформа для написания и запуска кода на CUDA.

Вы можете практиковаться и изучать CUDA онлайн, без использования графического процессора!

https://leetgpu.com/

@data_analysis_ml

#cuda #gpu #cpu #playground

Анализ данных (Data analysis)

17 January 2025 17:18

🔥 Awesome MCP Servers — это коллекция ресурсов, посвящённых серверам, использующим протокол Model Context Protocol (MCP)!

💡 MCP — это открытый протокол, который позволяет языковым моделям (LLMs) взаимодействовать с локальными и удалёнными ресурсами через стандартизированные серверные реализации. Репозиторий содержит список готовых к использованию и экспериментальных MCP-серверов, расширяющих возможности LLM за счёт доступа к файлам, базам данных, API, системам управления версиями и другим сервисам.

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

17 January 2025 07:02

🤖 FAST: Efficient Robot Action Tokenization

Новый токенизатор, который позволяет обучать VLA в 5 раз быстрее по сравнению с предыдущей SoTA.

Его очень легко использовать и это опенсорс.

▪Описание: http://pi.website/research/fast
▪HF: https://huggingface.co/physical-intelligence/fast
▪Статья: https://www.pi.website/download/fast.pdf

@data_analysis_ml

#robots #tokenization

Анализ данных (Data analysis)

24 January 2025 08:02

Оптимизируйте бизнес-процессы с помощью данных и стратегического мышления — станьте бизнес-аналитиком за 6 месяцев
Бизнес-аналитик собирает и интерпретирует данные, чтобы помогать бизнесу принимать обоснованные решения и создавать эффективные стратегии развития. В его задачи входит сбор и анализ требований, аудит бизнес-процессов, проведение исследований, выявление проблем и поиск их решений, подготовка отчётности.

На курсе Нетологии «Бизнес-аналитик» вы можете освоить необходимые навыки всего за 6 месяцев и претендовать на junior-позицию уже во время обучения. Под руководством ментора вы научитесь работать с нотациями IDEF0, BPMN 2.0, EPC, а также с инструментами анализа данных: SQL, Python, Tableau и Power BI. Получите опыт работы с заказчиками и разберёте тестовые задания из реальных вакансий с преподавателем курса.

Дополнительно вы можете освоить навыки кандитата на middle-позицию на расширенной траектории программы — пройти модуль по системному анализу. Он охватывает полный жизненный цикл ПО, включая гибкие подходы к разработке, UX/UI прототипирование, тестирование и развертывание, а также документирование IT-проектов.
🔥 До 31 января на курс действует дополнительная скидка 15% по промокоду ANALYTIC15.

Реклама. ООО "Нетология". ИНН 7726464125 Erid 2VSb5yG4Lkp

Анализ данных (Data analysis)

23 January 2025 18:26

🚀 Вам от 13 до 20 лет, вы уже знаете основы Python и хотите двигаться дальше, в область современной аналитики? Тогда у вас есть крутой шанс прокачать свои навыки на бесплатной программе по анализу данных от Яндекс Лицея! 📊

Специализация длится 3 месяца и проходит онлайн. Вас будут учить опытные профессионалы с реальным практическим опытом. Они расскажут, как анализировать и визуализировать данные с помощью Python, а также принимать решения на основе полученной информации.

Набор открыт также на онлайн-программы по веб-разработке на Go и Django, машинному обучению и большим данным. Не откладывайте на следующий год — подайте заявку до 29 января! 💻

Анализ данных (Data analysis)

23 January 2025 15:46

📖 Эта статья исследует методы оценки неопределенности больших языковых моделей в "черном ящике"!

💡 Авторы предлагают подход под названием DiverseAgentEntropy, который измеряет надежность модели, анализируя ее ответы на различные переформулированные версии одного и того же запроса. Если модель уверена в своих знаниях, она должна отвечать одинаково независимо от формулировки вопроса. Этот метод позволяет также обнаруживать случаи галлюцинаций, когда модель предоставляет недостоверные ответы.

🌟 В основе подхода лежит идея многократного взаимодействия "агентов" (вариаций одной и той же модели), которые обрабатывают один и тот же запрос с разным контекстом. Итоговая оценка основана на согласованности их ответов. В результате метод показывает более точные оценки неопределенности по сравнению с традиционными методами, такими как самосогласованность. Исследование также подчеркивает проблему неспособности моделей систематически извлекать правильные ответы, даже если они уже заложены в параметрические знания модели.

@data_analysis_ml

Анализ данных (Data analysis)

23 January 2025 07:27

🔥 Обобщение и переобучение в машинном обучении.

- Видео
- Урок 1 / Урок2 / Урок3 / Урок4 / Урок5 /
- Урок6/ Урок7/ Урок 8
- Colab
-Полный курс

#ml #math #mlmath #probability #машинноеобучение

@data_analysis_ml

Анализ данных (Data analysis)

22 January 2025 10:02

🔥 Agent Recipes — мастерская с огромным количеством примеров кода, который вы можете скопировать и использовать в своих собственных проектах ИИ!

🔗 Ссылка: *клик*

@data_analysis_ml

Анализ данных (Data analysis)

21 January 2025 14:48

🔥 Tabby — AI-ассистент для программирования, являющийся открытой альтернативой GitHub Copilot!

💡 Он разработан для локальной работы, исключая необходимость в облачных сервисах, что делает его подходящим для конфиденциальных или корпоративных сред. Tabby поддерживает пользовательские интерфейсы, такие как OpenAPI, и может интегрироваться с существующими инструментами, включая облачные IDE.

🔐 Лицензия: Apache-2.0

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

21 January 2025 11:30

🔥Tencent выпустили новую генеративную модель для 3D - Hunyuan3D 2.0

Hunyuan3D 2.0, усовершенствованная система 3D-синтеза и генерации текстурированных 3D-объектов
высокого разрешения.

Эта система включает в себя два основных компонента: модель генерации формы - Hunyuan3D-DiT и модель синтеза текстуры - Hunyuan3D-Paint.

Генеративная модель формы, построена на масштабируемом диффузионном трансформере, и необходима ​​для создания геометрии объекта и отвечает за согласование генерации.

Модель синтеза текстур генерирует карты текстур высокого разрешения для сгенерированных или созданных вручную сеток.

Hunyuan3D 2.0 превосходит предыдущие модели, как с открытым кодом, так и закрытые модели, по детализации геометрии, выравниванию генерации, качеству текстур и т. д.

GitHub: https://github.com/tencent/Hunyuan3D-2

Анализ данных (Data analysis)

20 January 2025 17:02

🔥 openai-realtime-agents от OpenAI — пример, демонстрирующий использование более сложных агентов, построенных на основе Realtime API!

💡 В нём представлены паттерны взаимодействия агентов, такие как последовательная передача задач между агентами, эскалация к более интеллектуальным моделям и подход с использованием машины состояний для пошагового взаимодействия с пользователем (например, для проверки данных). Это прототип для создания голосовых приложений в реальном времени, в которых несколько агентов могут взаимодействовать с пользователями.

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

20 January 2025 14:39

⚡️ Все датасаентисты и ИИ-инженеры сегодня.

P.S. Вышли новые модели DeepSeek если вы вдруг пропустили.

#DeepSeek #deepseekv3 #reasoning #ml

Анализ данных (Data analysis)

20 January 2025 09:16

Приглашаем на открытый урок «Инструменты обратного тестирования торговых стратегий» от Otus

Рассмотрим базовую методику и рассмотрим основные библиотеки для проведения обратного тестирования торговых стратегий.

✅ Практика: тест простой торговой стратегии

Оставляйте заявку на курс «ML для финансового анализа» и создайте торгового робота для автоматического проведения операций с оценкой уровня риска

👉 Регистрация на урок и подробности:
https://otus.pw/8ofB/?erid=2W5zFJ68uje

#реклама
О рекламодателе

Анализ данных (Data analysis)

19 January 2025 15:20

✅Генерация бесконечных 4D городов

CityDreamer4D - это новая генеративная модель создания городов в 4D, которая объединяет статические и динамические сцены.

Заявлена высокая управляемость и реалистичность генераций.

- Проект: https://infinitescript.com/project/city-dreamer-4d/
- Код (обещают залить в ближайшее время ): https://github.com/hzxie/CityDreamer4D
- Датасет CityTopia: https://gateway.infinitescript.com/s/CityTopia

@data_analysis_ml

Анализ данных (Data analysis)

19 January 2025 11:01

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
Data Science: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: /channel/gamedev
Haskell: t.me/haskell_tg
Физика: t.me/fizmat

💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy

Анализ данных (Data analysis)

18 January 2025 06:11

🖥 Свежий гайд от OPENAI

В нем рассказывается как правильно работать с функциями и вызывать их. Внутри много рекомендаций и рабочих примеров.

https://platform.openai.com/docs/guides/function-calling.

@data_analysis_ml

Анализ данных (Data analysis)

17 January 2025 10:43

🌮 TACO: Learning Multi-modal Action Models with Synthetic Chains-of-Thought-and-Action

TACO новое семейство мультимодальных моделей с открытым исходным кодом, которые хорошо справляются со сложными задачами визуального анализа, требующими нескольких шагов размышлений и использования внешних инструментов!

Модели TACO превосходят базовые, настроенные на основе прометав модели, по 8 тестам, достигая улучшения в среднем на 3,6%, а в задачах MMVet, связанных с распознаванием текста, математическим мышлением и пространственным мышлением, прирост достигает 15%.

▪Github
▪Paper
▪Dataset
▪Demo

@data_analysis_ml

Анализ данных (Data analysis)

16 January 2025 11:05

🔥 HuatuoGPT-o1 — медицинская модель, ориентированная на сложные рассуждения в медицинской области!

🌟 Модель предназначена для диагностики, анализа ошибок и предложений альтернативных стратегий, улучшая свои ответы с помощью усиленного обучения (PPO) и верификации на основе специализированных медицинских задач.

🖥 Github

@data_analysis_ml