15160
@haarrp - админ Вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейроннным сетям @data_analysis_ml - анализ данных @ai_machinelearning_big_data @itchannels_telegram - важное для программиста
🔥 KrillinAI – это комплексное решение для обработки видео, включающее загрузку, перевод, озвучивание и финальный рендеринг! Оно поддерживает автоматическую установку зависимостей и интеграцию с yt-dlp для загрузки видео с YouTube и Bilibili.
🌟 Основные функции: интеллектуальное сегментирование и выравнивание субтитров, настраиваемая замена слов, перевод с учетом контекста, озвучивание с клонированием голоса и синхронизацией, а также автоматическая сборка видео с субтитрами. Поддерживаются десятки языков для входных данных и перевода.
🖥 Github
@bigdatai
✔️ "EXAONE Deep Released ━ Setting a New Standard for Reasoning AI" от LG AI Research
Мы уже писали про довольно интересное семейство моделей от LG, на этот раз они представили по-настоящему мощные ризонинг модели.
1) EXAONE Deep 2.4B превосходит другие модели сопоставимого размера,
2) EXAONE Deep 7.8B превосходит не только открытые модели сопоставимого размера, но и OpenAI o1-mini,
3) EXAONE Deep 32B демонстрирует конкурентоспособные характеристики по сравнению с ведущими открытым моделями.
Модель 32B, которая по размеру равна около 5% от размера DeepSeek r1, превосходит ее почти во всех тестах.
Прорыв в цепочке рассуждений – релиз акцентирует внимание на улучшении "chain-of-thought" механизма, что делает модель более способной генерировать обоснованные выводы и поддерживать длинные цепочки логических рассуждений.
🟡Релиз: https://www.lgresearch.ai/blog/view?seq=543
🟡Статья: https://arxiv.org/abs/2503.12524
🟡HF: https://huggingface.co/LGAI-EXAONE/EXAONE-Deep-32B
@ai_machinelearning_big_data
#AI #ML #LLM #EXAONE #LG #reasoning
🔥 DeepScaler — это проект, предназначенный для увеличения разрешения изображений с использованием методов глубокого обучения!
🌟 Он реализует алгоритмы суперразрешения (Super-Resolution), позволяя восстанавливать детали и улучшать качество изображений при их масштабировании.
🔐 Лицензия: MIT
🖥 Github
@bigdatai
🔥 5ire — кроссплатформенный AI-ассистент и клиент MCP (Model Context Protocol)!
🌟 Он поддерживает интеграцию с популярными поставщиками AI-сервисов (например, OpenAI, Anthropic, Google и другими), а также предоставляет локальную базу знаний для обработки и векторизации документов. Проект использует MCP-протокол для подключения к различным инструментам, что позволяет работать с файловыми системами, базами данных и удаленными источниками данных.
🔐 Лицензия: GPL-3.0
🖥 Github
@bigdatai
🔥 UI-TARS Desktop — это приложение с графическим интерфейсом, основанное на модели компьютерного зрения, которое позволяет управлять компьютером с помощью естественного языка!
🌟 Оно поддерживает управление мышью и клавиатурой, а также выполняет захват экрана и распознавание объектов. Это кросс-платформенный инструмент для Windows и MacOS, который обрабатывает запросы локально, обеспечивая безопасность и конфиденциальность.
🔐 Лицензия: Apache-2.0
🖥 Github
@bigdatai
🔥 MedSSS — это небольшой медицинский языковой модельный проект, разработанный с использованием метода «медленного мышления» и самосовершенствующейся методики!
💡 Цель проекта — улучшить способность модели к медицинским рассуждениям. MedSSS использует модель PRM для выбора наиболее корректного ответа из нескольких возможных вариантов, что позволяет эффективно решать как традиционные задачи медицинского вопросно-ответного характера, так и более сложные клинические сценарии.
🔐 Лицензия: MIT
🖥 Github
@bigdatai
👣 Training a Rust 1.5B Coder LM with Reinforcement Learning (GRPO)
Источник: Oxen.ai Blog
Ссылка: Oxen.ai
Статья подробно рассказывает о процессе обучения специализированной языковой модели для генерации кода на Rust, обладающей 1.5 млрд параметров.
Авторы применяют метод обучения с подкреплением (GRPO) с использованием обратной связи от инструментов Rust (компилятор и система сборки cargo). Это позволяет модели учиться генерировать код, который успешно компилируется, проходит линтер (cargo clippy) и unit-тесты.
Подход к данным и метрикам: Описаны этапы подготовки датасета, в том числе адаптация существующих Python-подобных задач под синтаксис Rust, а также разработка специальных reward-функций, проверяющих качество сгенерированного кода.
Материал показывает, как можно использовать инструменты Rust для автоматизированной проверки качества кода, что может служить основой для создания интеллектуальных помощников и средств автоматизации.
🔗 Читать
@rust_code
🔥 Jina Serve — это облачно-ориентированный фреймворк для создания и развертывания мультимодальных AI-сервисов!
🌟 Он поддерживает взаимодействие через gRPC, HTTP и WebSocket, предлагая высокопроизводительную архитектуру для масштабирования, потоковой передачи данных и динамической обработки запросов. Основные возможности включают нативную интеграцию с ML-фреймворками, контейнеризацию, встроенный оркестратор микросервисов и поддержку Kubernetes.
🔐 Лицензия: Apache-2.0
🖥 Github
@machinelearning_ru
🔥 MiniCPM-o 2.6 — это мощная языковая модель с 8 млрд параметров, разработанная OpenBMB! Она поддерживает текст, изображения, видео и аудио, а также обеспечивает высококачественные ответы на естественном языке. Производительность модели сравнима с GPT-4o-202405, особенно в обработке мультимодального контента.
💡 Особенности MiniCPM-o включают расширенные возможности оптического распознавания символов (OCR), улучшенное понимание видео и поддержку голосовых диалогов в реальном времени на английском и китайском языках. Модель может адаптировать тембр, скорость и эмоции речи, что делает её полезной для голосовых ассистентов и интерактивных приложений.
🔐 Лицензия: Apache-2.0
🖥 Github
@bigdatai
🔥 Cofounder — это генеративная платформа для создания полноценных веб-приложений с бэкендом и UI!
🌟 Он использует ИИ для генерации приложений, включая проектирование интерфейсов и создание структур на основе описаний. На данный момент это ранняя альфа-версия, нестабильная, которая требует больших вычислительных ресурсов. В будущем проект планирует улучшения и добавление новых функций, таких как интеграция с мобильными фреймворками и расширенная настройка приложений.
🔐 Лицензия: MIT
🖥 Github
@bigdatai
⚡️ Magma-8B – это экспериментальная модель от Microsoft, которая объединяет обработку текста и изображений в одном агентском решении.
Чем полезен инструмент:
- Мультимодальность: Возможность работать с изображениями, видео и текстом позволяет строить комплексные системы – от навигации по пользовательским интерфейсам до управления робототехникой.
Агентские возможности: Модель не просто описывает содержимое картинки, а умеет генерировать план действий, что особенно ценно для интерактивных приложений.
- ИспользованиеSet-of-Mark и Trace-of-Mark, помогает связать визуальные элементы с текстовыми командами, обеспечивая более точное понимание и планирование.
Magma-8B специально разработан для сценариев работы с агентами – акцент не только на генерации текста, но и на взаимодействии с реальными объектами (например, интерфейсами).
Модель обучалась на разнообразных источниках, включая неразмеченные видео, в результате этого удалось добиться понимания динамики и пространственных отношений в видео.
Современные технические решения и масштабируемость, что позволяет адаптировать модель под разные задачи.
Минусы:
- На данном этапе модель ориентирована на исследовательские проекты, поэтому может требовать доработки перед использованием в боевых условиях.
- Ограничения по языкам: основной фокус сделан на английском, что может усложнить работу с другими языками.
Возможны нестабильные результаты - в некоторых сценариях, особенно если задача выходит за рамки обучающих данных, что требует осторожности при внедрении в реальные приложения.
В целом, Magma-8B – это интересный экспериментальный инструмент, который может стать отправной точкой для создания новых, более «умных» агентных систем, объединяющих восприятие и действие в одном флаконе.pip install torchvision Pillow open_clip_torch
https://huggingface.co/microsoft/Magma-8B
#microsoft #magma #multimodal
Как прокачаться в DS за два дня? Приезжайте на Data Fusion 2025 — самое масштабное событие этой весны в сфере анализа данных и искусственного интеллекта.
Что вас ждет?
🔹 14 треков и 70+ сессий, посвященных передовым разработкам в Data Science и AI
🔹 Кейс-стади по применению DS в различных сферах бизнеса от финтеха и промышленности до медицины.
🔹 250+ экспертов — от известных ученых до лидеров бизнеса
📅 Когда? 16-17 апреля
📍 Где? Москва, технологический кластер «Ломоносов»
Конференция бесплатная. Регистрируйтесь по ссылке — https://data-fusion.ru/
#AI #ML #BigData #DataFusion #DataScience #IT
*AI-искусственный интеллект
*DS-Data Science-наука о методах анализа данных.
AI-буткемп от red_mad_robot: получи практические навыки в новых AI-профессиях NLP и MarkUp
red_mad_robot — технологическая компания с широкой экспертизой в запуске цифровых продуктов и бизнесов. Мы развиваем собственный центр исследований и разработки ИИ-решений и обучаем специалистов в сфере GenAI.
Сейчас мы запускаем AI-буткемп — это 4 недели интенсивной практики с экспертами red_mad_robot, которые помогут тебе освоить новые востребованные навыки в AI-разработке.
Ты можешь выбрать одно из двух направлений
– NLP-инженер — будешь работать с языковыми моделями (Chat GPT, LLaMA, Claude), настраивать промты, обрабатывать данные и тексты. Подойдёт аналитикам, разработчикам и тем, кто хочет работать с AI.
– MarkUp-инженер — занимается разметкой данных, генерацией контента и интеграцией с LLM. Полезно тестировщикам, техническим специалистам и тем, кто хочет автоматизировать рутинные задачи.
Что ждёт участников
– 80% практики — разметка, промпты, LLM, RAG.
– Поддержка от менторов — экспертов из red_mad_robot.
– Кейс в портфолио и востребованные навыки в сфере AI.
Приём заявок до 10 марта. Старт буткемпа — 17 марта.
Участие бесплатное, но с отбором.
Подробности и регистрация по ссылке.
Реклама ООО «РЭДМЭДРОБОТ МСК». ИНН 7703435262. erid 2VtzqvfBFfc.
⚡️ NVIDIA’s New AI: Text To Video Supercharged!
https://www.youtube.com/watch?v=FpZ_6bxx5v8
@bigdatai
🌟 ReasonFlux: математические рассуждения для LLM.
ReasonFlux - методика, которая используется как для обучения, так и для инференса, чтобы повысить способность LLM к сложному логическому мышлению. Применение метода позволяет превосходить OpenAI o1-preview и DeepSeek V3 в задачах математического рассуждения.
При использовании в обучении ReasonFlux использует иерархическую структуру с подкреплением на последовательности высокоуровневых шаблонов мышления. Это позволяет базовой LLM научиться планировать оптимальную траекторию шаблонов для решения сложных задач. В процессе обучения ReasonFlux анализирует и обобщает информацию о решении задач, выявляя общие закономерности, и на основе этого создает шаблоны мышления.
Во время инференса ReasonFlux автоматически извлекает релевантные шаблоны мышления и масштабирует их для достижения превосходной производительности в сложных задачах рассуждения. Он динамически выбирает наиболее подходящий шаблон высокого уровня для каждой подзадачи, упрощая поиск путей рассуждений. ReasonFlux использует новую систему масштабирования во время вывода, которая адаптирует шаблоны мышления.
В экспериментальных тестах ReasonFlux-32B достиг 91,2% точности на MATH benchmark, опередив o1-preview на 6,7%. На AIME benchmark модель решила в среднем 56,7% задач, превзойдя o1-preview и DeepSeek-V3 на 27% и 45% соответственно.
Практическая реализация метода доступна в репозитории проекта, в нем cодержится необходимый код и описание для файнтюна LLM на примере SFT-датасета решений GaoKao Bench.
⚠️ Для трейна моделей на SFT-сете проект использует фреймворк LLaMA-Factory.
▶️ Локальная установка и запуск:
# Clone the repository
git clone https://github.com/ReasonFlux
cd ReasonFlux
# Create a Conda venv
conda create -n ReasonFlux python==3.9
conda activate ReasonFlux
# Install dependencies
pip install -r requirements.txt
# When you complete your first-stage training, you can try to use simple inference
from reasonflux import ReasonFlux
reasonflux = ReasonFlux(navigator_path='path-to-navigator',
template_matcher_path='jinaai/jina-embeddings-v3',
inference_path='path-to-infernece-model',
template_path='template_library.json')
problem = """Given a sequence {aₙ} satisfying a₁=3, and aₙ₊₁=2aₙ+5 (n≥1), find the general term formula aₙ"""
🔥 VideoLingo — это инструмент для автоматизированного создания субтитров и дубляжа видео на основе ИИ!
🌟 Он предлагает функции перевода, сегментации и синхронизации субтитров на уровне Netflix. Инструмент использует алгоритмы обработки естественного языка (NLP), поддержку разных языков и интеграцию с сервисами озвучивания, такими как Azure и OpenAI. VideoLingo позволяет загружать видео с YouTube и предоставляет удобный интерфейс для работы через Streamlit.
🔐 Лицензия: Apache-2.0
🖥 Github
@bigdatai
🔥 LightRAG — это легковесная и модульная библиотека на Python, предназначенная для создания и оптимизации потоков обработки данных с использованием RAG! Она помогает разработчикам строить эффективные пайплайны, объединяя механизмы поиска информации и генеративные модели.
🔐 Лицензия: MIT
🖥 Github
@bigdatai
✔️ TSMC предлагает ИТ-гигантам объединиться вокруг производственных мощностей Intel.
TSMC обратилась к Nvidia, AMD и Broadcom с предложением войти в совместное предприятие, целью которого станет управление производственными мощностями Intel. Как сообщают источники, TSMC планирует сохранить за собой менее 50% акций в данном предприятии. Аналогичное предложение, по некоторым данным, было направлено и компании Qualcomm. Эти переговоры разворачиваются на фоне обращения администрации президента США к TSMC с просьбой оказать содействие испытывающей трудности Intel. Известно, что переговоры по Intel находятся на ранней стадии, и TSMC заинтересована в привлечении нескольких компаний к участию в этом проекте.
zaobao.com.sg
✔️ ИИ от Sakana AI успешно прошел научное рецензирование.
Проект Scientist-v2, разработка Sakana AI, смогла создать научную работу, которая успешно прошла процесс рецензирования на одном из воркшопов Международной конференции ICLR. Это стало первым случаем, когда полностью сгенерированное исследование прошло стандартную процедуру оценки. Представленная работа была посвящена методам регуляризации нейронных сетей и, как ни странно, сообщала об отрицательных результатах.
Несмотря на то, что средняя оценка работы составила 6.33, что превысило порог принятия воркшопа, согласно предварительной договоренности, работа была отозвана, поскольку в научном сообществе пока отсутствуют устоявшиеся нормы для сгенерированных работ.
sakana.ai
✔️ Google DeepMind выводит ИИ в физический мир с Gemini Robotics.
Google DeepMind представила новейшую разработку – Gemini Robotics, модель на базе Gemini 2.0, способную наделить роботов способностью к "телесному" мышлению. Эта VLA (Vision-Language-Action) модель способна самостоятельно управлять роботами, открывая новые возможности в их применении.
Наряду с ней представлена Gemini Robotics-ER, модель с углубленным пространственным пониманием, позволяющая робототехникам использовать возможности Gemini в своих проектах. Обе модели демонстрируют интерактивность и ловкость, позволяя роботам адаптироваться к различным ситуациям, взаимодействовать с людьми и выполнять сложные задачи. Google DeepMind тестирует Gemini Robotics-ER с несколькими доверенными партнерами.
deepmind.google
✔️ Doubao (ByteDance) опубликовала технические детали модели генерации изображений Seedream 2.0.
Команда Doubao официально представила технический отчет о своей модели генерации изображений Seedream 2.0, впервые раскрыв детали процесса разработки, начиная со сбора данных и заканчивая постобработкой с использованием RLHF.
В отчете отмечаются улучшения в понимании китайского и английского языков, отрисовке текста, достижении высокого уровня эстетики и разрешения генераций. Seedream 2.0 была запущена еще в начале декабря 2024 года в приложениях Doubao и Jimeng, ей воспользовались сотни миллионов пользователей и она стала любимым инструментом для многих профессиональных дизайнеров в Китае. По сравнению с Ideogram 2.0, Midjourney V6.1 и Flux 1.1 Pro, Seedream 2.0 лучше справляется с текстом и лучше понимает китайскую культуру. Модель поддерживает запросы на китайском и английском языках.
team.doubao.com
✔️ Испания вводит крупные штрафы за отсутствие маркировки контента, созданного ИИ.
Испанское правительство одобрило законопроект, предусматривающий введение внушительных штрафов для компаний, которые используют сгенерированный контент без соответствующей маркировки. Мера направлена на борьбу с распространением "дипфейков".
Несоблюдение требований по маркировке будет классифицироваться как "серьезное правонарушение", что может повлечь за собой штрафы до 35 млн. евро или 7% от годового оборота компании-гарушителя. Новый регулирующий орган AESIA будет отвечать за обеспечение соблюдения новых правил.
reuters.com
@ai_machinelearning_big_data
#news #ai #ml
Хотите получить много практики на рельных задачах, собрать портфолио и узнать как выглядит рабочий день аналитика?
CEO Simulative и эксперт с большим опытом в аналитике, Андрон Алексанян организовал бесплатный интенсив, где в течение 3 недель вы будете решать реальные задачи, с которыми аналитики сталкиваются на работе
На прямых эфирах вы сделаете:
🟠Анализ активности пользователей с помощью SQL
🟠Анализ маркетинговых активностей с помощью Python
🟠ABC анализ ассортиментной матрицы в Excel (уже прошел, но вам будет доступна запись)
Во время эфиров вы узнаете много лайфхаков, а также будете получать полезные материалы для развития в аналитике на протяжении всего интенсива
❗️Знать Python и SQL не обязательно — все будем разбирать с нуля
🕗Встречаемся на новом эфире уже завтра, 13 марта в 19:00 по мск
Участвовать в бесплатном интенсиве
❓Готовы ли вы изучить Machine Learning на профессиональном уровне?
👨💻🛠 Пройдите короткое вступительное тестирование и узнайте.
В случае успешного прохождения вас ждут подарки — доступ к открытым урокам для знакомства с форматом обучения и специальная цена на курс.
За 5 месяцев на курсе «Machine Learning. Professional» вы освоите NLP, рекомендательные системы, временные ряды, PyTorch и Spark. Будете работать на реальных кейсах, с поддержкой экспертов, а в финале получите проект для портфолио и навыки для Junior+ / Middle позиций в Data Science и ML.
➡️ Оставить заявку на обучение прямо сейчас: https://otus.pw/6Hdv/?erid=2W5zFJUQkqn
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
📹 NVIDIA’s New AI Grows Stuff Out Of Nothing!
Смотреть
🔥 Code2Prompt — это инструмент командной строки, который помогает разработчикам передавать структуру и содержимое кода большим языковым моделям!
🌟 Он автоматически генерирует Markdown-файлы с подробным представлением проекта, что упрощает анализ, документирование и рефакторинг кода. Это особенно полезно для работы с крупными кодовыми базами, где важно дать модели контекст перед генерацией ответов.
🔐 Лицензия: MIT
🖥 Github
@bigdatai
📖 NExT-Mol: объединение 3D-диффузионных моделей и 1D-языкового моделирования для генерации молекул!
🌟 В этой статье представлена новая модель NExT-Mol, сочетающая преимущества 1D-языковых моделей (LM) и 3D-диффузионных моделей для генерации трехмерных структур молекул. Авторы отмечают, что, хотя 3D-диффузионные модели эффективно моделируют непрерывные 3D-конформеры, они могут генерировать некорректные молекулы. В то же время 1D-LM, основанные на SELFIES, обеспечивают 100% валидность создаваемых молекул, используя большие одномерные наборы данных.
🔗 Ссылка: *клик*
@bigdatai
💥 Почему ансамблирование — это must-have в ML?
Даже лучшие ML-модели не идеальны. Но что если можно усилить их точность, объединив несколько алгоритмов?
На открытом уроке разберём популярные методы ансамблирования:
- Бэггинг снижает дисперсию модели, делая её устойчивее
- Градиентный бустинг усиливает предсказания, обучая модели на ошибках
Вы узнаете, как эти методы повышают точность прогнозов, и разберёте их на практике.
📅 Встречаемся онлайн 17 марта в 18:00 мск. Открытый урок пройдёт в преддверии старта курса «Специализация Machine Learning», а все участники получат скидку на обучение.
➡️ Ссылка для регистрации: https://otus.pw/wVh8/?erid=2W5zFHHsWPa
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
🔥 OpenObserve — это облачное решение для мониторинга и анализа данных с открытым исходным кодом!
🌟 Оно позволяет собирать, индексировать и визуализировать различные метрики и логи в реальном времени.
🔐 Лицензия: Apache-2.0
🖥 Github
@bigdatai
🔥 openpilot — это открытое программное обеспечение, которое служит операционной системой для робототехники для улучшения системы помощи водителю в автомобилях!
🌟 openpilot расширяет возможности существующих систем помощи водителю (ADAS) и может быть установлен на более чем 275 поддерживаемых моделях автомобилей. Он добавляет функции, такие как удержание полосы, адаптивный круиз-контроль и автоматическое экстренное торможение.
🔐 Лицензия: MIT
🖥 Github
@bigdatai
📝 E2M (Everything to Markdown) — библиотека на Python для преобразования различных типов файлов в формат Markdown!
🌟 Он поддерживает широкий спектр форматов, включая doc, docx, epub, html, url, pdf, ppt, mp3, и m4a. Библиотека использует архитектуру «парсер-конвертер»: сначала данные извлекаются из файлов с помощью парсеров, а затем преобразуются в Markdown через конвертеры.
🌟 E2M разработан для упрощения работы с данными, особенно для задач Retrieval-Augmented Generation (RAG), обучения моделей и их дообучения. Поддерживаются инструменты обработки текста, изображений и звука, такие как OpenAI Whisper API для преобразования аудио в текст.
🔐 Лицензия: Apache-2.0
🖥 Github
@bigdatai
🔥 Open Computer Use — платформа для безопасного использования компьютеров с помощью ИИ, управляемого через E2B Desktop Sandbox!
🌟 Это решение позволяет удалённо управлять компьютером с помощью команд, моделируя действия клавиатуры, мыши и терминала. Интерфейс поддерживает интеграцию с различными моделями LLM (Large Language Models), включая Llama, Hugging Face и другие.
💡 Ключевые функции: живая трансляция дисплея из песочницы, возможность приостановить выполнение агентом задач для внесения обратной связи, поддержка любых операционных систем и платформ, а также гибкость настройки моделей.
🔐 Лицензия: Apache-2.0
🖥 Github
@bigdatai
🔥 Magic 1-For-1 — это модель генерации видео, разработанная для оптимизации использования памяти и снижения задержек при выводе!
🌟 Она разделяет задачу генерации видео из текста на два этапа: генерацию изображения из текста и преобразование изображения в видео, что способствует более эффективному обучению и дистилляции.
🖥 Github
@bigdatai
🔥 Quickwit — облачно-нативный поисковый движок, предназначенный для анализа и наблюдаемости данных, таких как логи и трассировки!
🌟 Это альтернатива инструментам вроде Elasticsearch, Datadog, Loki и Tempo, оптимизированная для высокой скорости работы на облачных хранилищах, таких как Amazon S3, Azure Blob Storage и Google Cloud Storage.
💡 Quickwit поддерживает полнотекстовый поиск, агрегационные запросы, API, совместимые с Elasticsearch, и интеграции с OpenTelemetry (OTEL) и Jaeger. Движок обладает схемно-независимой архитектурой, разделением вычислительных и хранилищных операций, что позволяет масштабировать его под большие объёмы данных.
🔐 Лицензия: AGPL-3.0
🖥 Github
@bigdatai