First Telegram Data Science channel. Covering all technical and popular staff about anything related to Data Science: AI, Big Data, Machine Learning, Statistics, general Math and the applications of former. To reach editors contact: @opendatasciencebot
🌟 FoleyCrafter: Генерация звуковых эффектов для беззвучных видео.
FoleyCrafter - методика, разработанная для автоматического создания звуковых эффектов, синхронизированных с целевым видеорядом
Архитектура метода построена на основе предварительно обученной модели преобразования текста в аудио (Text2Audio). Система состоит из двух ключевых компонентов:
🟢Семантический адаптер - использует параллельные слои cross-attention для обусловливания генерации аудио на основе видеопризнаков. Выполняет семантическое соответствие генерируемых звуков визуальному контенту.
🟢Временной контроллер - детектор временных меток анализирует и предсказывает интервалы звука и тишины в видео. Временной адаптер синхронизирует аудио с видео на основе выставленных детектором временных меток.
Оба компонента являются обучаемыми модулями, которые принимают видео в качестве входных данных для синтеза аудио. При этом модель Text2Audio остается фиксированной для сохранения ее способности к синтезу аудио постоянного качества.
Разработчики FoleyCrafter провели количественные и качественные эксперименты на наборах данных VGGSound и AVSync15 по метрикам семантического соответствия MKL, CLIP Score, FID и временной синхронизации Onset ACC, Onset AP.
По сравнению с существующими методами Text2Audio (SpecVQGAN, Diff-Foley и V2A-Mapper) FoleyCrafter показал лучшие результаты.
▶️ Локальный запуск с использованием GradioUI:
# Clone the Repository
git clone https://github.com/open-mmlab/foleycrafter.git
# Navigate to the Repository
cd projects/foleycrafter
# Create Virtual Environment with Conda & Install Dependencies
conda create env create -f requirements/environment.yaml
conda activate foleycrafter
# Install GiT LFS
conda install git-lfs
git lfs install
# Download checkpoints
git clone https://huggingface.co/auffusion/auffusion-full-no-adapter checkpoints/auffusion
git clone https://huggingface.co/ymzhang319/FoleyCrafter checkpoints/
# Run Gradio
python app.py --share
🧠 Нейросети и CV: как заработать на будущем уже сегодня
Grand View Research считают что рынок AI и машинного обучения достигнет $8,1 млрд к 2028 году. Это золотая жила для тех, кто успеет запрыгнуть в этот поезд!
ТГУ и Skillfactory предлагают вам билет первого класса – онлайн-магистратуру "Компьютерное зрение и нейронные сети". Вы освоите Computer Vision: от классических методов до трехмерных моделей.
Решите реальные задачи от Rubius, ПЭК, Эксмо, Forecast NOW и выберите специализацию — AR, генеративный дизайн или робототехнику.
Научитесь самостоятельно решать задачи Computer Vision с помощью библиотеки OpenCV и нейросетей.
Обучение онлайн и все студенческие льготы сохраняются. Стоимость первый год – от 240 р/мес.
Записывайтесь сейчас и получите подготовительный курс бесплатно: https://go.skillfactory.ru/pm7bBw
Реклама. ООО «Скилфэктори»
erid: LjN8K3hWK
Meta-prompting Optimized Retrieval-augmented Generation
Proposes a method to enhance RAG by refining retrieved content using meta-prompting optimization, demonstrating a 30% performance improvement in multi-hop QA tasks.
📝https://arxiv.org/abs/2407.03955
👨🏽💻https://github.com/nlx-group/rag-meta-prompt
@opendatascience
⚡️ BERGEN: A Benchmarking Library for Retrieval-Augmented Generation
Naver introduces a Python library for standardizing RAG experiments and reveals key insights through extensive benchmarking.
📝https://arxiv.org/abs/2407.01102
👨🏽💻https://github.com/naver/bergen
@opendatascience
Yandex introduces YaFSDP, a method for faster and more efficient LLM training
This enhanced version of FSDP significantly improves LLM training efficiency by optimizing memory management, reducing unnecessary computations, and streamlining communication and synchronization. Here’s an overview of YaFSDP based on this Medium article.
How it works:
- Layer sharding: YaFSDP shards entire layers for efficient communication and reduced redundancy, minimizing memory usage across GPUs.
- Buffer pre-allocation: YaFSDP pre-allocates buffers for all necessary data, eliminating inefficiencies. This method uses two buffers for intermediate weights and gradients, alternating between odd and even layers.
Using CUDA streams, YaFSDP effectively manages concurrent computations and communications. Furthermore, the method ensures that data transfers occur only when necessary and minimizes redundant operations. To optimize memory consumption, YaFSDP employs sharding and efficient buffer use while reducing the number of stored activations.
Comparatively, YaFSDP has demonstrated a speedup of up to 26% over the standard FSDP method and can facilitate up to 20% savings in GPU resources. In a pre-training scenario involving a model with 70 billion parameters, using YaFSDP can save the resources of approximately 150 GPUs monthly.
For those interested in implementing this method, Yandex has made it open-source and available on GitHub:
https://github.com/yandex/YaFSDP
More reviews of NLP-articles in Russian in TG channel - @StuffyNLP
🐹 В интернете только и разговоров, что о тапанье хомяка. Превратятся ли игровые монетки в криптоденьги, пока сказать сложно. Но уже понятно, что будущее — за цифровыми валютами.
Чтобы развивать новые финансовые технологии, рынку нужны аналитики данных в финтехе. Они наиболее востребованы в сфере блокчейн-разработок, big data и цифровых валют, в госструктурах, банках и инвестиционных компаниях.
Как раз таких специалистов готовят в онлайн-магистратуре МФТИ и Нетологии «Финансовые технологии и аналитика». Вы на практике научитесь анализировать и обрабатывать big data, работать с базами данных, строить финансовые модели, применять ИИ и ML-алгоритмы.
В качестве дипломной работы сможете выбрать классическую диссертацию или разработать новое финтех-решение — корпоративный проект на основе кейса либо собственный стартап. А если оформить ООО для стартапа, можно получить финансирование от фондов и акселераторов.
Узнайте больше о программе и начните строить карьеру в перспективной сфере: https://netolo.gy/dfu8
Реклама. ООО "Нетология". Erid: 2VSb5wg8N8p
🎨 pypalettes: A large (+2500) collection of color maps for matplotlib/seaborn.
Поиск идеальных цветов для вашей диаграммы на Python может оказаться непростой задачей. Выбор цветов вручную часто приводит к перебору множества неподходящих вариантов.
Pypalette - новый пакет предоставляет коллекцию цветов из более чем 2500 палитр, тщательно отобранных сотнями экспертов.
Это приложение позволяет вам без особых усилий изучать различные палитры и выбирать лучшие ваорианты.
Импортируется всего в две строки кода, работает с диаграммами Matplotlib.
Найдите для себя подходящую цветовую палитру, которая выделит вашу диаграмму на общем фоне! 😍pip install git+https://github.com/JosephBARBIERDARNAL/pypalettes.git
▪Github
▪Проект
@data_analysis_ml
⚡️ Qwen2 - самый крутой релиз откртых LLM со времен Llama 3!
Alibaba только что выпустили свое новое семейство мультиязычных моделей, которых превосходят по производительности Llama 3 по многим параметрам.
🤯 Qwen2 выпущен в 5 размерах, обучен на 29 языках!
5️⃣ Размеры: 0.5B, 1.5B, 7B, 57B-14B (MoE), 72B.
✅ Контекст: 32k для 0.5B & 1.5B, 64k для 57B MoE, 128k для 7B и 72B
✅ Поддерживает 29 языков.
📜 Выпущены под лицензией Apache 2.0, за исключением версии 72B.
📖 BLOG: https://qwenlm.github.io/blog/qwen2/
🤗 HF collection: https://huggingface.co/collections/Qwen/qwen2-6659360b33528ced941e557f
🤖 https://modelscope.cn/organization/qwen
💻 GitHub: https://github.com/QwenLM/Qwen2
@ai_machinelearning_big_data
🚀🎉Another exciting day for Multimodal AI! The MiniCPM-V repository by is trending on GitHub.
🤯 Impressive Results:
👉MiniCPM-Llama3-V 2.5 (8B) surpasses GPT-4V, Gemini Pro, & Claude 3
👉MiniCPM-V 2.0 (2B) surpasses Yi-VL 34B, CogVLM-Chat 17B, & Qwen-VL-Chat 10B
MiniCPM-V is efficiently deployable on end-side devices🤖📱 Read more: https://github.com/OpenBMB/MiniCPM-V
🚀MiniCPM-V is building with Gradio to showcase framework's flexibility for creating powerful AI Vision apps. Local Gradio demo: https://github.com/OpenBMB/MiniCPM-V?tab=readme-ov-file#webui-demo
@opendatascience
Images that Sound: Composing Images and Sounds on a Single Canvas
abs: https://arxiv.org/abs/2405.12221
project page: https://ificl.github.io/images-that-sound/
code: https://github.com/IFICL/images-that-sound
This paper introduces an inference-time procedure that generates images that are also spectrograms corresponding to the prompt. It uses a latent image and audio diffusion model with same latent space (Stable Diffusion v1.5 and Auffusion) and denoise the same latent with both.
@opendatascience
🧬 AlphaFold 3 predicts the structure and interactions of all of life’s molecules
Google DeepMind представили Alpha Fold3, новую модель искусственного интеллекта, которая предсказывает структуру и взаимодействия молекул.
Благодаря точному прогнозированию структуры белков, ДНК, РНК и многого другого, а также того, как они взаимодействуют, наше понимание биологического мира может выйти на новый уровень, а в практическом применение поможет разработке новых лекарств.
Эта революционная модель, может предсказывать структуру и взаимодействия всех молекул жизни с беспрецедентной точностью.
На основе входного списка молекул Alpha Fold3 генерирует их общую трехмерную структуру, показывая, как они сочетаются друг с другом. Программа моделирует крупные биомолекулы, такие как белки, ДНК и РНК, а также небольшие молекулы, также известные как лиганды.
Кроме того, Alpha Fold3 может моделировать химические модификации этих молекул, которые контролируют здоровое функционирование клеток, нарушение которых может привести к различным заболеваниям.
Теперь для учёные со всего мира могут работать с AlphaFold 3 совершенно бесплатно.
▪Blog: https://blog.google/technology/ai/google-deepmind-isomorphic-alphafold-3-ai-model/
▪Nature: https://www.nature.com/articles/s41586-024-07487-w
▪Two Minute Papers: https://www.youtube.com/watch?v=Mz7Qp73lj9o
@ai_machinelearning_big_data
This is what we started with and results still look good for 2021. Back in a day we used neural networks for generation of the logo for the channel and it saved us quite some time on communication with designers.
Читать полностью…Discover, download, and run local LLMs
LM Studio allows to run #LLM model of your choice locally
Link: https://lmstudio.ai/
⚡️Map-relative Pose Regression🔥(#CVPR2024 highlight)
For years absolute pose regression did not work. There was some success by massively synthesising scene-specific data. We train scene-agnostic APR and it works.
▪Paper: https://arxiv.org/abs/2404.09884
▪Page: https://nianticlabs.github.io/marepo
@opendatascience
🥔 YaART: Yet Another ART Rendering Technology
💚 This study introduces YaART, a novel production-grade text-to-image cascaded diffusion model aligned to human preferences using Reinforcement Learning from Human Feedback (RLHF).
💜 During the development of YaART, Yandex especially focus on the choices of the model and training dataset sizes, the aspects that were not systematically investigated for text-to-image cascaded diffusion models before.
💖 In particular, researchers comprehensively analyze how these choices affect both the efficiency of the training process and the quality of the generated images, which are highly important in practice.
▪Paper page - https://ya.ru/ai/art/paper-yaart-v1
▪Arxiv - https://arxiv.org/abs/2404.05666
▪Habr - https://habr.com/ru/companies/yandex/articles/805745/
@opendatascience
⚡️ Google presents YouTube-SL-25
A Large-Scale, Open-Domain Multilingual Sign Language Parallel Corpus
Even for better-studied sign languages like American Sign Language (ASL), data is the bottleneck for machine learning research.
The situation is worse yet for the many other sign languages used by Deaf/Hard of Hearing communities around the world. In this paper, we present YouTube-SL-25, a large-scale, open-domain multilingual corpus of sign language videos with seemingly well-aligned captions drawn from YouTube. With >3000 hours of videos across >25 sign languages, YouTube-SL-25 is a) >3x the size of YouTube-ASL, b) the largest parallel sign language dataset to date, and c) the first or largest parallel dataset for many of its component languages.
We provide baselines for sign-to-text tasks using a unified multilingual multitask model based on T5 and report scores on benchmarks across 4 sign languages. The results demonstrate that multilingual transfer benefits both higher- and lower-resource sign languages within YouTube-SL-25.
https://huggingface.co/papers/2407.11144
@opendatascience
Smol Model 🚨: Danube 3 0.5B & 4B LLMs by H2o! 🔥
> Beats Qwen 2 0.5B and competitive with Phi3 4B
> Apache 2.0 licensed checkpoints ⚡
> Uses Llama architecture w/ Mistral tokenizer (32K vocabulary)
> 8192 context length along with Grouped Query Attention
> 4B trained on 6T tokens and 0.5B on 4T tokens with multiple stages
https://huggingface.co/collections/h2oai/h2o-danube3-6687a993641452457854c609
@opendatascience
Олды в сборе?
Наверняка каждый из вас хотя бы раз играл в Pac-Man или слышал об этой культовой игре.
Cloud․ru вдохновился идеей и запустил на Хабре облачный турнир по мотивам Pac-Man!
Cloud․ru — провайдер, который делает доступ к облакам и AI простым и удобным. А еще веселым🙂 Участвуй в облачной миссии Cloud-Man’а: собери все on-premise решения, не забудь захватить топовые бусты облака Cloud․ru Evolution и избегай тех, у кого есть сомнения в миграции.
Трех участников, которые наберут наибольшее количество очков, ждут крутые призы:
• бонусные баллы (= рубли) на все сервисы облачной платформы Cloud․ru Evolution: 100 000 баллов — за первое место, 70 000 баллов — за второе и 50 000 баллов — за третье;
• толстовка с принтом игры каждому финалисту.
Набирай очки до 28 июля включительно и не забудь подписаться на блог Cloud․ru — здесь опубликуют список победителей, а в августе к счастливчикам уже поедут призы.
🕹️ Играть в Cloud-Man
Станьте профессионалом в области Data Science и машинного обучения в магистратуре от Центрального университета!
Центральный университет — современный вуз, созданный при поддержке ведущих компаний России: Т-Банка, Авито и других.
Получите диплом магистра в области математики и компьютерных наук и обучайтесь на основе реальных кейсов ведущих ИТ-компаний у профессоров из МГУ, МФТИ, РЭШ и практиков из индустрии. Хорошая новость для тех, кто уже имеет опыт в Data Science и машинном обучении — вы можете пропустить базовое обучение и закончить магистратуру за 3 семестра.
У каждого студента будет:
- личный ментор по траектории обучения;
- доступ к карьерному центру с коучами и консультантами;
- опыт работы в проектах партнеров уже во время обучения.
Участвуйте в онлайн-отборе, чтобы выиграть грант на обучение до 1,2 млн рублей. Больше подробностей про университет и конкурс грантов по ссылке!
erid:2VtzquX1Phi
Реклама, АНО ВО «Центральный университет», ИНН 7743418023
🔥 Interview questions on DS, AI, ML, DL, NLP, Python,computer vision.
Большая подборка вопросов для собеседования по DS, AI, ML, DL, NLP, компьютерному зрению.
Подборка вопросов для собеседования поможет вам на собеседовании в области науки о данных, искусственного интеллекта, машинного обучения, глубинного обучения, обработки естественного языка, компьютерного зрения.
▪100 вопросов с собеседований Data Science
▪100 вопросов для собеседования по машинному обучению в 2024 году
▪Более 100 вопросов с собеседования Python. Разбор реальных вопросов.
▪50 вопросов для собеседования по компьютерному зрению в 2024 году
▪50 вопросов для интервью по глубинному обучению в 2024 году
▪50 вопросов для интервью по НЛП (обработке естественного языка) в 2024 году
▪Топ-60 вопросов с собеседований R
@machinelearning_interview
Open-MAGVIT2: Democratizing Autoregressive Visual Generation 🔥
QGAN remains essential in autoregressive visual generation, despite limitations in codebook size and utilization that underestimate its capabilities. MAGVIT2 addresses these issues with a lookup-free technique and a large codebook, showing promising results in image and video generation, and playing a key role in VideoPoet
https://github.com/TencentARC/Open-MAGVIT2
@opendatascience
Сбер проведет открытую технологическую конференцию GigaConf 2024.
27 июня в «Дизайн заводе» соберутся ведущие инженеры и разработчики из Сбера, Билайна, Positive Technologies, Т-Банка, МТС и других компаний.
Вместе они погрузят вас в темы:
— машинное обучение и искусственный интеллект;
— инструменты разработчика;
— DevOps;
— инженерия данных;
— безопасность приложений;
— системный анализ
— инновации и стратегии.
Зарегистрироваться и узнать подробности можно на сайте конференции.
Участие бесплатное!
🔥🔥🔥 YOLOv10: Real-Time End-to-End Object Detection
⚡️ Вышла новая версия детектора объектов YOLOv10
Добавлена новая функция сквозного обнаружения объектов в реальном времени. Код выпущен под лицензией GNU GPL v3.0
▪Paper: arxiv.org/pdf/2405.14458
▪Github: https://github.com/THU-MIG/yolov10/
▪Demo :https://huggingface.co/spaces/kadirnar/Yolov10
▪Colab: https://colab.research.google.com/github/roboflow-ai/notebooks/blob/main/notebooks/train-yolov10-object-detection-on-custom-dataset.ipynb#scrollTo=SaKTSzSWnG7s
@ai_machinelearning_big_data
Если вас интересует аналитика или вы уже развиваетесь в этой сфере и хотите существенно улучшить свои скиллы, запишитесь на курс "Аналитик PRO" от Changellenge Education.
Changellenge Education – специализированная школа аналитики, которая уже выпустила 3 500 специалистов. Их выпускники работают в Яндексе, VK, Газпроме и других крупных компаниях.
"Аналитик PRO" – самый полный курс аналитики на рынке. Он подойдет вам, если вы хотите прокачаться как аналитик данных, бизнес-аналитик, финансовый аналитик. В курсе собрано всё, что нужно для роста в любом направлении аналитики.
На 12 месячной программе вы прокачаете ключевые навыки, необходимые аналитику — работа с данными:
🔵Python, SQL, Excel,
а также визуализация данных:
🔵Tableau, PPT, и с помощью Python.
Вы научитесь строить финансовые модели, погрузитесь в продуктовую и маркетинговую аналитику.
Больше 2/3 курса — это практические задачи и реальные бизнес-проекты от реальных компаний уровня Тинькофф.
Эти проекты можно будет сразу указать в резюме и портфолио, чтобы выделиться на фоне других кандидатов. Благодаря набору востребованных навыков, пулу проектов и после выпуска вы сможете претендовать на интересные офферы с достойной зарплатой на старте.
Это реально важно, конкуренция джунов сейчас большая, работодателям нужна практика и опыт работы и в Changellenge Education это учитывают.
По промокоду ODS10 вас ждет скидка в 10 000 рублей от нашего канала. Скидка действует 48 часов. Оставьте заявку по ссылке и начните свою карьеру в аналитике уже сегодня. Успехов!
Реклама. ООО «Высшая школа аналитики и стратегии». ИНН:7716917009 erid: 2Vtzqv6zrVR
Блокчейн TON ищет талантливых разработчиков!
Стартует масштабный хакатон “The Open League Hackathon” с призовым пулом $2,000,000 от команды блокчейна TON.
В поддержку хакатона все Web3-энтузиасты приглашаются на трёхдневные оффлайн встречи для нетворкинга в 13 городах мира:
📍Прага, Берлин, Киев, Варшава, Тбилиси, Белград, Сеул, Тайбэй (Тайвань), Гуруграм (Индия), Гонг-Конг, Минск, Москва и Санкт-Петербург.
Первые встречи начнутся уже 24 мая. Ищи свой город и регистрируйся здесь 👈 тык
Что вас ждет:
— 3 дня нетворка, лекций, конкурсов и работы над собственными проектами с поддержкой представителей TON Foundation и команд экосистемы TON
— Призовые $5.000 для трех лучших проектов на каждом оффлайн ивенте + много мерча и других бонусов
Не упусти возможность представить свое приложение 900 миллионам активных пользователей Telegram вместе с TON.
Регистрируйся — https://society.ton.org/activities/open-league
We followed on developing theme in Novemeber 2022. And it looks like we might have another attempt to renew our avatar, what do you think?
Читать полностью…🔥 Say Goodbye to LoRA, Hello to DoRA 🤩🤩
DoRA consistently outperforms LoRA with various tasks (LLM, LVLM, etc.) and backbones (LLaMA, LLaVA, etc.)
[Paper] https://arxiv.org/abs/2402.09353
[Code] https://github.com/NVlabs/DoRA
#Nvidia
#icml #PEFT #lora #ML #ai
@opendatascience
👑Llama 3 is here, with a brand new tokenizer! 🦙
Вышла Llama 3
Meta выпустила новую SOTA Llama 3 в двух версиях на 8B и 70B параметров.
Длина контекста 8К, поддержка 30 языков.
•HF: https://huggingface.co/spaces/ysharma/Chat_with_Meta_llama3_8b
•Blog: https://ai.meta.com/blog/meta-llama-3/
Вы можете потестить 🦙 MetaLlama 3 70B и 🦙 Meta Llama 3 8B с помощью 🔥 бесплатного интерфейса: https://llama3.replicate.dev/
@ai_machinelearning_big_data
🔥 ControlNet++: Improving Conditional Controls
with Efficient Consistency Feedback
Proposes an approach that improves controllable generation by explicitly optimizing pixel-level cycle consistency
proj: https://liming-ai.github.io/ControlNet_Plus_Plus/
abs: https://arxiv.org/abs/2404.07987
@opendatascience
⚡️ PiSSA: Principal Singular Values and Singular Vectors Adaptation of Large Language Models
Significantly improved finetuned perf by simply changing the initialization of LoRA's AB matrix from Gaussian/zero to principal components.
On GSM8K, Mistral-7B fine-tuned with PiSSA achieves an accuracy of 72.86%, outperforming LoRA’s 67.7% by 5.16%.
▪Github: https://github.com/GraphPKU/PiSSA
▪Paper: https://arxiv.org/abs/2404.02948
@opendatascience