15160
@haarrp - админ Вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейроннным сетям @data_analysis_ml - анализ данных @ai_machinelearning_big_data @itchannels_telegram - важное для программиста
🎮 GTA-Human II
Проект, который создан на основе GTA-V для оценки позы и движения человека.
В нем представлены сцены с участием нескольких человек с аннотациями.
В дополнение к цветным последовательностям изображений также предоставляются трехмерные ограничивающие рамки и обрезанные облака точек (созданные на основе синтетических изображений).
страница проекта: https://caizhongang.com/projects/GTA-Human/gta-human_v2.html
@bigdatai
Phidias
Генеративная модель для создания 3D-контента из текста, изображения и 3D-условий с помощью диффузии с добавлением ссылок
https://huggingface.co/papers/2409.11406
@bigdatai
NVIDIA’s New AI Is Really Good At Moving Rabbits!
https://www.youtube.com/watch?v=l4JCJEdbfzs
@bigdatai
Mistral выпустили улучшенную модель Small 22B - Многоязычную модель с контекстом 128K контекст
Промежуточная модель между Mistral NeMo 12B и Mistral Large 123B.
> Параметры 22B
> Поддерживает вызов функций
> Длина контекста 128k
> Доступны весаpip install --upgrade vllm
🤗Веса: https://huggingface.co/mistralai/Mistral-Small-Instruct-2409
@bigdatai
Красивая визуализация нейронной сети, обученной на MNIST
Нейрона была написана с нуля на языке Odin и визуализирована с помощью Raylib.
https://github.com/bones-ai/odin-mnist-nn
@bigdatai
Узнайте, как обучать и развертывать модели с помощью контейнеров Deep Learning Containers.
https://huggingface.co/docs/google-cloud/index
@bigdatai
⚡️ Vchitect-2.0, модель генерации видео 2B, поддерживающая разрешение до 720x480 и генерацию 5-20 секунд.
👉 Сайт: https://vchitect.intern-ai.org.cn
👉 Код: https://github.com/Vchitect/Vchitect-2.0
👉 Демо: https://huggingface.co/spaces/Vchitect/Vchitect-2.0
@bigdatai
✍️ Гайд по тензорам
Книга- гайд, в которое есть все, что нужно знать о тензорах.
Тензор — это контейнер, в котором могут храниться данные в N измерениях. Часто и ошибочно используемые взаимозаменяемо с матрицей (которая, в частности, является двумерным тензором), тензоры представляют собой обобщения матриц на N -мерное пространство.
🔗 Ссылка
@bigdatai
👀 ReshotAI — это крутая нейросеть для редактирования фотографий всего за несколько кликов.
С её помощью можно легко добавить улыбку, изменить положение глаз и рта.
Фотографии теперь всегда будут получаться идеальными.
📌 Попробовать
#nn #soft
@bigdatai
🚨 Новая мощная открытая модель преобразования текста в речь: Fish Speech 1.4 - обучена на 700 тыс. часов речи, многоязычная (8 языков)🔥
> Мгновенное клонирование голоса
> Сверхнизкая задержка
> ~1 ГБ веса модели
> Веса модели на HF 🤗
https://huggingface.co/fishaudio/fish-speech-1.4
@bigdatai
Новостной дайджест
✔️ 3.7 миллиона фальшивых звезд GitHub.
Сервис Socket обнаружили 3.7 миллиона фальшивых звезд GitHub, что указывает на тенденцию роста угроз, связанных с мошенничеством, финансовыми махинациями и вредоносным ПО. Эти кампании быстро активизировались за последние шесть месяцев.
Фальшивые звезды используются для обмана пользователей, чтобы распространять вредоносное ПО и для привлечения инвестиций венчурных фондов в подставные компании с плохими показателями.
Алгоритм Socket выявил 3 746 538 подозрительных звезд за последние пять лет (с июля 2019 года по июль 2024 года) и 10 155 репозиториев, которые, по-видимому, проводили кампании по накрутке.
socket.dev
✔️ LLM не могут объяснить свои рассуждения.
В статье автор приводит интерактивную демонстрацию для проверки способности LLM распознавать и объяснять числовые последовательности, генерируемые случайными программами.
Несмотря на то, что модели в некоторых случаях определяют правильную последовательность, их объяснения бывают неверными. Этот эксперимент подтверждает существующие ограничения в рассуждающих способностях LLM, несмотря на их показатели в популярных бенчмарках.
jonathanychan.com
✔️ YouTube создает инструменты для обнаружения дипфейков лиц и голосов.
Компания представила две новые технологии: первая позволяет автоматически обнаруживать ИИ-контент, который имитирует голоса исполнителей, а вторая - обнаруживать и управлять контентом, созданным с помощью ИИ, на котором присутствуют лица людей.
Новые функции основаны на многолетнем опыте YouTube в разработке технологических подходов к решению проблем с правами в больших масштабах.
YouTube дополнительно ведет разработку новых способов предоставления авторам выбора в отношении того, как третьи стороны могут использовать их контент на платформе.
blog.youtube
✔️ Поиск нового поколения и RAG с Vertex AI.
В блоге Google Cloud опубликована статья о том, как Vertex AI можно использовать для создания поисковых приложений следующего поколения.
Статья состоит из трех частей: новые шаблоны в поиске, развитие поиска в будущем и RAG с помощью Vertex AI.
cloud.google.com
✔️ Повышение эффективности отладки C++ с помощью breakpoint expressions, генерируемых искусственным интеллектом.
В статье Devblogs Microsoft представлена новая функция в Visual Studio 2022, использующая искусственный интеллект для генерации выражений для условных точек останова и точек трассировки в коде C++. Эта функция, работающая на базе GitHub Copilot поможет разработчикам сэкономить время и силы, позволив ИИ предлагать подходящие условия или создавать собственные. В статье приводится пошаговое руководство по включению и использованию этой функции в Visual Studio 2022.
devblogs.microsoft.com
@ai_machinelearning_big_data
#news #ai #ml
Обновление VBench: VBench-Long Leaderboard 🏆VBench Update: VBench-Long Leaderboard 🏆
VBench теперь поддерживает оценку более длинных видео. Появилась таблица лидеров VBench-Long Leaderboard для моделей, которые генерируют видео длительностью 5 секунд и более.
▪Код VBench-Long: https://github.com/Vchitect/VBench
▪Таблица лидеров VBench-Long: https://huggingface.co/spaces/Vchitect/VBench_Leaderboard
@bigdatai
🎮 Произошло важное событие в мире открытого программного обеспечения: известный среди разработчиков DeveloperHarris выгорел и опубликовал все свои проекты на GitHub.
Среди них немало интересных проектов, в том числе на C#: искусственный интеллект-версия Dungeons & Dragons с виртуальным рассказчиком, целый поселок с ИИ-агентами в стиле Stardew Valley и множество других любопытных вещей.
По словам самого Харриса, несмотря на все его усилия, он понял одну печальную истину: его идеи недостаточно привлекательны, чтобы игроки возвращались снова и снова.
▪ GitHub
@bigdatai
🖥 SQLFlow - отличный инструмент для визуализации SQL-запросов
Легкий и простой интрумент для визуализация связей и структур БД, поддерживающий более 20 разных БД.
▪DEMO
▪GitHub
@bigdatai
🚀 Yi-Coder находится в открытом доступе!
Маленький, но могучий» LLM обеспечивает производительность SOTA при параметрах 10B. Превосходное редактирование кода, завершение, отладка и математические рассуждения.
✅ 2 размера: 9B и 1,5B (Chat и Base).
✅ 128K длины контекста
✅ Поддержка 52 языков программирования
Узнайте об этом прямо сейчас👇
https://huggingface.co/collections/01-ai/yi-coder-66bdb00f5bdd611f9a008f30
@bigdatai
Карьерный код Data-инженера: ошибки и лайфхаки
23 сентября приглашаем вас на бесплатный вебинар от Слёрма! Встретимся с опытным специалистом и карьерным консультантом в сфере IT, чтобы обсудить:
👉 Как становятся дата-инженерами?
👉 Как правильно показывать свой опыт и потенциал, чтобы получить оффер?
👉 Hard и Soft скиллы — что реально важно на собеседованиях?
👉 Что делать, если вы практикующий специалист, но развития не хватает?
Николай поделится секретами успеха и ошибками, которых вы сможете избежать. А Екатерина расскажет, как не сбиться с пути и выстроить эффективный карьерный трек.
➡️ 23 сентября, 20:00 мск
➡️ Занять место на вебинар – по ссылке.
До встречи!
Реклама ООО «Слёрм» ИНН 3652901451
🖥 Как загрузить ОГРОМНЫЙ Датасет в Pandas #python
https://www.youtube.com/watch?v=TQQMjGH7TM0
@bigdatai
Освойте универсальные навыки в мире цифровых профессий — научитесь работать с SQL, Python, Power BI и DataLens на бесплатном курсе от Нетологии. В результате вы:
— разберётесь в основах Python для анализа данных и узнаете, как извлекать информацию.
— научитесь делать запросы и отчёты с помощью SQL.
— сможете строить интерактивные дашборды в Power BI и DataLens.
Курс подойдёт новичкам и тем, кто хочет расширить свои навыки.
Присоединяйтесь бесплатно
Реклама. ООО "Нетология". Erid 2VSb5ybE6Pi
ИТМО назвал лидеров развития Open Source в России
Лидером среди российских компаний стал Яндекс, за ним — Сбер и Т-банк. Компании оценивались по количеству опенсорс-проектов, их популярности, качеству репозиториев и активности контрибьюторов.
Среди ключевых решений лидера рейтинга: CatBoost (библиотека для градиентного бустинга), YTsaurus (платформа для работы с большими данными) и YDB (распределённая SQL-база данных).
Ключевые выводы исследования:
— Большинство компаний ориентируются не только на внутренний, но и на международный рынок;
— GitHub остаётся стандартом, но растёт интерес к альтернативам (Gitee, GitVerse);
— Open source объединяет специалистов со всего мира;
— Конкуренция постепенно уступает место совместному развитию отрасли;
— Для развития опенсорс-проектов необходима финансовая поддержка;
— Несмотря на рост ИИ, роль человека в опенсорсе остаётся ключевой.
И получите своё предсказание🔮
Прогнозируйте изменения своих бизнес-метрик с помощью машинного обучения.
💊 Machine Learning: Медицинский дайджест за период 7.09 - 14.09 2024 года
🟩 BrainWave: модель для анализа сигналов головного мозга.
BrainWave – модель, обученная на 40 000 часах инвазивных (iEEG) и неинвазивных (EEG) записей мозговой активности 16 тыс пациентов. Это первая фундаментальная модель для анализа сигналов мозга, объединяющая данные из разных источников.
🟩 DS-ViT: Visual Transformer для ранней диагностики болезни Альцгеймера.
Dual-Stream Vision Transformer (DS-ViT) -метод, который объединяет сегментацию и классификацию для улучшения точности обучения моделей, обрабатывающих снимки МРТ головного мозга.
Он использует FastSurfer в качестве обучающей модели для детальной сегментации для обучаемой ViT-модели ADAPT (модель диагностики болезни Альцгеймера).
🟩 EyeCLIP: фундаментальная VLM для офтальмологических изображений.
EyeCLIP, визуально-языковая фундаментальная модель (VLM), обученная на более чем 2,77 миллионах мультимодальных офтальмологических изображений и 11 180 текстовых описаний от 128 000 пациентов.
Модель может выполнять задачи классификации заболеваний глаз, прогнозирование системных заболеваний, поиск информации по изображению и тексту и ответы на вопросы, связанные с изображениями патологии глаз.
🟩 Возможности SAM для сегментации опухолей мозга.
В исследовании изучается эффективность SAM для сегментации опухолей головного мозга на основе набора данных BraTS2019, который содержит изображения четырех модальностей (T1, T1ce, T2, FLAIR). Авторы оценивают эффективность SAM с использованием двух типов маркирования - точки и рамки и анализируют влияние количества маркирования на точность сегментации.
Результаты показывают, что SAM с маркировкой в виде рамок превосходит по точности маркировку в виде точек. Увеличение количества точек улучшает производительность до определенного предела, после которого точность начинает снижаться. Комбинирование точечных и рамочных маркировок позволяет добиться наилучших результатов.
🟩 MEDIC: Оценка языковых моделей для клинического применения.
MEDIC использует пять ключевых измерений клинической компетентности: медицинское мышление, этические аспекты и предвзятость, понимание данных и языка, контекстное обучение и клиническая безопасность.
Оценка проводится тестированием на задачах: ответы на закрытые и открытые вопросы, суммирование медицинских текстов и создание клинических заметок. Для оценки безопасности моделей используется набор данных Med-Safety, содержащий 900 сценариев с потенциально опасными медицинскими запросами.
Приложения с использованием языковых моделей.
🟪 KARGEN: генерация отчетов рентгенографии грудной клетки с использованием графа знаний и больших языковых моделей.
KARGEN - фреймворк, объединяющий большие языковые модели с графом знаний, специально разработанным для анализа рентгенограмм грудной клетки.
Архитектура KARGEN: энкодеры визуальных признаков (Swin Transformer), модуль слияния (element-wise fusion + modality-wise fusion) и генератор отчетов.
Энкодер визуальных признаков извлекает признаки из рентгеновского изображения, граф знаний, построенный на основе взаимосвязей между 14 заболеваниями из набора данных Chexpert, используется для извлечения признаков, связанных с этими заболеваниями.
🟪 i-MedRAG: итеративный поиск информации для ответов на сложные медицинские вопросы.
i-MedRAG - архитектура RAG, предназначенная для ответов на сложные медицинские вопросы, требующие многоэтапных рассуждений. В отличие от традиционных RAG-систем, i-MedRAG использует итеративный подход к поиску информации.
Методики и техники
🟦 Автоматическая сегментация клеток с использованием UNet в DeepChem.
В статье описан эксперимент создания интеграции модели UNet, архитектуры, известной своей эффективностью в задачах сегментации изображений, с python библиотекой DeepChem, предназначенной для машинного и глубокого обучения в биологии и химии, для задач автоматической сегментации клеток на различных наборах данных микроскопических изображений.
🔥Полный дайджест
@ai_machinelearning_big_data
#news #ai #ml #medtech
⚡️ Как генерировать сложные 3D-сцены с высокой реалистичностью?
LT3SD разлагает 3D-сцены на латентные древовидные объекты, а диффузия на латентных деревьях обеспечивает бесшовный бесконечный синтез 3D-сцен!
https://quan-meng.github.io/projects/lt3sd/
@bigdatai
Привет! Я Женя, Senior ML Engineer в AdTech, админ канала ML Advertising, автор курсов по MLOps на PyMagic (раз, два).
В своем канале пишу боевые заметки с полей Web рекламы, разработку высоконагруженных приложений и динамическое ценообразование.
Вот мои самые крутые посты (по моей оценке):
- ML в AdTech
- Как работает рекламная платформа
- Что такое аукционы в реальном времени
- Стратегии ставок в Avito
- Динамическое ценообразование в рекламе
Мои видео на YouTube:
- Traffic Filtering in Programmatic Ads
- Virtual Advertising
Присоединяйтесь, будет интересно!
🌟 LLaMA-Omni: Речевое управление LLM
LLaMA-Omni - модель, построенная на основе Llama-3.1-8B-Instruct, которая поддерживает голосовое взаимодействие с низкой задержкой ответа и высоким качеством синтеза аудио, одновременно генерируя текстовые и речевые ответы на основе голосовых инструкций.
LLaMA-Omni не требует транскрипции речи, напрямую передавая адаптированное речевое представление в LLM. LLM генерирует текстовый ответ, и, параллельно декодер речи генерирует соответствующие дискретные речевые единицы, используя скрытые состояния инференса LLM. Применение этой конструктивной особенности значительно сокращает задержку ответа до в 226 мс на chunk-size размерности 10.
Для установки и локального запуска понадобятся GPU => 20GB и набор :
🟢Модель Llama-3.1-8B-Omni
🟢Модель Whisper-large-v3;
🟠HiFi-GAN вокодер;
🟠Тулкит Fairseq;
🟠Flash-attention.
⚠️ Примечания:
🟠Gradio плохо воспроизводит потоковое аудио, поэтому автовоспроизведение в нем отключено;
🟠Чтобы запустить СLI-инференс локально, организуйте файлы речевых инструкций в соответствии с форматом в omni_speech/infer/examples, а затем обратитесь скрипту omni_speech/infer/run.sh.
▶️Установка :
# Clone repository
git clone https://github.com/ictnlp/LLaMA-Omni
cd LLaMA-Omni
# Install packages
conda create -n llama-omni python=3.10
conda activate llama-omni
pip install pip==24.0
pip install -e .
# Install fairseq
git clone https://github.com/pytorch/fairseq
cd fairseq
pip install -e . --no-build-isolation
# Install flash-attention
pip install flash-attn --no-build-isolation
http://localhost:8000/
Late Chunking: Contextual Chunk Embeddings Using Long-Context Embedding Models
Jina AI представили интересную технику, которая улучшает эмбединги текста длинного контекста для задач поиска, кодируя целые документы перед их разбиением.
📝https://arxiv.org/abs/2409.04701
👨🏽💻https://github.com/jina-ai/late-chunking
@bigdatai
✔️ Поиск нового поколения и RAG с Vertex AI.
В блоге Google Cloud опубликована статья о том, как Vertex AI можно использовать для создания поисковых приложений следующего поколения.
Статья состоит из трех частей: новые шаблоны в поиске, развитие поиска в будущем и RAG с помощью Vertex AI.
cloud.google.com
@bigdatai
👩⚕️ Большой Медицинский дайджест самых интересных проектов.
🟩 CancerLLM: LLM для онкологии.
CancerLLM - это языковая модель с 7 млрд. параметров для задач, связанных с онкологическими заболеваниями. Она была обучена на 2,67 млн. клинических записей и 515,5 тыс. отчетах о патологиях по 17 типам рака. Согласно проведенным тестам в процессе исследования, CancerLLM превосходит существующие модели на 7,61 % по показателю F1 (точность классификации).
🔸Arxiv
🟩 MedUnA: метод создания VLM для обработки медицинских снимков.
Medical Unsupervised Adaptation (MedUnA) состоит из двух этапов.
На первом этапе описания, сгенерированные LLM, соответствующие меткам классов, передаются через текстовый энкодер BioBERT. Результирующие текстовые эмбеддинги выравниваются по меткам классов с помощью упрощенного адаптера.
На втором этапе обученный адаптер интегрируется с визуальным энкодером MedCLIP, используя entropy-based loss и prompt tuning для эффективного выравнивания визуальных эмбеддингов.
🔸Arxiv
🟩 DARES: Базовая модель для роботизированной эндоскопической хирургии.
Метод, код и базовая модель для для выполнения самоконтролируемой монокулярной оценки глубины в задачах эндоскопической роботизированной хирургии.
🔸Arxiv🔸Github 🔸Model
🟩 Med-MoE: Mixture-of-Experts для медицинских VLM.
Med-MoE (Mixture-of-Experts) - легкий фреймворк для решения дискриминативных и генеративных мультимодальных медицинских задач.
Med-MoE работает в три этапа: cогласование медицинских изображений с лексемами LLMs, выбор экспертов для настройки инструкций с помощью обучаемого маршрутизатора и настройка выбранных экспертов в требуемой области.
🔸Arxiv 🔸Github
🟩 CanvOI: Визуальная модель для онкологии.
CanvOI - VL модель для цифровой патологии, основанная на ViT-g/10, оптимизированная для онкологических гистопатологических изображений. Благодаря использованию плиток размера 380 x 380 пикселей и патчей размера 10², CanvOI эффективна в задачах обучения по нескольким экземплярам (Multiple Instance Learning).
🔸Arxiv
🟩 UniUSNet: прогнозирование заболеваний на основе УЗИ.
UniUSNet - метод, код и претрейн-модель для задач классификации и сегментации ультразвуковых изображений, способный работать с различными типами УЗИ, анатомическими позициями и форматами входных данных. Обучена на более чем 9,7 тыс. аннотаций по 7 анатомическим позициям.
🔸Arxiv 🔸Github 🔸Model
Бенчмарки и наборы данных для оценки
🟥 TrialBench: Датасет клинических испытаний.
23 набора мультимодальных данных, предварительно структурированных для использования в задачах файнтюна моделей, оценки и прогнозирования ключевых результатов по показателям: продолжительность испытаний, отсев пациентов, уровень смертности и одобрение испытаний.
🔸Arxiv 🔸Github 🔸Dataset
🟥 LLM для бенчмарка по MedQA.
Исследование использования LLM для автоматизации оценки медицинских систем вопросов и ответов, традиционно требующих ручной оценки экспертов. Траектория изысканий сосредоточена на том, могут ли LLM имитировать человеческую оценку, анализируя ответы на вопросы, полученные из данных о пациентах.
Спойлер — могут, с абсолютной погрешностью 0,62 по шкале от 0 до 3.
🔸Arxiv
🟥 MedFuzz: Исследование надежности медицинских LLM.
MedFuzz от Microsoft Research - это состязательный метод проверки устойчивости LLM в эталонных тестах MedQA путем модификации вопросов таким образом, чтобы использовать нереалистичные предположения.
MedFuzz показывает, как LLM могут ошибаться таким образом, чтобы не обмануть медицинских экспертов, выявляя пробелы в их обобщении для реальных клинических условий.
🔸Arxiv
🟥MedS-Bench + Medicines: Оценка работы LLM в клинических задачах и датасет для обучения.
MedS-Bench - бенчмарк и датасет для оценки эффективности моделей в решении 11 клинических задач из 3 областей: обобщение отчетов, диагностика и рекомендации по лечению.
MedS-Ins - набор данных для настройки инструкций с 5 миллионами экземпляров для 122 задач.
🔸Arxiv 🔸Leaderboard 🔸Github 🔸Dataset MedS-Ins
🔥Полный дайджест
@ai_machinelearning_big_data
#news #ai #ml #medtech
👁️ YOLOv9 - лучший детектор объектов, с самой высокой точностью обнаружения
В то же время, он имеет на 15% меньше параметров, чем YOLOv8.
ссылка: https://roboflow.github.io/model-leaderboard
@bigdatai
😖 Google DeepMind только что выпустили еще один крутой биотех инструмент с искусственным интеллектом: AlphaProteo
Это AI для разработки новых белков. Он поможет в разработке лекарств, для лечения рака, аутоиммунных заболеваний, а так же лечения множества других заболеваний 🧬
Ученые предрекают возможность создания нового белкового материала, который будет связываться с белками, участвующими в передаче сигналов между раковыми клетками, нарушая их функцию и вызывая их гибель
Исследователи смогу смоделировать и лучше понять, как функционируют биологические системы, сэкономить время на исследованиях, усовершенствовать разработку лекарств и многое другое. 🧵
Анонс
Статья
@ai_machinelearning_big_data
#deepmind #ai #ml #biology #biotech
⭐️ Крутой проект на Github - openperplex - поисковая система искусственного интеллекта с открытым исходным кодом
- Полный поиск с источниками, цитатами и соответствующими вопросами
- Простой поиск для быстрых ответов
- Потоковый поиск для обновлений в реальном времени
- Поиск содержимого сайта (текст, разметка и даже скриншоты!)
- Запрос на основе URL
- Бесплатный уровень: 500 запросов в месяц
https://github.com/YassKhazzan/openperplex_backend_os
@bigdatai