17610
@haarrp - админ Вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейроннным сетям @data_analysis_ml - анализ данных @ai_machinelearning_big_data @itchannels_telegram - важное для программиста
🖥 Энтузиаст сделал "альтернативу ChatGPT-o1" (По его заявлениям).
🌟 Модель успешно проходит тесты вроде количества "r" в "strawberry"
🌟 Автор отмечает, что она также хорошо справляется с логическими задачами, с которыми не могут справиться даже модели вроде o1, 4o или Claude
🌟 Модель разбивает комплексные задачи на более мелкие, что способствует более точному решению
🔐 Лицензия: не указана
👩💻 Написана на Python с использованием React для фронтенда
▪️Github
@bigdatai
🖥 10 малоизвестных библиотек Python для работы с данными
• PyGWalker: PyGWalker упрощает рабочий процесс анализа и визуализации данных в Jupyter Notebook, превращая фрейм данных pandas (или фрейм данных polars) в пользовательский интерфейс в стиле Tableau для визуального исследования.
• SciencePlots: Создаёт профессиональные графики matplotlib для презентаций, исследовательских работ и т.д.
• CleverCSV: Устраняет ошибки синтаксического анализа при чтении CSV-файлов с помощью Pandas.
•
• Fastparquet: Ускоряет ввод-вывод pandas в 5 раз.
• Bottleneck: ускоряет работу методов NumPy в 25 раз. Особенно, если массив имеет значения NaN.
• Multipledispatch: предоставляет методы для перегрузку функций в Python.
• Aquarel: дополнительные стили графиков matplotlib.
• Modelstore: библиотека моделей машинного обучения для лучшего отслеживания работы моделей.
• Pigeon: помогает анотировать данные щелчками мышки в Jupyter notebook.
• Nbcommands: помогает легко выполнять поиск кода в Jupyter notebooks, а не выполнять это вручную.
📌Подробнее с примерами кода
@pythonl
Большинство моделей от Mistral теперь доступны бесплатно по API 😱
Что за аттракцион невиданной щедрости? Вероятно, ваши запросы будут использованы для обучения новых моделей (хотя это не точно).
VPN не требуется, карта не нужна. Пользуйтесь!
@data_analysis_ml
Освойте аналитику данных, обучаясь на кейсах из реального бизнеса *️⃣
Вы будете не просто изучать аналитику — вы будете решать рабочие задачи, что равноценно прохождению стажировки начинающим аналитиком.
👆Подбираем персональный трек обучения под ваши задачи — устроиться в крупную IT-компанию или релоцироваться. А также помогаем с прохождением собеседований.
👆87% учеников за 2 месяца находят работу. Наши выпускники работают в Тинькофф, Авито, Яндекс, Skyeng, Магнит, Сбер, Ozon, Альфабанк и др. компаниях.
По итогам курса вы сформируете собственное портфолио. Такого не будет ни у кого больше. Уникальное оформление, максимально прикладные задачи из разных сфер бизнеса. Их невозможно сгуглить или найти разбор на Хабре.
Обучайтесь в комфортном темпе: доступ к материалам останется у вас навсегда.
Вы еще успеваете начать обучение с текущим потоком🔥
Оставляйте заявку на сайте и получите 10% скидку по промокоду BIG
🎮 GTA-Human II
Проект, который создан на основе GTA-V для оценки позы и движения человека.
В нем представлены сцены с участием нескольких человек с аннотациями.
В дополнение к цветным последовательностям изображений также предоставляются трехмерные ограничивающие рамки и обрезанные облака точек (созданные на основе синтетических изображений).
страница проекта: https://caizhongang.com/projects/GTA-Human/gta-human_v2.html
@bigdatai
Phidias
Генеративная модель для создания 3D-контента из текста, изображения и 3D-условий с помощью диффузии с добавлением ссылок
https://huggingface.co/papers/2409.11406
@bigdatai
NVIDIA’s New AI Is Really Good At Moving Rabbits!
https://www.youtube.com/watch?v=l4JCJEdbfzs
@bigdatai
Mistral выпустили улучшенную модель Small 22B - Многоязычную модель с контекстом 128K контекст
Промежуточная модель между Mistral NeMo 12B и Mistral Large 123B.
> Параметры 22B
> Поддерживает вызов функций
> Длина контекста 128k
> Доступны весаpip install --upgrade vllm
🤗Веса: https://huggingface.co/mistralai/Mistral-Small-Instruct-2409
@bigdatai
Красивая визуализация нейронной сети, обученной на MNIST
Нейрона была написана с нуля на языке Odin и визуализирована с помощью Raylib.
https://github.com/bones-ai/odin-mnist-nn
@bigdatai
Узнайте, как обучать и развертывать модели с помощью контейнеров Deep Learning Containers.
https://huggingface.co/docs/google-cloud/index
@bigdatai
⚡️ Vchitect-2.0, модель генерации видео 2B, поддерживающая разрешение до 720x480 и генерацию 5-20 секунд.
👉 Сайт: https://vchitect.intern-ai.org.cn
👉 Код: https://github.com/Vchitect/Vchitect-2.0
👉 Демо: https://huggingface.co/spaces/Vchitect/Vchitect-2.0
@bigdatai
✍️ Гайд по тензорам
Книга- гайд, в которое есть все, что нужно знать о тензорах.
Тензор — это контейнер, в котором могут храниться данные в N измерениях. Часто и ошибочно используемые взаимозаменяемо с матрицей (которая, в частности, является двумерным тензором), тензоры представляют собой обобщения матриц на N -мерное пространство.
🔗 Ссылка
@bigdatai
👀 ReshotAI — это крутая нейросеть для редактирования фотографий всего за несколько кликов.
С её помощью можно легко добавить улыбку, изменить положение глаз и рта.
Фотографии теперь всегда будут получаться идеальными.
📌 Попробовать
#nn #soft
@bigdatai
🚨 Новая мощная открытая модель преобразования текста в речь: Fish Speech 1.4 - обучена на 700 тыс. часов речи, многоязычная (8 языков)🔥
> Мгновенное клонирование голоса
> Сверхнизкая задержка
> ~1 ГБ веса модели
> Веса модели на HF 🤗
https://huggingface.co/fishaudio/fish-speech-1.4
@bigdatai
Новостной дайджест
✔️ 3.7 миллиона фальшивых звезд GitHub.
Сервис Socket обнаружили 3.7 миллиона фальшивых звезд GitHub, что указывает на тенденцию роста угроз, связанных с мошенничеством, финансовыми махинациями и вредоносным ПО. Эти кампании быстро активизировались за последние шесть месяцев.
Фальшивые звезды используются для обмана пользователей, чтобы распространять вредоносное ПО и для привлечения инвестиций венчурных фондов в подставные компании с плохими показателями.
Алгоритм Socket выявил 3 746 538 подозрительных звезд за последние пять лет (с июля 2019 года по июль 2024 года) и 10 155 репозиториев, которые, по-видимому, проводили кампании по накрутке.
socket.dev
✔️ LLM не могут объяснить свои рассуждения.
В статье автор приводит интерактивную демонстрацию для проверки способности LLM распознавать и объяснять числовые последовательности, генерируемые случайными программами.
Несмотря на то, что модели в некоторых случаях определяют правильную последовательность, их объяснения бывают неверными. Этот эксперимент подтверждает существующие ограничения в рассуждающих способностях LLM, несмотря на их показатели в популярных бенчмарках.
jonathanychan.com
✔️ YouTube создает инструменты для обнаружения дипфейков лиц и голосов.
Компания представила две новые технологии: первая позволяет автоматически обнаруживать ИИ-контент, который имитирует голоса исполнителей, а вторая - обнаруживать и управлять контентом, созданным с помощью ИИ, на котором присутствуют лица людей.
Новые функции основаны на многолетнем опыте YouTube в разработке технологических подходов к решению проблем с правами в больших масштабах.
YouTube дополнительно ведет разработку новых способов предоставления авторам выбора в отношении того, как третьи стороны могут использовать их контент на платформе.
blog.youtube
✔️ Поиск нового поколения и RAG с Vertex AI.
В блоге Google Cloud опубликована статья о том, как Vertex AI можно использовать для создания поисковых приложений следующего поколения.
Статья состоит из трех частей: новые шаблоны в поиске, развитие поиска в будущем и RAG с помощью Vertex AI.
cloud.google.com
✔️ Повышение эффективности отладки C++ с помощью breakpoint expressions, генерируемых искусственным интеллектом.
В статье Devblogs Microsoft представлена новая функция в Visual Studio 2022, использующая искусственный интеллект для генерации выражений для условных точек останова и точек трассировки в коде C++. Эта функция, работающая на базе GitHub Copilot поможет разработчикам сэкономить время и силы, позволив ИИ предлагать подходящие условия или создавать собственные. В статье приводится пошаговое руководство по включению и использованию этой функции в Visual Studio 2022.
devblogs.microsoft.com
@ai_machinelearning_big_data
#news #ai #ml
🚀 Как распределить и оптимизировать нагрузку для моделей, использующих как GPU, так и CPU.
Руководитель группы автоматической генерации рекламы из Яндекса поделилась опытом генерации миллиардов рекламных объявлений с использованием YandexGPT и BERT-модели.
https://habr.com/ru/companies/yandex/articles/842024/
@bigdatai
⚡️ Шпаргалка по техникам регуляризации в машинном обучении
@bigdatai
✅ 3DTopia-XL GenAI Foundation✅
"3DTopia-XL", мощный трансформер создания 3D-PBR-объектов.
- Проект: https://3dtopia.github.io/3DTopia-XL/
- Код: https://github.com/3DTopia/3DTopia-XL
- Демо : https://huggingface.co/spaces/FrozenBurning/3DTopia-
@bigdatai
Разработчики Kling AI представили новый инструмент Motion Brush, который позволяет анимировать отдельные объекты в видео. Пользователи могут загружать изображения и задавать пути движения, просто нарисовав траекторию ✍️. Это дает возможность точно управлять движением до шести элементов одновременно, что делает видео более динамичными и увлекательными 🎥.
Среди ключевых функций Kling AI 1.5 — поддержка 1080p HD для улучшенного качества изображений и возможность комбинирования статических и анимированных объектов. Это позволяет авторам фиксировать определенные области, предотвращая нежелательные движения в финальном видео 🌟.
Kling Motion Brush — это революция в создании видео, открывающая новые горизонты для контент-креаторов! 🚀
Пробуем здесь.
#KlingAI #MotionBrush #AI #VideoCreation #Animation #DigitalArt
@bigdatai
Карьерный код Data-инженера: ошибки и лайфхаки
23 сентября приглашаем вас на бесплатный вебинар от Слёрма! Встретимся с опытным специалистом и карьерным консультантом в сфере IT, чтобы обсудить:
👉 Как становятся дата-инженерами?
👉 Как правильно показывать свой опыт и потенциал, чтобы получить оффер?
👉 Hard и Soft скиллы — что реально важно на собеседованиях?
👉 Что делать, если вы практикующий специалист, но развития не хватает?
Николай поделится секретами успеха и ошибками, которых вы сможете избежать. А Екатерина расскажет, как не сбиться с пути и выстроить эффективный карьерный трек.
➡️ 23 сентября, 20:00 мск
➡️ Занять место на вебинар – по ссылке.
До встречи!
Реклама ООО «Слёрм» ИНН 3652901451
🖥 Как загрузить ОГРОМНЫЙ Датасет в Pandas #python
https://www.youtube.com/watch?v=TQQMjGH7TM0
@bigdatai
Освойте универсальные навыки в мире цифровых профессий — научитесь работать с SQL, Python, Power BI и DataLens на бесплатном курсе от Нетологии. В результате вы:
— разберётесь в основах Python для анализа данных и узнаете, как извлекать информацию.
— научитесь делать запросы и отчёты с помощью SQL.
— сможете строить интерактивные дашборды в Power BI и DataLens.
Курс подойдёт новичкам и тем, кто хочет расширить свои навыки.
Присоединяйтесь бесплатно
Реклама. ООО "Нетология". Erid 2VSb5ybE6Pi
ИТМО назвал лидеров развития Open Source в России
Лидером среди российских компаний стал Яндекс, за ним — Сбер и Т-банк. Компании оценивались по количеству опенсорс-проектов, их популярности, качеству репозиториев и активности контрибьюторов.
Среди ключевых решений лидера рейтинга: CatBoost (библиотека для градиентного бустинга), YTsaurus (платформа для работы с большими данными) и YDB (распределённая SQL-база данных).
Ключевые выводы исследования:
— Большинство компаний ориентируются не только на внутренний, но и на международный рынок;
— GitHub остаётся стандартом, но растёт интерес к альтернативам (Gitee, GitVerse);
— Open source объединяет специалистов со всего мира;
— Конкуренция постепенно уступает место совместному развитию отрасли;
— Для развития опенсорс-проектов необходима финансовая поддержка;
— Несмотря на рост ИИ, роль человека в опенсорсе остаётся ключевой.
И получите своё предсказание🔮
Прогнозируйте изменения своих бизнес-метрик с помощью машинного обучения.
💊 Machine Learning: Медицинский дайджест за период 7.09 - 14.09 2024 года
🟩 BrainWave: модель для анализа сигналов головного мозга.
BrainWave – модель, обученная на 40 000 часах инвазивных (iEEG) и неинвазивных (EEG) записей мозговой активности 16 тыс пациентов. Это первая фундаментальная модель для анализа сигналов мозга, объединяющая данные из разных источников.
🟩 DS-ViT: Visual Transformer для ранней диагностики болезни Альцгеймера.
Dual-Stream Vision Transformer (DS-ViT) -метод, который объединяет сегментацию и классификацию для улучшения точности обучения моделей, обрабатывающих снимки МРТ головного мозга.
Он использует FastSurfer в качестве обучающей модели для детальной сегментации для обучаемой ViT-модели ADAPT (модель диагностики болезни Альцгеймера).
🟩 EyeCLIP: фундаментальная VLM для офтальмологических изображений.
EyeCLIP, визуально-языковая фундаментальная модель (VLM), обученная на более чем 2,77 миллионах мультимодальных офтальмологических изображений и 11 180 текстовых описаний от 128 000 пациентов.
Модель может выполнять задачи классификации заболеваний глаз, прогнозирование системных заболеваний, поиск информации по изображению и тексту и ответы на вопросы, связанные с изображениями патологии глаз.
🟩 Возможности SAM для сегментации опухолей мозга.
В исследовании изучается эффективность SAM для сегментации опухолей головного мозга на основе набора данных BraTS2019, который содержит изображения четырех модальностей (T1, T1ce, T2, FLAIR). Авторы оценивают эффективность SAM с использованием двух типов маркирования - точки и рамки и анализируют влияние количества маркирования на точность сегментации.
Результаты показывают, что SAM с маркировкой в виде рамок превосходит по точности маркировку в виде точек. Увеличение количества точек улучшает производительность до определенного предела, после которого точность начинает снижаться. Комбинирование точечных и рамочных маркировок позволяет добиться наилучших результатов.
🟩 MEDIC: Оценка языковых моделей для клинического применения.
MEDIC использует пять ключевых измерений клинической компетентности: медицинское мышление, этические аспекты и предвзятость, понимание данных и языка, контекстное обучение и клиническая безопасность.
Оценка проводится тестированием на задачах: ответы на закрытые и открытые вопросы, суммирование медицинских текстов и создание клинических заметок. Для оценки безопасности моделей используется набор данных Med-Safety, содержащий 900 сценариев с потенциально опасными медицинскими запросами.
Приложения с использованием языковых моделей.
🟪 KARGEN: генерация отчетов рентгенографии грудной клетки с использованием графа знаний и больших языковых моделей.
KARGEN - фреймворк, объединяющий большие языковые модели с графом знаний, специально разработанным для анализа рентгенограмм грудной клетки.
Архитектура KARGEN: энкодеры визуальных признаков (Swin Transformer), модуль слияния (element-wise fusion + modality-wise fusion) и генератор отчетов.
Энкодер визуальных признаков извлекает признаки из рентгеновского изображения, граф знаний, построенный на основе взаимосвязей между 14 заболеваниями из набора данных Chexpert, используется для извлечения признаков, связанных с этими заболеваниями.
🟪 i-MedRAG: итеративный поиск информации для ответов на сложные медицинские вопросы.
i-MedRAG - архитектура RAG, предназначенная для ответов на сложные медицинские вопросы, требующие многоэтапных рассуждений. В отличие от традиционных RAG-систем, i-MedRAG использует итеративный подход к поиску информации.
Методики и техники
🟦 Автоматическая сегментация клеток с использованием UNet в DeepChem.
В статье описан эксперимент создания интеграции модели UNet, архитектуры, известной своей эффективностью в задачах сегментации изображений, с python библиотекой DeepChem, предназначенной для машинного и глубокого обучения в биологии и химии, для задач автоматической сегментации клеток на различных наборах данных микроскопических изображений.
🔥Полный дайджест
@ai_machinelearning_big_data
#news #ai #ml #medtech
⚡️ Как генерировать сложные 3D-сцены с высокой реалистичностью?
LT3SD разлагает 3D-сцены на латентные древовидные объекты, а диффузия на латентных деревьях обеспечивает бесшовный бесконечный синтез 3D-сцен!
https://quan-meng.github.io/projects/lt3sd/
@bigdatai
Привет! Я Женя, Senior ML Engineer в AdTech, админ канала ML Advertising, автор курсов по MLOps на PyMagic (раз, два).
В своем канале пишу боевые заметки с полей Web рекламы, разработку высоконагруженных приложений и динамическое ценообразование.
Вот мои самые крутые посты (по моей оценке):
- ML в AdTech
- Как работает рекламная платформа
- Что такое аукционы в реальном времени
- Стратегии ставок в Avito
- Динамическое ценообразование в рекламе
Мои видео на YouTube:
- Traffic Filtering in Programmatic Ads
- Virtual Advertising
Присоединяйтесь, будет интересно!
🌟 LLaMA-Omni: Речевое управление LLM
LLaMA-Omni - модель, построенная на основе Llama-3.1-8B-Instruct, которая поддерживает голосовое взаимодействие с низкой задержкой ответа и высоким качеством синтеза аудио, одновременно генерируя текстовые и речевые ответы на основе голосовых инструкций.
LLaMA-Omni не требует транскрипции речи, напрямую передавая адаптированное речевое представление в LLM. LLM генерирует текстовый ответ, и, параллельно декодер речи генерирует соответствующие дискретные речевые единицы, используя скрытые состояния инференса LLM. Применение этой конструктивной особенности значительно сокращает задержку ответа до в 226 мс на chunk-size размерности 10.
Для установки и локального запуска понадобятся GPU => 20GB и набор :
🟢Модель Llama-3.1-8B-Omni
🟢Модель Whisper-large-v3;
🟠HiFi-GAN вокодер;
🟠Тулкит Fairseq;
🟠Flash-attention.
⚠️ Примечания:
🟠Gradio плохо воспроизводит потоковое аудио, поэтому автовоспроизведение в нем отключено;
🟠Чтобы запустить СLI-инференс локально, организуйте файлы речевых инструкций в соответствии с форматом в omni_speech/infer/examples, а затем обратитесь скрипту omni_speech/infer/run.sh.
▶️Установка :
# Clone repository
git clone https://github.com/ictnlp/LLaMA-Omni
cd LLaMA-Omni
# Install packages
conda create -n llama-omni python=3.10
conda activate llama-omni
pip install pip==24.0
pip install -e .
# Install fairseq
git clone https://github.com/pytorch/fairseq
cd fairseq
pip install -e . --no-build-isolation
# Install flash-attention
pip install flash-attn --no-build-isolation
http://localhost:8000/
Late Chunking: Contextual Chunk Embeddings Using Long-Context Embedding Models
Jina AI представили интересную технику, которая улучшает эмбединги текста длинного контекста для задач поиска, кодируя целые документы перед их разбиением.
📝https://arxiv.org/abs/2409.04701
👨🏽💻https://github.com/jina-ai/late-chunking
@bigdatai
✔️ Поиск нового поколения и RAG с Vertex AI.
В блоге Google Cloud опубликована статья о том, как Vertex AI можно использовать для создания поисковых приложений следующего поколения.
Статья состоит из трех частей: новые шаблоны в поиске, развитие поиска в будущем и RAG с помощью Vertex AI.
cloud.google.com
@bigdatai