complete_ai | Unsorted

Telegram-канал complete_ai - Complete AI

7150

Меня зовут Андрей Кузнецов Директор лаборатории FusionBrain в AIRI, один из фаундеров моделей Kandinsky, к.т.н., 15+ лет опыта в Computer Vision, выступаю с лекциями и пишу о событиях в AI и ML Tg: @kuznetsoff87 Linkedin: https://tinyurl.com/y96nmmdd

Subscribe to a channel

Complete AI

🚀SouthHub 2023 приближается к началу

#SouthHub #КраснаяПоляна

Читать полностью…

Complete AI

🚀MI-Modal In-Context Instruction Tuning (MIMIC-IT): в рамках проекта Otter 🦦 Microsoft делится самым большим инструктивным визуально-текстовым датасетом

Otter - это одна из свежих визуально-текстовых моделей (visual language model, VLM), построенная на OpenFlamingo. Для обучения Otter использовался собранный датасет MIMIC-IT, содержащий 2.8М пар связанных мультиязычных (без русского🙁) мультимодальных инструкций с ответами, среди которых 2.2М инструкций получены для визуальных данных (изображения и видео). При создании сета использовались разные сценарии, симулирующие естественные диалоги: описание изображений/видео, сравнение изображений, ответы на вопросы, понимание сцены и возможных действий в помещении (в качестве изображений тут использовался сет из снятых в помещении фотографий) и др. Инструкции и ответы генерировались с помощью API ChatGPT-0301, на использование которого было потрачено около 20к $. Визуальные данные для «поставлялись» в ChatGPT через алгоритмы аннотирования (описание, детекция объектов и тд.)

Итого: большой инструктивный сет с различными мультимодальными контекстами для обучения модели пониманию сцен на фото и видео (perception), а также логическим выводам (reasoning).

📌Paper
📌Проект
📌GitHub

📌Youtube

@complete_ai

Читать полностью…

Complete AI

📚Мои друзья и коллеги из Сколтеха снова набирают в магистратуру DataScience.

В программе курсы по вычислительной линейной алгебре, оптимизации, машинному и глубинному обучению, обучению с подкреплением, обработке текстов, компьютерному зрению, и другие дисциплины, необходимые для карьеры в сфере AI. Обучение будет идти в связке с индустриальными задачами и проектами, что позволит применять знания сразу на практике.

Среди лекторов Иван Оселедец, Евгений Бурнаев, Александр Панченко, Сергей Загоруйко и многие другие. Все имеют большой список высокорейтинговых публикаций на A/A* конференциях и в топ журналах, внушительный индекс Хирша, а также занимаются прикладными проектами в сфере AI.
Не упустите шанс учиться у лучших!

Срок подачи заявок - до 10 июля

📌Подайте заявку на участие в программе Data Science

📌Подробнее о программе

📌Подробнее о магистратуре Сколтеха

Читать полностью…

Complete AI

🍩 Ну и завершаем сегодняшний парад AI-спикеров «десертом»! Ням.

Сначала, конечно, хотели устроить баттл между ними, но всё же выбрали формат круглого стола. Чем очень разочарован сммщик.

Назвали эфир «ИИ и всё, что из него генерится».
Модерировать встречу будет уже знакомый по посту выше — Андрей Кузнецов.

В гости к Андрею придут:

Иван Самсонов — CPO of ML VK (тоже герой поста выше)
Алексей Хахунов — Co-Founder, CTO Dbrain (спикер SH прошлого года)
Илья Шишков — Development Team Lead Яндекс.Еда (комментировал новости про ИИ в нашем канале)

Официальные тезисы встречи такие:

1. Профессии: какие исчезнут, а какие появятся?
2. Этика: как избежать токсичности от ГИИ, если он учится на нашей токсичности? 
3. Возможности: что уже сегодня вы отдали на откуп ИИ в своих рабочих процессах? Что рассматривайте?
4. Полярность: если ИИ будут отдельно развиваться в России, Китае, США, смогут ли они делать это также быстро, как если бы между ит-специалистами был интенсивный обмен?

🗣И хотим выйти за рамки. Поэтому планируем часто давать слова зрителям эфира. Будет вкусно, подключайтесь!

#эфир #ИИ

Читать полностью…

Complete AI

✅Использовать Q-Former, чтобы добавить в LLaMA возможность работать с видео и аудио модальностями

🔥Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding

1) Video Q-Former для кодирования темпоральных связей между кадрами. Учим модель решать задачу описания видео (video-to-text)

2) Подход ImageBind (by FAIR) для совместного использования согласованных эмбеддингов различных модальностей (энкодеры Video Q-Former и Audio Q-Former согласованы во времени) - напомню, идея снова в использовании линейных маппингов над энкодерами и симметричной функции потерь InfoNCE для того, чтобы сблизить эмбеддинги в одном векторном пространстве

3) Файнтюнинг: инструктивный + пары «видео/картинка-описание»

📌Статья
📌GitHub

@complete_ai

Читать полностью…

Complete AI

Важная информация для всех, кто интересуется сжатием и эффективным кодированием изображений!

Если вы хотите компактно хранить картинки и восстанавливать их после декомпрессии с минимальными потерями, то это решение для вас😉

Сегодня мы выложили в опенсурс и выпустили статью на Хабре про наш новый энкодер, который используется в генеративной модели Kandinsky 2.1 - Sber-MoVQGAN, который базируется на статье MoVQ: Modulating Quantized Vectors for High-Fidelity Image Generation. В статье приведены примеры работы обученного энкодера для разных сложных доменов (лица, текст, и др.), результаты экспериментов с архитектурой и её размерами (выкладываем целых 3 версии энкодера: 67M, 102M и 270M параметров), а сама модель по классике выложена в опенсурс. Пользуйтесь🎉

💥Хабр
💥GitHub

@complete_ai

Читать полностью…

Complete AI

Крутая интерпретация как работают LLM и все окружающие их адаптеры и фичи!
Спасибо @isamsonov за эту картинку🔥

Читать полностью…
Subscribe to a channel