complete_ai | Unsorted

Telegram-канал complete_ai - Complete AI

7150

Меня зовут Андрей Кузнецов Директор лаборатории FusionBrain в AIRI, один из фаундеров моделей Kandinsky, к.т.н., 15+ лет опыта в Computer Vision, выступаю с лекциями и пишу о событиях в AI и ML Tg: @kuznetsoff87 Linkedin: https://tinyurl.com/y96nmmdd

Subscribe to a channel

Complete AI

1️⃣Начинается первый день основной конференции ECCV’24

Почти 7000 очных участников, 75 воркшопов, 30 демо, 650+ speed mentoring для студентов и много других красивых цифр (а еще очень модный свет)

Больше статистики на фотках☝️

@complete_ai

Читать полностью…

Complete AI

Из того, что запомнилось особенно за сегодня на ECCV’24 — доклад лидера команды Wayve (которые в том году выпускали статью про свою модель Gaia-1 для генерации видео в стиле видеорегистратора — эдакая модель мира).

Сначала он рассказал про модели описания сцены Lingo, а также датасет LingoQA. Вторая версия (выпустили в апреле этого года) Lingo-2 умеет также решать задачу определения 3D положения объектов (граундинг), что добавляет к качеству текстовых описаний и ответам на вопросы.

И далее перешел к довольно свежей модели CarLLaVA, выпущенной в июне. Входные кадры с фронтальной камеры делятся на 2 части, кодируются визуальным энкодером LLaVA-Next, фичи объединяются и далее через проектор по классике добавляются в LLM. В итоге получается супер SoTA на CARLA челлендже (отрыв от прошлогодней соты — 458%). Видео демка тут

@complete_ai

Читать полностью…

Complete AI

Новый рекорд исследователей AIRI в этом году — сразу 17 статей принято на NeurIPS🔥

Поздравляем всех авторов!

Читать полностью…

Complete AI

Всем привет!

Срочная и классная новость!

Мои коллеги из DeepSchool уже завтра проведут трёхдневный мастер-класс по 3D Computer Vision, где вы сможете научить беспилотную машину ориентироваться в пространстве 🚘

Мастер-класс будет состоять из трёх лекций, они пройдут 17, 18 и 20 сентября (вт, ср и пт).

На лекциях вы:
✔️ научитесь восстанавливать 3D-сцену по данным с камеры и лидара
✔️ узнаете, как ориентировать робота в пространстве
✔️ освоите симулятор Carla для синтеза данных
✔️ поймёте теорию, стоящую за SLAM-алгоритмами

Первая лекция начнётся уже сегодня в 19:00(мск). Не пропустите 💪

Всё подробности и регистрация тут!

Читать полностью…

Complete AI

Всем привет 🫡

Мои коллеги из DevCrowd проводят исследование рынка специалистов DS/ML/AI, как нынче в этой сфере живётся. Исследование планируется проводить каждый год, чтобы понимать, стало ли житься ещё лучше 😎

Вам нужно только немного рассказать о себе: чем занимаетесь, где учитесь, работаете; и — вуаля — вы внесёте свой маленький вклад в наше общее AI-дело. Исследование поможет сравнить свои ожидания с рынком, построить карьерный план и узнать, что происходит с индустрией в России. Выйдет оно совсем скоро на сайте DevCrowd.

Опрос займёт всего 15 минут!

Читать полностью…

Complete AI

⚡️Новый релиз лаборатории FusionBrain в конце рабочей недели

Представляем вам Guide-and-Rescale — новый способ редактирования изображений с помощью диффузионных моделей, принятый на Core A* конференцию ECCV 2024! Наш метод позволяет менять объекты на картинке, стиль изображения или эмоции на лице по текстовому описанию, сохраняя структуру и детали, которые не должны меняться.

По ссылкам ниже можно найти демо и код👇
🟢GitHub
🟢Google Colab
🟢Hugging Face
Также мы закинули статью на Daily Papers и надеемся на вашу поддержку🤝

Будем рады вашим отзывам, звёздам и апвоутам! ⭐️

Саму работу читайте на arXiv и на хабре.

За деталями можно залетать в канал Айбека, который как раз руководит научной группой Controllable GenAI в лабе, разработавшей этот подход

Читать полностью…

Complete AI

⚡⚡⚡Вот и пожаловал релиз Qwen2-VL

https://qwenlm.github.io/blog/qwen2-vl/

Две ключевых фишки подсветили, как и на выступлении на ACL:
1) работа с динамическим разрешением входных изображений (без даунсэмплинга картинок по умолчанию), а энкодер ViT-600M работает как для картинок, так и для видео на входе
2) мультимодальные ROPE, чтобы можно было работать с пространсовенно-временной информацией

We opensource Qwen2-VL-2B and Qwen2-VL-7B with Apache 2.0 license, and we release the API of Qwen2-VL-72B

UPD:
Статью с деталями обещают скоро

Читать полностью…

Complete AI

👋Всем привет!

В моей команде работает много талантливых молодых учёных и скрывать их — настоящее преступление. Я горжусь ребятами и буду знакомить вас с ними ❤️

В этом году к лаборатории FusionBrain AIRI присоединилась крутая команда Controllable Generative AI под началом Айбека Аланова, которая нацелена усилить генеративное направление 💪 (между прочим он руководит ещё и Центром глубинного обучения и байесовских методов в НИУ ВШЭ). Айбек занимается исследованиями в области генеративных моделей и публикуется вместе с командой на топовых международных конференциях:
🟢все статьи можно почитать тут
🟢избранные свежие работы: StyleDomain на ICCV 2023 и StyleFeatureEditor на CVPR 2024

Разные подходы по персонализированной генерации изображений, стилизация картинок различными способами, объяснение сложных вещей простыми словами и многое другое — это всё к нему😉

👉Недавно он создал свой тг-канал AI Brain, где будет делиться мыслями и материалами для погружения в Gen AI, разбирать научные статьи, а заодно рассказывать о команде и последних исследованиях! Очень рекомендую подписаться 💯

Читать полностью…

Complete AI

⚡️ Machine learning - самый крупный обучающий ресурс в Telegram, посвященный машинному обучению

По контенту:
1. Разбираем самые интересные модели
2. Составляем ежедневные дайджесты главных релизов и новостей
3. Полезные курсы
4. 2300 реальных задач с собесов с разбором
5. Учебники для скачивания.
Целая папка для всех, кто изучает мл
И многое другое.

Это первоисточник всего, что появляется в платных курсах и популярных ресурсах по МО и ИИ.

Подписывайтесь, такие знания в 2024-м году на вес золота: @ai_machinelearning_big_data

Читать полностью…

Complete AI

⚡⚡⚡Свежайший крутой апдейт от OpenAI

Теперь файнтюнинг GPT-4o доступен всем
https://openai.com/index/gpt-4o-fine-tuning/

Today, we’re launching fine-tuning for GPT-4o, one of the most requested features from developers. We are also offering 1M training tokens per day for free for every organization through September 23.


Файнтюнинг GPT-4o обойдётся в 25$ за 1М токенов, а инференс — в 3.75$ за 1М входных токенов и 15$ за 1М выходных токенов. Как сказано выше, файнтюн GPT-4o-mini будет бесплатным до 23 сентября.

Конечно же, обещают безопасность ваших данных😉
Fine-tuned models remain entirely under your control, with full ownership of your business data, including all inputs and outputs. This ensures your data is never shared or used to train other models
Побежали скорее что-нибудь тюнить🏃

Читать полностью…

Complete AI

👋Всем привет!

Сегодня мы стартовали Летнюю школу AIRI на базе ПИШ ИТМО в Санкт-Петербурге! Из почти 1000 заявок отобрали 80 лучших, и вот они здесь, с горящими глазами, блестящими навыками и готовые постигать знания на лекциях по 6 направлениям, а также оттачивать навыки в ходе проектной работы.

Супер интенсив, уникальные знания, крутые спикеры и эксперты, 🔝 студенты технических направлений со всей России💪

Желаю всем удачи!

Читать полностью…

Complete AI

Всем привет!

Недавно я писал про сотрудника Лаборатории FusionBrain в AIRI, который принимал участие в первой Международной олимпиаде по искусственному интеллекту — Андрей Громыко. Подготовкой команды занималась команда преподавателей Центрального Университета.

🥇Так вот, команда ребят взяла золото! Более того, они стали не просто победителями, а абсолютными победителями🎉🎉🎉

Поздравляю ребят, желаю успехов в учебе и новых побед! Команде тренеров отдельная благодарность🤝

Читать полностью…

Complete AI

⚡️Основная часть конференции ACL 2024 торжественно завершилась

🎉Конференция приняла 550 онлайн и 3250 очных участников

Топ-конференция в области NLP переходит в фазу воркшопов (14-15 августа), а также 22 августа будет онлайн мероприятие, на котором будет ряд постеров и выступления обладателей наград за лучшие работы

Три продуктивных дня конференции подошли к концу, за которые я обзавёлся новыми контактами, которые, надеюсь, приведут к плодотворному сотрудничеству, познакомился с интересными проектами и решениями различных задач, а также мы представили несколько постеров. Следует отметить, что такого рода конференции также являются отличным катализатором мыслительного процесса, поэтому мы возвращаемся с идеями для новых исследований и крутых публикаций💪

Читать полностью…

Complete AI

Qwen сегодня на ACL подробно рассказывали про свою новую мультимодальную архитектуру Qwen2-VL.

Работает с картинками, видео. Умеет работать с разными разрешениями, добавили специальные позиционные эмбеддинги, чтобы процессить видео.

Читать полностью…

Complete AI

⚡️Топ конференция в области NLP — ACL 2024 началась сегодня в Бангкоке
Acceptance rate = 21.3% (на конференции принимается 1/5 поданных работ)

Мы представляем на конференции работу об исследованиях особенностей трансформеров:

https://huggingface.co/papers/2405.12250

Читать полностью…

Complete AI

⚡️Второй день воркшопов на ECCV’24 также оставил у меня в памяти несколько интересных инсайтов. Я постарался уделить время воркшопам по GenAI для видео, а также внутренним знаниям о визуальных концептах в генеративных моделях.

Из первого был интересный доклад профессора из University of Massachusetts Chuang Gan (H-index=69), который рассказывал о комбинации видео и дифференцируемой физики как способе построения моделей мира. Видео сами по себе не способны быть достоверным предсказанием каких-либо событий, но добавляя обуславливание на законы физики можно научить модель «прогнозировать будущее». Также он показал модель 3D-VLA, у которой помимо понимания видео на входе есть промежуточный блок с диффузией, который генерирует «воображение», то есть несколько шагов вперед относительно текущего состояния, чтобы лучше прогнозировать следующее действие.

Во втором воркшопе доклад бесспорного классика для многих специалистов в компьютерном зрении David Forsyth (H-index=88) был коротким, но максимально полезным. Он посвятил выступление открытым вопросам в части интерпретируемости моделей генерации изображений и как внутри моделей «располагаются» разные концепты, а также какими «знаниями» располагают модели синтеза изображений. А также почему с генерацией одних типов объектов модели справляются, а с другими нет. Ответами на эти вопросы сейчас занимаются многие ученые, поэтому это скорее был визионерский доклад о вызовах в области понимания «внутрянки» архитектур. Подсветил некоторые работы в этом направлении и исследовательские задачи на ближайшее время💪

В комментариях выложу фото избранных слайдов по обоим докладам👇

@complete_ai

Читать полностью…

Complete AI

ECCV 2024. Day 1. Workshops and Tutorials

Читать полностью…

Complete AI

🏆Стартует первый этап профиля «Искусственный интеллект» Национальной технологической олимпиады

Задача в этом году посвящена биоразнообразию и устойчивому развитию. Участникам предстоит внести свой вклад в спасение животных: разработать алгоритмы для классификации животных на изображениях, создать системы идентификации и научиться детектить редкие виды. Стать и разработчиком, и биологом, и просто неравнодушным ❤️

Призы для победителей:
✔️ Денежные сертификаты на образование (призовой фонд 4 млн рублей)
✔️ Стажировка в Сбере
✔️ Менторская поддержка от крутых AI-экспертов
✔️ Льготы на поступление в ведущие вузы России

📅 Регистрация открыта до 21 октября. Успевайте!

Все подробности по
ссылке

Кейс разрабатывался при участии команды SberAI, ученых Института экологии и эволюции им. А.Н. Северцова и Национального парка «Сайлюгемский».

Читать полностью…

Complete AI

👨‍🏫 Век живи — век учись

Сегодня на конференции Practical ML Conf мы провели мастер класс по методам файнтюнинга диффузионных моделей — это чтобы за небольшое время и на малом объёме данных и вычислительных ресурсов сделать из генеративной модели кастомную конфетку😏

Рассказали и показали какими способами можно файнтюнить модели (LoRA, IP Adapter и др.), какие плюсы и минусы у каждого подхода. Всё это проходило в live режиме, и участники могли сами попробовать разные сценарии работы.

📆На следующей неделе мы отдельно проведём запись мастер класса, и я им сразу поделюсь с вами: там будет и про SD, и про Kandinsky😉

Читать полностью…

Complete AI

А давайте-ка устроим конкурс на ближайшие выходные за самую крутую генерацию😏

🏆Победителя выберем по максимуму положительных реакций в начале следующей недели. В качестве приза устроим персональную экскурсию в Институт AIRI (если вы в Москве), а также задарим мерча (отправим почтой, куда деваться😅)

🖼️Генерировать картинки тут

Ваши прекрасные генерации отправляйте в комментах к этой записи👇

UPD: Присылайте сразу в формате — исходная картинка, текстовый промпт для редактирования и результат

Читать полностью…

Complete AI

🎉Торжественно завершили Летнюю школу AIRI 2024

Ребята прошли очень напряженный интенсив в части лекционной нагрузки, параллельно прокачивали проекты и сегодня их защищали. Это был крутой путь, выбирать среди представленных 25+ проектов всего 3 лучших было сложно, но мы справились💪

Всем участникам желаю удачи, ПИШ ИТМО большое спасибо за площадку и помощь в организации, ну а мы немного выдохнем, соберём обратную связь, порефлексируем и начнём продумывать Школу в 2025 году!

В следующих постах расскажу про тройку лидеров😉

Читать полностью…

Complete AI

Всем привет!

29 августа в 18:00 мск я буду на секретно-секретной закрытой встрече сообщества AiConf

На онлайн-встрече будем обсуждать насущное:

✅ Как развивается внутри data science?
✅ Какие интересные прикладные задача стоят перед лидерами индустрии?
✅ Перспективы для senior'ов
✅ Где же всё-таки получать практически навыки?

Участники встречи мои коллеги из Альфа-Банка, Яндекса, МТС и других компаний.

Встреча пройдёт в формате открытой дискуссии, участие бесплатное.

Регистрируйтесь и скоро увидимся 🤝

Читать полностью…

Complete AI

Разгоняют новость, что во Франции Дурова приняли, с формулировкой "создатель сервиса зашифрованных сообщений", чтож запасаемся попкорном)

UPD: Его там серьезно набутыливают на 20 лет 😞

Читать полностью…

Complete AI

ℹ️Делюсь интересным мероприятием на тему RAG, где будет участвовать мой хороший знакомый и отличный специалист в области NLP — Валентин Малых.

Кому интересно послушать про RAG, и с чем его едят — советую сходить послушать Валю и других спикеров.

Информация о событии👇
/channel/valuableai/53

Читать полностью…

Complete AI

В Сбер-команду моего хорошего друга Глеба Михеева (да, и он теперь в Сбере😏) требуется Data Science уровня middle/middle+, который примет участие в разработке планировщика с многошаговым вызовом функций, поэтапным обогащением данных и корректировкой плана 💪

Команда Глеба занимается разработкой цифровых ассистентов на LLM. Задачи NLP и CV уровня R&D для особо искушённых 😏

Что надо делать:
- Исследовать возможности LLM в части реализации многошаговых функций
- Строить пайплайны работы с LLM для обработки запросов пользователей
- Реализовывать системы метрик для сбора обратной связи и определение зон развития пайплайнов и моделей
- Формировать и проверять технические и продуктовые гипотезы
- Готовить планы и проверки результатов обучения LLM

Требования:
- Делайте хорошо, а плохо не делайте
- ML/DL/NLP
- Python + pandas, scikit-learn, catboost, pytorch
- Опыт использования MLFlow, Argo Workflows, Airflow, JupiterHub, k8s

👉С резюме и вопросами пишите в личку Глебу: @glebmikheev

Читать полностью…

Complete AI

На просторах интернета нашел забавный тест, который позволяет посоревноваться с современными языковыми моделями в навыке предсказывания следующего слова в тексте💪

Если знаете инглиш, то можете посоревноваться 🥊

👉В бой

Я набрал 4/15 баллов. Пишите свои результаты в комментариях😏

Читать полностью…

Complete AI

⚡В продолжение темы мультимодальной модели Qwen2-VL, авторы выложили на Hugging Face демку Max версии — можно пообщаться в чат режиме, загружая картинки и видео, а далее вести диалог про содержание. При этом никакого нового тех репорта от них не выпущено — только то, что я выкладывал в посте выше 😊

Демо Qwen2-VL-Max
https://huggingface.co/spaces/Qwen/Qwen2-VL

Читать полностью…

Complete AI

Все, кого удалось собрать из русского комьюнити участников ACL 2024, в одно время в одном месте🔥🔥🔥

Читать полностью…

Complete AI

LG выпустили в open source свою языковую модель с 7.8B параметрами. Чат версия доступна на hf. Учили сами “from scratch”, особое внимание уделили инициализации.

Показывают на своем стенде на ACL

https://arxiv.org/abs/2408.03541

Читать полностью…

Complete AI

👋Всем привет!

Сейчас стало поступать очень много интересных запросов от представителей промышленности с задачами, которые в литературе принято называть Industrial Generative AI — по-русски я это называю "генеративное проектирование".

Потребность заключается в том, чтобы, используя генеративные модели, иметь возможность синтезировать проектную документацию, чертежи, дизайн проекты и др. формы представления, которые в дальнейшем могут быть обработаны/доработаны в специализированном CAD софте. Особенностью создаваемых архитектур будет являться возможность учёта специфических правил при генерации объекта (ВнД, СНиПы, формулы расчёта физических и геометрических показателей прочности и др.). Решение такого рода задач создаёт большой потенциал для развития моделей генеративного ИИ с точки зрения их практической и бизнес применимости (безусловно, важное значение здесь имеет сотрудничество с инженерами и технологами производств, которое позволит давать правильную оценку разрабатываемым подходам).

📌 В связи с началом исследований в этом направлении начинаем поиск middle и senior исследователей в новую команду в AIRI. Кандидату необходимо иметь следующий опыт:
🟢генеративно-состязательные сети (GAN): ArchiGAN, EdgeGAN, HouseGAN, ...
🟢трансформерные архитектуры, знание современных LLM, Code LLM
🟢графовые нейронные сети (GNN): GAN + GNN, GraphTransformer, ...
🟢диффузионные модели, VAE: pix2pix, U-Net, DiT, ...
🟢обучение с подкреплением (RL), генетические алгоритмы (Wave Function Collapse и др.)

❗Важно иметь глубокое понимание описанных архитектур, обязателен опыт их обучения
📍Опыт в одном или нескольких направлениях от 2х лет📍Дополнительным преимуществом будет наличие публикаций на конференциях Core A/A*, в журналах Q1
📍Наличие степени/PhD будет плюсом

💥Свои резюме можно присылать HR-менеджеру Ксении — @ksenia_jaja. По содержательным вопросам с радостью отвечу в комментариях или в лс, ответы на самые частые вопросы выложу в этот пост в формате апдейта.

Буду благодарен за репост🙏

Полезные ссылки
1) Tile-GPT
2) Survey 2024

Читать полностью…
Subscribe to a channel