Меня зовут Андрей Кузнецов Директор лаборатории FusionBrain в AIRI, один из фаундеров моделей Kandinsky, к.т.н., 15+ лет опыта в Computer Vision, выступаю с лекциями и пишу о событиях в AI и ML Tg: @kuznetsoff87 Linkedin: https://tinyurl.com/y96nmmdd
Всем привет!
Мы тут в Стамбуле завтра (10 октября) проводим RecSys митап в очном формате. Наверняка среди подписчиков канала есть достаточно большое местное комьюнити (проверим моё предположение😉)
Буду рад увидеться и познакомиться с вами лично) Регистрируйтесь и приходите! Будет интересно: там и розыгрыш мерча, интересные доклады и познавательный нетворкинг - можно поговорить про будущее LLM, текущие эксперименты с GigaChat, про мультимодальные модели и генеративку, так сказать, из первых уст)
Буду супер благодарен за репост друзьям и коллегам - до встречи завтра!
UPD: Прямая трансляция онлайн тоже будет - ТУТ
Только регистрация обязательна
📌Регистрация
📌Начало 10 октября в 18:30 по адресу:
Стамбул, Сарыер, махалле Маслак, улица Ахи Эвран, 6, метро СТУ – Айязага, Небоскреб "Маслак, 42"
@complete_ai
⚡️Началось открытое голосование за номинантов премии HighLoad++. Среди прочих достойных номинантов представлена и модель Kandinsky!
Верю, что команда заслуженно сможет получить эту награду😉
Спасибо всем за фидбэки, участие в развитии модели и её применении, ценные советы🙏 Все ваши комментарии не остаются не учтёнными, мы всё внимательно собираем и постепенно стараемся исправлять.
Голосовать
UPD: Важный апдейт, при голосовании у каждого есть 3 голоса. В составе номинантов есть еще GigaChat и прекрасный Сергей Марков! Ну думаю, вы поняли, за что стоит проголосовать😉
❤️ Приглашаю на научный семинар AIRI на следующей неделе
🔵Дата и время: 4 октября в 16:55
🔵Тема: «Одна LLM хорошо, а N лучше? Мультиагентный подход - путь к AGI»
🔵Докладчик: Андрей Кузнецов, AIRI, Сбер
🔵Оппонент: Валентин Малых, MTS AI
🔵Подробное описание семинара скоро появится по ссылке
Пригласить внешних слушателей и посмотреть записи прошлых семинаров можно на AIRIInstitute">YouTube-канале AIRI.
🏆Сегодня мы официально запускаем новый AIJ Contest, в котором заявлено 5 крутых задач с общим призовым фондом 11+ млн рублей!!!
1) Strong Intelligence — создать мультимодальную модель, которая обыгрывает знатоков интеллектуальных викторин и показывает суперуровень эрудиции
2) Unique RecSys — обучить ИИ-алгоритм подбирать наиболее релевантный контент
3) Personal AI — создать человекоцентричного ИИ-помощника
4) Equal AI — сделать сервисы доступными каждому — обучить модель распознавать русский жестовый язык по видео
5) Rescue AI — разработать новый способ расшифровки генома
Обо всех задачах подробно можно прочитать здесь
Первая же задача Strong Intelligence (самая сложная и на повестке современных мультимодальных исследований) разрабатывалась нашей командой AIRI + Sber AI — очень хочется получить много интересных крутых решений. Готов отвечать на вопросы, если будут возникать!
Скоро откроем гитхаб с baseline решением, и в ближайшее время проведём вебинар, где расскажем подробно про задачи и ответим на возникающие вопросы, а пока желаю всем продуктивного погружения в контекст задач🦾
Update: GitHub
Следите за информацией)
Одним из интересных мероприятий на прошлой неделе было выступление на семинаре сообщества AGI Russia, где я рассказывал про исследования команды в области мультмодальных моделей и способности таких архитектур понимать различные типы данных: аудио, изображения, последовательности событий. На этапе дискуссии были интересные нестандартные вопросы, за что спасибо слушателям. Должно быть особенно полезно тем, кто интересуется направлением фундаментальных моделей и AGI.
🎬YouTube
@complete_ai
Пятничное!✌️
🔥Подборка 10 интересных и бесплатных обучающих материалов по компьютерному зрению!🔥
👁 Computer Vision: Algorithms and Applications — библия обработки сигналов и компьютерного зрения от Richard Szeliski. Книга распространяется бесплатно!
👁 Digital image processing by Rafael C. Gonzalez — еще одна интересная книга по обработке изображений и классике.
👁 The Ancient Secrets of Computer Vision — курс от Joseph Redmon преимущественно по классическому зрению, в конце затрагивает нейронные сети. А еще у него забавное резюме.
👁 firstprinciplesofcomputerv3258">First Principles of Computer Vision — обучающий курс лекций от Shree Nayar. От классических алгоритмов компьютерного зрения и обработки изображний до глубокого обучения!
👁 CS231n: Deep Learning for Computer Vision — настоявшаяся классика, курс по глубокому обучению и компьютерному зрению. На youtube есть выпуски разных лет.
👁 Компьютерное зрение — отличный курс по классическому компьютерному зрению на youtube от Антона Конушина. Есть разные версии курса, даже от 2011 и 2015 года!
👁 OpenCV Tutorials — неплохие обучающие материалы на официальном сайте OpenCV. Также у них есть платные курсы.
👁 Курс от Deep Learning School — большая подборка лекций и семинаров от классического ML до глубокого обучения и компьютерного зрения от ребят из физтеха.
👁 Курсы лекций (часть 1, часть 2) на youtube от Алексея Артамонова. На канале CompscicenterRu">Computer Science Center есть также другие обучающие материалы!
👁 razinkov/playlists">Курсы лекций по глубокому обучению и компьютерному зрению от Евгения Разинкова на youtube.
#edu
Завтра на конференции AI in 2023 в Иннополисе проведу экспертную дискуссию про генеративный искусственный интеллект: поговорим о подходах и прикладных применениях в различных отраслях.
Начнётся дискуссия в 10.00.
Прямая трансляция
#флэшбэк
Забавно, что до текущего момента я в Казани был всего 2 раза: в студенчестве ездил на Cirque du Soleil, и на конференцию ММРО в 2013. А в Иннополисе ни разу так и не удавалось побывать😶
⚡Совсем скоро 3 августа состоится ML Party (Yandex + Sber). Будем обсуждать диффузионные картиночные модели
На мероприятии обсудим с коллегами из команды Шедеврум current state в исследованиях в части генерации изображений по текстовым описаниям. Спикера будет всего два: я и Валентин Хрульков (ведущий исследователь, Yandex Research). Расскажем о направлении в целом, об архитектурных тонкостях наших решений, а также затронем перспективность направления генеративного ИИ для мультимедийных данных.
После докладов проведём дискуссию о ближайшем будущем картиночных нейросетей, а под вечер будет нетворкинг с едой и напитками.
Мероприятие пройдёт 3 августа в 18:00 в офисе на Льва Толстого, 16, трансляция будет доступна всем желающим.
⚡Участие бесплатное, но нужно зарегистрироваться.
Будем рады всех увидеть!
🔺 ruGPT-3.5. Открытая русскоязычная LLM от Сбера
Друзья, мы выложили в open source нашу языковую модель (pretrain), на основе которой обучали GigaChat!
🔸 Претрейн довольно большой — 13B (13 миллиардов параметров). Модель видела много разнообразного текста (книги, статьи, чаты и т.д.), в основном на русском языке, а также на английском (около10%). Дополнительно дообучали на коде.
🔸 ruGPT-3.5 13B можно дообучать на инструктивных датасетах и получать свои версии ChatGPT, которые бы хорошо понимали русский язык.
🔸 Решили выложить с открытой лицензией (MIT), так что каких-либо ограничений в этом плане в отличии от LLaMA нет.
Написали небольшой пост про это, прошу поддержать, кому интересно.
👉 Хабр | Hugging Face
🔥Новые возможности Kandinsky 2.2 – ControlNet
Выбираем режим "Перенос стиля", подаём на вход изображение, выбираем "Перенос из текста", пишем промт - получаем результат.
Выглядит потрясающе!
За генерации спасибо @kutsgelya
@complete_ai
⚡️Kandinsky 2.2 очень подходит для мемов😉
«Серьезно? Да, серьезно!» by Kandinsky
Артефакты есть, но outpainting с такой маленькой области - это крайне потешно😂
@complete_ai
⚡14 июля состоится онлайн-конференция по нейронным сетям и искусственному интеллекту НейроSet, и у меня на ней будет доклад.
Расскажу про диффузионные модели, про особенности нашей сети Kandinsky, особенности ее работы и внедрения, сравнение с аналогичными моделями
Также на конференции будет другой спикер, который расскажет о других применениях генеративных моделей, например, в физике высоких энергий и астрономии. Вообще, будет довольно крупная секция о Computer Vison с докладами о дипфейках и анализе транспортных потоков. Ну и LLM-ки сейчас на хайпе, поэтому будет доклад про их файнтюнинг и что-то про сопоставительное дообучение трансформеров. Даже нейроспсихолог выступит.
В общем, рекомендую поучаствовать, тем более, что конференция пройдет онлайн.
🎁А с промокодом COMPLETEAI будет скидка 20%.
Регистрация и подробности на https://neuro-set.ru , встретимся в пятницу 14!
🔥Инфа для всех публикующихся и заинтересованных получить статью в Scopus в 2023 году
В рамках международной конференции AI Journey 2023 продолжается (в организации конференции и соревнований активно участвует моя команда) приём заявок на участие в отборе научных статей по AI/ML для публикации в журнале «Доклады Российской академии наук. Математика, информатика, процессы управления» и его англоязычной версии «Doklady Mathematics».
Кстати, журнал выпускается на сайте издательства Springer и рекомендован ВАК (важно аспирантам!)
✍🏻Ознакомиться с Правилами и подать заявку можно на сайте AI Journey.
🔥Футуристический арт от поколения будущего на экранах по всей России
Изображения создали клиенты Сбера с помощью нейросети Kandinsky 2.1, а мы соединили их в мурал и решили показать всей стране.
На видео — кинотеатр «Октябрь» в Москве. Увидеть нейроарт можно также в Санкт-Петербурге, Екатеринбурге, Новосибирске, Нижнем Новгороде, Волгограде, Самаре и Челябинске.
Присылайте фотки муралов в комменты😊
⚡⚡⚡Очень годный курс на Дзене по тому, как качественно генерировать изображения с помощью модели Kandinsky. Покрыты различные темы, показана специфика разных типов генеративных запросов.
👓Ссылка на курс
🏅А кто сегодня молодец и взял Trending paper на Hugging Face, обогнав Google DeepMind и Carnegie Mellon?
Правильный ответ: статья про нашу модель Kandinsky, которую мы выложили на arxiv.
⚡А среди отметивших статью Julien Chaumond (CTO Hugging Face) и Patrick von Platten (Team lead Diffusers)! Со вторым мы активно сотрудничаем по внедрению модели в их самый крупный фреймворк генеративных моделей diffusers (18.2k⭐ на GitHub).
Ссылка на hf
P.S. Trending paper — лучшая статья дня в одном из крупнейших мировых комьюнити исследователей и ML разработок Hugging Face.
@complete_ai
⚡️Горжусь командой и поздравляю всех соавторов!
Нашу статью про модель Kandinsky приняли на одну из топовых конференций - EMNLP 2023 (A*) в Demo трек. В этом году она проходит с 6 по 10 декабря в Сингапуре.
Чуть позже, как отправим финальную версию, я выложу её в канале - удалось много интересных экспериментов провести с архитектурой: ablation study с prior блоком, human evaluation, сравнение в единой конфигурации существующие open source модели и т.д.
ℹ️Для подписчиков, которые по каким-то причинам не публикуются или просто не знакомы, рейтинг конференции является показателем её крутости (A* = exceptional, flagship). На такие конференции, как правило, более строгий отбор, доля принятых статей не очень большая, и, как следствие, учёные стараются отправлять туда свои самые значимые достижения в исследованиях.
А вот и гитхаб по нашей сореве
https://github.com/ai-forever/fbc3_aij2023
Пишем сейчас с ребятами статью на ICLR, времени как всегда мало, прогноз жизненного цикла сабмишена примерно так выглядит)
Читать полностью…⚡️26-28 октября 2023 г. пройдёт конференция «Fall into ML 2023» для студентов, аспирантов и исследователей в области искусственного интеллекта.
Мероприятие устроено по формату А* конференции и участников ждет:
🔹 2 мини-курса;
🔹 2 панельные дискуссии: «Наука в академии и промышленности» и «Сильный ИИ: риски и выгоды»;
🔹4 воркшопа по темам: «Диагностика нейронных сетей», «Искусственный интеллект в физике», «Обучение с подкреплением», «Обучение на основе подсказок»;
🔹Научные соревнования;
🔹Доклады и постерная сессия.
Темы конференции:
🔸Общие вопросы машинного обучения;
🔸Глубинные сети;
🔸Обучение с подкреплением;
🔸Приложения машинного обучения (промышленность, естественные науки, здравоохранение, нейробиология, социальные науки, климат и т.д.);
🔸Языковые модели;
🔸Компьютерное зрение;
🔸Оптимизация (выпуклая и невыпуклая оптимизация, матричные/тензорные методы и т.д.);
🔸Робототехника;
🔸Доверенный ИИ;
🔸Автономные транспортные средства и др.
Как стать участником❓
📌 Если вы хотите принять участие в качестве слушателя, заполните регистрационную форму;
📌Если вы являетесь автором А* статьи в 2023 году (например, CVPR2023, AISTATS2023, ICLR2023, ICML2023 и т.д.), свяжитесь с Алексеем Наумовым по адресу anaumov@hse.ru;
📌Если у вас еще нет статьи А* уровня, но выступить хочется, то можно подать тезисы по ссылке.
Дедлайны:
📍Прием заявок – с 1 июня 2023 г.
📍Подача тезисов – до 30 сентября 2023 г.
📍Регистрация – до 15 октября 2023 г.
Подробнее с программой конференции можно ознакомиться по ссылке.
⚡️Запускаем ruGPT-3.5 в Colab'е
Сообщество не дремлет и накидало в личку квантованных версий вышедшей вчера модели (ребята, вы молодцы 🚀).
Ужимали при помощи AutoGPTQ в 4bit, так же как делает TheBloke. Качество, само собой, при квантизации в 4bit проседает, но поиграться можно.
Еще ребята в комьюнити сделали версию в формате GPTQ.
Colab
Хабр
HF
GPTQ
На днях NVidia выпустили статью о новом фреймворке DreamTeacher с одноименной статьёй
DreamTeacher: Pretraining Image Backbones with Deep Generative Models
Идея в том, чтобы используя генеративные модели через дистилляцию улучшить признаки карточных backbone моделей в классических задачах компьютерного зрения: сегментация, классификация и тд. (MSE лосс)
Ту же дистилляцию можно применить на конечных задачах с разметкой на генеративных и backbone логитах (кросс энтропия и Dice лосс)
Итог: получился механизм претрейна backbone архитектур на базе генеративных фичей, обладающих семантическим обоснованием.
Статья
Проект
@complete_ai
Оставлю это тут - вдруг понадобится кому-то. Генератор извинений на все случаи жизни😊
Вводишь в верхнем поле - кому, в нижнем - в чём накосячил, получаешь насыщенное извинение/оправдание. Переводишь любимым сервисом на русский и копируешь в чатик, где самое время для извинения⚡️
https://excuses.ai/
⚡️⚡️⚡️Kandinsky 2.2 выходит в свет
Вот и наступил долгожданный знаменательный день, когда мы готовы порадовать комьюнити новой версией генеративной модели Kandinsky 2.2.
Не буду долго томить вас лирикой и историями, как мы маленькими шагами двигались к качественному скачку эти 3 месяца с момента релиза 2.1, а просто расскажу о ключевых нововведениях:
📌 разрешение генераций теперь достигло 1024 px
📌 генерировать можно с различным соотношением сторон (ура, конец монополии квадратных генераций!)
📌 изображения стали максимально близки к фотореалистичным
📌 у модели появилась возможность изменения частей изображения за счёт внедрения механики ControlNet (пока только на основе карты глубины)
📌 версии 2.1 и 2.2 встроены в самый большой и известный фреймворк генеративных моделей - Diffusers
⚡️В телеграм боте теперь 6 режимов:
1) генерация картинки по тексту
2) смешивание двух изображений
3) смешивание изображения и текста
4) создание вариаций входной картинки
5) локальные изменения с помощью ControlNet механики 💥
6) создание стикеров и стикерпаков по текстовым запросам 💥
Воспользоваться моделью можно тут:
Telegram bot
fusionbrain.ai
Diffusers
rudalle.ru
Салют
📕Почитать подробнее про Kandinsky 2.2 можно в новой статье на Хабре.
❓По вопросам сотрудничества и развития модели пишите в ЛС - с радостью обсудим все идеи😉
P.S. По неожиданной случайности сегодня еще День Фотографа, с чем всех причастных торжественно поздравляю📸 Такой вот подарок для сообщества от нашей команды🎉
@complete_ai
🔥 Приближается крутое мероприятие ProIT Fest!
🌊 8–9 июля в формате Open Air на берегу Финского залива парка 300-летия Санкт-Петербурга соберутся все направления IT - от Middle до Founder уровня.
Организаторы, настоящие профи IT-сообщества, в коллабе со спикерами (которых собирается более 100 человек!) решили создать такой фест, на котором даже сверхсеньорам из суперкомпаний будет чем себя занять и чему поучиться!
Помимо привычных форматов лекториев и круглых столов, будут такие, в которых участники выступают со стендапами, обсуждают профессиональные боли, говорят о страхах, играют в DnD и Sega, подбирают себе команду для стартапа и даже пару для свидания вечером. Всего 21 секция, увидеть все можно здесь.
Купить билет самостоятельно можно тут 🙂
За всеми новостями и анонсами ProIT Fest следите в Telegram и VK… и не пропустите один из главных IT уикендов этого лета!
⚡️Сегодня в 14.30 выступаю на круглом столе в рамках конференции друзей из Skillbox - «Навыки будущего». Поговорим про возможности, которые предоставляет современный генеративный ИИ, расскажу о том, чем занимается Sber AI, а также куда мы движемся в рамках мировой AI индустрии.
Прямая трансляция
@complete_ai
🔥SouthHub кэмп и конференция подошли к концу. Это было отличное мероприятие для всех уровней управления в IT и AI, для разных сфер науки, промышленности и бизнеса. Нетворкинг удался, я рассказал про факапы с данными, выступил с масштабным докладом про генеративный ИИ в части генерации изображений, потом провели с коллегой воркшоп по тому, где и как найти место в своей сфере генеративному ИИ и как получить от этого пользу.
Организаторам и участникам отдельный респект❤️
#southhub see U in 2024✈️
🚀Дальше по плану Saint HighLoad++