Меня зовут Андрей Кузнецов Директор лаборатории FusionBrain в AIRI, один из фаундеров моделей Kandinsky, к.т.н., 15+ лет опыта в Computer Vision, выступаю с лекциями и пишу о событиях в AI и ML Tg: @kuznetsoff87 Linkedin: https://tinyurl.com/y96nmmdd
⚡️Вот и тех репорт по языковой модели Phi-3 пожаловал
На известном MMLU 7B версия уверенно обходит и Llama 3, и Gemma, и Mistral. Ждём доученной версии, разрывающей GPT-4😉
https://arxiv.org/abs/2404.14219
Сегодня выступаю и модерирую секцию про мультимодальный и генеративный ИИ на конференции по анализу данных и технологиям DataFusion (начало в 15.50 мск). Поговорим про современное состояние исследований в этих областях и интересные решения и технологии, которые нас ждут в недалёком будущем.
Мероприятие проходит оффлайн в Кластере Ломоносов на Раменском бульваре д.1, а также будет онлайн трансляция ( зарегистрироваться можно тут ).
🚀Мы с Kandinsky поздравляем всех с Днём Космонавтики!
Достигайте самых амбициозных высот!
За арты спасибо @kutsgelya
@complete_ai
⚡️Сегодня выпустили обновление нашей мультимодальной модели OmniFusion 1.1
Модель умеет понимать изображения, описывать сцены и отвечать на вопросы по картинкам. В основе open-source модели лежит языковая модель Mistral-7B.
В остальном было проделано большое число экспериментов,в числе которых:
- сравнили различные визуальные энкодеры
- научились смешивать несколько энкодеров для усиления визуального контекста
- проверили влияние механики нарезки картинки на фрагменты с последующим их энкодингом
В итоге побили 7B аналогичные решения на ряде бенчмарков, побили также 13B модели на некоторых бенчах. Исследования продолжаются, чтобы выбить однозначную SoTA на всех задачах и приблизиться к GPT4-Vision.
Сегодня выпустили technical report на arXiv, который попал в Daily Papers на Hugging Face и уже занимает там сейчас первое место🏆
📍Project page
📍Статья на Хабре
📍GitHub
Буду крайне признателен, если поддержите лайками, звёздами и upvote по ссылкам выше - всей команде будет супер приятно🙏
@complete_ai
Отметили 3 года Института!
Сегодня все сердца поста — команде AIRI ❤️
Как устроено пространство, в котором думают языковые модели?
Наша статья про анизотропию и внутреннюю размерность активаций трансформеров вышла в печать на EACL! В честь этого я подготовил небольшой хабр с её разбором.
Статья, хабр
🕯️Друзья, вчера случилась большая трагедия!
Нападение террористов на Крокус привело к большому числу жертв и пострадавших.
Сбер не остался в стороне и вместе с Российским красным крестом запустил благотворительный фонд. Прошу не оставаться в стороне, помощь каждого из вас безмерно важна🙏
➡️По ссылке сразу перейдёте в Сбербанк Онлайн и сможете внести пожертвование.
Берегите себя🙏
Ведем прямой репортаж с конференции EACL 2024, которая проходит сейчас на Мальте ⤵️
⚫️Кандидат технических наук, руководитель группы FusionBrain Андрей Кузнецов и научный сотрудник Антон Разжигав приехали на конференцию со статьей "The Shape of Learning: Anisotropy and Intrinsic Dimensions
in Transformer-Based Models", которую подготовили с коллегами из Сколтеха, Сбера, МГУ, ВШЭ и Самарского университета. Краткий обзор можно посмотреть в канале у Антона.
⚫️Вчера прошел интересный пленарный доклад от Hongning Wang из Tsinghua University "Human vs Generative AI in Content Creation Competition: Symbiosis or Conflict" о проблеме «борьбы» человека и генеративного ИИ. Делимся кратким обзором от Андрея Кузнецова: исследователи в команде разработали фреймворк для симуляции различных соревнований в области креативного искусства. Они моделировали поведение человека, который использует нейросети при участии в творческих соревнованиях. Например, таких как конкурс художников "State Fair Fine Arts Competition", на котором в 2023 году победила созданная нейросетью картина. В симуляционных экспериментах показано, как креаторы ведут себя во время разных типов соревнований. Такие эксперименты в целом дают понять, что в недалёком будущем использование генеративного контента может преобладать над ручным творчеством, а желание адаптироваться и учиться применять генеративные модели будет только расти.
Скоро расскажем про исследование на Хабре, подписывайтесь, чтобы не пропустить 🔖
С 13 по 15 марта в павильоне Сбера на ВДНХ будут походить Дни AI, приуроченные к «Дню искусственного интеллекта».
Ну и собственно 13 марта(среда) в программе Лектория в павильоне с 12:00 до 15:30 запланированы лекции о различных технологиях AI, которыми плотно занимаются команды AIRI, Sber AI и др. подразделения:
⁃ Что такое Generative AI
⁃ AI для устойчивого развития
⁃ Как AI поможет улучшить нашу речь и навыки публичных выступлений
⁃ Как научить AI слышать, видеть и понимать текст
Приходите, будет интересно)
Вход бесплатный
⚡⚡⚡Anthropic сегодня анонсировал новую линейку мультимодальных моделей Claude 3
https://www.anthropic.com/news/claude-3-family
По дефолту длина контекста 200K токенов, но может быть 1М для "особых случаев"
Всего 3 модели:
1) Haiku — самая быстрая и компактная
2) Sonnet — сбалансированная модель, для энтерпрайза
3) Opus — самая умная, human-like understanding
@complete_ai
ℹ️ И снова небольшое объявление)
Мои друзья и коллеги из центра ИИ в Самарском университете ищут DL инженера с возможностью удалённой работы.
💼 В приложенном PDF описание вакансии
📟 По всем вопросам обращайтесь к заместителю директора центра — Юлии Выборновой @yuliyavybornova
⚡⚡⚡Вот и статья про Sora пожаловала "от OpenAI"
(А точнее от Lehigh University и Microsoft Research)
Сделать разбор статьи о том, что внутри?
PDF
@complete_ai
⚡⚡⚡OpenAI снова всех удивляет
Выпустили модель text2video под названием Sora. Качество потрясающее - фотореалистичность в полной мере. В основе комбо из диффузии и трансформера.
Ждём статью, но интуитивно есть представление, как добились такого.
https://openai.com/sora
@complete_ai
Добавлю немного научного вдохновения вам на выходные) Делюсь отчетом нашего Института AIRI за 2023 год.
За прошедший год в нашем портфолио сформировался целый ряд крупных научных результатов по фундаментальным и прикладным аспектам AI.
От себя еще хочу добавить, что в этом году мы продолжаем активно развивать партнерства и стремиться к лидерству по числу публикаций на конференциях A/A*.
🐉С Новым 2024м годом!!!
By Kandinsky
📌Давайте в комментариях к сообщению добавлять самые лучшие ваши генерации на новогоднюю тематику. Очень люблю ваше творчество!
🔥LLaMa 3 - дождались: Новая SOTA в open-source!
Сегодня день больших релизов от Meta, в которых и я и моя команда принимала прямое участие.
Зарелизили в опенсорс LLaMa-3 8B и 70B:
🔳LLaMa-3 8B – лучшая в своем классе модель, и сопоставима с LLaMa-2 70B, хоть и в 10 раз меньше.
🔳LLaMa-3 70B – тоже самая мощная в режиме 70 млрд параметров, достигает 82 на MMLU бенчмарке (показывает уровень общих знаний в разных областях). Для сравнения, недавняя Mixtral 8x22B с 141B параметров достигает только MMLU 77.8. Ну, и ждем результатов на арене.
C новыми моделями можно початиться на meta.ai
Блог
Подробности
Скачать веса модели
@ai_newz
Международный онлайн саммит про разработку в сфере ИИ
Лучшие практики для разработчиков, ресерчеров, дата сайентистов, техлидов и фаундеров – от ведущих мировых экспертов из индустрии ИИ.
Выступят спикеры из:
— Microsoft (команда PromptFlow)
— D-ID
— Aisera
— Spectrm
— Lightricks
— Wrike
и других компаний-лидеров, которые прямо сейчас создают будущее искусственного интеллекта.
На саммите обсудят темы:
— How to build scalable GenAI Apps using prompts
— Data-driven approaches to personalizing AI Agents
— Crafting AI agents with a natural user interface
— Building robust & scalable AI-powered chatbots;
— The reality of being an AI Founder in 2024
— How Later Stage Companies Adopted AI
— Creating your own corporate-secured "ChatGPT" with almost zero specific knowledge
— Fine-tuning strategies for adapting pre-trained AI Agents to specific use cases,
и многое другое!
Конференция пройдет в ОНЛАЙН формате 16➖17 апреля на английском языке 🌎
Участникам будут доступны презентации, материалы воркшопов и записи, а также доступ в нетворкинг-чат.
Скидка 1️⃣0️⃣ % по промо-коду — FicQbaR
Регистрация через VPN
#реклама
Всем привет! Сегодня знакомим вас с первыми спикерами секции «Нейронные сети, искусственный интеллект»
⠀
1) Андрей Кузнецов (AIRI) «Как научить фундаментальные модели читать, видеть, слышать и анализировать всё одновременно»
⠀
Моделью, которая умеет общаться текстом, сейчас уже никого не удивишь. Андрей расскажет, из чего собрать модель, которая в дополнение к этому умеет смотреть картинки и слушать речь. Очередной шаг на пути к General AI!
⠀
2) Алексей Воропаев (SberAutoTech) «Архитектура беспилотного транспорта нового поколения»
⠀
Доклад позволит узнать, как NeRF нейросети позволяют организовать End2End обучение и тестирование современного беспилотного транспорта.
⠀
3) Евгений Кокуйкин (Raft) «Новые атаки на LLM и методы защиты для прикладных приложений»
⠀
Чем больше LLM проникает в нашу жизнь, тем острее встают вопросы безопасности. Вариативность атак меняется не просто быстро, а очень быстро. Из доклада вы получите полное представление о текущем состоянии атак на LLM и научитесь идентифицировать потенциальные уязвимости в своих приложениях.
⠀
Присоединяйтесь к нам 24 и 25 июня на Saint HighLoad++ 2024 🙌
⠀
✅Ознакомиться со всеми принятыми докладами и купить билет можно на сайте
Сегодня день рождения Kandinsky (самая популярная его версия вышла 4 апреля 2023 года, и с этого началась настоящая история линейки Kandinsky)🎉🎉🎉
И в этот день мы выпустили обновление модели Kandinsky 3.1, в котором:
📍добавили существенное увеличение скорости генерации за счёт дистилляции модели
📍затащили обратно режимы смешивания и вариации изображений вкупе с ControlNet
📍добавили возможность повышения разрешения генераций до 4K
Подробнее можно почитать на Хабре, ну а для всех мы покажем обновление на всех платформах чуть позже. Пишите вопросы в комментариях, буду рад ответить😉
С Днём Рождения, Kandinsky! С праздником всю нашу команду и всех почитателей творчества Generative AI🥂
🍰Ссылка на Хабр
@complete_ai
Сегодня вышла моя первая статья на Хабр про использование процессов в python!
⚙️Как работает multiprocessing в Python под капотом🔧
Многим разработчикам на python, в том числе DS/ML/DE специалистам, нужно ускорять обработку данных или распараллеливать CPU-bound вычисления. Потоки для этой задачи не подходят, так как в питоне есть GIL, поэтому часто используют процессы. Но чтобы мастерски овладеть каким-то инструментом, необходимо понимать как он устроен. Поэтому я подробно разобрал детали реализации пакета multiprocessing.
В статье вы узнаете:
- Как создаются процессы в ОС
- Как устроен внутри пакет multiprocessing
- Как работает пул процессов
P.S. Если получится дать обратную связь или поставить upvote на хабре - буду рад))
P.P.S. Перезалил пост, чтобы были доступны комментарии
Моё знакомство с South HUB началось в 2022 году, когда коллеги из Сбера предложили выступить на новой конференции для CTO и рассказать о генеративном ИИ. Без особых раздумий я согласился, потому что очень хотелось нести в мир то, чем занимается команда, какие исследования мы проводим и в чём видим прикладное значение этого направления. Именно тогда я считаю, что начал открывать перед Kandinsky двери и знакомить всех с нашей технологией синтез изображений по тексту.
Второй опыт участия в конференции был в 2023 году, где я с коллегой проводил воркшоп по тому, как понять и где найти место для генеративного ИИ в своей сфере работы. Интересный опыт, который позволил понять, что хочет бизнес, в какие направления смотрят коллеги и где генеративные мультимедийные данные могут однозначно быть полезными и усилить креатив в компаниях. На тот момент, кстати говоря, у нас уже было пару успешных коллабораций с Кофеманией, генерацией юбилейной монеты к году дракона, а за плечами было изрядное количество пиар проектов для решения задач визуалзиации в разных отраслях.
Почему же я так тепло отношусь к этой линейке конференций? Это действительно крутое место для знакомства со смежными отраслями в IT, огромный потенциал для нетворкинга, мегакрутые знакомства и в целом автоматическое попадание в топ комьюнити инженерно-технического мира в РФ. С 2022 года благодаря знакомствам на South HUB я тесно сотрудничаю с ребятами из Skillbox, Yandex, Geekbrains и др. компаний, мы устраиваем митапы, записываем подкасты, делимся идеями в части построения и развития RnD процессов - за всё это я благодарен организаторам этоу крутой тусовки.
А ещё там бомбические локации для проведения конфы на Красной Поляне, мероприятия для развития духа и тела (спорт турнир по стритболу - это пушка). В общем, что хочу сказать - желаю всем испытывать такие тёплые воспоминания со всех мероприятий, где принимаете участие, а если считаете, что в вашем личном рейтинге пьедестал уже занят каким-то ивентов, съездите на South HUB и первое место ему обеспечено)
⚡⚡⚡Stability AI зарелизили модель синтеза 3D на базе своей же модели синтеза видео — Stable Video 3D
- умеет синтезировать orbital 3D по картинке объекта
- может генерировать произвольные пролёты камеры вокруг объектов (camera path conditioning)
- на выходе может создавать меши объектов
Итого сценарий: входная картинка -> видео (синтез новых положений объекта, novel view synthesis) -> 3D mesh (3D оптимизация)
Тех репорт
GitHub
@complete_ai
❓А что если SORA - это в первую очередь не синтез видео по тексту, а синтез трёхмерных сцен, которые потом просто превращены в облёт камерой?
Небольшую заметку тут нашёл
https://arxiv.org/abs/2402.17403
Что думаете?
Всем привет!
Завтра выступаю в Сириусе на Всемирном Фестивале Молодёжи👨🏫
Расскажу про мультимодальные модели и мультиагентные подходы к взаимодействию языковых моделей
ℹ️Приходите к 12.00 в павильон Сбера, будет интересно!
Программа
ℹ️ В рамках воркшопа на конференции СLEF 2024 мои коллеги проводят соревнование по извлечению вложенных именованных сущностей в биомедицинском домене.
Соревнование проводится на корпусе английских и русских медицинских текстов.
Регистрация
Все подробности в гите. По возникающим вопросам можно писать Вере @veranchos
⏳Mistral-next на подходе
Link
Затаились в ожидании
Вчера мы в AIRI запустили флешмоб, в рамках которого учёные рассказывают про свои первые публикации. Вот и я решил окунуться в прошлое и вспомнить, с чего начал я свой путь в науке и компьютерном зрении.
Первая моя статья вышла в 2008 году в Вестнике Самарского государственного аэрокосмического университета и была посвящена анализу изображений радужки с использованием преобразования Радона. Я был на 3м курсе и незадолго до написания статьи был увлечён рассказом своего первого научного руководителя Александра Викторовича Куприянова (ныне д.т.н., директор Института информатики и кибернетики Самарского университета) о проводимых исследованиях в области анализа цифровых изображений. Я стал понемногу погружаться в мир цифровой обработки сигналов, узнал о возможных применения таких разработок в разных доменах, в том числе медицинском, и достаточно быстро втянулся в исследования. Хотелось найти в области анализа радужных оболочек что-то очень интересное, ведь их структура при ближайшем рассмотрении выглядит завораживающе.
Читая сейчас свою первую работу, я, конечно, гляжу на неё совсем другим взглядом, но в памяти всплывают моменты, как я строил графики и генерировал к ней иллюстрации. Довольно приятные и ностальгически-душевные воспоминания)
В статье я исследовал различные механизмы извлечения признаков в полярной развёртке радужек с помощью преобразования Радона и искал способы эффективного признакового представления в различных цветовых пространствах.
Дальше мои исследования в этой области далеко не пошли, медицинский домен в то время меня вероятно не сильно интересовал. Следующим этапом в карьере в компьютерном зрении стали данные дистанционного зондирования Земли, и вот задачи их анализа захватили меня на 10+ лет🗺️ — но это уже совсем другая история)
P.S. Ещё раз хотел бы поблагодарить своего первого научного наставника Куприянова А.В. за этот стартовый "научный капитал"🤝
#AIRI_вдохновляет
☕️Первая коллаборация в 2024 году
Императорский Фарфоровый Завод создал коллекцию кружек с рисунками, сгенерированными Kandinsky.
Теперь можно пить чай и держать в руках кусочек AI
Новость
P.S. Скоро вернусь с большими апдейтами и новыми обзорами😉
🎉🎉🎉С Новым годом, дорогие подписчики! Спасибо, тем, кто уже был со мной в 2023 и тем, кто присоединился)
Буду дальше радовать вас новым контентом, будет ещё интереснее!
Здоровья вам и успехов во всём! Пусть все желания сбудутся!
Стартуем!🐉