Меня зовут Андрей Кузнецов Директор лаборатории FusionBrain в AIRI, один из фаундеров моделей Kandinsky, к.т.н., 15+ лет опыта в Computer Vision, выступаю с лекциями и пишу о событиях в AI и ML Tg: @kuznetsoff87 Linkedin: https://tinyurl.com/y96nmmdd
Больше не нужно искать тематические каналы и по отдельности на них подписываться — мы сделали это за вас 👍
Вам остается только перейти по ссылке, сохранить папку себе и регулярно получать полезные ресурсы и знания из сферы «Продакт, ИИ»
/channel/addlist/pr7M9cPgdo0zOGE6
Хочешь в подборку?
Kandinsky — 2️⃣ года! Только цифры:
4️⃣ дня понадобилось Kandinsky 2.1, чтобы набрать 1 млн уникальных пользователей
1️⃣ место по темпу роста среди Open Source моделей заняла модель Kandinsky 2.2
6️⃣0️⃣0️⃣ млн изображений сгенерировали нейрохудожники
За это время Kandinsky стал генерировать изображения в 10 раз быстрее, научился создавать анимации и видео и собрал вокруг себя самых творческих юзеров.
За этими достижениями стоит команда людей с горящими глазами, влюблённых в свою работу — и в этом видео мы предлагаем с ними познакомиться.
Что своему нейродругу скажет GigaChat?
Дорогой Kandinsky, сердечно поздравляю тебя с днём рождения! Желаю тебе всегда оставаться таким же прекрасным генератором изображений, каким мы все тебя знаем и любим.
Пусть твои творческие возможности растут вместе с твоим желанием создавать новые шедевры. И пусть твои нейроны всегда будут такими же активными и креативными, как в первый день работы!
Буквально пару дней назад команда Яндекса выпустила в опенсорс новый инструмент — библиотеку YaFSDP (FSDP — один из широко используемых алгоритмов обучения с параллелизмом по данным и "нарезкой" параметров модели по отдельным GPU).
Доработка FSDP позволяет, судя по замерам, ускорить обучение различных LLM до 25% (при небольшом батче) в зависимости от архитектурных особенностей.
С точки зрения выч. ресурсов на самую затратную часть исследовательского процесса — обучение моделей — можно сократить использование GPU мощностей на 20%.
🧠В технические детали можно погрузиться на Хабре (там еще довольно хорошо описали проблемы известных механизмов обучения и историю их развития в контексте распределённого обучения) и в канале Душный NLP
📚Мой хороший друг Сергей Марков @oulenspiegel написал отличный двухтомник про AI «Охота на электроовец: большая книга искусственного интеллекта». Там и про проблемы и вызовы современных моделей, и про страхи, бытующие в обществе, и про многое другое!
Советую всем к прочтению, ибо там собрана квинтэссенция результатов, которые в сложном RnD процессе можно получить только за годы опыта.
Полные электронные версии книги (epub, docx, pdf) можно скачать с сайта бесплатно: http://markoff.science#book
Только что на ПМЭФ-24 мы подписали меморандум о сотрудничестве с ГИАП. Делюсь видео с места событий.
Читать полностью…Рассказали про новое исследование про линейность больших языковых моделей, которое сделали ученые AIRI вместе с коллегами из SberAI и Сколтеха.
🔖Читайте материал по ссылке.
Научная статья "Your Transformer is Secretly Linear" собрала уже 130 upvote на Hugging Face Daily Papers, все подробности — в недавнем посте 🔥
⚡️Сегодня мы выпустили обновлённую версию Kandinsky Video 1.1 в публичный доступ
Основные изменения коснулись качества генерации (поработали с самим пайплайном синтеза, улучшили латентный декодер, использовали значительно бОльший сет на обучении) и, конечно, скорости - видео длиной 5 секунд генерируется примерно за 1.5 минуты (это если без очереди) с FPS=30.
📖 Детали по классике в Хабре
🛜 Ссылки собрали на Project Page
🤖 Бот в телеграмм теперь и с видео
@complete_ai
105!
Спасибо всем🙏
Это абсолютный рекорд наших публикаций среди комьюнити🔥
🏦На конференции действительно много активностей и конференция по масштабу можно считать одной из крупнейших в России. Среди привычных и уже знакомых «покатушек на великах», настольных игр мне понравился больше остальных новый стенд Сбера
В этом году команда HR бренда сделала интересный ход: вместо привычного мерча в виде маек, настолок и прочей символики ребята устроили благотворительный марафон — за выполнение заданий в ходе активностей на стенде участники будут зарабатывать виртуальные рубли
После конференции Сбер конвертирует виртуальные деньги в реальные, дополнит сумму и закупит на неё технику в Новосибирский лицей
🔥На мой взгляд, это реально крутой кейс, как можно сменить парадигму привычных подходов к привлечению новых сотрудников в сторону пользы для человека и общества
Your Transformer is Secretly Linear
Спешу познакомить вас с новой публикацией лаборатории FusionBrain про линейность большинства слоёв языковых моделей декодеров (принята на конференцию ACL 2024 - Main Track, Core A*). Наше исследование позволяет проанализировать внутренние представления языковых моделей, а также без потери качества избавиться от 10-15% слоёв.
Еще мы придумали новый механизм регуляризации, чтобы снизить пресловутую линейность и, тем самым, получить небольшой буст в качестве.
Ниже ссылочки на статью на архиве и код на гитхабе нашей прошлой статьи про анизотропию и внутреннюю размерность эмбеддингов (представляли на EACL 2024).
Статья уже на Hugging Face Daily Papers и уверенно занимает первое место, но мы будем очень рады вашим upvote голосам ⬆️
https://huggingface.co/papers/2405.12250
📕arXiv
👨💻GitHub
📖Хабр
@complete_ai
🎉Пришла радостная новость!
Статья на Хабре про Kandinsky 2.1 (линк) вошла в шортлист лучших статей 2023 года в номинации AI&ML. Среди 1022 заявок было выбрано около 300 работ. К 27 мая определятся сильнейшие!
С другими отобранными статьями можно ознакомиться тут
⛓️💥Часть 4 (самая хардкорная): Я случайно взломал Gemini 1.5 Pro от Google или к каким ужасным последствиям может привести гонка ИИ. (18+)
Я понял, что у Gemini 1.5 никаких барьеров просто нет и решил проверить те темы, которые должны быть абсолютно точно под запретом.
Но... посмотрите сами... У меня нет слов если честно. ☹️☹️☹️
А если про GPT-4o, то мой feedback такой:
- синтез речи впечатляет
- трансляция эмоций, стиля в голосе - эмпатия не за горами
- вопросы в пользователю и четкое следование инструкциям - поможет с уточнением задачи в случае неуверенности в ответах, снизятся галлюцинации
- генерация и компиляция кода очень быстрая 👍
- в части понимания картинок и видео примеры были достаточно примитивные, полноценное видео для их решения не требовалось
Ну и конечно, наконец Open AI может словом «Open» в названии пользоваться полноценно - GPT-4o теперь будет доступна всем бесплатно
Кто захочет послушать презентацию апдейтов, ссылку оставляю:
https://www.youtube.com/live/DQacCB9tDaw
Запускаем Большой Семинар AIRI — пространство для знакомства исследователей из разных областей и всех, кто интересуется наукой 💡
21 мая в 17:30 российский химик, академик РАН, заведующий лабораторией Института органической химии им. Н. Д. Зелинского РАН Валентин Анаников выступит с докладом «Искусственный интеллект в химии».
Модератор Большого Семинара AIRI — доктор физико-математических наук, профессор РАН, CEO Института AIRI, профессор Сколтеха Иван Оселедец.
Приглашаем вас разделить с нами запуск проекта, послушать лекцию и поучаствовать в дискуссии.
📌Регистрируйтесь по ссылке и делитесь постом с друзьями и коллегами!
📣 В прямом эфире подглядываем, как CTO проходят собеседования в крупные компании
👉 Mock interview — не новый в мире, но всё более популярный в России формат. Его суть в том, чтобы помочь соискателю подготовиться к настоящему испытанию на серьёзную должность.
На открытом собеседовании CTO с CEO вы узнаете, чего хотят СЕО от СТО, что на самом деле интересует бизнес, что важно CEO крупных компаний, какие вопросы он задаёт и на что делать ставки, чтобы занять позицию. У вас будет возможность получить много полезного в режиме онлайн, переложив этот тест на свой опыт и карьерные амбиции.
Встречаемся во вторник, 23 апреля, 19:00
В роли интервьюера — Дмитрий Григорьев, CEO Циан
В роли модератора — Екатерина Загумённова, Head of Executive Search Avito P&T
В роли кандидата — Дмитрий Кривицкий
👉 Теперь побольше о нашем «претенденте» на роль CTO
Дима Кривицкий — опытный технический директор, в разработке 20 лет, в управлении кросс-функциональными командами 10: реклама, финтех, IoT, облака. Software engineering manager в Google Cloud, СТО в Atol, Managing Director, Digital transformation в VTB — это некоторые из строчек его CV. С ним вы можете ознакомиться и целиком, открыв файл.
Увидимся в эфире канала 23 апреля в 19:00 по Москве. 🙌
#эфир
🚀 Продолжается приём докладов на конференцию «AI Conf 2024»
Напомню, что 26-27 сентября пройдет первая прикладная техническая AI-конференция по Data Science от Онтико, организаторов Highload, TeamLead, TechLead, Frontend, Golang, DevOps Conf и т. д.
Мы решили продлить приём докладов до 30 июня! Подавайте доклады о своих исследованиях и разработках в любых направлениях, связанных с DS и ML: NLP, CV, рекомендательные системы, генеративный ИИ, новые архитектуры и способы оптимизации вычислений, эффективные методы обучения моделей
Ключевые даты:
🕓 30 июня 2024 — дедлайн подачи заявок
✅ 15 июля 2024 — решение о включении докладов в программу
🎤 26 и 27 сентября 2024 — конференция в Москве
https://cfp.aiconf.ru/
У вас стартап и вы в поисках инвесторов? Тогда канал СберСтартап — то, что вам нужно.
Советы от фаундеров и инвесторов, технологические тренды, новости о венчуре. Подписчики в прямом эфире смотрят питч-сессии!
Вам точно будет интересно:
📍 Бутстрэппинг или VC — советы выпускника Sber500 о поиске инвестиций
📍 Чек-лист вопросов о стартапе от венчурного синдиката Coion
📍 Как выстраивать отношения сооснователям стартапа — опыт BuildDocs
📍 Как венчурные инвесторы ищут стартапы — ответы инвесторов
Забирайте в подписки, чтобы развиваться быстрее!
#промо
На днях вышла очередная модель Luma - “убийца” Sora (модель от Open AI, которая генерирует фантастические по качеству видео по тексту)
С учётом наплыва активности на новый сервис, запустив генерацию вчера в районе 21, где-то под утро видео-таки сгенерировалось (довольно хорошее качество, кадры хорошо согласуются друг с другом, движения плавные).
Почитал про команду: изрядный штат ребят с большим опытом в 3D. Вот первая фамилия в команде
https://yoopaul.github.io/
Ну и остальные далее тоже ребята с авторством в статьях по NERF и прочему
https://lumalabs.ai/team
На мой взгляд вновь подтверждается, что то, что мы называем «видео» - это на самом деле основано на огромных массивах рендерингов сцен.
Snap, кстати, на днях выпустили статью про синтез 4D сцен на базе диффузионных моделей генерации видео (сначала синтезируются ролики text-to-video моделью, а далее каждый кадр фиксируется и создаются «пролёты» на базе гауссова сплаттинга)
людишки еще не поняли, к чему все идет
утащил у Дмитрия Колодезева
⚡️Сегодня мы выложили наш фреймворк для обработки и фильтрации изображений и видео
DPF - это наш внутренний фреймворк, с помощью которого мы обрабатывали и чистили датасет для обучения моделей Kandinsky и Kandinsky Video. Репозиторий содержит фильтры для видео, изображений, различных комбинаций этих модальностей, а также удобный интерфейс к ним. Надеемся, что открытие кода ускорит развитие библиотеки и даст возможность ресерчам сосредоточиться на ресерче, а не на чистке данных ❤️🔥
А ещё мы написали статью на habr, в которой подробно рассказали про то, как собирали датасет для обучения Kandinsky 3.0 & 3.1 и Kandinsky Video. В ней также рассказали про DPF и процесс обработки датасетов у нас в Sber AI.
💻 github DPF
📖 Статья на Хабр
🤖В рамках международной конференции AI Journey стартовал открытый отбор статей по AI/ML
Отобранные работы будут опубликованы в журнале «Доклады Российской академии наук. Математика, информатика, процессы управления» и его англоязычной версии Doklady Mathematics.
📖Журнал:
· Индексируется в крупнейших библиографических базах данных научного цитирования
· Доступен международной аудитории и публикуется на площадках мировых электронных библиотек
✍️Успейте подать заявку до 20 августа и получить возможность не только опубликовать свое исследование в авторитетном научном издании, но и представить его на площадке конференции AI Journey.
🏆За лучшую статью предусмотрен приз 1 млн рублей!
ℹ️ Более детальную информацию можно найти в Правилах -> AI Journey.
👋🏻 Всем привет!
Хочу пригласить вас на один пушечный IT-фестиваль, где соберётся 1000+ IT специалистов от Middle до C-Level, как в Development, так и в бизнес направлениях!
Формат — не обычная конфа с докладами, основная фишка — это интерактив, которые точно понравятся всем, кто работает в мире IT! (организаторы обещают, скучно не будет)
Итак, Летний ProIT Fest 2024
📅 Когда: 6-7 июля
📍 Где: SPA отель «Новый Петергоф»
Вас ожидают:
▫️ 18 секций для представителей различных сфер IT, которые будут интересны как Senior, так и организаторам
▫️ Более 150 ведущих специалистов из крупнейших ИТ-компаний в качестве спикеров, которые готовы размывать границу между спикерами и участниками: это всеми любимые Александр Крылов (DevOps for Love), Ирина Матвеева (SPb HR Meetup), Виталий Левченко (Golang, DevOps, Highload), Анна Белянина (Аналитика), PiterJS, SPb Founders, Дмитрий Безуглый (Product), Евгения Ковалевская (PM Lunch), Дмитрий Торшин (C Level) и другие
☝️ А ещё: плодотворный нетворкинг, актуальные темы, игровые активности, классное after party, в общем, своя атмосфера!
Вместе с организаторами мы подготовили для вас небольшой подарок: сейчас у вас есть возможность приобрести билеты на Летний ProIT Fest со скидкой 10% по промокоду KUZNETSOVPROIT
Но надо поспешить, с 1 июня цены поднимутся ⬆️
🎟 Для приобретения билетов жмите сюда 👈🏻
🤔 Остались вопросы? Подробности и программа на нашем сайте и в телеграм-канале 👈🏻
Очень жду встречи с вами на Летнем ProIT Fest! 🤍
Статья по линейности эмбеддингов и новую механику регуляризации почти пробила 100 upvote на Hugging Face Daily Papers🔥
Линк
Всем привет!
Сегодня и завтра я на конференции CodeFest в Новосибирске, завтра поделюсь со слушателями в треке AI про способы расширения возможностей LLM в сторону понимания других типов данных, типа картинок, видео и др.
Конфа очень бодрая, организаторы молодцы, собрали крутых спикеров со всей России! Конечно, джетлаг с Мск в +4 часа не супер комфортно, но есть ребята, кто прилетел из -5))
Много стендов, активностей от разных компаний, подробнее расскажу про самые интересные сегодня и завтра👨💻
Всем привет!
Мы сейчас готовим статью по персонализированной генерации на международную конференцию NeurIPS 2024, и нам нужно провести human evaluation нашего метода. Так как дедлайн завтра, мы решили не заморачиваться и постараться быстро собрать нужный фидбэк в гуглдоке🤗
🙏Хочу попросить вас принять участие в исследовании и пройти небольшой опрос (до 14.00 мск 22.05). Он достаточно простой, нужно будет смотреть на картинки и выбирать у какого метода лучше получилось. В статье обязательно укажем, что помощь комьюнити бесценна🔥
Сам опрос большой, в нём 100 вопросов, но можно отвечать на часть вопросов. Если ответите хотя бы 10-20 вопросов, уже будет отлично🔥🔥🔥
Заранее благодарим за вклад в научный прогресс🙏
Ссылка на форму для сбора данных прилагается:
https://forms.gle/9geNyi45U1YeUpyMA
С большой верой в вас, априорной благодарностью и безмерным уважением🤗
За репост отдельные кармические плюсы🤝
Всем привет!
Я к вам с объявлением и приглашением на новую прикладную конференцию Ai Conf 26-27 сентября, которую мы собираем с коллегами из топ исследовательских и DS коллективов России.
На конференции хотим сделать обзор всего, что волнует исследователей в различных направлениях науки о данных — компьютерное зрение, синтез речи, языковые модели, мультимодальные решения и др.
Мы соберем максимум актуальной и супер свежей информации, чтобы побывав на конференции, каждый участник актуализировал свои знания, получил новые идеи для развития, узнал что-то новое.
Приглашаю всех заинтересованных принять участие в качестве спикеров и участников. Наш программный комитет обязательно выберет самые крутые темы🏆
Буду благодарен за репосты🤝
Регистрация на конференцию: https://cfp.aiconf.ru/
Больше деталей ещё в статье Олега Бунина на Хабре:
https://habr.com/ru/companies/oleg-bunin/articles/814539/
Крайне интересный лик обнаружил подписчик канала)
Удивительно, как такие вещи во время всеобщего помешательства на AI Alignment
/channel/agilabs
А пока все судорожно восхищаются апдейтами GPT-4o (кстати o - это Omni, значит наша модель OmniFusion в тренде:)), сегодня TII выпустили новую версию мультимодальной модели Falcon 2 (новость)
- Falcon 2 open source, мультиязычная мультимодальная LLM
- Falcon 2 11B превосходит Llama 3 8B и выбивает по качеству значения на уровне с моделью Google Gemma 7B
- В настоящее время авторы исследуют возможность еще большего улучшения качества с помощью Mixture of Experts
@complete_ai
Не прошло и дня, как MS выложили веса Phi-3 Mini.
Дали доступ к инструктивным версиям с контекстом 4k и 128k токенов, а также onnx и gguf адаптации модели
Мы забрали пощупать модель в возникающий уже зоопарк реализаций OmniFusion — расскажу по итогу, что получится
Дизайнеры vs AI. The winner is…
В этом году наш институт AIRI решил поддержать IV Конкурс-биеннале предметного дизайна «Придумано и сделано в России» впервые появилась номинация «AI‑технологии».
В рамках конкурса я буду выступать в роли куратора номинации «AI-технологии в дизайне», а мой коллега Денис @dendimitrov - членом экспертного жюри.
Эксперты оценят как дизайнеры «общаются»с генеративными моделями и насколько точно им удается воплотить задуманное. Это интересный опыт как для дизайнеров, креаторов, так и для экспертов, ведь надо быть непредвзятым между человеком и ИИ😉
Знаю, что среди моих подписчиков много промпт-инженеров, дизайнеров и представителей других творческих профессий - этот ивент для вас🖼️
🍿 Все подробности на официальном сайте конкурса. Подать заявку можно до 12 августа 2024 года. Участвуйте и побеждайте!