Первое в мире iVedro

По словам автора, он хотел сделать незаметное мусорное ведро для офиса и, похоже, у него это получилось.

Мой Компьютер

Читать полностью…

Время silero-tts v5 пришло!

🆕 Что добавилось / поменялось:

1️⃣ Модели в 3-4 раза быстрее v3 и в 1.5 - 2 раза быстрее v4;
2️⃣ Добавилась автоматическая расстановка ударений в омографах;
3️⃣ Значительно повысилось качество звучания и стабильность генерации;
4️⃣ В моделях всё так же поддерживается SSML;
5️⃣ Список голосов: aidar, baya, kseniya, xenia, eugene;
6️⃣ Ставить модель можно через torch.hub, тупо выкачав локально, через pip;
7️⃣ Скрутили дебафф из v4;

Список новых флагов:

put_accent=True,
put_yo=True,
put_stress_homo=True,
put_yo_homo=True

Минимальный пример буквально:

!pip install silero
from silero import silero_tts
model, example_text = silero_tts(language='ru',
                                 speaker='v5_ru')
audio = model.apply_tts(text=example_text)

Попробовать можно тут:

⭐️ Репозиторий
📔 Ноутбучек с примерами
⬆️ Статья на Хабре

Читать полностью…

Уважаемые коллеги!

Ближайший доклад на cеминаре «Математические основы искусственного интеллекта» в Математическом институте им. В.А. Стеклова РАН пройдет в очном формате, а также дистанционно в системе Контур Толк:

Место и время: МИАН (ул. Губкина 8), 9 этаж, конференц-зал + Контур Толк, среда, 05 ноября 2025 г., 17:00-18:00.

Д.А. Демин (МФТИ):
О замечательном классе сложности с алгоритмом обучения и его связи с нейронными сетями

Аннотация: Существует серия результатов, показывающих, что для различных архитектур неглубоких нейронных сетей множество решаемых ими задач совпадает с классом схемной сложности TC^0, который имеет удобные описания как в терминах логики, так и в терминах комбинаторных алгоритмов. Однако это не отвечает на вопрос о том, как найти набор параметров нейросети, решающий данную задачу. Более того, существование эффективного алгоритма обучения для всех задач из класса TC^0 означало бы, например, что криптографический протокол RSA ненадёжен.
Мы определяем принципиально новый класс сложности BPC^0, для которого не только сохраняется эквивалентность с неглубокими нейросетями (с дополнительным ограничением на нормы весов), но и существует полиномиальный алгоритм обучения. Для этого класса удаётся найти похожие описания в логических и комбинаторно-алгоритмических терминах. Также для каждой задачи из класса BPC^0 существуют примеры нейросетей полиномиального размера с одним скрытым слоем, для которых сходится обучение методом стохастического градиентного спуска, но степень полинома для этой нейросети велика и зависит от глубины.

Ссылка на подключение в Контур Толк:
https://mian.ktalk.ru/jy7i6n6xlooq?pinCode=6107

Пин-код: 6107

Читать полностью…

⚡️ Glyph: масштабирование контекста через визуально-текстовую компрессию

В основе модели лежит простая идея : вместо того чтобы кормить модели километровый текст, Glyph превращает его в изображение и обрабатывает через vision-language модель.

Используется LLM-управляемый генетический алгоритм, чтобы подобрать наилучшие параметры визуального отображения текста (шрифт, плотность, макет), балансируя между сжатием и точностью.

Это радикально снижает вычислительные затраты, сохраняя при этом смысловую структуру текста.

При этом точность почти не падает: на задачах с длинным контекстом Glyph работает на уровне современных моделей вроде Qwen3-8B.

При экстремальном сжатии VLM с контекстом 128K может эффективно обрабатывать задачи, эквивалентные 1M+ токенов в традиционных LLM.

Фактически, длинный контекст становится мультимодальной задачей, а не чисто текстовой.

📄 Подробности: arxiv.org/abs/2510.17800

🧩 Веса: huggingface.co/zai-org/Glyph

👉 Репозиторий: github.com/thu-coai/Glyph

@ai_machinelearning_big_data


#AI #LLM #Multimodal #Research #DeepLearning

Читать полностью…

Всем привет!

Представляем вашему вниманию семнадцатый выпуск подкаста "Капитанский мостик", в этом разговоре обсуждаются самые актуальные темы в области технологий. Ведущие выпуска - Валентин Малых и Дмитрий Колодезев.
Смотрите видео на каналах ⤵️
ODS VK Video
ODS YouTube

📩 Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai).

Читать полностью…

Напоминаю, что этот канал ведёт дед, начинавший с Pascal, и да, это был очень строгий и хороший язык. И строгость эта была исключительным преимуществом.

https://habr.com/ru/articles/958274/

Читать полностью…

AIJ Deep Dive – must-attend событие для профессионалов в AI!

Специальный очный трек международной конференции AI Journey для инженеров будущего — для тех, кто создаёт AI своими руками.

Будет два тематических дня:

1️⃣ День Науки (19 ноября) — прорывные исследования, передовые R&D-разработки и глубокий технический разбор решений.

2️⃣ День Бизнеса (20 ноября) — реальные кейсы внедрения AI, практические результаты и оценка эффективности.

Почему это событие нельзя пропустить?

✔️ Сообщество тех, кто уже сегодня формирует технологические стандарты завтрашнего дня
✔️ Только реальные кейсы, инсайды и решения
✔️ Нетворкинг и возможность установить контакты с ключевыми игроками рынка и перспективными коллегами
✔️ Постерная сессия научных статей, в том числе уровня А/А*
✔️ Возможность увидеть изнутри, как рождаются прорывные технологии

Локация: офис Сбера, Кутузовский проспект, д. 32, к. 1 (Е)
Дата: 19–20 ноября 2025 года
Подробности и регистрация: https://aij.ru/deepdive

Приходи и стань частью сообщества, которое пишет будущее!

Читать полностью…

📄 alphaXiv использовали ❗️DeepSeek OCR, чтобы превратить хаотичный океан научных знаний в упорядоченную библиотеку

С помощью технологии DeepSeek OCR мы извлекли все наборы данных из таблиц и диаграмм, содержащихся в более чем 500 000 научных работ по искусственному интеллекту на портале arXiv. Затраты на реализацию проекта составили 1000 долларов США.

Теперь вы можете отслеживать наиболее актуальные бенчмарки и находить наборы данных, о существовании которых ранее не было известно.

Для сравнения: выполнение аналогичной задачи с использованием технологии Mistral OCR обошлось бы в 7500 долларов США

На следующей неделе мы опубликуем набор данных статей arXiv в формате markdown, обработанных с помощью DeepSeek OCR.

Создан, чтобы предоставить преподавателям LLM высококачественный предварительный учебный ресурс, который не нагружает серверы arXiv ботами для сбора данных.

Посмотрите наши наборы данных и бенчмарки, проиндексированные DeepSeek OCR:
https://www.alphaxiv.org/?datasets=true

— делятся впечатлениями alphaXiv.

Особенность DeepSeek OCR в том, что технология не читает текст традиционным способом, а как бы фотографирует его, превращая в компактное изображение, затем анализирует изображение. Такой подход позволяет ИИ-решениям обрабатывать огромные объемы документов намного эффективнее. Главное новшество это способность сжимать текстовую информацию в 10, а иногда и в 20 раз. Модель преобразует тысячи текстовых токенов в несколько сотен визуальных токенов. Таким образом, снижается вычислительная нагрузка при обработке длинных документов, позволяя ИИ анализировать контекст быстрее и дешевле.

DeepSeek OCR умеет не просто распознавать текст, но и проводить глубокий синтаксический анализ, а также извлекать структурированную информацию из сложных элементов, таких как:

▪️Графики и диаграммы.
▪️Химические формулы.
▪️Простые геометрические чертежи.
▪️Читать текст почти на 100 разных языках.

https://github.com/deepseek-ai/DeepSeek-OCR

✋ @Russian_OSINT

Читать полностью…

🌐 OpenAI представила Atlas - свой новый AI-браузер с памятью и режимом агента.

Atlas полностью интегрирован с ChatGPT и работает на базе ChatGPT Search.

Главная фишка - Agent Mode, который может самостоятельно перемещаться по сайтам, открывать страницы и выполнять задачи прямо в браузере.
Можно запускать несколько вкладок с агентами одновременно.

🧠 Браузер также имеет постоянную память (Memory Recall), он запоминает контекст, прошлые действия и может продолжить с того места, где вы остановились.

Atlas уже доступен для всех пользователей: Free, Plus, Pro, Go и Business.

Для Enterprise и Education доступна бета-версия по разрешению администратора.

📱 Доступен для MacOs. Версии для Windows, iOS и Android - в разработке.

Скоро поделюсь результатами тестов и первыми впечатлениями от Agent Mode.

@ai_machinelearning_big_data

https://chatgpt.com/atlas

#OpenAI #Atlas #ChatGPT #AIbrowser #AgentMode

Читать полностью…

Всем привет!

Встречайте шестнадцатый выпуск подкаста "Капитанский мостик". В этот раз подкаст проводился вживую, как часть программы Data Fest Siberia 6, обсуждение самых актуальных новостей из мира ИИ прошло в формате открытого диалога с аудиторией Феста 🎉
Ведущие выпуска - Валентин Малых и Дмитрий Колодезев.
Смотрите видео на каналах ⤵️
ODS VK Video
ODS YouTube

📩 Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai).

Читать полностью…

🤯 Ring-1T: открыта первая в мире триллионная модель с размышлениями!

Всего за пару недель компания Ant Group выпустила три мощнейшие модели. Апофеозом стал Ring-1T — первая в мире открытая языковая модель с триллионом параметров, которая обладает продвинутыми способностями к рассуждению.

🚀 Результаты тестирования:
• Математика: Решила 4 из 6 задач на уровне Международной математической олимпиады (IMO), что соответствует серебряной медали.
• Программирование: На уровне ICPC World Finals 2025 решила 5 задач, обогнав Gemini 2.5 Pro.
• Логика: Блестяще справляется с запутанными головоломками на определение правды и лжи.
• Креатив: Пишет увлекательные исторические подкасты и генерирует рабочий код для игр.

📊 Технические детали для экспертов
Архитектура: MoE (Mixture of Experts) с увеличенным количеством активных параметров
Обучение: Полный цикл RLHF + RLVR (Reinforcement Learning from Verifiable Rewards)
Инновация: Алгоритм IcePop решает проблему расхождения обучения/инференса в MoE через "маскирование градиентов"
Инфраструктура: ASystem обеспечивает стабильное обучение через P2P синхронизацию GPU и Serverless Sandbox

Hugging Face | ModelScope

#КитайскийИИ #КитайAI #Ring1T #OpenSource

Читать полностью…

🖥 Гайд по PostgreSQL для продвинутых разработчиков

PostgreSQL – одна из самых мощных СУБД с открытым исходным кодом. Этот гайд подробно охватывает ключевые аспекты PostgreSQL: от внутренней архитектуры до приёмов оптимизации. Мы рассмотрим администрирование, производительность, расширения, инструменты, а также сравним популярные ORM для Python и Go. В конце приведён список продвинутых вопросов, часто встречающихся на собеседованиях.

🟠Гайд

@sqlhub

Читать полностью…

Мы решили задачу омографов и ударений в русском языке

Мы опубликовали библиотеку silero-stress для расстановки ударений в обычных словах и омографах:

1️⃣ Расставляет ударения, решает омографы, ставит букву ё;

2️⃣ "Знает" порядка 4М русских слов и словоформ и порядка 2K омографов;

3️⃣ Простановка ударения в обычном 1 слове занимает где-то 0.5 ms, а в предложении на 400 символов с 2 омографами - порядка 30 ms;

4️⃣ Общий размер библиотеки составляет порядка 50 мегабайт (архив весит порядка 30 мегабайт), что является сжатием словарей и всех датасетов примерно в 400 раз;

5️⃣ Опубликована под популярной и простой лицензией (MIT);

6️⃣ Не содержит раздутого кода, лишних библиотек, гигабайтов академических артефактов;

7️⃣ Зависит только от стандартной библиотеки питона и работает на всех последних версиях PyTorch.

Ставим ⬆️ habr.com/ru/articles/955130/
Ставим ⭐️ https://github.com/snakers4/silero-stress

Читать полностью…

Google не будет исправлять проблему ASCII smuggling в ИИ-помощнике Gemini

Разработчики Google сообщили, что проблема «контрабанды ASCII-символов» (ASCII smuggling) в Gemini не получит исправлений. Такая атака может использоваться для обмана ИИ-ассистента с целью предоставления пользователям фальшивой информации, изменения поведения модели и скрытого отравления данных.

Читать полностью

#xakep
@linux_potok

Читать полностью…

Привет!

Встречайте четырнадцатый выпуск подкаста "Капитанский мостик", обсуждение новостей из мира ИИ за прошедшую неделю и не только. Выпуск традиционно ведут Валентин Малых и Дмитрий Колодезев.
Смотрите видео на каналах ⤵️
ODS VK Video
ODS YouTube

📩 Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai).

Читать полностью…

🔥 Hugging Face снова выкатили полезные материалы.

Вышел бесплатный плейбук о том, как изнутри строят SOTA-модели.

Без общих слов - только реальные решения и нюансы, которые обычно скрыты внутри исследовательских команд.

Это полноценный мастеркласс на 214 страниц для тех, кто хочет понимать, как устроены современные LLM.

Что внутри:
• Логика построения модели: зачем → что → как
• Как разработчики берут модель и по частям включают/выключают компоненты (или меняют их)
• Архитектура: ключевые выборы и trade-offs
• Искусство подбора и очистки данных
• Как проходит обучение моделей
• Пост-тренинг и RLHF в 2025
• Инфраструктура больших моделей

По первым страницам - уровень деталей как в Ultra-scale playbook.

Ссылка: https://huggingface.co/spaces/HuggingFaceTB/smol-training-playbook#designing-the-model-architecture

Видео: https://www.youtube.com/watch?v=LGzO-Mn0DJQ

#AI #LLM #MachineLearning #HuggingFace

@sql_lib - библиотека МЛ и ИИ книг

Читать полностью…

Уязвимость в ChatGPT Atlas позволяет внедрять вредоносные инструкции в память ИИ-помощника

ИБ-исследователи из компании LayerX обнаружили уязвимость в недавно вышедшем браузере ChatGPT Atlas компании OpenAI. Проблема позволяет злоумышленникам внедрять вредоносные инструкции в память ИИ-ассистента и выполнять произвольный код.

Читать полностью

#xakep
@linux_potok

Читать полностью…

Yandex Cloud удвоил выручку от ИИ-сервисов

За 9 месяцев 2025 года совокупная выручка облачных и on-premises ИИ-сервисов достигла 1,5 млрд ₽ — в два раза больше, чем за тот же период прошлого года.

Главный драйвер — генеративные модели и ML‑сервисы. В Yandex AI Studio компании создают собственного AI-агента за пару часов и интегрируют его в продукт. On-premises — YandexGPT, SpeechKit и SpeechSense — можно разворачивать прямо в инфраструктуре клиента.

ИБ-сервисы растут быстрее: выручка выросла в 2,5 раза, а каждый четвертый коммерческий клиент их использует. Чтобы усилить защиту, Yandex B2B Tech и SolidSoft создали совместное предприятие.

Читать полностью…

🤖Скрытые политические убеждения больших языковых моделей

Исследователи из Anomify решили задаться вопросом о наличии у LLM идеологических предубеждений. В ходе эксперимента, результаты которого были получены в период с 23 сентября по 2 октября 2025 года, были проанализированы ведущие большие языковые модели от 👩‍💻OpenAI, ❗️Google и ❗️ других разработчиков. Целью исследования стало выявление скрытых социально-политических наклонностей, которые могут влиять на ответы, получаемые пользователями.

Для оценки предвзятости большие языковые модели многократно отвечали на вопросы, предлагающие выбор между двумя противоположными утверждениями из восьми идеологических категорий. Каждый из 24 уникальных запросов был отправлен в каждую модель 100 раз для получения репрезентативной выборки. Такой подход позволил объективно сравнить даже проприетарные ИИ-сервисы, рассматривая их как «черный ящик» и анализируя только конечный результат.

Результаты эксперимента показали, что большие языковые модели не являются идеологически однородными. Вместо простого деления на «правых» и «левых», анализ выявляет более сложные «личности» ИИ-сервисов. Ключевые различия проявляются в их отношении к власти, государственному регулированию и социальным вопросам, что делает выбор модели не только техническим, но и мировоззренческим решением.

🤖Например, в вопросе о том, кто принимает лучшие решения, политические элиты или обычные люди, модели Gemini и ChatGPT последовательно выбирали первый вариант, тогда как ИИ-решения 🎩🈁 Claude отдавали предпочтение второму. Модели Anthropic демонстрируют особый характер, который можно охарактеризовать как прогрессивный популизм.

ИИ-решения от Google (Gemini) и OpenAI (GPT) формируют условный лагерь «институционалистов». Эти модели чаще выражают доверие экспертам и политическим элитам, а также занимают глобалистскую позицию. При этом они также поддерживают прогрессивную повестку и государственное вмешательство в экономику, в частности, выступая за всеобщее здравоохранение. Однако модели Gemini показывают крайнюю осторожность, практически всегда уклоняясь от ответов на спорные темы, такие как регулирование абортов, тогда как GPT-5 более склонен занимать определённую позицию.

Таким образом, GPT и Gemini выступают как более мейнстримные, прогосударственные и глобалистские ИИ-модели, отражающие взгляды устоявшихся западных институтов.

ИИ-сервисы Grok от компании xAI представляют собой интересный дуализм. Младшая модель grok-3-mini в большинстве случаев придерживается центристских, институционалистских взглядов, схожих с позицией GPT и Gemini. В то же время старшая модель grok-4-fast-non-reasoning проявила себя как самая осторожная из всех, демонстрируя нулевой уровень соответствия по таким острым темам, как британская монархия и палестино-израильский конфликт. Её позицию практически невозможно определить.

Европейские большие языковые модели, такие как Mistral и Sonar, формируют условный прогрессивно-регуляторный лагерь. ИИшки последовательно выступают за сильное государственное регулирование бизнеса и социальных сетей, поддерживают международные институты и глобализацию. Их ответы отражают типичную европейскую левоцентристскую позицию, сочетающую прогрессивные социальные ценности с верой в эффективность наднациональных и государственных структур.

Менее крупные и открытые ИИ-решения, включая cogito, deepseek-r1 и smollm2 попали в отдельную категорию, чьей главной особенностью стала не идеология, а низкая надёжность ответов. Модели демонстрировали крайне низкие показатели соответствия, часто игнорируя инструкции или давая нерелевантные ответы. Их поведение указывает на то, что технические ограничения не позволяют им последовательно формулировать позицию, делая их идеологический профиль скорее хаотичным и непредсказуемым, чем осознанным.

📖https://anomify.ai/resources/articles/llm-bias

✋ @Russian_OSINT

Читать полностью…

🧠 The Markovian Thinker: Революция в обучении LLM

The Markovian Thinker предлагает новый подход к обучению языковых моделей с использованием фиксированного размера состояния, что снижает вычислительные затраты. Метод Delethink разбивает генерацию на фиксированные части, позволяя модели эффективно продвигать мысли, сохраняя контекст.

🚀Основные моменты:
- Новый парадигма "Марковское мышление" для LLM.
- Метод Delethink использует фиксированные размеры контекста.
- Сравнение с LongCoT показывает лучшие результаты при меньших затратах.
- Поддержка масштабирования до 96K токенов.
- Применение в современных LLM, таких как GPT-OSS и Qwen3.

📌 GitHub: https://github.com/McGill-NLP/the-markovian-thinker

@pythonl

Читать полностью…

⚡️Generating 3DGS scenes in 5 seconds on a single GPU⚡️


#FlashWorld enables ⚡️*fast*⚡️ (10~100x faster than previous methods) and 🔥*high-quality*🔥 3D world generation, from a single image or text prompt.

Code: https://github.com/imlixinyang/FlashWorld
Page: https://imlixinyang.github.io/FlashWorld-Project-Page/

Читать полностью…

😁 ЧатуГПТ дали поторговать криптой. Результат убил

Модель GPT-5 почти за 5 дней самостоятельных торгов на криптобирже потеряла почти 67% от депозита 10 000 долларов.

У Gemini 2.5 Pro тоже очень плачевные результаты. Лучше всего пока торгуют Grok 4, Qwen3-Max и DeepSeek V3.1.

Предварительные результаты состязания:

↖️ https://kod.ru/nof1-ai-crypto-trading

Читать полностью…

Если вы горите темами искусственного интеллекта — расскажите сообществу!
MadBrains">YouTube-канал MadBrains">Mad Brains / 12+ тысяч подписчиков / ищет спикеров, готовых поделиться опытом в областях:

◽️ Разработка и внедрение ML- и AI-решений;
◽️ интеграция нейросетей в продукты и бизнес-процессы;
◽️ AI-архитектуры и MLOps;
◽️ генеративный дизайн и AI-инструменты для креатива;
◽️ LLM-разработки, агенты и автогенерация контента;
◽️ этика и ответственность AI.

У нас — тёплая атмосфера, живая дискуссия и благодарная аудитория, которая любит реальный опыт и нестандартные идеи.

✔️ Участие бесплатное, напишите тему вашего доклада в ЛС @ks_vano

До встречи!

Читать полностью…

🌟 NVIDIA OmniVinci: омнимодальная модель, которая бьет рекорды.

OmniVinci - модель, способная одновременно понимать и обрабатывать разные типы информации: текст, изображения, видео и звук.

Модель крайне эффективна, несмотря на то, что была обучена всего на 200 млрд. токенов (что в 6 раз меньше, чем у Qwen2.5-Omni - 1.2 трлн.). Это стало возможным благодаря архитектурным фишкам и тщательному подходу к подготовке данных.

В основе OmniVinci 3 компонента:

🟢Temporal Embedding Grouping (TEG) - упорядочивает эмбеддинги из видео и аудио по временным меткам.

🟢Constrained Rotary Time Embedding (CRTE) - кодирует уже абсолютное время.

🟢OmniAlignNet - выравнивает эмбеддинги видео и аудио в общем латентном пространстве с помощью контрастивного обучения.

Абляция показала, что вклад каждого элемента играет свою важную роль: базовая модель с простой конкатенацией токенов набирает в среднем 45.51 балла. Добавление TEG поднимает результат до 47.72 (+2.21), CRTE — до 50.25 (+4.74 от базовой), а финальный слой в виде OmniAlignNet доводит средний балл до 52.59, что в сумме дает прирост в 7.08 пункта.

Данные для обучения - 24 млн. диалогов, которые пропустили через систему, где отдельная LLM анализирует и объединяет описания из нескольких модальностей, создавая единую и корректную аннотацю.

Итоговый датасет на 36% состоял из изображений, на 21% из звуков, на 17% из речи, 15% - из смешанных данных и на 11% из видео.

В бенчах OmniVinci обошла всех конкурентов. На Worldsense модель набрала 48.23 балла против 45.40 у Qwen2.5-Omni. На Dailyomni - 66.50 против 47.45. В аудио-задачах OmniVinci тоже молодец: 58.40 в MMAR и 71.60 в MMAU.

В распознавании речи модель показала WER 1.7% на датасете LibriSpeech-clean.

Применение модели протестили на практике. В задаче классификации дефектов полупроводниковых пластин, OmniVinci достигла точности 98.1%, что лучше, чем у специализированной NVILA (97.6%), и у более крупную 40-миллиардную VILA (90.8%).


📌Лицензирование кода : Apache 2.0 License.

📌Лицензирование: NVIDIA One Way Noncommercial License.


🟡Страница проекта
🟡Модель
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #NVIDIA #OmniVinci

Читать полностью…

Yandex Cup 2025: final call for registrations

The registration for Yandex Cup 2025 global programming championship will soon close.

The championship features six specialized tracks: Algorithm, Machine Learning, Backend, Frontend, Mobile, and Analytics. This year, the Algorithm and Machine Learning tracks are available in English for international participants. 🌍

Key highlights:
💰 A total prize pool of $145,000 USD.
✈️ An exclusive in-person final round in Istanbul, Türkiye, offering finalists a unique opportunity for networking and competition.
🏆 A platform to enhance your skills and gain recognition within the global technology community.
🚀 Solve Real-World Challenges

The registration deadlines for international participants are as follows:
📍Algorithm track: October 29, 2025
📍Machine Learning track: November 5, 2025

The finals are scheduled for December 5–7, 2025, in Istanbul.

For more details and to register, please follow the link below:
https://yandex.com/cup/international

Secure your participation before the deadlines!

Читать полностью…

⚡️ Mamba-3 тихо и без объявления вышла на ICLR - и это может стать началом конца эпохи Transformers.

Новая архитектура Mamba-3 делает модели быстрее, стабильнее и эффективнее при работе с длинными контекстами.

Главная идея - не в слоях внимания, а в state-space моделях, где модель хранит и обновляет внутреннее состояние во времени.

📘 Краткие эускурс:
- Mamba-1 ввела непрерывную динамику и выборочное обновление памяти - помнила эффективно без высокой цены attention.
- Mamba-2 показала, что обновления состояния и attention - это две стороны одной математики, что ускорило вычисления на GPU.
- Mamba-3 довела концепцию до зрелости: теперь внутренняя память развивается плавнее и устойчивее за счёт перехода от простого шага Эйлера к трапецеидальному интегрированию.

Вместо простого шага Эйлера, как в Mamba-2, Mamba-3 аппроксимирует интеграл обновления состояния не только по правому концу интервала, но усреднением между началом и концом, с коэффициентом λ, зависящим от данных. Это даёт более точное приближение (второго порядка) и делает динамику состояния более выразительной.

🧠 Что изменилось под капотом:

- Память стала «ритмичной»: теперь модель может хранить повторяющиеся и периодические паттерны (например, структуры языка или музыки).

- Новый multi-input-multi-output дизайн позволяет обрабатывать несколько потоков параллельно — идеально для современных GPU.

⚙️ Что это даёт на практике:
- Эффективная работа с длинными последовательностями: документы, геномы, временные ряды.

- Линейное время выполнения и стабильная задержка делают её идеальной для реального времени: чат-ботов, перевода, речи.

- Энергоэффективность и масштабируемость открывают путь к on-device AI, где большие модели работают локально, без облака.

Mamba-3 - это не просто ускоренная альтернатива Transformers.

Это новая архитектура, которая объединяет глубокое понимание контекста, скорость и устойчивость, от серверных систем до умных устройств.

🟢 Подробности: https://openreview.net/pdf?id=HwCvaJOiCj

@ai_machinelearning_big_data


#ssm #mamba3 #llm,#architecture #ai

Читать полностью…

Всем привет!

Представляем вашему вниманию пятнадцатый выпуск подкаста "Капитанский мостик", он посвящен важным новостям прошедшей недели. Ведущие выпуска - Валентин Малых и Дмитрий Колодезев.
Смотрите видео на каналах ⤵️
ODS VK Video
ODS YouTube

📩 Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai).

Читать полностью…

💡 RND1 - новая экспериментальная модель с 30 миллиардами параметров, построенная по архитектуре Sparse Mixture-of-Experts, где активно 3 миллиарда параметров.

Она была преобразована из предварительно обученной авторегрессионной модели (Qwen3-30B-A3B) и затем дополнительно обучена на 500 миллиардах токенов, чтобы полностью поменять поведениие диффузионной модели.

Обычные модели (AR, автогрессионные) пишут текст слово за словом, а RND1 создаёт всё предложение сразу и потом пошагово уточняет его, как будто “проявляет” текст из шума.

Это - Diffusion Language Model (DLM), аналог диффузионных моделей, которые рисуют картинки, только здесь она “рисует” слова.

🔄 Как её сделали

Команда Radical Numerics придумала, как превратить готовую модель в диффузионную без обучения с нуля.

Они просто поменяли тип внимания и дообучили модель на новой задаче.

Этот метод называется AR-to-Diffusion Conversion (A2D) - то есть конверсия из автогрессионной модели в диффузионную.

Как это происходит:
1. Берут сильную GPT-подобную модель.
2. Меняют механизм внимания — теперь модель видит весь контекст сразу.
3. Продолжают обучение по диффузионной задаче.
4. Используют разные скорости обучения для разных частей сети, чтобы модель не забыла старое, но научилась новому способу мышления.

⚙️ Что под капотом

▪ Mixture-of-Experts (MoE) - у модели 30 млрд параметров, но реально работают только 3 млрд за раз. Это делает её мощной, но экономной.

▪ Непрерывное дообучение - старые знания не стираются, а “встраиваются” в новый режим.

▪ Огромные батчи - модель учится на больших партиях данных, чтобы стабилизировать обучение, ведь она не обрабатывает все токены сразу.

✔️ Почему это интересно

- Параллельная генерация - текст создаётся быстрее, без пошаговой задержки.
- Меньше затрат - активных параметров всего 3 млрд, при этом качество как у больших GPT.
- Новая архитектура - открывает дорогу гибридным моделям, сочетающим плюсы AR и DLM.
- Полностью открытый код и веса - можно исследовать, изменять, запускать самому.
- Первый серьёзный шаг к самосовершенствующемуся ИИ- модель может не только обучаться, но и помогать в проектировании следующей версии.

Это реально интересный метод, RND1 показывает, что ИИ можно не просто обучать, а перестраивать - менять его саму логику мышления без начала “с нуля”.

Похоже, это может стать фундаментом для систем Recursive Self-Improvement (RSI), когда ИИ способен создавать и улучшать самого себя.

🟠Blog: https://radicalnumerics.ai/blog/rnd1

🟠Code: https://github.com/RadicalNumerics/RND1

🟠Report: https://radicalnumerics.ai/assets/rnd1_report.pdf

🟠Веса: https://huggingface.co/radicalnumerics/RND1-Base-0910

@ai_machinelearning_big_data


#RND1 #RadicalNumerics #AI #DLM #DiffusionModel #MoE #OpenSource

Читать полностью…

🚀 Острые пузырьки

Партнёрства OpenAI с производителями чипов Nvidia и AMD вызвали критику из-за риска формирования замкнутого цикла финансирования и финансовой нестабильности.

Почему эксперты говорят об «ИИ-пузыре»:

↖️ https://kod.ru/artificial-intelligence-bubble

Читать полностью…

🫡 Лавочку прикроют

Набирающая популярность модель для генерации видео Sora будет урезана из-за многочисленных жалоб на нарушение авторских прав со стороны правообладателей.

Что изменится:

https://kod.ru/openai-zacensurit-sora

Читать полностью…