15160
@haarrp - админ Вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейроннным сетям @data_analysis_ml - анализ данных @ai_machinelearning_big_data @itchannels_telegram - важное для программиста
👾 ReasonReact — проект, предлагающий писать React-компоненты на ReasonML — типизированном языке c безупречным выводом типов и синтаксисом, вдохновлённым OCaml.
Это не новый фреймворк, а скорее "обёртка" над обычным React, которая добавляет автоматическую проверку типов и минимальный рантайм. Вы по-прежнему можете использовать существующие JavaScript-библиотеки, но с гарантией, что пропсы и состояния компонентов будут корректны на этапе компиляции.
🤖 GitHub
@bigdatai
🧑💻 AIDE — проект, предлагающий целый набор умных инструментов прямо в VSCode. Это не просто ещё один ChatGPT-плагин, а продуманный набор функций, который действительно помогает в повседневной работе с кодом.
Расширение умеет не только комментировать и оптимизировать код, но и преобразовывать его между языками, предлагать осмысленные имена переменных, а также обрабатывать сразу несколько файлов по заданным правилам. При этом все действия выполняются контекстно, с учётом конкретного участка кода.
🤖 GitHub
@bigdatai
✔️ ИИ-терапевт Therabot сократил симптомы депрессии и тревоги в первом клиническом испытании.
Исследователи Дартмутского университета провели первое клиническое испытание чат-бота Therabot на основе генеративного ИИ, который показал значительные улучшения у пациентов с депрессией, тревогой и расстройствами пищевого поведения. Участники, взаимодействуя с ботом через приложение, в среднем на 51% снизили симптомы депрессии, на 31% — тревоги, а в группе с риском расстройств питания прогресс превысил контрольные показатели на 19%, что соответствует результатам, полученным от лучших терапевтов.
Therabot, обученный на методах когнитивно-поведенческой терапии, адаптировал диалоги под пользователей, предлагая стратегии в реальном времени. За 8 недель участники провели с ботом около 6 часов — эквивалент 8 сеансов терапии.
dartmouth.edu
✔️ В честь своего 50-летия Microsoft опубликовала исходный код Altair BASIC.
Microsoft празднует 50-летие своей деятельности, отмечая путь от небольшого стартапа в Альбукерке, основанного Биллом Гейтсом и Полом Алленом в 1975 году, до мирового технологического лидера со штаб-квартирой в Редмонде, штат Вашингтон.
В честь этого знаменательного события соучредитель компании Билл Гейтс опубликовал исходный код Altair BASIC, первого продукта компании, который сыграл решающую роль в запуске революции персональных компьютеров. Гейтс назвал код "самым крутым из всего, что я когда-либо писал".
news.microsoft.com
✔️ Google запускает функцию 'Discover Sources' в NotebookLM.
Google представила новую функцию "Discover Sources" для сервиса NotebookLM, позволяющую пользователям искать в Интернете релевантную информацию по запросу. Она позволяет задать целевую тему, после чего NotebookLM формирует коллекцию из 10 релевантных источников со всего интернета.
Discover Sources доступно для всех пользователей. Оно расширяет функциональность NotebookLM, интегрируя веб-поиск непосредственно в проекты пользователя.
blog.google
✔️ Midjourney выпустила альфа-версию своего нового AI-модели генерации изображений — V7.
Эта версия представляет собой полную переработку предыдущей архитектуры, включая обновленные наборы данных и улучшенные методы обработки языка.
Улучшенное понимание текстовых запросов: Модель стала точнее интерпретировать пользовательские промпты, что приводит к более релевантным результатам.
Повышенное качество изображений: Благодаря новой архитектуре и обновленным наборам данных, изображения стали более детализированными и эстетически привлекательными.
- Режим Draft Mode: Этот новый режим позволяет создавать изображения в 10 раз быстрее и вдвое дешевле стандартного режима, что особенно полезно для быстрого прототипирования.
- Персонализация: V7 впервые вводит возможность настройки модели под индивидуальные визуальные предпочтения пользователя, что достигается путем оценки около 200 изображений для создания персонального профиля.
Midjourney
✔️ OpenAI: опубликовали статистку: 700+ млн изображений было сгенерировано за неделю в Sora
За первую неделю после запуска новой функции генерации изображений:
Функцию 130 протестировали уже человек
Создано более 700 млн изображений.
📈 Рекордный рост пользователей:
+1 млн новых юзеров в час на пике (для сравнения: такой рост при запуске ChatGPT занял 5 дней).
Индия — лидер по темпам роста интереса к ChatGPT.
✔️2027 Intelligence Explosion: Month-by-Month Model
Новый подкаста, в котором Скотт Александер и Дэниел Кокотайло обсуждают сценарий развития искусственного интеллекта вплоть до предполагаемого "интеллектуального взрыва" в 2027 году. Скотт Александер известен своими блогами Slate Star Codex и Astral Codex Ten, а Дэниел Кокотайло ранее работал в OpenAI, но ушел оттуда в 2024 году, отказавшись от соглашения о неразглашении. В подкасте они подробно рассматривают события, которые могут произойти в сфере ИИ в ближайшие годы.
Youtube
✔️Devin 2.0 вышел.
Сейчас выходит бесчисленное количество новых агентов.
Будем надеяться, что версия 2 получше. Цена от 20 долларов.
@ai_machinelearning_big_data
#news #ai #ml
🚀Прими участие в ML Cup 2025 от Авито и выиграй 1,2 миллиона рублей!
Ты — специалист в области машинного обучения? Хочешь проверить свои силы в реальных задачах, с которыми ежедневно сталкиваются 1000+ специалистов Авито? Тогда не упусти шанс стать частью крупнейшего соревнования в этой области!
Что тебя ждет:
☑️Денежный призовой фонд
☑️Автоматизированная оценка решений
☑️2 практические задачи:
1️⃣Персональные рекомендации — предскажи, какие товары вызовут интерес у миллионов пользователей → ссылка на регистрацию.
2️⃣Поиск дублей — как с помощью CV находить похожие объявления даже при разных текстах и ракурсах фото → ссылка на регистрацию.
Выбирай одну или обе задачи, показывай лучшие результаты и получай шанс на победу! Участвовать можно как индивидуально, так и в команде до 4 человек. Загружай до 5 решений в день.
Регистрация уже открыта! Подробности и анкета по ссылкам выше.
✔️ OpenAI анонсировала открытую модель: релиз через несколько месяцев.
OpenAI впервые после GPT-2 готовит релиз языковой модели с открытыми весами, доступной для модификации. Как заявил Сэм Альтман, система обладает продвинутыми возможностями логического вывода, а её эффективность планируют повысить за счет обратной связи от разработчиков. Для этого OpenAI запустила форму для сбора предложений и планирует провести очные сессии в Сан-Франциско, Европе и АТР.
Модель будет близка по возможностям с o3-mini, ее релиз запланирован на ближайшие месяцы.
Sam Altman в X
✔️ В Китае появились цены на медицинские услуги с использованием интерфейсов "мозг-компьютер".
Бюро медицинского страхования провинции Хубэй объявило о введении первых в КНР тарифов на нейротехнологии. Инвазивные процедуры — установка и удаление интерфейса "мозг-компьютер" (ИМК) — оценены в 6552 (902 $) и 3139 (432 $) юаней соответственно, а адаптация неинвазивных систем обойдётся в 966 юаней (133 $).
ИМК делится на два типа. Неинвазивный, с датчиками на голове, безопасен, но дает менее точные сигналы. Инвазивный, с имплантатами, эффективнее, однако требует хирургического вмешательства. Обе технологии уже помогают пациентам ходить, «говорить» или «видеть», преобразуя мозговые импульсы в команды.
ybj.hubei.gov
✔️ Runway выпустила Gen-4.
Runway представила Gen-4 — новую модель для генерации видео с высокой детализацией. Система генерирует ролики с консистентными персонажами, объектами и окружением, улучшая физику движений и реалистичность по сравнению с Gen-3 Alpha. Gen-4 использует визуальные ссылки и инструкции и не требует дополнительного обучения.
runwayml
✔️ SANA-Sprint: SOTA в реалтайм-диффузии.
MiT и NVIDIA представилb SANA-Sprint — диффузионную модель, которая генерирует высококачественные изображения 1024x1024 пикселей всего за 0,1 секунды на H100. Технология построена на гибридной дистилляции, что позволяет избежать проблем конкурентов — нестабильности GAN, вычислительной нагрузки VSD и падения качества при малом числе шагов.
SANA-Sprint выбивает FID 7,59 и GenEval 0,74 в одношаговом режиме, обгоняя FLUX-schnell как по скорости (в 10 раз быстрее), так и по точности. Интеграция с ControlNet даёт возможность интерактивного редактирования изображений с задержкой менее 0,25 секунды.
nvlabs.github
✔️ Microsoft расширяет функционал Copilot+ для устройств на AMD, Intel и Snapdragon.
Microsoft анонсировала обновления для Copilot+ PC, которые теперь доступны не только на Snapdragon, но и на устройствах с процессорами AMD и Intel. Среди ключевых нововведений — функция Live Captions, обеспечивающая перевод аудио и видео в режиме реального времени на английский и упрощенный китайский. Voice Access также получил улучшения, упрощая управление ПК голосом.
Для творческих задач в Paint добавлен Cocreator — инструмент, объединяющий текстовые подсказки с ручной отрисовкой, а в приложении Photos появились Restyle Image и Image Creator. Они позволяют трансформировать фото в художественные стили или генерировать изображения по описанию. Обновление уже распространяются через Windows Update.
blogs.windows.com
✔️ Apple разрабатывает ИИ-агента для здоровья.
Apple, по данным Bloomberg, активизирует разработку ИИ-агента, способного давать персонализированные рекомендации по здоровью. Проект Mulberry, эволюция более ранней инициативы Quartz, направлен на создание «цифрового тренера», который поможет пользователям улучшить физическую активность, сон и питание. Запуск сервиса планируется в составе iOS 19.4 — уже весной или летом 2025 года.
Система будет анализировать данные с Apple Watch и iPhone, предлагая советы на основе медицинских алгоритмов. Для обучения нейросети привлечены не только штатные врачи компании, но и внешние эксперты: диетологи, кардиологи, психотерапевты. Особый упор сделают на трекинг питания — это выведет Apple на прямую конкуренцию с MyFitnessPal и Noom.
pymnts
✔️ Krea представила новый генератор 3D-моделей с использованием передовой технологии Hunyuan 3D.
Модели легко импортируются в Blender.
Krea
@ai_machinelearning_big_data
#news #ai #ml
📊Tokencost — это инструмент, помогающий оценивать стоимость использования языковых моделей, таких как GPT-4, Claude и тп.
Библиотека автоматически учитывает актуальные тарифы провайдеров и точно подсчитывает токены через официальные API.
📝Такой калькулятор особенно полезен при работе с AI-агентами и сложными пайплайнами, где важно контролировать бюджет.
Достаточно передать промпт или историю сообщений в ChatML-формате — Tokencost вернёт расчёт в долларах, учитывая даже служебные токены форматирования.
🔗 GitHub
@bigdatai
🔥 Klarity — это инструмент для анализа неопределенности в выводах генеративных моделей!
🌟 Он сочетает в себе анализ вероятностей и семантическую оценку, позволяя глубже понять степень уверенности модели в своих предсказаниях. Klarity предоставляет возможности для измерения энтропии, анализа рассуждений модели и семантической кластеризации результатов. Это помогает выявлять потенциальные слабые места и улучшать надежность генеративных моделей перед их внедрением в производство.
🔐 Лицензия: Apache-2.0
🖥 Github
@bigdatai
🔥 SynCamMaster — это проект, который предлагает метод для синхронизации генерации видео с нескольких камер, используя предварительно обученные модели для преобразования текста в видео!
🌟 Инструмент нацелен на создание многокамерных видео из разнообразных точек обзора, что может быть полезно для таких задач, как кинопроизводство или генерация данных для алгоритмов обработки изображений и видео.
🌟 Проект включает SynCamVideo Dataset, созданный с использованием Unreal Engine 5. Набор данных состоит из 36,000 видео, синхронно снятых с 36 камер в 1,000 различных сценах. В каждой сцене главными объектами выступают одно или два животных из 50 категорий, которые перемещаются в 20 различных локациях. SynCamMaster демонстрирует, как можно улучшить генерацию видео с учётом многокамерного подхода и синхронизации для применения в открытых доменах.
🔐 Лицензия: Apache-2.0
🖥 Github
@bigdatai
📌 Набор датасетов по программированию от HF.
HuggingFace, воодушевившись победой модели OlympicCoder над Sonnet 3.7 в бенчмарках LiveCodeBench и в заданиях Международной олимпиады по информатике 2024 года, опубликовал набор датасетов для предварительного обучения и тонкой настройки LLM в задачах генерации кода:
🟢Stack-Edu - 125 млрд. токенов образовательного кода на 15 языках программирования, отфильтрованных из The Stack v2
🟢GitHub Issues - 11 млрд. токенов из GitHub Issues
🟢Kaggle Notebooks - 2 млрд. токенов ноутбуков Kaggle по анализу данных
🟢CodeForces problems - 10 тыс. уникальных задач из сервиса CodeForces, 3 тыс из которых не были включены в массив обучения, использовавшийся DeepMind
🟢CodeForces problems DeepSeek-R1 - 8,69 Gb отфильтрованных трассировок рассуждений по задачам CodeForces
🟢International Olympiad in Informatics: Problem statements dataset (2020 - 2024) - уникальный набор из заданий Олимпиады по программированию, разбитый на подзадачи так, чтобы каждый запрос соответствовал решению этих подзадач
🟢International Olympiad in Informatics: Problem - DeepSeek-R1 CoT dataset (2020 - 2023) - 11 тыс трассировок рассуждений, выполненных DeepSeek-R1 в ходе решения заданий Олимпиады по программированию
@ai_machinelearning_big_data
#AI #ML #LLM #Dataset #HuggingFace
📌Ученые обнаружили сходство между мозгом человека и нейросетями в принципах обработки языка.
Совместное исследование Google Research, Принстонского университета, NYU и Еврейского университета в Иерусалиме нашло параллели в обработке естественного языка человеческим мозгом и большими языковыми моделями.
Используя внутричерепные электроды, ученые зафиксировали нейронную активность во время спонтанных диалогов и сравнили ее с внутренними представлениями модели Whisper, разработанной для преобразования речи в текст. Оказалось, что речевые эмбеддинги Whisper коррелируют с активностью в слуховых зонах мозга, а языковые — с областями, ответственными за семантику.
Эксперименты подтвердили догадки: при восприятии речи сначала активируется верхняя височная извилина (STG), обрабатывающая акустические сигналы, а через несколько сотен миллисекунд включается зона Брока (IFG), связанная с декодированием смысла. При воспроизведении речи последовательность обратная: IFG активируется за 500 мс до артикуляции, затем моторная кора планирует движение, а после произнесения слова STG «проверяет» результат. Эти паттерны совпали с динамикой эмбедингов Whisper, хотя модель не обучалась на нейробиологических данных.
Другое интересное совпадение - мозг и LLM используют предсказание следующего слова как ключевую стратегию. Как показали опыты, слушатель бессознательно предугадывает следующие слова, а ошибка предсказания вызывает «нейронное удивление» — механизм, аналогичный обучению с подкреплением в ML. Но архитектурные механизмы у мозга и LLM разные: трансформеры обрабатывают сотни слов параллельно, тогда как мозг анализирует информацию последовательно.
Несмотря на общую «мягкую иерархию» обработки (например, смешение семантических и акустических признаков в IFG и STG), биологические структуры мозга принципиально отличаются от нейронных сетей.
Исследователи подчеркивают: языковые модели (типа ChatGPT) не понимают, как люди общаются в реальной жизни (например, не чувствуют эмоций или культурных особенностей), и не учатся так, как это делает мозг человека с детства. Однако их эмбединги оказались очень полезными для изучения того, как мозг обрабатывает речь.
Ученые надеются, что эти открытия помогут создать нейросети, которые смогут обучаться как люди — медленно, шаг за шагом. А пока Whisper, неожиданно стал «зеркалом» принципов нашего мышления. Кто знает, может, через пару лет ИИ начнёт шутить с нами за чашкой кофе — как друг или коллега по работе.
🟡Статья
🟡Исследование
@ai_machinelearning_big_data
#AI #ML #Research #NLP
Вы тоже игнорируете полезные советы и прокачиваетесь по-своему? 😁
Спойлер: ваш способ намного эффективнее, если в нем есть Data Fusion! 🚀
Это ежегодное онлайн-соревнование по анализу данных и машинному обучению для специалистов Data Science от Т1 и ВТБ. Общий призовой фонд — 3 000 000 рублей 🔥
В этом году участников ждут 2 основные задачи:
«Label Craft» — про предсказание категории товаров.
«4 Cast» — про предсказание динамики платежей на последующие 12 недель.
И одна образовательная задача — «Distribution».
А ещё будет специальная номинация Companion за лучшие публичные решения, в которой победителей определит жюри, учитывая поддержку со стороны других конкурсантов в чате соревнования.
📆 Даты проведения соревнования: с 13 февраля по 7 апреля 2025 года.
❗️Формат — онлайн: участвовать можно из любой точки мира.
Регистрируйся на соревнование прямо сейчас!
Информация о рекламодателе
🔥 KrillinAI – это комплексное решение для обработки видео, включающее загрузку, перевод, озвучивание и финальный рендеринг! Оно поддерживает автоматическую установку зависимостей и интеграцию с yt-dlp для загрузки видео с YouTube и Bilibili.
🌟 Основные функции: интеллектуальное сегментирование и выравнивание субтитров, настраиваемая замена слов, перевод с учетом контекста, озвучивание с клонированием голоса и синхронизацией, а также автоматическая сборка видео с субтитрами. Поддерживаются десятки языков для входных данных и перевода.
🖥 Github
@bigdatai
✔️ "EXAONE Deep Released ━ Setting a New Standard for Reasoning AI" от LG AI Research
Мы уже писали про довольно интересное семейство моделей от LG, на этот раз они представили по-настоящему мощные ризонинг модели.
1) EXAONE Deep 2.4B превосходит другие модели сопоставимого размера,
2) EXAONE Deep 7.8B превосходит не только открытые модели сопоставимого размера, но и OpenAI o1-mini,
3) EXAONE Deep 32B демонстрирует конкурентоспособные характеристики по сравнению с ведущими открытым моделями.
Модель 32B, которая по размеру равна около 5% от размера DeepSeek r1, превосходит ее почти во всех тестах.
Прорыв в цепочке рассуждений – релиз акцентирует внимание на улучшении "chain-of-thought" механизма, что делает модель более способной генерировать обоснованные выводы и поддерживать длинные цепочки логических рассуждений.
🟡Релиз: https://www.lgresearch.ai/blog/view?seq=543
🟡Статья: https://arxiv.org/abs/2503.12524
🟡HF: https://huggingface.co/LGAI-EXAONE/EXAONE-Deep-32B
@ai_machinelearning_big_data
#AI #ML #LLM #EXAONE #LG #reasoning
🔥 DeepScaler — это проект, предназначенный для увеличения разрешения изображений с использованием методов глубокого обучения!
🌟 Он реализует алгоритмы суперразрешения (Super-Resolution), позволяя восстанавливать детали и улучшать качество изображений при их масштабировании.
🔐 Лицензия: MIT
🖥 Github
@bigdatai
🔥 5ire — кроссплатформенный AI-ассистент и клиент MCP (Model Context Protocol)!
🌟 Он поддерживает интеграцию с популярными поставщиками AI-сервисов (например, OpenAI, Anthropic, Google и другими), а также предоставляет локальную базу знаний для обработки и векторизации документов. Проект использует MCP-протокол для подключения к различным инструментам, что позволяет работать с файловыми системами, базами данных и удаленными источниками данных.
🔐 Лицензия: GPL-3.0
🖥 Github
@bigdatai
Мы в своих ML-моделях на столько преисполнились…
Что ML-команда Купер.тех собрала новый материал для митапа!
24 апреля в 19:00 зовём на Data Science Meetup, соберёмся в Москве и онлайн!
В программе доклады и QA-сессия:
⚡️Как мы делали матчинг в Купере». Николай Чугунников, Machine Learning Engineer, Купер.тех
⚡️«Uplift Space Oddity, или как запустить ML-космолёт и не упасть». Екатерина Апраксина, Machine Learning Engineer, Купер.тех
⚡️«Как делать рекомендации не с нуля». Александр Лоскутов, Machine Learning Team Lead, Купер.тех
Регистрируйся, чтобы попасть в офлайн или не пропустить ссылку на трансляцию!
Реклама. ООО «ИНСТАМАРТ СЕРВИС», ИНН: 9705118142. Ерид: 2W5zFHodKNx
Google Research повышает планку: Новый бенчмарк для оценки LLM на задачах Международных Научных Олимпиад.
Интересный материал об оценке реальных способностей LLM к научному мышлению.
Стандартные бенчмарки вроде MMLU важны, но часто не отражают глубину рассуждений, необходимую для решения сложных научных задач. Google предлагает новый подход.
Существующие метрики оценки LLM недостаточны для измерения способностей к решению нетривиальных научных проблем, требующих многошаговых рассуждений и глубокого понимания предметной области.
Новый бенчмарк "SciOlympiad": Google собрал датасет из задач Международных Научных Олимпиад (ISO) по физике, химии, биологии, математике и информатике. Это задачи экспертного уровня, разработанные для выявления лучших человеческих умов.
▪ Фокус на Reasoning (Рассуждениях): Оценка делается не только по финальному ответу, но и по качеству и корректности "цепочки мыслей" (Chain-of-Thought). Для сложных задач привлекались люди-эксперты для верификации логики рассуждений модели.
📌✔️Результаты state-of-the-art LLM (включая Gemini Ultra):
▪ Модели показывают определенный прогресс, но их производительность значительно ниже уровня победителей-людей на ISO.
▪ Наблюдается сильная вариативность по предметам: модели лучше справляются там, где больше символьных манипуляций (математика, информатика), и хуже – где требуется глубокое концептуальное понимание (физика, химия).
▪ Даже продвинутые LLM часто допускают фундаментальные концептуальные ошибки и сбои в многошаговой логике, которые не свойственны экспертам.
▪ SciOlympiad – это ценный, хоть и очень сложный, бенчмарк для стресс-тестирования реальных научных способностей LLM.
▪ Результаты подчеркивают текущие ограничения LLM в области сложного научного мышления и решения проблем.
▪ Исследование указывает на направления для будущей работы: необходимо совершенствовать не только знания моделей, но и их способности к глубоким, надежным и креативным рассуждениям.
🔗 Статья
#LLM #AI #MachineLearning #Evaluation #Benchmark #ScientificAI #Reasoning #GoogleResearch #NLP
🖥 FinMind — проект, предлагающий более 50 автоматически обновляемых датасетов, охватывающих рынки Тайваня, США и мировые активы.
Причем это не просто архив исторических котировок. Здесь собраны:
▪️Технические данные (от тиковых данных до индикаторов PER/PBR)
▪️Отчётность, дивиденды, выручка
▪️Фьючерсы, опционы
▪️Ставки ЦБ, сырьё, облигации
💯 При этом проект полностью открыт и ориентирован на образовательные цели. Данные доступны через простой Python-клиент, что делает FinMind удобной альтернативой платным Bloomberg Terminal или Quandl для учебных проектов и прототипирования.
🤖 GitHub
📌 LLM Scraper — инструмент для структурированного парсинга веб-страниц через языковые модели.
В отличие от традиционных парсеров, проект понимает контекст страницы — например, может корректно распознать список товаров даже при изменении вёрстки. Также в инструмент интегрирован Playwright для рендеринга JavaScript-страниц, есть поддержка четырёх форматов входных данных: от HTML до скриншотов.
🤖 GitHub
@bigdatai
⚡️ AI-агенты в девелопменте
Делимся интересным кейсом. red_mad_robot рассказывают на Хабре, как внедрили в бизнес-процессы девелопера ГК ФСК смарт-платформу с двумя AI-агентами.
Первый — для клиентов: встроен в чат-бот на сайте и отвечает на вопросы о квартирах. Второй — для сотрудников: ищет данные в корпоративных системах, будь то регламенты или спецификации жилых комплексов. Оба работают на RAG-технологии, которая подтягивает актуальные данные из базы.
В статье интересно описаны технические детали решения, например, проверка точности ответов с помощью RAGAS. Почитать подробнее можно по ссылке.
@bigdatai
👍😌🙃❤️💫😍🌞☺️🫶🥰
Прими участие в хакатоне МТС True Tech Hack 2025 и разработай решение на базе одной из ИТ-платформ МТС.
1. Трек от DataOps Platform
DataOps Pipeline: оптимизация от сбора до отчета
2. Трек от Integration Platform
AI Schema Builder: генерация схем
3. Трек от True Tabs
Цифровизация через True Tabs: интеграция данных и процессов в единую экосистему
4. Трек от Product Factory
TouchVision: AI-ассистент для незрячих и слабовидящих пользователей на основе тактильного и жестового взаимодействия
5. Трек от MWS GPT
Золотая середина: дистилляция моделей MWS GPT
Хакатон пройдет 17–25 апреля.
Регистрация открыта до 16 апреля. https://truetechhack.ru/
Призовой фонд — 1 500 000 рублей.
Участие могут принять системные аналитики, Data Scientists, Data Engineers, frontend и backend-разработчики, мобильные разработчики, бизнес-аналитики, аналитики данных, MLOps-инженеры, DevOps-инженеры, Product-менеджеры, ИТ-архитекторы, UI/UX-дизайнеры.
Ждем тебя, если ты:
— Хочешь внести вклад в продукты, которые приносят пользу разработчикам по всей России.
— Готов создать новое решение на базе ИТ-платформ МТС.
— Знаешь, как превратить идею в работающий прототип.
Регистрируйся на МТС True Tech Hack 2025
Как дообучить модель, чтобы снизить число галлюцинаций
Одна из проблем в работе LLM — это галлюцинации, когда нейросеть «фантазирует» в ответе, а не опирается на реальные данные.
Нашли статью в блоге YADRO на Хабре, где инженер описал один из методов борьбы с галлюцинациями, который его команда применила для задач внутренного заказчика. У них получилось улучшить результаты выдачи без помощи более тяжеловесных моделей и дополнительных вычислительных ресурсов.
В завершение в статье сравнивают результаты дообученной модели с популярными сейчас моделями, в том числе DeepSeek. К слову, одна из версий — DeepSeek-R1-Distill-Qwen-7B — уступила их модели по качеству.
🔥 Transformers Laid Out
Лучший способ изучить PyTorch — создать что-нибудь с его помощью на практике.
В этом блоге представлен пошаговый гайд по написанию трансформерам с помощью PyTorch с нуля.🖥
📌 Гайд
📌 Что под капотом у PyTorch
📌Видео объяснения базы по тензорам
👣 Casibase — это open-source платформа, предназначенная для создания масштабируемых и гибких приложений с упором на эффективное управление данными и бизнес-логикой.
▪ Модульная архитектура: Проект предоставляет структуру, которая позволяет легко расширять функциональность и интегрировать различные компоненты, что упрощает разработку сложных систем.
▪ Гибкость интеграции: Casibase обеспечивает удобную работу с различными источниками данных и API, что облегчает объединение разрозненных сервисов в единое целое.
▪ Ускорение разработки: Используя Casibase, разработчики могут быстрее собирать и разворачивать приложения, оптимизируя процессы автоматизации и управления данными.
Casibase интересен тем, кто ищет готовую платформу для быстрого создания распределённых систем с высокой степенью адаптивности и масштабируемости.
▪ Github
@bigdatai
⚡️ Обновление семейства Nemotron: теперь с ризонингом.
NVIDIA выпустила новые модели и датасет семейства Nemotron :
🟢Модель Llama-3.3-Nemotron-Super-49B-v1
🟢Модель Llama-3.1-Nemotron-Nano-8B-v1
🟠Датасет Llama-Nemotron-Post-Training-Dataset-v1
▶️Llama-3.3-Nemotron-Super-49B-v1 — флагманская мультиязычная модель, созданная на базе Llama-3.3-70B-Instruct и оптимизированная для ризонинга, чат-взаимодействий и RAG-систем, с контекстным окном 128 тыс. токенов. Ключевая особенность — применение в процессе создания Neural Architecture Search (NAS), метода, который позволил сократить вычислительные затраты без значительной потери качества.
Архитектура модели, впервые для семейства Nemotron, использует нестандартные блоки: в части слоев внимание заменено линейными преобразованиями, а параметры FFN-слоев варьируются между блоками. Это позволило адаптировать модель для работы на одном GPU H100-80GB.
Обучение проходило в несколько этапов: от дистилляции знаний на 40 млрд. токенов до тонкой настройки с RL-алгоритмами (RPO и REINFORCE).
Результаты тестов впечатляют: в режиме «рассуждений» модель демонстрирует 96,6% pass@1 на MATH500 и 58,4% на AIME25, превосходя базовые показатели.
Модель умеет переключаться между ризонинг-режимом и типовым LLM-инференсом: для режима рассуждений рекомендуется свой системный промпт и параметры t=0,6 и Top-P=0,95.
Модель ориентирована на создание ИИ-агентов, чат-ботов, систем с расширенным контекстом и доступна через API, в веб-демо на NVIDIA Build и веса для скачивания на HuggingFace.
▶️Llama-3.1-Nemotron-Nano-8B-v1 - младшая модель с 8 млрд. параметров, которая предлагает компромисс между точностью и эффективностью. Она создана на основе Llama 3.1 8B Instruct и предлагает улучшение точности базовой Llama 3.1, возможности в рассуждениях, как и флагманская. Модель подходит для запуска на одном GPU RTX и может использоваться локально. Nano-8B-v1 поддерживает длину контекста 128 тыс. токенов.
▶️Llama-Nemotron-Post-Training-Dataset-v1 - набор данных объемом 15.2 млн строк, который представляет собой компиляцию данных SFT и RL для улучшения математических, кодовых, общих рассуждений и возможностей следования инструкциям оригинальной модели Llama.
📌Лицензирование: NVIDIA Open Model License
🟡Статья
🟡Коллекция Nemotron на HF
🟡Arxiv
@ai_machinelearning_big_data
#AI #ML #LLM #NVIDIA #Nemotron
🔥 VideoLingo — это инструмент для автоматизированного создания субтитров и дубляжа видео на основе ИИ!
🌟 Он предлагает функции перевода, сегментации и синхронизации субтитров на уровне Netflix. Инструмент использует алгоритмы обработки естественного языка (NLP), поддержку разных языков и интеграцию с сервисами озвучивания, такими как Azure и OpenAI. VideoLingo позволяет загружать видео с YouTube и предоставляет удобный интерфейс для работы через Streamlit.
🔐 Лицензия: Apache-2.0
🖥 Github
@bigdatai
🔥 LightRAG — это легковесная и модульная библиотека на Python, предназначенная для создания и оптимизации потоков обработки данных с использованием RAG! Она помогает разработчикам строить эффективные пайплайны, объединяя механизмы поиска информации и генеративные модели.
🔐 Лицензия: MIT
🖥 Github
@bigdatai
✔️ TSMC предлагает ИТ-гигантам объединиться вокруг производственных мощностей Intel.
TSMC обратилась к Nvidia, AMD и Broadcom с предложением войти в совместное предприятие, целью которого станет управление производственными мощностями Intel. Как сообщают источники, TSMC планирует сохранить за собой менее 50% акций в данном предприятии. Аналогичное предложение, по некоторым данным, было направлено и компании Qualcomm. Эти переговоры разворачиваются на фоне обращения администрации президента США к TSMC с просьбой оказать содействие испытывающей трудности Intel. Известно, что переговоры по Intel находятся на ранней стадии, и TSMC заинтересована в привлечении нескольких компаний к участию в этом проекте.
zaobao.com.sg
✔️ ИИ от Sakana AI успешно прошел научное рецензирование.
Проект Scientist-v2, разработка Sakana AI, смогла создать научную работу, которая успешно прошла процесс рецензирования на одном из воркшопов Международной конференции ICLR. Это стало первым случаем, когда полностью сгенерированное исследование прошло стандартную процедуру оценки. Представленная работа была посвящена методам регуляризации нейронных сетей и, как ни странно, сообщала об отрицательных результатах.
Несмотря на то, что средняя оценка работы составила 6.33, что превысило порог принятия воркшопа, согласно предварительной договоренности, работа была отозвана, поскольку в научном сообществе пока отсутствуют устоявшиеся нормы для сгенерированных работ.
sakana.ai
✔️ Google DeepMind выводит ИИ в физический мир с Gemini Robotics.
Google DeepMind представила новейшую разработку – Gemini Robotics, модель на базе Gemini 2.0, способную наделить роботов способностью к "телесному" мышлению. Эта VLA (Vision-Language-Action) модель способна самостоятельно управлять роботами, открывая новые возможности в их применении.
Наряду с ней представлена Gemini Robotics-ER, модель с углубленным пространственным пониманием, позволяющая робототехникам использовать возможности Gemini в своих проектах. Обе модели демонстрируют интерактивность и ловкость, позволяя роботам адаптироваться к различным ситуациям, взаимодействовать с людьми и выполнять сложные задачи. Google DeepMind тестирует Gemini Robotics-ER с несколькими доверенными партнерами.
deepmind.google
✔️ Doubao (ByteDance) опубликовала технические детали модели генерации изображений Seedream 2.0.
Команда Doubao официально представила технический отчет о своей модели генерации изображений Seedream 2.0, впервые раскрыв детали процесса разработки, начиная со сбора данных и заканчивая постобработкой с использованием RLHF.
В отчете отмечаются улучшения в понимании китайского и английского языков, отрисовке текста, достижении высокого уровня эстетики и разрешения генераций. Seedream 2.0 была запущена еще в начале декабря 2024 года в приложениях Doubao и Jimeng, ей воспользовались сотни миллионов пользователей и она стала любимым инструментом для многих профессиональных дизайнеров в Китае. По сравнению с Ideogram 2.0, Midjourney V6.1 и Flux 1.1 Pro, Seedream 2.0 лучше справляется с текстом и лучше понимает китайскую культуру. Модель поддерживает запросы на китайском и английском языках.
team.doubao.com
✔️ Испания вводит крупные штрафы за отсутствие маркировки контента, созданного ИИ.
Испанское правительство одобрило законопроект, предусматривающий введение внушительных штрафов для компаний, которые используют сгенерированный контент без соответствующей маркировки. Мера направлена на борьбу с распространением "дипфейков".
Несоблюдение требований по маркировке будет классифицироваться как "серьезное правонарушение", что может повлечь за собой штрафы до 35 млн. евро или 7% от годового оборота компании-гарушителя. Новый регулирующий орган AESIA будет отвечать за обеспечение соблюдения новых правил.
reuters.com
@ai_machinelearning_big_data
#news #ai #ml
Хотите получить много практики на рельных задачах, собрать портфолио и узнать как выглядит рабочий день аналитика?
CEO Simulative и эксперт с большим опытом в аналитике, Андрон Алексанян организовал бесплатный интенсив, где в течение 3 недель вы будете решать реальные задачи, с которыми аналитики сталкиваются на работе
На прямых эфирах вы сделаете:
🟠Анализ активности пользователей с помощью SQL
🟠Анализ маркетинговых активностей с помощью Python
🟠ABC анализ ассортиментной матрицы в Excel (уже прошел, но вам будет доступна запись)
Во время эфиров вы узнаете много лайфхаков, а также будете получать полезные материалы для развития в аналитике на протяжении всего интенсива
❗️Знать Python и SQL не обязательно — все будем разбирать с нуля
🕗Встречаемся на новом эфире уже завтра, 13 марта в 19:00 по мск
Участвовать в бесплатном интенсиве