Аналитика данных админ - @haarrp @ai_machinelearning_big_data - Machine learning @itchannels_telegram - 🔥лучшие ит-каналы @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚
✔️ Защитный щит Anthropic против взлома LLM.
Anthropic разработала новый метод защиты LLM от джейлбрейк-атак, который не исправляет сами модели, а блокирует попытки взлома, не допуская нежелательных ответов.
Для создания защитного экрана компания сгенерировала датасет вопросов и ответов и перевела их на несколько языков, переписала в стиле запросов, которые используются хакерами.
Чтобы проверить эффективности экрана, Anthropic провела конкурс, где 183 участника более 3000 часов пытались обмануть Claude, но никто не смог получить ответ на более чем на 5 из 10 запрещенных вопросов. Затем провели второй тест, где 10 000 джейлбрейков, созданных LLM, были направлены на защитный экран. Пробить его смогли только 4,4% запросов, а без использования экрана - 86%. Есть минус - система защиты может блокировать безобидные вопросы и увеличивает вычислительные затраты.
technologyreview.com
✔️ ИИ приближает возможность самовосстанавливающегося асфальта.
Ученые из Университета Суонси и Королевского колледжа Лондона в сотрудничестве с коллегами из Чили объявили о планах по разработке самовосстанавливающихся асфальтовых дорог из биомассы с использованием ИИ.
Исследования показали, что можно обратить вспять процесс растрескивания битума, чтобы «сшить» асфальт обратно. Для создания «самовосстанавливающегося» асфальта команда добавила крошечные пористые материалы - споры, заполненные переработанным растительным маслом. При появлении микротрещин масло высвобождается из спор, чтобы заполнить трещины и предотвратить окисление битума, которое приводит к образованию выбоин. Лабораторные эксперименты показали, что биоспоровые микрокапсулы полностью залечивали трещины в образце состаренного битума за 50 минут. Исследования стали возможны благодаря ML, которое применялось для изучения органических молекул в сложных вязких субстанциях.
highwaysmagazine.co.uk
✔️ DeepSeek блокируют по всему миру из-за опасений по поводу безопасности данных.
Растет число стран и правительственных органов которые запретили использование моделей DeepSeek, выразив обеспокоенность по поводу этики, конфиденциальности и безопасности компании. Согласно политике DeepSeek, все данные пользователей хранятся в Китае, где местные законы требуют от организаций делиться данными с спецслужбами по запросу.
Италия стала одной из первых стран, запретивших DeepSeek после расследования комитетом по защите конфиденциальности. Тайвань запретил использование DeepSeek в гос.учреждениях из-за риска утечки информации. Конгресс США, Министерство обороны США, НАСА и и штат Техас также запретили использовать технологии DeepSeek, сославшись на потенциальные угрозы безопасности.
techcrunch.com
✔️ ИИ разрабатывает компьютерные чипы, которые человеческий разум не может понять.
CNN, разработанная в Принстонском университете, спроектировала беспроводные чипы, которые превосходят существующие аналоги. Нейронная сеть пользовалась методикой реверсивного инжиниринга - она проанализировала желаемые свойства чипа и создала его его в обратном порядке. Инженеры не смогли объяснить, как работают эти чипы, что может привести к проблемам с их ремонтом и сделать их одноразовыми.
popularmechanics.com
✔️ Google Cloud представляет новые виртуальные машины A4 на базе NVIDIA B200 для ИИ.
Google Cloud анонсировала предварительный показ новых виртуальных машин A4, оснащенных NVIDIA Blackwell B200. Каждая A4 VM имеет 8 GPU Blackwell, соединенных NVLink пятого поколения, что обеспечивает двухкратное увеличение производительности по сравнению с A3 High VM предыдущего поколения.
A4 VMs подходят для обучения и тонкой настройки различных архитектур моделей и используют сетевой адаптер Titanium ML, который предоставляет неблокирующую передачу данных между GPUs со скоростью 3,2 Тбит/с.
Google предлагает различные модели потребления - Dynamic Workload Scheduler с режимами Flex Start и Calendar для различных рабочих нагрузок.
cloud.google.com
✔️ Goedel-Prover: 7B LLM - новая SOTA по производительности в доказательстве теорем! 1-е место в таблице лидеров PutnamBench.
▪Blog ▪Github
#news #ai #ml
1–2 марта проводим Weekend Offer Analytics
Устроиться в Яндекс за выходные — реально. Ищем крутых аналитиков с опытом работы от 2 лет на Python, готовых работать в офисном или гибридном режиме на территории России.
Подавайте заявку до 24 февраля — и всего за 2 дня пройдите все технические собеседования. После сможете пообщаться с одиннадцатью нанимающими командами и выбрать ту, которая покажется самой интересной. Если всё сложится хорошо, сразу же пришлём вам офер.
Узнать подробности и зарегистрироваться.
Реклама. ООО "Яндекс". ИНН 7736207543
⭐️ R1-V
Усиление способности к сверхобобщению в моделях языка зрения при затратах менее $3.
Модель 2B превосходит модель 72B в тестах OOD всего за 100 шагов обучения.
▪ Github
@data_analysis_ml
#ml #ai #datascience
🔥 Agentic Memory — это проект, направленный на интеграцию когнитивных архитектур и психологических концепций памяти в системы на основе больших языковых моделей!
🌟 Он исследует способы моделирования различных типов памяти, таких как рабочая, эпизодическая, семантическая и процедурная, для создания более интеллектуальных и адаптивных агентов.
🖥 Github
@data_analysis_ml
🐋 DeepClaude
Высокопроизводительный LLM-интерфейс, который позволяет использовать возможности рассуждений DeepSeek R1 и творческие способности Claude с помощью единого и простого API и удобного иинтерфейса.
Особенности
🚀 Нулевая задержка - Очень быстрые ответы на базе высокопроизводительного API, написанного на Rust.
⚙️ Гибкая настройка соответствии с вашими потребностями
🌟 Открытый исходный код
🤖 Двойная мощь ИИ - объедините рассуждения DeepSeek R1 с и возможностями Claude
⭐️ DeepClaude объединяет обе модели, чтобы обеспечить:
- Новая SOTA 64,0% на бенчмарке aider polyglot
- 14-кратное снижение затрат по сравнению с предыдущей SOTA
- Повышенную точность генерации кода для различных языков программированияgit clone https://github.com/getasterisk/deepclaude.git
cd deepclaude
▪ Github
▪Docs
@ai_machinelearning_big_data
#DeepSeek #Claude #llm #ml #ai #DeepClaude #opensource
🔥 Repomix — это инструмент, который упаковывает весь репозиторий в единый файл, удобный для работы с большими языковыми моделями, такими как ChatGPT, Claude и Gemini!
🌟 Он оптимизирует структуру кода для ИИ, поддерживает подсчет токенов, учитывает .gitignore и обеспечивает защиту от утечки данных с помощью Secretlint. Repomix прост в использовании и настраивается через конфигурационные файлы.
🔐 Лицензия: MIT
🖥 Github
@data_analysis_ml
⭐️ Mistral AI только что выпустили Small 3!
Вот все, что вам нужно знать:
- Доступны как предварительно обученные, так и настроенные контрольные точки
- без RL и без синтетических данных
- Mistral Small 3 оптимизирован по задержке
- 24B параметров
- 81% точности на MMLU и задержка 150 токенов/с
- Позиционируется как замена GPT-40-mini
- Конкурирует с Llama 3.3 70B и Qwen 32B
- в 3 раза быстрее, чем инструкция Llama 3.3 70B
- Лицензия Apache 2.0
- Доступно в la Plateforme, HF и других провайдерах
Варианты использования включают в себя быстродействующих речевых помощников, вызов функций с малой задержкой, тонкую настройку экспертных моделей и локальный вывод.
Великолепная маленькая модель, которая дополняет другие более крупные модели, такие как DeepSeek-R1.
https://mistral.ai/news/mistral-small-3/
#mistral #llm #ml #ai
Это Большая Дата для нашего сообщества: приглашаем на большой митап по аналитике
📅 22 февраля в Москве и онлайне пройдёт митап для аналитиков от бизнес-группы Поиска и Рекламных технологий Яндекса. Послушаем доклады и попробуем свои силы в деловой игре по реальным кейсам из нашей практики.
В программе:
🔸 Павел Смирнов, руководитель команды дата-инженеров в Поиске и Рекламе. Расскажет, когда пора начинать строить единое логирование клиентской активности
🔸 Алексей Константинов, руководитель группы онлайн-метрик Поиска. Покажет, как сделать универсальную онлайн-метрику успешности сервиса на примере «Профицита»
🔸 Сайдаш Мифтахов, тимлид маркетинговой аналитики в международном Поиске. Объяснит, как Яндекс упрощает доступ в Поиск и растит долю рынка в Казахстане
✏️ Полный список тем докладов и форму регистрации ищите здесь.
🖥 Audiblez — это инструмент для конвертации электронных книг в аудиокниги!
🌟 Он использует модель текст-в-речь Kokoro для создания файлов в формате .m4b из файлов .epub. Программа поддерживает различные языки, голоса и позволяет настроить скорость чтения. Также доступна работа на GPU для ускорения обработки.
🔐 Лицензия: MIT
🖥 Github
@data_analysis_ml
🔥 LocalAI — это инструмент с открытым исходным кодом для запуска моделей искусственного интеллекта локально, без необходимости подключения к облаку!
🌟 Он совместим с API OpenAI и поддерживает работу с моделями машинного обучения, такими как LLaMA, GPT-4 и другими. LocalAI предоставляет удобные инструменты для интеграции в существующие приложения, поддерживает GPU-ускорение и может работать в контейнерах Docker.
🔐 Лицензия: MIT
🖥 Github
@data_analysis_ml
⚡️ Мл сообщество активно обсуждает успехи Китая и DeepSeek-R1, в частности, в гонке за доминирование на рынке ИИ.
Релиз R1 и новости об инвестировании в развитие отрасли, вызвали падение акций американских ИТ-гигантов на бирже NASDAQ.
Но помимо R1 в этом месяце разработчики из Китая выпустили еще очень много интересных моделей 🔥 Китай набирает очень серьезные обороты,
Давайте посмотрим на список самых ярких релизов из Поднебесной за январь:
LLM:
✨ InternLM3-8B-Instruct
✨ MiniMax-Text-01
✨ RWKV-7 RNN + трансформер 👀
✨ Собственно сам DeepSeek-R1
✨ Baichuan-M1-14B медицинский LLM 🩺
✨ Qwen2.5-Math-PRM от Alibaba
✨ Qwen2.5 -1M
Модели кодинга:
✨ Tare от BytedanceTalk
TTS модели синтеза и генерации речи:
✨ T2A-01-HD от MiniMax AI
✨ LLaSA
МЛЛМ:
✨ Kimi k1.5 от Moonshot AI
✨ MiniCPM-o-2_6 от OpenBMB
✨ Sa2VA-4B от ByteDanceOSS
✨ VideoLLaMA 3 от Alibaba DAMO
✨ LLaVA-Mini от Китайской академии наук
✨Hunyuan-7B от TXhunyuan
✨ Hunyuan 3D 2.0
ИИ-агенты:
✨ UI-TARS от ByteDanceOSS
✨ GLM-PC
Датасеты:
✨ Fineweb-Edu-Chinese-V2.1
✨ Multimodal_textbook от Alibaba
✨ MME-Finance от Hithink AI
✨ GameFactory от KwaiVGI
📌 Полный список Релизов
#ai #ml #digest #china #deepseek #Alibaba
Базы данных для задач любой сложности
Безопасность, масштабируемость и отказоустойчивость баз данных — ключевые требования для любых современных веб-сервисов и приложений. А наличие этих требований по умолчанию, без дополнительной головной боли — мечта для любого бизнеса. Или не мечта, а реальность? Selectel предлагает одни из лучших облачных баз данных на рынке и берет эти на заботы на себя:
● предоставляет высокую производительность за счет оптимальной настройки ПО, подбора мощного железа и локальных NVMe-дисков;
● обеспечивает резервное копирование. Бесплатные бэкапы создаются автоматически, а восстановление данных происходит вплоть до секунды;
● гарантирует отказоустойчивость. Создать отказоустойчивый кластер можно всего от двух нод, что позволяет сэкономить до 33% стоимости ресурсов;
● дает возможности для быстрого масштабирования. При росте нагрузки можно поменять конфигурацию облачного сервера и количество реплик без простоя.
● заботится о безопасности: сервис соответствует российским и международным стандартам — закону 152-ФЗ (УЗ-1), приказу ФСТЭК № 21, PCI DSS, ISO 27001, 27017, 27018 и ГОСТ Р 57580.
Развернуть готовые к работе кластеры облачных баз данных в несколько кликов: https://slc.tl/v7gmo
Реклама, АО «Селектел», ИНН: 7810962785, ERID: 2VtzqwgdXD6
🔥 MagicMirror — это приложение для мгновенной замены лиц, причесок и одежды с помощью ИИ!
🌟 Оно работает локально на macOS и Windows, не требует мощного оборудования и обеспечивает полную конфиденциальность, так как обработка изображений выполняется на устройстве.
🔐 Лицензия: MIT
🖥 Github
@data_analysis_ml
⚡️ Повторно дистиллированная
Deepseek AiR1 (1,5B) превосходит по своим характеристикам оригинальную дистиллированную модель!
https://huggingface.co/mobiuslabsgmbh/DeepSeek-R1-ReDistill-Qwen-1.5B-v1.0
@data_analysis_ml
⭐️ Video LLaMA 3 "Мультимодальные базовые модели для понимания изображений и видео" от ДАМО Алибаба
▪ Model: https://huggingface.co/collections/DAMO-NLP-SG/videollama3-678cdda9281a0e32fe79af15
▪ Paper: https://huggingface.co/papers/2501.13106
@data_analysis_ml
🔥 DeepSeek Code Companion — это локальный чат-бот для помощи в программировании, основанный на модели DeepSeek-R1!
🌟 Он предоставляет функции отладки кода, генерации документации и разработки решений, при этом работает полностью офлайн, что обеспечивает конфиденциальность данных. Взаимодействие с ботом осуществляется через Gradio, предоставляя удобный веб-интерфейс.
🖥 Github
@data_analysis_ml
🔥 Это - подробное руководство по запуску модели DeepSeek-R1 с 671 миллиардами параметров в динамически квантованной версии 1,58-бит (сжатой до 131 ГБ) с использованием Llama.cpp!
🌟 Благодаря усилиям команды UnslothAI, эта оптимизированная модель может быть запущена на персональных компьютерах без необходимости в мощных серверных ресурсах, хотя производительность на потребительском оборудовании может быть ограничена.
🔗 Ссылка: *клик*
@data_analysis_ml
🔥 DocETL — это инструмент с открытым исходным кодом, предназначенный для создания и выполнения ETL-процессов (извлечение, преобразование и загрузка данных), особенно подходящий для сложных задач обработки документов!
🌟 Он предлагает интерактивный пользовательский интерфейс под названием DocWrangler, который помогает разработчикам итеративно разрабатывать конвейеры обработки данных, экспериментировать с различными запросами и пошагово строить свои процессы. После завершения разработки конвейера его конфигурацию можно экспортировать для использования в производственной среде.
🔐 Лицензия: MIT
🖥 Github
@data_analysis_ml
⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:
МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
Data Science: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: /channel/gamedev
Haskell: t.me/haskell_tg
Физика: t.me/fizmat
💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy
😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno
🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy
⚡️Оценки стоимости обучения популярных моделей, таких как GPT-4o, Sonnet и DeepSeek (на H100)!
Калькулятор для оценки:
https://tnyqnervqldjme1y.vercel.app/
@data_analysis_ml
Бизнесу данные нужны как воздух📊
На их основе компании принимают важные стратегические решения. Поэтому специалисты, которые собирают, обрабатывают и анализируют данные, всегда востребованы.
Таких профессионалов готовят на курсе «Аналитик данных» от МФТИ и Нетологии. За 10 месяцев вы получите фундаментальные знания, актуальные навыки и кейсы в портфолио.
Вы научитесь:
- использовать Python для анализа данных;
- применять методы ИИ в своих задачах;
- работать с базами данных;
- визуализировать данные.
После обучения получите дипломы о профессиональной переподготовке от МФТИ и Нетологии. Центр развития карьеры поможет с трудоустройством, резюме и портфолио.
Освойте профессию на стыке IT и бизнеса со скидкой 30 000 рублей по промокоду DPOVUZ30 до 28 февраля → https://netolo.gy/dRCR
Реклама. ООО "Нетология". ИНН 7726464125. Erid 2VSb5yYSEnc
🔥 MemoRAG — инновационный фреймворк RAG, который использует память для более эффективного извлечения данных и генерации ответов!
🌟 MemoRAG расширяет стандартный RAG, добавляя глобальную модель памяти, что позволяет обрабатывать запросы с учётом всего контекста базы данных. Это обеспечивает более точные и содержательные ответы, особенно для сложных или многоуровневых задач.
💡 Ключевые возможности MemoRAG включают поддержку сверхдлинных контекстов (до миллиона токенов), оптимизацию производительности, создание контекстуальных подсказок, ускорение обработки данных за счёт кеширования и повторное использование закодированного контекста. Инструмент может быть интегрирован с различными моделями LLM, такими как Meta-Llama и Mistral, и предоставляет демо для тестирования на базе Streamlit.
🔐 Лицензия: Apache-2.0
🖥 Github
@data_analysis_ml
🐋 DeepSeek только что потерпел поражение в ходе аудита NewsGuard и занял предпоследнее место по точности ответов чат-ботов, провалив 83% тестов.
В сравнении с западными конкурентами такими, как ChatGPT от OpenAI и Google Gemini, DeepSeek разделил 10-е место с другим чат-ботом.
т.е. когда предъявлялись явно ложные утверждения, они опровергались лишь в 17% случаев.
→ NewsGuard применил свой стандартный аудит дезинформации к DeepSeek, оценив, как он справлялся с ложными заявлениями в политике, здравоохранении, бизнесе и международных отношениях. В то время как ведущие чат-боты имели средний показатель ошибок 62%, DeepSeek показал себя значительно хуже, ошибившись в 83% случаев.
→ Чат-бот особенно плохо справлялся с запросами, связанными с новостями, повторяя ложные утверждения в 30% случаев и не давая прямых ответов в 53% случаев.
https://www.reuters.com/world/china/deepseeks-chatbot-achieves-17-accuracy-trails-western-rivals-newsguard-audit-2025-01-29/
#DeepSeek #ai #ml
🤗 На HF только что появились два новых ризонинг датасета.
1. OpenThoughts: 114 тыс примеров, полученных из R1 по математике, кодингу и науке https://huggingface.co/datasets/open-thoughts/OpenThoughts-114k.
2. R1-Distill-SFT: 1.7M (!), отобранных из R1-32B на NuminaMath и Tulu data
https://huggingface.co/datasets/ServiceNow-AI/R1-Distill-SFT
@data_analysis_ml
Open Suno уже здесь! Вы можете генерировать целые песни с моделью параметров 7B! 🔥
Вы можете выбрать фоновую музыку, жанр, тексты песен — качество на выходе просто безумное!
Доступны все контрольные точки модели
https://huggingface.co/m-a-p
🌟 Интересный сайт, который наглядно сравнивает производительность процессоров разных поколений!
🔗 Ссылка: *клик*
@data_analysis_ml
🔥 Qwen 2.5 - 7B and 14B с длинной контекста в 1 миллион!
Они также выпустили свой собственный форк vllm - чтобы вы могли развернуть модель у себя дома! 💥
Стоит отметить, что модель 14B-1M выигрывает у гораздо более крупной модели Qwen 2.5 Turbo (предположительно MoE с тем же количеством активных параметров).
Более того, она еще и превосходит бета-версия GPT-4/ 4o на длинном контексте!
https://huggingface.co/collections/Qwen/qwen25-1m-679325716327ec07860530ba
@data_analysis_ml
#Qwen
⭐️ Anton Pidkuiko рассказывает, как он создал ИИ-агента, который занял первое место в Meta HackerCup 2024 (дивизион ИИ).
Он демонстрирует использование передовых методов рассуждений LLM, методов RAG и облачной инфраструктуры для решения сложных задач программирования в больших масштабах.
Посмотрите запись: https://www.youtube.com/watch?v=cvIeT4MlIx4
@data_analysis_ml
#pytorch #ai #expertexchange
🔥 Minima — это open source решение для RAG в контейнерах для развертывания на любых мощностях (клауд или локал), с возможностью интеграции с ChatGPT и MCP.
Minima также может использоваться как RAG на вашей машине.
Minima поддерживает три режима работы:
1. Изолированная установка — Работа в контейнерах без внешних зависимостей, таких как ChatGPT или Claude. Все нейронные сети (LLM, ранкер, эмбеддинг) и векторный сторедж запускаются на вашем сервере или ПК, обеспечивая безопасность ваших данных.
2. Кастомный GPT — Запросы к вашим локальным документам через приложение или веб-версию ChatGPT с использованием кастомных GPT. Индексатор работает на вашем сервере или локальном ПК, а основная LLM остаётся ChatGPT.
3. Anthropic Claude — Использование приложения Anthropic Claude для запросов к вашим локальным документам. Индексатор работает на вашем локальном ПК, а основная LLM — это Anthropic Claude.
В данный момент, Minima решает задачу RAG on-premises и призывает всех поставить звезду и форкнуть репозиторий, а так же не стесняться и принять участие в разработке.
📌 Лицензия MPL-2.0
▪ Github
@data_analysis_ml
⭐️ DataDreamer, библиотека Python с открытым исходным кодом, позволяет легко генерировать синтетические данные и интегрируется с huggingface
🔍 Узнайте, как это сделать: https://huggingface.co/blog/asoria/datadreamer-datasets#6790671e20a7d3ca6f72b6cb
@data_analysis_ml