15160
@haarrp - админ Вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейроннным сетям @data_analysis_ml - анализ данных @ai_machinelearning_big_data @itchannels_telegram - важное для программиста
🖥 SQLFlow - отличный инструмент для визуализации SQL-запросов
Легкий и простой интрумент для визуализация связей и структур БД, поддерживающий более 20 разных БД.
▪DEMO
▪GitHub
@bigdatai
🚀 Yi-Coder находится в открытом доступе!
Маленький, но могучий» LLM обеспечивает производительность SOTA при параметрах 10B. Превосходное редактирование кода, завершение, отладка и математические рассуждения.
✅ 2 размера: 9B и 1,5B (Chat и Base).
✅ 128K длины контекста
✅ Поддержка 52 языков программирования
Узнайте об этом прямо сейчас👇
https://huggingface.co/collections/01-ai/yi-coder-66bdb00f5bdd611f9a008f30
@bigdatai
Новостной дайджест
✔️ Laion перевыпустит датасет Laion 5B.
Laion 5B - крупнейший открытый набор данных изображений в интернете. Он был изъят из публичного доступа из-за претензий о содержавшихся в нем неуместных и неэтических изображениях.
Новый набор данных, Re-LAION-5B создан в сотрудничестве Laion с организациями Internet Watch Foundation (IWF) и Canadian Center for Child Protection (C3P).
В процессе обновления было удалено 2236 ссылок, которые были идентифицированы как потенциально ведущие к подозрительному контенту. Новый набор данных Re-LAION-5B содержит 5,5 миллиардов пар текст-ссылка-изображение и будет доступен для скачивания в двух версиях: Re-LAION-5B research и Re-LAION-5B research-safe под лицензией Apache 2.0.
laion.ai
✔️ Pixar следующего поколения: как искусственный интеллект объединит фильмы и игры.
Большая статья о будущем анимационной индустрии и её трансформации благодаря новым технологиям на сайте венчурного фонда Andreessen Horowitz.
Основное внимание статьи уделяется тому, как искусственный интеллект и другие цифровые инструменты меняют процесс создания анимации.
Авторы приводят примеры стартапов и компаний, которые уже используют технологии ИИ для создания высококачественной анимации с меньшими затратами времени и ресурсов. Предполагается, что такие изменения могут привести к появлению новых форматов контента и расширению возможностей для независимых аниматоров.
a16z.com
✔️ Sam Altman, Bill Gates и создатель Youtube примут участие в TВ-шоу на канале ABC.
Oprah Winfrey анонсировала новый спецвыпуск о будущем искусственного интеллекта "AI and the Future of Us". В шоу примут участие : генеральный директор OpenAI Sam Altman, Bill Gates, Директор ФБР Christopher Wray и создатель Youtube Marques Brownlee.
В программе будут обсуждаться основы ИИ, его влияние на образование, здравоохранение и другие отрасли, а также его потенциальное воздействие на правоохранительные органы и национальную безопасность. На шоу будут продемонстрированы существующие продукты со встроенным ИИ.
Шоу выйдет в эфир на канале ABC 12 сентября в 20:00 EST и будет доступна для просмотра на платформе Hulu на следующий день.
Участие в шоу Oprah Winfrey является признаком того, что ИИ становится все более популярной и важной темой в обществе.
techradar.com
✔️ Новая архитектура нейронных сетей может сделать ИИ более понятными.
Новая архитектура нейронных сетей, Kolmogorov-Arnold Networks (KANs), может сделать искусственный интеллект более интерпретируемым. KANs отличаются от традиционных нейронных сетей тем, что они используют более простые и понятные человеку функции для преобразования входных данных.
Эксперименты, проведенные в MIT и других институтах показали, что KANs могут быть более точными чем традиционные нейронные сети, но обучение KANs требует больше времени и вычислительных ресурсов, чем традиционные нейронные сети.
technologyreview.com
✔️ Новый метод непрерывного дообучения моделей компьютерного зрения и языка.
В опубликованном исследовании предложен новый подход к непрерывному дообучению зрительных и языковых моделей, который учитывает реальные требования их развертыванию в практических приложениях.
Исследование включает в себя четыре направления: влияния различных комбинаций данных и порядка их поступления на процесс дообучения, сравнение различных методов дообучения, изучение влияния мета-LR и планировщиков на процесс дообучения и анализ влияния масштабирования модели и вычислительных ресурсов на процесс дообучения.
Результаты исследования дают практические рекомендации для непрерывного дообучения моделей. Дополнительно, предложена концепция платформы FoMo-in-Flux, которая будет оценивать эффективность методов дообучения.
arxiv.org
@ai_machinelearning_big_data
#news #ai #ml
🌟 txtai — универсальная база данных эмбеддингов для семантического поиска, оркестрации LLM и для управления рабочими процессами, связанными с ML
— pip install txtai
Особенности txtai:
— Имеет векторный поиск с SQL, хранение объектов, анализ графов и мультимодальное индексирование
— Поддерживает создание эмбеддингов для текста, документов, аудио, изображений и видео
— Позволяет создавать конвейеры на основе языковых моделей для выполнения подсказок LLM, ответов на вопросы, маркировки, транскрипции, перевода, резюмирования и т. д.
— Можно запускать локально или масштабировать с помощью оркестрации контейнеров
🖥 GitHub
🟡 Доки
@bigdatai
🔥 Яндекс анонсировал Practical ML Conf — конференцию о практическом применении ML
Событие пройдет 14 сентября в Москве в пространстве «Суперметалл», для участия нужно зарегистрироваться и получить приглашение. Также будет доступна онлайн-трансляция докладов.
🟡 Узнать подробности и зарегистрироваться можно здесь.
@bigdatai
🚀XR-среда: погружаемся в метавселенные вместе с Sber Metaverse Tech и СберМаркетингом
Представители крупных брендов расскажут, какие технологии используют для создания метавёрса, где его можно применять и как он помогает бизнесу.
Совсем скоро обсудим:
➡️детские тренды и взрослые бренды: как работать с молодой аудиторией метавселенных
➡️геймификацию HR: игровые механики в найме и развитии сотрудников
➡️как влюбить в хоккей с помощью Roblox: кейс «Метавселенная хоккея» от КХЛ
➡️Roblox: от разовых спецпроектов к глубокой интеграции
📆 Встречаемся 4 сентября в 11:00 по адресу Москва, Кутузовский проспект, д. 32Г
Вход бесплатный, но нужна предварительная регистрация.
ТОП-профессия у работодателей сразу после айтишников — аналитик
Искусственный интеллект, большие данные, нейросети — самый сок технологий собрался в сфере аналитики и Data Science. При этом в профессию нередко идут бывшие «гуманитарии».
Разобраться в сфере, направлениях, рабочих задачах и даже написать свой первый SQL-запрос можно на бесплатном курсе Нетологии «Профессии в аналитике: что выбрать».
За 4 занятия вы узнаете:
- Как работает наука о данных — что такое Big Data, искусственный интеллект, машинное обучение.
- Какие инструменты используют аналитики, попробуете написать свой первый код.
- Какие задачи решают разные специалисты, разберёте примеры.
- Как стартовать в аналитике, даже с нуля.
Обо всём этом простым языком расскажут преподаватели со стажем. Начните учиться бесплатно — https://netolo.gy/dqfj
Реклама. ООО "Нетология". Erid 2VSb5wvyGh6
Когда ментор Слёрма Николай Марков решил стать Data-инженером, он не представлял, какие сюрпризы его ждут в профессии. А участники первого реалити-шоу про Data-инженеров уже успели прочувствовать эту атмосферу.
От неожиданных сбоев в коде до неуловимых багов — они испытали на себе вызовы, которые стоят за работой с большими данными. Кто смог раскрыть потенциал в нашей гонке, а кто слился после первых заданий?
👉🏻 Переходите, чтобы узнать, кто готов идти до конца и как стать Data-инженером
Внутри — гайд «Инструменты Data-специалиста», Roadmap для начинающего Data-инженера и ещё много полезного — статьи, ссылки, рекомендации и бесплатные вебинары 👉🏻 @gdedata
Реклама. ИП Аердинов Н.В. ИНН 638103515932 erid: LjN8K97oM
Вот что ждет в Т-Банке ML-разработчиков, кроме ДМС, крутых офисов и других плюшек:
Актуальный стек. Здесь следят за трендами и быстро внедряют новое.
Общение на «ты». Так проще.
Прозрачная система роста. Вы всегда будете знать, какие навыки нужно подтянуть и как получить повышение.
Вы окажетесь среди профессионалов, у которых можно многому научиться. А если захотите — можете стать ментором для младших коллег.
Больше о вакансиях ML-разработчиков — здесь.
Erid: 2VtzqxQ9Zcy
Трансформеры js py 🤗.
Используйте Transformers.js в Pyodide и основанных на Pyodide фреймворках, таких как JupyterLite, stlite (Streamlit), Shinylive (Shiny for Python), PyScript, HoloViz Panel и так далее.
Оригинальный Transformers нельзя использовать в браузерной среде. Transformers.js - это JavaScript-версия Transformers, которая может работать в браузерах.
Этот пакет представляет собой обертку Transformers.js, чтобы проксировать его API в Pyodide.
https://github.com/whitphx/transformers.js.py
@bigdatai
🌟 Виртуального ассистента Алису научили общаться более эмоционально
Помощник Яндекса получил большой спектр новых эмоций, которые может выражать голосом в общении исходя их контекста. Среди них — дружелюбие, любопытство, удивление, сочувствие, обида и грусть.
Для обучения Алисы команда использовала модель эмоционального синтеза речи, которую подробно разобрала в статье на Хабре. Обновленная Алиса доступна в Станциях Лайт 2, а чуть позже появится и в других устройствах.
▪️ Хабр
@bigdatai
Production ML: как настроить GPU-ноды в кластерах Kubernetes?
29 августа в 16:00 Selectel проведет практический воркшоп, на котором покажут, как запустить ML-сервис в Kubernetes – подготовить кластер, настроить драйверы на GPU-нодах и запустить автоскейлинг.
На вебинаре рассмотрим особенности работы с кластерами Kubernetes c GPU, настройку драйверов на GPU-нодах и масштабирование нагрузки в продакшене ML-сервисов. Обсудим практические кейсы использования GPU-нод в кластерах Kubernetes от клиентов Selectel.
Мероприятие бесплатное. Посмотреть программу вебинара и зарегистрироваться по ссылке: https://slc.tl/qonwc
Реклама АО «Селектел». ИНН: 7810962785
Erid: 2VtzqwWpy9W
⚡️ TurboEdit обеспечивает быстрое редактирование изображений на основе текста всего за 3-4 шага!
Модель улучшает качество редактирования изображений, которое сохраняет исходное изображение за счет использования смещенного алгоритма шумов и метода псевдонаправления, устраняя такие проблемы редактирования, как визуальные артефакты и слабые места при редактировании.
https://turboedit-paper.github.io
@bigdatai
⚡️ Создаем мощный детектор объектов с помощью Fastslam с
помощью ultralytics 🚀
🔗Код: https://docs.ultralytics.com/models/fast-sam/
💡 Здесь используется уменьшенная версия FASTSAM, которая позволяет обнаруживать объекты в режиме реального времени + для повышения производительности используется botsort функция.
#искусственныйинтеллект #отслеживаниеобъектов #sam2
@bigdatai
🖥 Интерактивная схема устройства работы векторных баз данных
@bigdatai
😖 Google DeepMind только что выпустили еще один крутой биотех инструмент с искусственным интеллектом: AlphaProteo
Это AI для разработки новых белков. Он поможет в разработке лекарств, для лечения рака, аутоиммунных заболеваний, а так же лечения множества других заболеваний 🧬
Ученые предрекают возможность создания нового белкового материала, который будет связываться с белками, участвующими в передаче сигналов между раковыми клетками, нарушая их функцию и вызывая их гибель
Исследователи смогу смоделировать и лучше понять, как функционируют биологические системы, сэкономить время на исследованиях, усовершенствовать разработку лекарств и многое другое. 🧵
Анонс
Статья
@ai_machinelearning_big_data
#deepmind #ai #ml #biology #biotech
⭐️ Крутой проект на Github - openperplex - поисковая система искусственного интеллекта с открытым исходным кодом
- Полный поиск с источниками, цитатами и соответствующими вопросами
- Простой поиск для быстрых ответов
- Потоковый поиск для обновлений в реальном времени
- Поиск содержимого сайта (текст, разметка и даже скриншоты!)
- Запрос на основе URL
- Бесплатный уровень: 500 запросов в месяц
https://github.com/YassKhazzan/openperplex_backend_os
@bigdatai
🔥MLR-Copilot: автономные ресерчеры в области машинного обучения, работающие с помощью агентов LLM, которые:
→ генерируют идеи для исследований
→ проводят эксперименты
→ выполняют реализацию с обратной связью от человека
📑 Статья https://arxiv.org/abs/2408.14033
🔨Code https://github.com/du-nlp-lab/MLR-Copilot
🤗Demo https://huggingface.co/spaces/du-lab/MLR-Copilot
@bigdatai
⚡️Spann3R: 3D-реконструкция с пространственной памятью
Duster снова в ударе!
▪ Статья: https://arxiv.org/abs/2408.16061
▪ Проект: https://hengyiwang.github.io/projects/spanner
@bigdatai
🖥 Text2SQL is Not Enough: Unifying AI and Databases with TAG
Генерация с расширением таблиц (TAG) - это унифицированная парадигма общего назначения для ответа на вопросы на естественном языке с использованием баз данных.
Text2SQL представляет широкий спектр взаимодействий между LM и базой данных, которые ранее не применялись в таких методах, как Text2SQL и RAG.
📚 Статья: https://arxiv.org/abs/2408.14717
🛠️ Код: https://github.com/tag-research/tag-bench
@bigdatai
🌟LongVILA: Масштабирование VLM с длинным контекстом для обработки длинных видео.
LongVILA, полнофункциональное решение на основе LLaVA, разработанное NVLabs, для длинноконтекстных VLM, включающее программный набор, претрейн-моделей и разработку набора данных для обучения.
Программная реализация основывается на Multi-Modal Sequence Parallelism (MM-SP).
Это распределенный фреймворк для обучения и вывода, который предназначен для визуальных языковых моделей (VLM) с длинным контекстом. Он решает сложную задачу обработки огромных объемов данных и вычислений, необходимых для обучения и развертывания VLM на длинных видео.
Ядром MM-SP является двухэтапная стратегия шардинга и механизм 2D-внимания.
На первом этапе изображения равномерно распределяются по устройствам, обеспечивая сбалансированное кодирование изображений.
Второй этап включает в себя шардинг токенов уровня глобального зрения и текстовых входных данных с добавлением фиктивных токенов для совместимости с кольцевым вниманием.
Механизм 2D-внимания повышает эффективность в MM-SP, объединяя кольцевой стиль и стиль Улисса (Ulysses) последовательного параллелизма, используя внутриузловое общение All-2-All и межузловое общение P2P.
MM-SP распределяет вычислительную нагрузку по нескольким устройствам позволяя проводить обучение и вывод на чрезвычайно длинных последовательностях. Кроме того гибридная стратегия параллелизма минимизирует накладные расходы на связь еще больше улучшая пропускную способность обучения и сокращая время вывода.
Полный стек решения LongVILA расширяет число возможных кадров VILA в 128 раз (с 8 до 1024 кадров) и улучшает оценку аннотирования длинных видео с 2,00 до 3,26 (в 1,6 раза), демонстрируя 99,5% точности в 1400-кадровом видео (длина контекста 274k).
Претрейн модели основаны на Llama-3-8B и предназначены для рассуждений с использованием нескольких изображений и имеют навык визуальной цепочки мышления.
Опубликованы 3 модели:
🟢Llama-3-LongVILA-8B-128Frames;
🟢Llama-3-LongVILA-8B-256Frames;
🟢Llama-3-LongVILA-8B-512Frames.
Эти модели были обучены на 53 миллионах пар "изображение-текст" и могут быть развернуты на конечных устройствах от Jetson Orin для FP16 версий до потребительских ноутбуков в квантованной 4-bit размерности через TinyChat.
📌Лицензирование кода : Apache 2.0 license.
📌Лицензирование моделей: CC-BY-NC-SA-4.0 license.
🟡Arxiv
🟡Набор моделей
🖥Github [ Stars: 1.2K | Issues: 33 | Forks: 92]
@ai_machinelearning_big_data
#AI #NVLab #VLM #ML
🌟Zamba2-mini: компактная и производительная модель с гибридной архитектурой.
Zamba2-mini - гибридная модель c 1.2B параметров, построенная из блоков state-space Mamba (SSM) и transformer.
Модель создана на общей архитектуре Zamba, но отличается от большей модели 2.7B тремя особенностями:
🟢добавлены rotary position embeddings;
🟢чередующиеся трансформерные блоки заменены одним общим;
🟢вместо LoRA на блоке MLP добавлены проекторы LoRA в блоки внимания.
Zamba2-mini использует токенизатор Mistral v0.1 и была предварительно обучена на 3 триллионах токенов текстовых данных и коде различных языков программирования, полученных из открытых веб-наборов данных, к которым был добавлен собственный корпу данных Zyda.
Впоследствии, на втором этапе Zamba2-mini была подвергнута дополнительной фазе агрессивного снижения скорости обучения на смеси из 100B высококачественных токенов.
Zamba2-mini показала в тестах результаты, сопоставимые с моделями с параметрами <2B и может конкурировать с некоторыми LLM большего размера.
Благодаря уникальной гибридной архитектуре SSM Zamba2-mini демонстрирует низкие задержки логического вывода и быструю генерацию при значительно меньшем потреблении VRAM, чем другие модели такой же плотности параметров на основе трансформеров.
Такие характеристики делает ее идеальной универсальной моделью для приложений на устройствах.
⚠️ Примечание: Zamba2-mini еще не полностью совместима со всеми фреймворками и инструментами HuggingFace.
Реализацию Zamba2-1.2B для Pytorch можно найти здесь.
▶️Локальная установка и инференс:
# Clone repositiry
git clone https://github.com/Zyphra/transformers_zamba2.git
#Install requirments:
cd transformers_zamba2
pip install -e .
pip install accelerate
#Inference
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
tokenizer = AutoTokenizer.from_pretrained("Zyphra/Zamba2-1.2B")
model = AutoModelForCausalLM.from_pretrained("Zyphra/Zamba2-1.2B", device_map="cuda", torch_dtype=torch.bfloat16)
input_text = "A funny prompt would be "
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")
outputs = model.generate(**input_ids, max_new_tokens=100)
print(tokenizer.decode(outputs[0]))
⚡️ GitHub запускает Copilot Autofix для автоматического устранения ошибок в коде.
▪Инструмент анализирует код и предлагает решения для исправления ошибок, используя ИИ Copilot от GitHub, аналитический движок CodeQL и GPT-4.
▪Бета-тестирование показало, что инструмент сокращает время на поиск и устранение уязвимостей в три раза и более.
▪Например, вручную исправление ошибок XSS обычно занимает три часа, а с помощью Copilot Autofix это удалось сделать за 22 минуты. Время исправления дефектов SQL-инъекций сократилось с 4 часов до 18 минут.
Все это станет доступно бесплатно с сентября 2024 года для всех проектов с открытым исходным кодом, размещенных на платформе.
https://github.blog/news-insights/product-news/secure-code-more-than-three-times-faster-with-copilot-autofix/
@bigdatai
🖥 Полезная шпаргалка по Pandas
В этой шпаргалке вы найдёте несколько страниц полезных шпаргалок по базовым командам и конкретным задачам.
#шпаргалка #pandas
@bigdatai
🖥 Crossed - это сверхвысокопроизводительная встраиваемая и серверная СУБД.
Она разработана для высокопроизводительных сценариев, когда в основной памяти может храниться вся база данных.
Особенности
- Поддержка нескольких ОС: Linux / Windows / macOS / FreeBSD и т.д
- Поддержка ARCH с несколькими процессорами: X86 / ARM / PPC / MIPS и т.д.
- Поддержка OnDisk / In-memory / RamDisk / гибридного хранилища
- Поддержка стандартной модели СУБД
- Поддержка MySQL
- Поддержка нескольких баз данных
- Поддержка хэширования и индекса RBTREE(TBD)
- Поддержка многоколоночного индекса
- Поддержка точного совпадения,
- Поддержка WALL для хранения данных на диске (TBD)
- Поддержка многопоточного доступа и доступа к нескольким процессам
- Поддержка блокировки чтения и записи на уровне таблиц
- Поддержка MVCC для чтения и записи
- Поддержка встроенной оболочки CrossDB
- Поддержка API с несколькими статусами
- Поддержка готовых API-интерфейсов Statments
- Сверхвысокая производительность
- Zero Config: никакой сложной конфигурации, все как из коробкиmake
make install
▪ Github
@bigdatai
🌟 Clapper: Альфа-версия комбайна для визуализации генеративных сценариев.
Clapper - это инструмент визуализации историй, разрабатываемый как пет-проект сотрудником Huggingface Julian Bilcke
Созданный год назад, Clapper не предназначен для замены традиционных видеоредакторов или AI-редакторов, использующих 3D-сцены в качестве исходного материала.
Философия Clapper заключается в том, чтобы каждый мог создавать видео с помощью GenAI-инструментов посредством интерактивного, итеративного и интуитивного процесса, без необходимости использования разных интерфейсов, навыков режиссуры или AI-инженерии.
В Clapper вы не редактируете последовательность видео- и аудиофайлов напрямую, а итерируете (с помощью вашего помощника ИИ) свою историю, используя высокоуровневые абстракции, такие как персонажи, места, погода, временной период, стиль и т. д.
Конечной целью проекта заявлен полностью режиссерский режим, с которым вы можете просто перевести видео в полноэкранный режим, удобно расположиться в режиссерском кресле (или на диване) и, произнося голосом команды своему AI-ассистенту для создания вашего фильма, насладитесь созданным лично Вами шедевром.
⚠️ Это альфа-версия инструмента, который разрабатывают 3 человека. Не стоит ожидать от этого открытого проекта революционных результатов.
Clapper поддерживает интеграцию по API с локальными системами (ComfyUI) и он-лайн сервисами:
HuggingFace, Replicate, ComfuICU, FalAI, ModelsLab, OpenAI, Groq, Google, Anthropic, Cohere, MistralAI, StabilityAI, ElevenLabs, KitsAI.
Проект написан на TypeScript. Необходимые условия перед установкой:
🟠Git LFS;
🟠Bun;
🟠NVM;
🟢Версия Node - 20.15.1.
▶️Установка и запуск:
# Install the dependencies:
# --include=optional to make
# sure deps are installed
bun i
# build the app:
npm run build
# Running the web app:
bun run dev
# first time you go to localhost:3000
# Wait around 1 minute, the app will compile
cd packages/app
bun run electron:start
# You can also build Clapper:
cd packages/app
bun run electron:make
🖥 open-interpreter инструмент управление компьютером с помощью естественного языка
Это Python-библиотека, которая позволяет управлять ПК с помощью обычной челочеческой речи, в том числе на русском. На видео переключаются со светлой темы на тёмную, конвертируют docx-файлы на рабочем столе в .pdf.
Репозиторий проекта
Интерактивная демка в Colab
#llm #библиотека
@bigdatai
⚡️ Отличная статья, которая только что вышла из Stanford Med; "Нелинейная динамика многомерных факторов при старении человека"
самое интересное, что данные находятся в открытом доступе.
репо: https://github.com/jaspershen-lab/ipop_aging
довольно детальная информация
cтатья: https://nature.com/articles/s43587-024-00692-2
@bigdatai
🎉 Встречаемся на ML Party 20 августа!
В этот раз обсудим всё самое интересное с конференции International Conference on Machine Learning (ICML), которая прошла в июле в Вене.
Поделимся самыми актуальными новостями и трендами направлений: CV, NLP, RecSys и RL.
📎 ML Party пройдёт 20 августа в Москве в офлайн- и онлайн-формате. Зарегистрироваться можно здесь.
Реклама. ООО "Яндекс", ИНН 7736207543.