Machinelearning

19 April 2024 15:10

🦙 Файнтюниг Llama 3 с помощью ORPO.

Краткое руководство о том, как настроить новую модель Llama 3 8B с ORPO.

Надеюсь, вам понравится!

🤗 Модель: https://huggingface.co/mlabonne/OrpoLlama-3-8B
💻 Colab: https://colab.research.google.com/drive/1eHNWg9gnaXErdAa8_mcvjMupbSS6rDvi?usp=sharing
📝 Статья: https://huggingface.co/blog/mlabonne/orpo-llama-3

@ai_machinelearning_big_data

Machinelearning

19 April 2024 11:07

⚡️ Graph Machine Learning

Бесплатный продвинутый курс: Машинное обучение на графах.

Курс регулярно дополняется практическими задачками и слайдами. Автор Ксавье Брессон - профессор национального университета Сингапура.

▪Введение

▪Погружение в графы
- Lab1: Generate LFR social networks
https://github.com/xbresson/GML2023/blob/main/codes/02_Graph_Science/code01.ipynb
- Lab2: Visualize spectrum of point cloud & grid
https://github.com/xbresson/GML2023/blob/main/codes/02_Graph_Science/code02.ipynb
- Lab3/4: Graph construction for two-moon & text documents
https://github.com/xbresson/GML2023/blob/main/codes/02_Graph_Science/code03.ipynb
https://github.com/xbresson/GML2023/blob/main/codes/02_Graph_Science/code04.ipynb

▪Кластеризация графов
- Lab1: k-means
https://github.com/xbresson/GML2023/blob/main/codes/03_Graph_Clustering/code01.ipynb
https://github.com/xbresson/GML2023/blob/main/codes/03_Graph_Clustering/code02.ipynb
- Lab2: Metis
https://github.com/xbresson/GML2023/blob/main/codes/03_Graph_Clustering/code03.ipynb
- Lab3/4: NCut/PCut
https://github.com/xbresson/GML2023/blob/main/codes/03_Graph_Clustering/code04.ipynb
https://github.com/xbresson/GML2023/blob/main/codes/03_Graph_Clustering/code05.ipynb
- Lab5: Louvain
https://github.com/xbresson/GML2023/blob/main/codes/03_Graph_Clustering/code06.ipynb https://pic.twitter.com/vSXCx364pe

▪Лекции 4 Graph SVM
- Lab1: Standard/Linear SVM
https://github.com/xbresson/GML2023/blob/main/codes/04_Graph_SVM/code01.ipynb
- Lab2: Soft-Margin SVM
https://github.com/xbresson/GML2023/blob/main/codes/04_Graph_SVM/code02.ipynb
- Lab3: Kernel/Non-Linear SVM
https://github.com/xbresson/GML2023/blob/main/codes/04_Graph_SVM/code03.ipynb
- Lab4: Graph SVM
https://github.com/xbresson/GML2023/blob/main/codes/04_Graph_SVM/code04.ipynb

Инструкции по запуску: https://storage.googleapis.com/xavierbresson/lectures/CS6208/running_notebooks.pdf

💡 Github

@ai_machinelearning_big_data

Machinelearning

18 April 2024 19:44

👑Llama 3 is here, with a brand new tokenizer! 🦙

Вышла Llama 3

Сегодня вышла новая SOTA Llama 3 в двух версиях на 8B и 70B параметров.

Длина контекста 8К, поддержка 30 языков.

•HF: https://huggingface.co/spaces/ysharma/Chat_with_Meta_llama3_8b
•Blog: https://ai.meta.com/blog/meta-llama-3/

Вы можете потестить 🦙 MetaLlama 3 70B и 🦙 Meta Llama 3 8B с помощью 🔥 бесплатного интерфейса: https://llama3.replicate.dev/

@ai_machinelearning_big_data

Machinelearning

18 April 2024 15:22

🌟 Не разрешают использовать ChatGPT — разворачивам LLM локально

Бывают ситуации, когда жизненные обстоятельства не позволяют использовать ChatGPT и приходится разворачивать LLM локально.
Что в этом случае можно использовать?

1. Проприетарные модели:
🟡 Anthropic – в настоящее время сравним или превосходит по качеству ChatGPT 4.0 на некоторых задачах и обладает большим контекстным окном, давая возможность решать многие задачи, не прибегая к RAG и другим гибридным методам

🟡 Yandex GPT – хорошо функционирует на русском языке, поэтому если ваша бабушка еще и майор – она точно оценит этот вариант

🟡 GigaChat – модель от Сбера, так же хорошо работает на русском и смотри пункт выше

2. Открытые модели:
🟡 LLama 2 – оригинальная открытая модель от известной террористической организации, на базе которой уже нагородили over 100500 разных моделей, за что этой организации большое спасибо (до сих пор никто не понимает, что подвигло Марка на данное решение). По качеству не дотягивает до ChatGPT 4.

🟡 ruGPT – претрейн от GigaChat под лицензией MIT, Сбер приложил руку и тут, спасибо им. Можно использовать

🟡 Mistral – модель, разработанная выходцами из Гугла во Франции. Качество не дотягивает до ChatGPT 4, но в среднем лучше, чем Llama 2.

🟡 Falcon – модель разработана на арабские деньги европейцами. В целом, послабее Llama 2, и смысл ее использования от меня ускользает.

🟡 Grok от X – предположительно "based" модель от самого Илона. Работает пока так себе, плюс-минус на уровне ChatGPT 3.5, но Илон обещает порвать всех на тряпки и есть причины ему верить.

Оценки моделей на текущий момент выглядят примерно так (на изображении)

@ai_machinelearning_big_data

Machinelearning

18 April 2024 11:01

⚡️ Stability AI расширила доступ к тестированию Stable Diffusion третьего поколения

⏩Следующее поколение генерирующей изображения по текстовой подсказке ИИ-модели Stable Diffusion пока не запущено публично, но уже доступно некоторым разработчикам через API и новую платформу для создания контента, а также платформу для разработчиков. Для организации доступа к ИИ по API Stability AI объединила усилия с API-платформой Fireworks AI.

⏩По словам разработчиков, новое поколение Stable Diffusion «не уступает, либо превосходит» другие подобные модели, вроде DALL-E 3 от OpenAI и Midjourney «в понимании и соблюдении запросов». Stable Diffusion 3 использует архитектуру Multimodal Diffusion Transformer, которая должна улучшить понимание текста и орфографии.

⏩Новая платформа для создания контента Stable Assistant Beta — это «дружелюбный чат-бот», позволяющий платным подписчикам работать с передовыми ИИ-моделями Stability AI, генерировать изображения и писать тексты. Пока платформа находится в стадии закрытого тестирования ограниченной группой пользователей и недоступна для широкой публики. В очередной раз расширив доступность своих продуктов, компания подчеркнула, что «принимает разумные меры для предотвращения неправомерного использования Stable Diffusion 3 злоумышленниками».

📎 Подробнее

@ai_machinelearning_big_data

Machinelearning

17 April 2024 15:03

Хотите углубить свои знания в Data Science? Освойте технологию многоруких бандитов в задаче рекомендаций

Приходите на открытый практический урок от OTUS. Спикер Андрей Канашов — Senior Data Scientist.

На вебинаре вы: 
- узнаете про алгоритмы многоруких бандитов и как они применяются на практике для решения задачи рекомендательных систем;- изучите основные алгоритмы UCB и Tompson Sampling;- получите практический опыт применения многоруких бандитов для задачи рекомендации фильмов.

Встречаемся 22 апреля в 19:00 мск в рамках курса «Рекомендательные системы». Все участники вебинара получат специальную цену на обучение и персональную консультацию от менеджеров OTUS! 

Регистрируйтесь прямо сейчас, чтобы не пропустить урок: https://clck.ru/3A7fEs?erid=LjN8KUatP

Machinelearning

17 April 2024 12:02

✨ HairFastGAN: Realistic and Robust Hair Transfer with a Fast Encoder-Based Approach

Новая модель для переноса прически с эталонного изображения на исходную фотографию для виртуальной примерочной.

▪ Paper: https://arxiv.org/abs/2404.01094
▪Code: https://github.com/AIRI-Institute/HairFastGAN
▪Colab: https://colab.research.google.com/#fileId=https%3A//huggingface.co/AIRI-Institute/HairFastGAN/blob/main/notebooks/HairFast_inference.ipynb

@ai_machinelearning_big_data

Machinelearning

16 April 2024 18:03

📓Free book: "Build an LLM from Scratch"

Один из лучших способов разобраться в LLM - это написать ее с нуля!

Сегодня вышла новая глава книги - "Chapter 5: Pretraining on Unlabeled Data".

Автор книги - Себастьян Рашка, известный Исследователь, популяризатор машинного обучения и автор книг по Deep Learning.

В этой главе рассматриваются:
- Оценка качества текста, сгенерированного LLM во время обучения
- Реализация функции обучения и настройка LLM
- Сохранение и загрузка весов для обучения LLM
- Загрузка предварительно подготовленных весов из OpenAI

▪ Github

@ai_machinelearning_big_data

Machinelearning

16 April 2024 12:14

⚡️ В Google Workspace появился ИИ-видеоредактор

В Google Workspace (который содержит приложения типа Docs, Sheets и Slides) появился новый сервис — онлайн видеоредактор Vids.

Это довольно простое приложение для создания видео, предназначенное для бизнеса.
Вы можете использовать его для создания видеопрезентаций с временной шкалой, в которые можно быстро накидать картинки со своего Google Диска.

Вы также можете добавить закадровый голос или видеозапись своей речи, чтобы добавить привлекательности.

Однако что делает Vids действительно интересным, так это то, что он использует ИИ Gemini.

Пользователи могут попросить Gemini писать сценарии, создавать раскадровки и даже озвучивать видео.

Он также может использовать библиотеку видеоматериалов и даже самостоятельно создавать изображения.
Vids в настоящее время тестируется небольшим количеством пользователей Workspace.

📎 Introducing Google Vids

@ai_machinelearning_big_data

Machinelearning

15 April 2024 14:34

Скоро каждый сможет накодить личную мини-нейросеть и настроить её под себя.

Например, для отбора подходящих IT-вакансий. СИБУР как раз создал такой инструмент! Команда разработала НейроМенделеева, цифрового двойника учёного с голосом и мимикой. Он может рассказать об IT-направлениях компании, новых вакансиях или просто зарядить мотивацией, если поиск работы затягивается!

Читайте в статье, как СИБУРу удалось с помощью векторной базы данных, технологии MetaHuman и ChatGPT создать такую нейросеть. НейроМенделеев, кстати, материал и карточки этого поста сделал сам.

Machinelearning

13 April 2024 11:03

🔥 Wunjo AI — open-source проект позволяющий создавать дипфейки и не только

Помимо создания дипфейков этот проект с открытым исходным кодом может клонировать речь, генерировать видео, удалять текст и объекты, а также получать изображения без фона, прямо на вашем компьютере.
Wunjo AI — это локальное приложение, которое работает даже на слабых компьютерах, предоставляя вам возможности по созданию контента любой длительности.

📎 Описание Wunjo AI от автора
📎 GitHub

@ai_machinelearning_big_data

Machinelearning

12 April 2024 09:34

🔥 Большой список open-source AI-моделей и не только

⏩Полный список репозиториев ИИ с открытым исходным кодом размещен на сайте llama-police; список обновляется каждые 6 часов.

⏩Большинство из них вы также можете найти в этом списке cool-llm-repos на GitHub.
Enjoy)

@ai_machinelearning_big_data

Machinelearning

11 April 2024 10:02

ML-специалисты тут? Вас уже ждут в Тинькофф!

Вместе с результативной командой вы будете генерировать гипотезы, ставить на их основе эксперименты, улучшать качество моделей и ускорять их работу в различных сценариях, оформлять эксперименты в воспроизводимые пайплайны и создавать масштабные ИТ-продукты.

Откликайтесь на вакансию, а компания не только обеспечит комфортные условия для работы, но и возможность воплотить свои идеи в больших ИТ-проектах

АО «Тинькофф Банк», ИНН 7710140679

Machinelearning

10 April 2024 20:03

Deep Learning это буквально суперсила, которая работает подобно человеческому мозгу.

Специалисты этой сферы создают нейросети и находятся на стыке анализа данных и разработки. Рекомендации фильмов, переводчики или генерация ответов на вопросы как от Siri - это все их работа.
Deep Learning Инженеров нанимают крупные компании, а начальная зарплата варьируется от 120 000 рублей в месяц.

Создавать и обучать такие нейросети вы научитесь в онлайн-школе Data Science KARPOV.COURSES.

Учиться вы будете у практикующих специалистов - поэтому за 4 месяца вы получите все знания и навыки, которые пригодятся в реальной работе. Школа поможет вам с трудоустройством - 89% студентов уже нашли работу благодаря карьерному сопровождению.

Научитесь создавать нейросети: https://clc.to/erid_LjN8KQWkN
По промокоду AIMLBD получите скидку 5000 рублей до 24.04.2024

Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627.

Machinelearning

10 April 2024 16:41

18 апреля, 18:00
MLечный путь 2024

Коллеги из @Selectel проводят свой ежегодный митап MLOps и ML-инженеров, на котором обсуждаю инфраструктуру для ML, разбирают сложности, тренды и инструменты построения production ML-систем.

В этом году особое внимание будет уделено актуальному тренду — LLM. Будут доклады про тренды развития генеративного ИИ, перспективы Feast в качестве Feature store, оптимизацию моделей, обеспечение безопасности LLM и сокращение расходов на их инференс. На митапе выступят эксперты из Selectel, СберМаркета, Dstack, Axenix, MIL Team, Raft AI.

Всех участников оффлайн-митапа в Санкт-Петербурге будет ждать неформальное общение со спикерами и экспертами, стенды с GPU-картами, розыгрыш мерча, знакомства и пицца после окончания докладов. Для тех, кто не сможет присоединиться оффлайн, коллеги подготовили онлайн-трансляцию.

Выбирайте подходящий формат участия и регистрируйтесь на мероприятие: https://slc.tl/nj075

Реклама ООО «Селектел» erid 2VtzqxBMf6E

Machinelearning

19 April 2024 13:02

🌐 X5 Data Science Meetup #3

Бурный рост эффективности ML систем провоцирует дискуссии. X5 Tech приглашает экспертов в Data Science, чтобы обсудить, как с помощью новых методов и подходов победить неэффективные процессы.

📌 В повестке — проверенные и новые методы взаимодействия с пользователями: от рекомендаций музыки до генерации контента и чат-ботов на основе ИИ, а также сложности: галлюцинации, мониторинг языковых моделей, методы улучшения RAG-систем.

✅ Встречаемся 25 апреля в пространстве Articon (также будет онлайн-трансляция)
Старт в 19:00

После митапа - AFTER PARTY 🎉

Все подробности и регистрация - по ссылке
__
Реклама. ООО "Корпоративный центр ИКС 5", ИНН: 7728632689, erid: LjN8KRWxx

Machinelearning

19 April 2024 09:00

🔥 Нейросети без цензуры: какие LLM ответят на любые вопросы

🟡 FuseChat-7B-VaRM. Хороший вариант для общения, без цензуры и ограничений. По сути, это три чат-бота, объединенных в один, каждый со своими особенностями. Это значит, что пользователь получает интересные беседы независимо от того, о чем хочет поговорить.

🟡 Chimera-Apex-7B. Создана для обычных разговоров и генерации не совсем обычных идей. Хороший приятель для мозгового штурма, который не боится быть немного диким. Все еще находится в стадии разработки, так что еще можно ждать сюрпризов.

🟡 Dolphin-2.8-experiment26-7b. Это тонкая настройка экспериментальной модели, которая зарекомендовала себя как лучшая с 7 млрд параметров. Это как усовершенствованная версия модели, в которой устранены все недостатки и оптимизирована производительность.

🟡 Nous-Hermes-2-Mistral-7B-DPO. Эта модель представляет собой значительное улучшение: она демонстрирует повышенную производительность в различных бенчмарках по сравнению со своими предшественниками. Особого внимания заслуживает ее применение в средах без цензуры. Сфокусирована на предоставлении качественных ответов, основанных на данных, что делает ее отличным кандидатом для тех, кто ищет продвинутые, неограниченные возможности LLM.

🟡 UNA-TheBeagle-7b-v1. Обучена на наборе данных The Bagel с использованием прямой оптимизации предпочтений (DPO) и UNA. Модель основана на нейро-чате Intel.

🟡 Nous Hermes 2 — SOLAR 10.7B. Новая модель от Nous Research, основанная на SOLAR 10.7B. Обучена на большом датасете, который состоит в основном из данных, сгенерированных GPT-4, и дополнительных ресурсов. По бенчмаркам почти достигла уровня производительности модели Yi-34B. Работает с системными промтами, что дает возможность пользователям определять правила, роли.

🟡 Dolphin 2.6 Mistral 7b — DPO Laser. Это языковая модель без цензуры, основанная на работе LASER. Благодаря более широкому контекстному окну в 16 тыс. токенов и таким передовым методам, как SVD и RMT, эта модель без цензуры выдает более надежные результаты, чем ее предшественники. Она идеальна для ролевых сценариев благодаря широкому диапазону ответов.

🟡 Dolphin-2.2.1-mistral-7b. Разработана Эриком Хартфордом и спонсируется a16z. Работает под лицензией Apache-2.0 и представляет собой универсальный инструмент как для коммерческих, так и для некоммерческих приложений. Одной из особенностей Dolphin-2.2.1-mistral-7b считается ее стремление к развитию содержательного общения. Набор данных был тщательно отфильтрован, чтобы устранить любую предвзятость, благодаря чему модель стала более послушной и может обеспечить нейтральный и открытый подход к генерации текста.

🟡 Zephyr 7B Alpha. Начальная итерация в серии больших языковых моделей Zephyr, известной своей емкостью в 7 млрд параметров. Эта версия mistralai/Mistral-7B-v0.1, усовершенствованной в процессе тонкой настройки с использованием комбинации общедоступных и синтетических наборов данных по методологии, известной как прямая оптимизация предпочтений (DPO).

🟡 Emerhyst-20B. Эта языковая модель без цензуры объединяет в себе сильные стороны двух популярных моделей, Amethyst 13B и Emerald 13B. Такой подход позволяет основной модели унаследовать лучшие черты от своих «родителей», создавая универсальный и эффективный генератор текстов. Для дальнейшего расширения возможностей Emerhyst-20B создатели использовали LimaRP v3, передовой инструмент для обучения больших языковых моделей.

Enjoy)

@ai_machinelearning_big_data

Machinelearning

18 April 2024 16:07

⚡️ 💻 AutoCodeRover: Autonomous Program Improvement

AutoCodeRover - это полностью автоматизированный инструмент для исправления ошибок на GitHub (исправление ошибок в разделе issues и генерации новых функций в проект).

AutoCodeRover работает в два этапа:

🔎 Поиск контекста: LLM анализирует код для собирает контекст.
💊 Генерация исправлений: LLM переписывает код на основе полученного контекста.

AutoCodeRover уже решает ~16% ошибок на датасете SWE-bench и ~22% ошибок SWE-bench lite и продолжает совершенствоваться.

▪Github
▪Paper

@ai_machinelearning_big_data

Machinelearning

18 April 2024 13:22

🔒 Обеспечьте защиту своей цифровой жизни!

Думали, что открытое ПО всегда безопасно? Подумайте снова.

Хакеры добавляют трояны открытое ПО.

Узнайте о хитроумных атаках и как защитить себя в канале “Порвали два трояна” от экспертов “Лаборатории Касперского”.

Подписывайтесь сейчас, чтобы сохранить свои личные данные, потом может быть слишком поздно! 🔒

#Безопасность #Кибербезопасность #ОткрытоеПО #ПорвалиДваТрояна

Реклама АО "Лаборатория Касперского". ИНН 7713140469

Machinelearning

17 April 2024 16:04

⚡️ GitHub — mshumer/gpt-llm-trainer

• Цель gpt-llm-trainer — упростить процесс обучения модели.

• Система сгенерирует набор данных с нуля и настроит модель LLaMA 2 или GPT-3.5 для пользователя. Генерация набора данных осуществляется с использованием Claude 3 или GPT-4.

• После генерации набора данных система автоматически разделит его на обучающий и проверочный наборы и настроит модель.

• Для использования системы необходимо написать промпт и задать температуру и количество примеров для генерации.

• Обученная модель может быть протестирована с использованием ячеек логического вывода или сохранена на Google Диск.

🖥 GitHub 3.8k⭐️

@ai_machinelearning_big_data

Machinelearning

17 April 2024 14:04

🖥 GitHub Copilot в CLI теперь общедоступен (вышел из беты)

Относительно недавно GitHub Copilot объявил об общедоступности своего расширения интерфейса командной строки (CLI). Это обновление расширяет функциональность Copilot на терминал, позволяя пользователям получать выгоду от его функций непосредственно в рабочем процессе.

Новые функции Copilot CLI:
⏩Теперь Copilot может предлагать команды на основе пользовательского ввода, а также выполнять эти команды

⏩Помимо предложений на основе пользовательского ввода, Copilot будет предоставлять пояснения к существующим командам

⏩Новые вспомогательные псевдонимы доступны для оболочек Bash, PowerShell и Zsh. Эти псевдонимы, созданные командой gh copilot alias, предоставляют сокращения для часто используемых функций Copilot:
• ghcs – выполняет предложенные команды
• ghce — объясняет существующие команды

📎 Подробнее

@ai_machinelearning_big_data

Machinelearning

17 April 2024 10:03

27 и 28 апреля приглашаем специалистов робототехники и reinforcement learning на ROS Meetup в Москве 📅

Это возможность для робототехников всех уровней: от новичков до экспертов, — посвятить выходные практическому обучению и нетворкингу. Вы получите советы и рекомендации экспертов, сможете поделиться идеями с другими разработчиками. Доклады охватывают весь спектр тем: от ROS до reinforcement learning и антропоморфных роботов.

Инженеры и руководители компаний поделятся реальным опытом использования ROS в исследовательских и коммерческих проектах.

В этот раз мы решили разбавить технические доклады большим количеством тематических дискуссий и нетворкинга.

На какие темы будем общаться:

Антропоморфные роботы

✔️ Reinforcement learning
✔️ LLM — large language mode, Deep learning
✔️ Беспилотные автомобили и мобильные роботы
✔️ Манипуляторы и алгоритмы в манипуляции, в том числе MOVEit
✔️ ROS-пакеты и другие темы в робототехнике

Локация: г. Москва, Кутузовский проспект 32к1, офис Сбера.

Регистрируйтесь по ссылке 👈

Machinelearning

16 April 2024 16:03

Сильнейшие карьерные IT-бури ожидаются в ближайшее время — об этом говорят синоптики и HR-менеджеры Сбера! 🧑‍💻

Чтобы стать частью IT-комьюнити топовой технологичной компании и работать над масштабными проектами, выбирай вакансию мечты по ссылке.

Эйчары уже ждут тебя. Ну а прогноз в видео — всего лишь наша шутка, зато твоя будущая команда абсолютно реальна 💚

Machinelearning

15 April 2024 16:34

🔥 Создание 3D-моделей из плоской картинки с помощью DUSt3R

Встречайте DUSt3R — новый подход геометрического конструирования 3D на основе 2D (Dense and Unconstrained Stereo 3D Reconstruction).
DUSt3R не требует калибровки камеры или данных о точке обзора.

Ключевые возможности DUSt3R:
🟡Работает с произвольными коллекциями изображений

🟡Интеграция монокулярных и бинокулярных методов реконструкции с помощью регрессии точечных карт

🟡Выравнивает многоракурсные карты точек в общую систему координат

🟡Использует кодеры/декодеры с предварительно обученными моделями

🖥 GitHub

@ai_machinelearning_big_data

Machinelearning

13 April 2024 15:33

🔥 Text Generation Inference v2.0.0  —   готовый сервер для инференса LLM, написанный на Rust, Python и gRPC.

Инференс ML-модели - это процесс её работы на конечном устройстве. Поэтому, чем больше мы разгоняем инференс, тем быстрее работает модель.

В новую версию Text Generation Inference   добавлена поддержка модели Command R+.

TGI - самый быстрый сервер с открытым исходным кодом для Command R+

Используя возможности Medusa heads, на тестах достигается беспрецедентная скорость с задержкой всего в 9 мс на токен для модели 104B!

ПОддерживает популярные Lms с открытым исходным кодомД Llama, Falcon, StarCoder, BLOOM, GPT-NeoX и другие.

• Github
• Установка

@ai_machinelearning_big_data

Machinelearning

12 April 2024 17:03

⚡️ Udio AI для создания музыки с $10M инвестиций и поддержкой знаменитостей

⏩Всего через несколько недель после того, как завирусился музыкальный генератор на базе ИИ Suno, на сцену выходит новый конкурент - Udio. Созданный бывшими сотрудниками исследовательского подразделения Google DeepMind и поддерживаемый такими тяжеловесами технологической и музыкальной индустрии, как a16z (Andreessen Horowitz), соучредитель Instagram Майк Кригер, рэперы Common и Will.i.am, продюсер Tay Keith и платформа United Masters, Udio был анонсирован 10 апреля и обещает революционизировать процесс создания музыки.

⏩Сервис обещает преобразить процесс создания музыки, сделав его "максимально простым". Сейчас он находится на стадии публичной беты, поэтому всем зарегистрировавшимся Udio доступен бесплатно с возможностью создавать до 1200 треков в месяц. Инструмент способен генерировать отполированный трек всего за 40 секунд. По сути, сравнимо с Midjourney: просто вводишь промпт и получаешь трек. Также достаточно указать желаемый музыкальный жанр или артистов, предоставить тему или персонализированный текст песни. После создания трека в приложении можно воспользоваться функцией "ремикс", которая позволяет дорабатывать треки с помощью текстовых описаний. Он даже умеет генерировать в стерео-формате, где левый и правый каналы реально отличаются.

Пользуйтесь)

📎 Подробнее

@ai_machinelearning_big_data

Machinelearning

11 April 2024 12:01

🌟 SALMONN — ML-модель для работы с аудио

⏩SALMONN — это новая мультимодальная модель машинного обучения с открытым исходным кодом, предназначенная для обработки аудиоданных любого типа: речи, музыки и различных звуков.

⏩В основе SALMONN лежит интеграция большой языковой модели (LLM) с двумя энкодерами: Whisper для восприятия речи и BEATs для остальных звуков. Между собой аудиоэнкодеры и LLM объединяются через модуль преобразования данных Q-Former.
Благодаря такому сочетанию SALMONN может выполнять широкий спектр задач интеллектуальной обработки аудио, начиная с распознавания речи и заканчивая генерацией историй на основе услышанных звуков. Достаточно дать ей на вход аудиофрагмент и текстовое описание задачи.

⏩В качестве LLM у SALMONN используется модель Vicuna, созданная на основе модели LLaMA с 13 миллиардами параметров и обученная на лучших диалогах с ChatGPT. Также авторы SALMONN выпустили версию своей модели на основе Vicuna с 7 миллиардами параметров. Первая требует для запуска видеокарту с 80 Гб памяти, а вторая — «всего» с 40 гигабайтами.

⏩За счёт квантования модель можно ужать до 24 Гб, тогда получится запустить её на игровой видеокарте, а не только на профессиональном ускорителе.

🖥 GitHub
📕 Paper
🔥 Datasets

@ai_machinelearning_big_data

Machinelearning

10 April 2024 22:02

🔥 Мощная модель LLM для локального использования — Qwen 72B

LLM-модель от Alibaba недавно обновилась до версии 72B после обучения на ошеломляющих 3 триллионах токенов многоязычных данных.
Это чудо искусственного интеллекта может быть запущено локально, что обеспечивает полный контроль и конфиденциальность (и скорость при наличии мощной GPU)

На изображении видно сравнение характеристик Qwen 72B с Llama 70B, с GPT-3.5 и GPT-4

📎 Перевод инструкции по установке
🖥 GitHub

@ai_machinelearning_big_data

Machinelearning

10 April 2024 18:42

⚡️ Morphic

Это поисковая система с интерфейсом, генерирующая ответы на базе ИИ.

Morphic не только отвечает на вопросы, но и генерирует изображения ✨

Проект полностью с открытым кодом и уже находится на 4-м месте в таблице лидеров новичков на Git.

▪Github: github.com/miurla/morphic
▪Попробовать: morphic.sh

@ai_machinelearning_big_data

Machinelearning

10 April 2024 15:20

🦾 Google выпустили модель с новой архитектурой Griffin, которая превосходит transformers по своим характеристикам.

Griffin превосходит базовые показатели transformers baseline в контролируемых тестах как по шкале MMLU для различных размеров параметров, так и по среднему баллу в различных тестах.

Архитектура модели имеет преимущества в плане эффективности за счет более быстрого вывода и меньшего потребления памяти при выводе длинных контекстов.

▪Статья: arxiv.org/abs/2402.19427
▪Версия 2B на hugging face: huggingface.co/google/recurrentgemma-2b

@ai_machinelearning_big_data