17610
@haarrp - админ Вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейроннным сетям @data_analysis_ml - анализ данных @ai_machinelearning_big_data @itchannels_telegram - важное для программиста
📌Исследование различных типов связей между датасетами для улучшения их поиска.
В исследовании, опубликованном к International Semantic Web Conference, Google Research проанализировал связи между датасетами, доступными в Интернет. Целью исследования заявлена стремление улучшить возможности поиска и использования данных, учитывая их сложные взаимоотношения.
Исследователи выделили 4 ключевые задачи, с которыми сталкиваются пользователи при работе с датасетами:
🟢Поиск. Огромное количество данных в сети затрудняет поиск нужных датасетов.
🟢Оценка достоверности. В отличие от научных публикаций, датасеты редко проходят рецензирование, поэтому пользователям приходится полагаться на метаданные для оценки их надежности.
🟢Цитирование. Корректное цитирование требует наличия постоянных идентификаторов, метаданных и точного описания происхождения данных.
🟢Курирование: Курирование включает сбор, организацию и поддержку датасетов из разных источников, а для этого кураторам необходимо понимать связи между ними.
Чтобы классифицировать отношения между датасетами были использованы 2 основных типа связей: основанные на происхождении (например, версии и подмножества) и не связанные с происхождением (например, тематически похожие).
Для автоматического определения отношений между датасетами применяли 4 метода:
🟠Извлечение отношений из schema.org.
Schema.org - это семантическая разметка метаданных для поисковых ботов на веб-страницах.
🟠Эвристический подход.
Набор правил, разработанных для каждого типа отношений.
🟠Градиентный бустинг деревьев решений (GBDT).
Метод машинного обучения, основанный на классификации.
🟠Модель T5.
Генеративная модель, также используемая для классификации.
Результаты исследования показали, что методы машинного обучения, GBDT и T5, превзошли эвристический подход в точности определения отношений. GBDT продемонстрировал наилучшие показатели F1 в различных категориях, T5 тоже молодец показал схожие результаты.
Однако, даже самые эффективные методы столкнулись с ограничениями из-за недостаточной полноты метаданных. Вывод - необходимость улучшения стандартов метаданных и более широкого использования schema.org для описания связей между датасетами.
🟡Статья в блоге
🟡Arxiv
🟡Поиск по датасетам
@ai_machinelearning_big_data
#AI #ML #Google #Datasets #Search
Вот что ждет в Т-Банке ML-разработчиков, кроме ДМС, крутых офисов и других плюшек:
▪️Актуальный стек. Здесь следят за трендами и быстро внедряют новое.
▪️Улучшения может предложить каждый. Здесь знают, как устроен
продукт, и влияют на его развитие.
▪️Прозрачная система роста. Вы всегда будете знать, какие навыки
нужно подтянуть и как получить повышение.
▪️Вы окажетесь среди профессионалов, у которых можно многому
научиться. А если захотите — можете стать ментором для младших коллег.
Больше о вакансиях ML-разработчиков — здесь.
Устраивайтесь в Т-Банк на позицию ML-разработчика до 23 декабря 2024 года и получайте приветственный бонус в размере одного оклада.
Освойте универсальные навыки в мире цифровых профессий — научитесь работать с SQL, Python, Power BI и DataLens на бесплатном курсе от Нетологии. В результате вы:
— разберётесь в основах Python для анализа данных и узнаете, как извлекать информацию.
— научитесь делать запросы и отчёты с помощью SQL.
— сможете строить интерактивные дашборды в Power BI и DataLens.
Курс подойдёт новичкам и тем, кто хочет расширить свои навыки.
Также после бесплатного курса вы получите карьерную консультацию и скидку до 50% для продолжения обучения на курсах-профессиях в Нетологии.
Присоединяйтесь бесплатно
Реклама. ООО "Нетология". Erid 2VSb5ycqptg
Яндекс Игры пришли к нам с запросом:
SELECT *
FROM subscribers
WHERE channel_name = 'bigdatai'
AND technical_skills IN ('SQL', 'Airflow', 'MapReduce', 'DataLens')
AND data_driven_approach = true
AND analytical_mindset = true
AND years_of_experience >= 2
AND fit = true;
🔥 Выпущена версия Ollama 0.4 с поддержкой моделей Meta Llama 3.2 Vision (11B и 90B)!
🔗 Примеры работы модели и ссылка для скачивания: *клик*
@bigdatai
🔥 Курс — генеративный ИИ для разработчиков!
🌟 В этом комплексном курсе по генеративному ИИ вы глубоко погрузитесь в мир генеративного ИИ, изучив ключевые концепции, такие как большие языковые модели, предварительная обработка данных и продвинутые методы, такие как тонкая настройка и RAG. С помощью практических проектов с такими инструментами, как Hugging Face, OpenAI и LangChain, вы создадите реальные приложения от резюмирования текста до пользовательских чат-ботов. К концу вы освоите конвейеры ИИ, векторные базы данных и методы развертывания с использованием таких платформ, как Google Cloud Vertex AI и AWS Bedrock.
🕞 Продолжительность: 21:11:20
🔗 Ссылка: *клик*
#курс #machinelearning #ai
@bigdatai
🔥 GPTel — это расширение для Emacs, которое позволяет интегрировать ChatGPT непосредственно в редактор!
🌟 С его помощью пользователи могут отправлять текст из буфера Emacs в GPT API, получать ответы и вставлять их обратно в текстовый буфер, что удобно для работы с кодом, текстами и другими задачами, требующими взаимодействия с GPT прямо в редакторе.
🔐 Лицензия: GPL-3.0
🖥 Github
@bigdatai
👩💻 Attention OCR — модель распознавания текста с использованием TensorFlow, применяя сочетание сверточных нейронных сетей (CNN), моделей последовательностей (seq2seq) и визуального внимания для выделения текста в изображениях. Доступна установка через Python, поддерживается Google Cloud ML Engine.
🌟 Модель настраивается для создания датасетов и визуализации внимания на тестовых данных, а также поддерживает экспорт в формате SavedModel для серверного развертывания, включая интеграцию с TensorFlow Serving.
🔐 Лицензия: MIT
🖥 Github
@bigdatai
🔥 pdf-extract-api
— API для извлечения и обработки данных из PDF-документов с использованием современных OCR моделей и поддержкой Ollama для обработки на основе больших языковых моделей!
🌟 API может конвертировать документы и изображения в структурированные форматы JSON или Markdown, удалять личную информацию (PII), а также использовать FastAPI и Celery для асинхронной обработки с кэшированием через Redis. Основное применение — анонимизация и конвертация данных из документов в структурированные форматы.
🔐 Лицензия: GPL-3.0
🖥 Github
@bigdatai
🔥 Ichigo — ИИ инструмент, предназначенный для расширения возможностей текстовых моделей посредством добавления к ним обработки аудио в реальном времени!
🌟 Он расширяет текстовые модели, позволяя им обрабатывать аудиовводы, поддерживать интерактивные многотуровые сессии, а также игнорировать незначительные шумы. В проекте есть инструменты для развертывания с Docker и обучения с Hugging Face, включая генерацию синтетического аудио
🔐 Лицензия: Apache-2.0
🖥 Github
@bigdatai
🔥 Oasis: первая играбельная игра, созданная искусственным интеллектом!
🌟 Oasis генерирует кадры на основе ваших вводов с клавиатуры. Вы можете двигаться и прыгать, разбивать блоки, строить и исследовать совершенно новую карту в каждой игре!
🔗 Попробовать можно здесь: *клик*
@bigdatai
📝 Эта статья представляет метод LiNeS (Layer-increasing Network Scaling), направленный на устранение проблемы "катастрофического забывания" при дообучении больших моделей
🌟 LiNeS корректирует параметры, масштабируя их по глубине слоев сети, что позволяет сохранить общие признаки на верхних слоях и адаптировать глубокие слои под конкретные задачи. Это улучшает производительность и обобщение в мультизадачных сценариях и при объединении моделей, таких как RLHF
📖 Читать: *клик*
@bigdatai
🔥 AutoRAG — это инструмент для поиска оптимального конвейера RAG для «ваших данных». Вы можете автоматически оценивать различные модули RAG с помощью собственных оценочных данных и находить лучший конвейер RAG для вашего собственного варианта использования
🔐 Лицензия: Apache-2.0
🖥 Github
@bigdatai
🖥 Использование PostrgreSQL для полнотекстового поиска в приложениях!
💡 Полнотекстовый поиск — это неотъемлемая часть современных приложений, особенно тех, которые работают с большими объемами текстовой информации, будь то блог-платформы, системы управления контентом или новостные агрегаторы. Какое бы приложение вы не разрабатывали, добавление возможностей полнотекстового поиска может значительно улучшить пользовательский опыт. В этой статье мы рассмотрим, какие основные возможности полнотекстового поиска предлагает PostgreSQL, какие преимущества это дает, и приведем примеры запросов
🔗 Ссылка: *клик*
@sqlhub
🖥 MineDojo — это исследовательская платформа, разработанная для создания многоцелевых ИИ-агентов с помощью среды Minecraft. Проект предоставляет инструменты и API, которые позволяют агентам взаимодействовать с Minecraft для выполнения сложных задач, таких как построение, крафтинг, исследование и другие
🌟 MineDojo создан для поддержки исследований в области ИИ, обучая агентов на большом количестве сценариев и примеров поведения. Платформа включает в себя предварительно настроенные задачи и сценарии, а также возможности для создания собственных агентов
▪️Github
@bigdatai
🔥 pytorch_tabular — это высокоуровневый фреймворк на основе PyTorch, созданный для работы с табличными данными!
🌟 Он упрощает обучение моделей для таких данных, как таблицы или структурированные датасеты, и поддерживает несколько популярных архитектур нейросетей для табличных данных. Фреймворк позволяет гибко настраивать модели с помощью конфигурационных файлов и интегрируется с библиотеками, такими как PyTorch Lightning.
🔐 Лицензия: MIT
🖥 Github
@bigdatai
🖼 OmniGen — это универсальная модель для генерации изображений, упрощающая создание различных визуальных контентов!
🌟 Модель объединяет множество методов генерации изображений в одну систему, позволяя создавать изображения по текстовым запросам, а также на основе других изображений. OmniGen минимизирует необходимость в дополнительных модулях или обработке данных, делая процесс гибким и оптимизированным. Модель также поддерживает настройку и тонкую настройку для специализированных задач.
🔐 Лицензия: MIT
📖 Arxiv: *клик*
🖥 Github
🔗 HuggingFace: *клик*
@bigdatai
🔥 Курс — понимание ИИ и нейронных сетей путем ручной настройки параметров!
💡 На этом курсе вы получите возможность самостоятельно настроить параметры сети, помогая автомобилю научиться ездить на специальной игровой площадке. Этот курс отлично подходит как для новичков, так и для тех, кто хочет углубить свои знания в области ИИ.
🌟 Курс охватывает такие ключевые темы, как математика нейронных сетей, роль скрытых слоев и алгоритм Дейкстры для поиска пути. К концу этого курса у вас будет прочное понимание основ ИИ и практический опыт настройки поведения ИИ.
🔗 Ссылка: *клик*
@bigdatai
📌Руководство по эффективному использованию промптов для LLM от разработчиков из GoogleDeepMind.
Туториал ориентируется на нетехническую аудиторию, которая имеет опыт взаимодействия с большими языковыми моделями.
В первой половине представлены ментальные конструкции природы посттренинга и промптов. Вторая половина содержит более конкретные предписания и высокоуровневую процедуру промпт-инжиниринга.
Авторы, Varun Godbole и Ellie Pavlick подчеркивают, что поиск «идеальной» подсказки — это итеративный процесс, аналогичный настройке модели, который в лучшем случае является эмпирическим, а в худшем - алхимическим.
▶️ Содержание:
🟢Для кого предназначен этот документ?
🟢Зачем нужно это руководство?
🟢Background трейна: предварительная и последующая подготовка
🟢Рекомендации по промптам
🟢Рудиментарное "руководство по стилю" для промптов
🟢Процедура итерации новых системных инструкций
🟢Некоторые мысли о том, когда полезна LLM
🟢Дополнительные ресурсы
📌Лицензирование: Creative Commons Attribution 4.0 International Public License.
🖥GitHub
@ai_machinelearning_big_data
#AI #ML #LLM #Prompt #Github #Tutorial
📝 Эта статья изучает использование разреженных автокодировщиков для представления концепций в больших языковых моделях, раскрывая трехуровневую геометрическую структуру таких представлений.
🌟 Исследование описывает базовые структуры, аналогичные кристаллам, обнаруживает пространственную модульность на уровне "мозга" и объясняет глобальные структуры данных, напоминающие галактики. Такой подход помогает понять, как автокодировщики могут лучше классифицировать и структурировать концепты, а также выявлять их зависимости в пространстве признаков.
📖 Читать: *клик*
@bigdatai
Как работают генеративные технологии, которые лежат в основе большинства визуальных сервисов? Какова их «математическая начинка»? Получите ответ на эти и другие вопросы на бесплатном интенсиве Computer Vision Week! Он пройдёт с 25 по 29 ноября онлайн и поможет вам разобраться в сложных вопросах компьютерного зрения и диффузионных моделей.
Среди организаторов — эксперты, которые создают технологии будущего: Yandex Cloud, Школа анализа данных, YaArt и YaResearch. За 5 дней они расскажут, как устроена генерация изображений на практике: от математических основ и алгоритмов до нейробайесовских методов. Вы также научитесь работать с генеративными технологиями самостоятельно и узнаете, какие горизонты они открывают для разработчиков и исследователей.
Что ещё? Вы не только послушаете лекции, но и сможете попробовать свои навыки на практике — в решении задач. Те, кто успешно справится с отборочными испытаниями и итоговой работой, получат заветный сертификат в портфолио!
Успейте зарегистрироваться до 24 ноября, пока есть места!
🌟 SmolLM2: второе поколение компактных LLM от HuggingFace.
Hugging Face представила SmolLM2, новую серию SLM, оптимизированных для работы на устройствах c ограниченными ресурсами и предназначенных для выполнения задач генерации и обобщения текста на английском языке и вызова функций.
Модели SmolLM2 были обучены на миксе из наборов данных FineWeb-Edu, DCLM и Stack. Тестирование после обучения показало превосходство старшей модели SmolLM2-1.7B над Meta Llama 3.2 1B и Qwen2.5-1.5B.
Модели доступны в трёх конфигурациях: 135М, 360М и 1.7B параметров, каждая модель имеет свою Instruct-версию, а 1.7B и 360М еще и официальные квантованные версии GGUF:
⏩SmolLM2-1.7B🟢SmolLM2-1.7B-Instruct🟢Instruct GGUF
⏩SmolLM2-360M🟠SmolLM2-360M-Instruct 🟠Instruct GGUF
⏩SmolLM2-135M 🟠SmolLM2-135M-Instruct 🟠Instruct GGUF от комьюнити
▶️Пример запуска модели SmolLM2-1.7B в полной точности на Transformers :
from transformers import AutoModelForCausalLM, AutoTokenizer
checkpoint = "HuggingFaceTB/SmolLM2-1.7B"
device = "cuda" # for GPU usage or "cpu" for CPU usage
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device)
inputs = tokenizer.encode("Gravity is", return_tensors="pt").to(device)
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))
💪 Уже есть опыт работы с хранилищами данных, но хочешь прокачать скилы и открыть новые карьерные горизонты?
Тогда скорее залетай на бесплатный ИТ-интенсив в Открытых школах Т1 для аналитиков платформы данных (DWH) — регистрация до 8 ноября!
Открытые школы — это возможность усилить свои навыки и получить оффер от одного из лидеров* российского ИТ-рынка — Холдинга Т1. И все это за месяц, онлайн и в удобное вечернее время.
Что ты получишь?
🔹Уникальный рыночный опыт и масштабные ИТ-проекты: мы одни из первых, кто внедряет технологии для управления данными. Выпускники школ смогут присоединиться к проекту по созданию новой технологической платформы данных в банковской сфере.
🔹Быстрый рост в ИТ при поддержке экспертов и топовых преподавателей. Карьерные треки для выпускников Открытых школ позволяют быстро расти в профессии в Т1.
🔹Работа в бигтех-компании: ИТ-аккредитация, современный техстек, ДМС, удаленка, крутые офисы, спорт, обучение, митапы, ИТ-конференции, программы признания и развития, а также многое другое от Т1.
Более 900 специалистов уже прошли этот путь — теперь твоя очередь! Читай подробности в карточках ☝️ Старт обучения уже 11–12 ноября! Ссылка для подачи заявки.
Реклама. ООО «Т1» ИНН: 7720484492. Erid: 2SDnjcEokmZ
👨💻 Данные, их источники, способы их получения, работа с ними — разнятся в зависимости от сферы, в которой они применяются. Работа Data Science-специалистов в разных областях тоже в чём-то отличается. Как оказалось — в промышленности неожиданно много драйва.
Для работы DS в промышленных компаниях нужно знать и математику, и физику, и особенности технологий производства. Есть свои фишки в работе с данными: их много, они разные, промышленные агрегаты оставляют огромный цифровой след, есть почва для внедрения ИИ-продуктов и потребности в этом. Но всё-таки ML нужно не везде.
Об этом в подкасте «Деньги любят техно» рассказал директор департамента технологий ИИ «Русала» Михаил Граденко. Ведущие выпуска — начальник управления моделирования партнерств и ИТ-процессов ВТБ Юлий Шамаев и технологический обозреватель Марина Эфендиева.
Слушать и смотреть подкаст 👈
🔍 OmniParser — это инструмент от Microsoft, предназначенный для разбора и анализа интерфейсов приложений на основе скриншотов
🌟 OmniParser позволяет распознавать и структурировать элементы интерфейса, обеспечивая, чтобы визуальные агенты на основе GPT могли ориентироваться и взаимодействовать с различными GUI-компонентами. OmniParser поддерживает модель для обнаружения интерактивных областей и описания иконок, делая возможным создание агентов, ориентированных на визуальное восприятие
🔐 Лицензия: CC-BY-4.0
🖥 Github
@data_analysis_ml
🖼 Long-LRM — система для высококачественной 3D-реконструкции больших сцен на основе Гауссовых сплайнов. Она может обрабатывать длинные последовательности изображений и создавать 3D-реконструкции с большой областью покрытия всего за 1.3 секунды. Модель использует токены Plücker и архитектуры с блоками Mamba2 и Transformer
🔗 Ссылка: *клик*
📖 Arxiv: *клик*
@bigdatai
Представьте: вы развиваете IT-продукт. Бессонные ночи, жаркие обсуждения фич и месяцы кодинга пройдены — пора искать клиентов. Вы сформировали позиционирование, настроили рекламу, начали работать со СМИ и соцсетями. Постепенно ваши усилия стали приносить плоды: количество пользователей постепенно увеличивается.
И тут возникает вопрос: где построить надежную, безопасную и простую в управлении IT-инфраструктуру? Нужно учесть скорость развертывания, чтобы быстро вывести продукт на рынок, безопасность данных клиентов и высокую производительность.
Заходите в единую панель управления Selectel и выбирайте конфигурацию, которая подходит именно вам. А если потребности в ресурсах будут меняться в большую или меньшую сторону, вы сможете докупить необходимые мощности или заморозить неиспользуемые.
✔️ xAI добавила функцию распознавания изображений в Grok AI.
Теперь пользователи могут загружать изображения и задавать вопросы, основанные на их содержании. Grok может выполнять глубокий анализ изображения и объяснять даже визуальные шутки. В настоящее время функция доступна только для статичных изображений.
Илон Маск намекнул в X, что на очереди - возможность загрузки файлов. В августе xAI выпустила модели Grok-2 и Grok-2 Mini. Обе модели доступны в чат-боте Grok для пользователей X Premium и X Premium+.
gadgets360.com
@bigdatai
🎧 MuVi может создавать музыку, соответствующую визуальным эффектам видео, анализируя кадры!
MuVi использует ритмическую синхронизацию и может управлять стилем и жанром музыки.
https://muvi-v2m.github.io
@bigdatai
⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:
МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pythonl
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
АНАЛИЗ Данных: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Linux: t.me/linuxacademiya
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Angular: /channel/+qIJAuSEb2MQyMDJi
💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy
😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno
🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy