Data Science. SQL hub

08 April 2025 10:01

Последний шанс попасть на топовое событие по DS и AI 🚀

Остались считанные дни до закрытия регистрации на конференцию по AI и данным — Data Fusion 2025! Не упустите возможность присоединиться к большому DS-сообществу и узнать о новейших исследованиях и рабочих решениях.
💡 Более 250 экспертов расскажут, как они решают реальные задачи в DS. Вас ждут кейсы, дебаты и дискуссии на актуальные темы:

✔️ Как проектировать ML-инфраструктуру, которая не сломается на проде?
✔️ RAG и LLM в аналитике — как генеративные модели меняют Data Science?
✔️ Практики CDO, DataOps и новые подходы к обработке и хранению данных.

Это только часть запланированных сессий. Если хотите быть в центре ключевых изменений в индустрии Data Science, тогда Data Fusion 2025 — это must-have!

📌 Бесплатно. 16–17 апреля, Москва, технопарк «Ломоносов».

Поторопитесь, регистрация скоро закроется — https://data-fusion.ru/

Не сможете приехать? Подключайтесь к онлайн-трансляции в VK Видео🙌


—
*AI — искусственный интеллект
*ML — машинное обучение
*LLM — Large language model — большая языковая модель
*DataOps — методология разработки и предоставления данных
*DS — Data Science — наука о методах анализа данных
*RAG — генерация с расширенным поиском

Data Science. SQL hub

04 April 2025 12:20

💫 DB-GPT-Hub — проект, предлагающий преобразование обычных человеческих вопросов в точные SQL-запросы с помощью больших языковых моделей. Этот исследовательский проект фокусируется на тонкой настройке LLM для задач Text-to-SQL, позволяя пользователям взаимодействовать с базами данных на естественном языке.

Проект охватывает весь цикл: от сбора и обработки данных до тонкой настройки моделей и оценки их точности. Уже сейчас система демонстрирует впечатляющие 76-82% точности выполнения запросов для 13B-модели, что открывает большие перспективы для автоматизации работы с базами данных.

🤖 GitHub

@sqlhub

Data Science. SQL hub

03 April 2025 12:22

🔥 Awesome на GitHub

Это курируемые подборки ресурсов (книг, статей, инструментов, библиотек и многое другое) по конкретным темам, созданные сообществом разработчиков и энтузиастов.

Собрали подборку лучших из них. Сохраняйте, чтобы не потерять

• Информационная безопасность: awesome-security
• Базы данных: awesome-database-learning
• JavaScript: awesome-javascript
• React: awesome-react
• Vue: awesome-vue
• Angular: awesome-angular
• Node.js: awesome-nodejs
• Typescript: awesome-typescript
• Java: awesome-java
• Go: awesome-go
• Ruby: awesome-ruby
• PHP: awesome-php
• Kotlin: awesome-kotlin
• Rust: awesome-rust
• Swift: awesome-swift
• iOS-разработка: awesome-ios
• Android-разработка: awesome-android
• C: awesome-c
• C++: awesome-cpp
• C#: awesome-dotnet
• Unreal Engine: awesome-unreal
• Unity: awesome-unity3d
• Python: awesome-python
• Django: awesome-django
• Data Science: awesome-datascience
• TensorFlow: awesome-tensorflow
• Linux: Awesome-Linux-Software
• DevOps: awesome-devops
• SysAdmins: awesome-sysadmin
• Nginx: awesome-nginx
• Kubernetes: awesome-kubernetes
• Docker: awesome-docker
• Автоматизация сетевой инфраструктуры: awesome-network-automation
• QA: awesome-testing

@sqlhub

Data Science. SQL hub

01 April 2025 13:06

Авито активно инвестирует в технологии генеративного искусственного интеллекта (GenAI). Новая стратегия компании предусматривает инвестиции в размере 12 млрд рублей до 2028 года — к тому же сроку в планах заработать на новой технологии 21 млрд. Кроме того, в 2025 году Авито планирует внедрить 20 новых сценариев использования GenAI, что обещает принести более 1 млрд рублей.

Компания уже разработала свои новые генеративные модели — A-Vibe и A-Vision, обученные на базе нейросети Qwen2.5 с 7 миллиардами параметров. Они способны анализировать текст и изображения, что поможет улучшить качества контента и автоматизировать процессы на платформе.

✔️A-Vibe поможет продавцам создавать привлекательные описания товаров, отвечать на вопросы покупателей, анализировать многочисленные отзывы.
✔️A-Vision может анализовать фотографии, распознавать текст на изображениях и помогать в модерации.

Авито также наращивает сотрудничество с ведущими вузами, создавая образовательные программы для подготовки специалистов в области искусственного интеллекта. В 2024 году компания запустила магистратуру по Data Science в МФТИ, а в 2025 стартуют программы по разработке в ИТМО, Data Science и продуктовому менеджменту в НИУ ВШЭ.

@sqlhub

Data Science. SQL hub

31 March 2025 12:22

Не знаешь на кого пойти учиться ?💡

1️⃣Пройди бесплатные онлайн-курсы

2️⃣Узнай о самых востребованных профессиях

3️⃣Получи уникальную возможность поступить в «Алабуга Политех» после 9 или 11 класса

ПРОЙДИ КУРС ПРЯМО СЕЙЧАС!

Реклама: ООО "ЭрТоп Диджитал", ИНН:5263112923
erid:2Vtzqub2dz8

Data Science. SQL hub

28 March 2025 20:10

IT Hero — интерактивная платформа для тренировки навыков SQL и подготовки к собеседованиям в игровом формате.

Решайте задачи на скорость, соревнуясь с соперником — побеждает быстрейший.

Выбирайте уровень сложности, тип задач и приглашайте друга на поединок, чтобы выяснить, кто лучше знает SQL.

🔗 Ссылка на тренажёр

@sqlhub

Data Science. SQL hub

28 March 2025 11:04

💫 LLM AutoEval — это проект, предлагающий простой способ бенчмаркинга LLM через Colab-блокнот, избавляя разработчиков от рутинной настройки тестовых сред. Достаточно указать название модели, выбрать benchmark и GPU — система сама развернёт инфраструктуру через RunPod и запустит оценку.

🌐 Система автоматически публикует результаты в формате GitHub Gist с возможностью сравнения с популярными моделями через интеграцию с YALL — альтернативным рейтингом языковых моделей. Для работы потребуются только API-токены RunPod и GitHub.

🔗 GitHub

@sqlhub

Data Science. SQL hub

27 March 2025 17:41

Пять GitHub проектов, которые помогут вам стать лучшим инженером DevOps

1. How they SRE

Подборка общедоступных ресурсов о том, как технологические и технически подкованные организации по всему миру практикуют Site Reliability Engineering (SRE).

https://github.com/upgundecha/howtheysre

2. Awesome Scalability

Паттерны масштабируемых, надежных и производительных крупномасштабных систем

https://github.com/binhnguyennus/awesome-scalability

3. DevOps Exercises

Linux, Jenkins, AWS, SRE, Prometheus, Docker, Python, Ansible, Git, Kubernetes, Terraform, OpenStack, SQL, NoSQL, Azure, GCP, DNS, Elastic, Network, Virtualization. Вопросы для интервью по DevOps

https://github.com/bregman-arie/devops-exercises

4. Test your sysadmin skills

Сборник тестовых вопросов и ответов по Linux Sysadmin. Проверьте свои знания и навыки в различных областях с помощью этих вопросов и ответов.

https://github.com/trimstray/test-your-sysadmin-skills

5. Awesome Site Reliability Engineering

Составленный список ресурсов по надежности сайта и производственному инжинирингу.

https://github.com/dastergon/awesome-sre

@sqlhub

Data Science. SQL hub

26 March 2025 17:02

📂 PlantUML - это утилита для создания диаграмм с помощью минималистичного синтаксиса. Поддерживает классы, последовательности, потоки данных и многое другое.

Полезна для архитектурного проектирования, документирования и визуализации процессов без графических редакторов.

Посмотреть на GitHub

🖥 GitHub

@sqlhub

Data Science. SQL hub

26 March 2025 14:02

🖥 WrenAI — это open-source AI-ассистент для анализа данных и генерации SQL-запросов (Text-to-SQL)!

🌟 Он позволяет пользователям взаимодействовать с данными с помощью естественного языка и автоматически формировать SQL-запросы, строить диаграммы, отчеты и таблицы.

🔐 Лицензия: AGPL-3.0

🖥 Github

@sqlhub

Data Science. SQL hub

22 March 2025 19:26

@sqlhub

Data Science. SQL hub

20 March 2025 19:04

🖥 Starskey — это высокоскоростная встраиваемая база данных с парой "ключ-значение" для Go, вдохновленная LevelDB и WiscKey!

🌟 Она использует многоуровневое слияние данных, поддерживает атомарные транзакции, журналирование (WAL) для восстановления и фильтры Bloom для оптимизации чтения. Starskey предлагает простое API с операциями Put, Get, Delete и обеспечивает высокую производительность до 400k+ операций в секунду.

🔐 Лицензия: MPL-2.0

🖥 Github

@sqlhub

Data Science. SQL hub

20 March 2025 12:31

📖 Эта статья объясняет, как интерпретировать значения NULL в операциях OUTER JOIN в SQL!

🌟 Она рассматривает разницу между отсутствующими записями (когда строки не существуют) и NULL-значениями (когда данные существуют, но неизвестны). Автор объясняет, как правильное нормализованное моделирование данных помогает различать эти ситуации.

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

18 March 2025 17:25

🔥 PrunaAI — это инструмент для оптимизации и сжатия нейросетевых моделей, ориентированный на уменьшение их размера и ускорение работы без значительной потери точности.

Название связано с техникой «pruning» (обрезка нейронных сетей), которая удаляет избыточные параметры модели.

Проект предназначен для разработчиков, стремящихся развертывать эффективные AI-модели на устройствах с ограниченными ресурсами (телефоны, IoT, edge-устройства).

🔍 Основные функции (предположительно)
▪ Автоматическая обрезка моделей — удаление менее значимых нейронов/слоев.
▪ Квантование — сокращение битности весов (например, с 32-бит до 8-бит).
▪ Сравнение производительности — метрики скорости и точности до/после оптимизации.
▪ Поддержка фреймворков — интеграция с PyTorch, TensorFlow, ONNX.

🔥 Чем полезен?
▪ Для инженеров ML:
— Уменьшает размер модели в 2–4 раза, упрощая её развертывание.
— Сохраняет >90% исходной точности после оптимизации.
▪ Для бизнеса:
— Снижает затраты на инфраструктуру для обработки AI-запросов.
— Ускоряет инференс на edge-устройствах.

🎯 Преимущества перед аналогами
▪ Простота: API для быстрого применения pruning без глубоких знаний в оптимизации.
▪ Гибкость: Настройка степени сжатия под конкретные задачи.
▪ Совместимость: Работает с популярными форматами моделей (TFLite, CoreML).

pip install pruna

📌 Github

@sqlhub

Data Science. SQL hub

18 March 2025 11:03

🖥 tbls

Мощный инструмент для документирования баз данных. Он анализирует структуру базы данных и автоматически генерирует красивую документацию в формате Markdown, HTML, JSON и других.

🔹 Основные возможности:
- Автоматический разбор схемы базы данных.
- Поддержка множества СУБД (PostgreSQL, MySQL, SQLite, MSSQL и др.).
- Генерация наглядных диаграмм и связей между таблицами.
- Возможность кастомизации документации.
- Интеграция с CI/CD для автоматического обновления документации.

📌 Github

Data Science. SQL hub

07 April 2025 14:54

💻 Выбираем базу данных правильно

В мире разработки выбор БД — ключ к производительности, масштабируемости и эффективности. Это не просто SQL vs NoSQL, а поиск инструмента под данные, нагрузку и цели бизнеса. От IoT до ИИ — тип не важен, важна задача. Разбираем:

➡️ SQL
💬 Структурированность, ACID, надёжность.
📦 Для: финансы, CRM, ERP.
📌 Примеры: MySQL, PostgreSQL.

➡️ NoSQL
💬 Document DB: JSON/XML (MongoDB, Couchbase).
🔑 Key-Value: быстрый доступ (Redis, DynamoDB).
📊 Columnar: аналитика (Cassandra, Redshift).
🔗 Graph DB: связи (Neo4j, Cosmos DB).

➡️ Специализированные
📍 Time-Series: метрики, IoT (InfluxDB, TimescaleDB).
📍 Vector DB: ИИ, поиск (Milvus, Pinecone).
📍 Spatial DB: карты (PostGIS, Oracle Spatial).

➡️ Высокая производительность
⚡️ In-Memory: скорость (SAP HANA, MemSQL).
🧱 NewSQL: масштаб + SQL (Spanner, CockroachDB).

➡️ Нишевые
🧬 Blockchain DB: доверие (BigchainDB).
📦 Object-Oriented: кодовая структура (ObjectDB).

🎯 БД — это про масштабируемость, интеллект и гибкость. Выбирайте под задачу, а не по привычке.

#sql #nosql #db

@sqlhub

Data Science. SQL hub

04 April 2025 10:16

PostgreSQL 17: архитектура и тюнинг SQL-запросов

Погрузись в архитектуру и прокачай оптимизацию запросов одной из самых популярных open source СУБД – PostgreSQL.

🌐 В программе курса:

🤩 Разберем, как работают СУБД вообще и PostgreSQL в частности: что такое MVCC, ACID, WAL, LRU, PPC/TPC и другие фундаментальные понятия архитектуры баз данных
🤩 Получите свой собственный выделенный облачный PostgreSQL-сервер (8 vCPU, 12G RAM, 100G NVMe) – БЕСПЛАТНО на время обучения предоставляется
🤩 Получите теорию и практику EXPLAIN и EXPLAIN ANALYZE на разных типа запросов
🤩 Изучите архитектуру хранения данных в PostgreSQL, типы и особенности индексов, а также получите полезные советы и трюки оптимизации БД

🗓 Старт курса: 24 апреля. Продолжительность: 5 недель обучения (четверг, 18:00 МСК).

Изучить программу и записаться можно здесь.

🤩Кто мы: R&D-центр Devhands, основатель школы Алексей Рыбак.
Автор курса — Николай Ихалайнен, эксперт по СУБД (ex-Percona), со-основатель MyDB, энтузиаст открытого ПО.

Реклама. ИП Рыбак А.А. ИНН 771407709607 Erid: 2VtzquiQ76e

Data Science. SQL hub

01 April 2025 14:54

💻 ChatGPT для вашей базы данных

Загрузите любой файл — ваш чат-бот обучится на нём. После этого можно тестировать нейронку и задавать любые вопросы по документу. Работает лучше аналогов.

🔗 Ссылка

@sqlhub

Data Science. SQL hub

31 March 2025 14:22

🔥 ​Hugging Face выпустила версию 0.30.0 библиотеки huggingface_hub - это самое крупное обновление за два года!

Представлены значительные улучшения, особенно в области хранения и обработки больших моделей и датасетов.​

✔️ Основные нововведения:

Интеграция с Xet: Внедрена поддержка Xet — передового протокола для хранения крупных объектов в Git-репозиториях, призванного заменить Git LFS.

В отличие от LFS, который выполняет дедупликацию на уровне файлов, Xet работает на уровне фрагментов данных, что особенно полезно для специалистов, работающих с массивными моделями и датасетами.

Для интеграции с Python используется пакет xet-core, написанный на Rust, который обрабатывает все низкоуровневые детали.​

Чтобы начать использовать Xet, установите дополнительную зависимость:​
pip install -U huggingface_hub[hf_xet]

После установки вы сможете загружать файлы из репозиториев, поддерживающих Xet.​

Доплнительно:
😶 Расширен InferenceClient:
😶 Добавлена поддержка новых провайдеров для инференса: Cerebras и Cohere.
😶 Внедрены асинхронные вызовы для задач инференса (например, text-to-video), что повышает стабильность и удобство работы.
😶 Улучшен CLI
😶 Команда huggingface-cli upload теперь поддерживает wildcards (шаблоны) прямо в пути к файлам (например, huggingface-cli upload my-model *.safetensors вместо опции --include).
😶 Команда huggingface-cli delete-cache получила опцию --sort для сортировки кэшированных репозиториев (например, по размеру: --sort=size).

✔️ Полный список обновлений
✔️Блог
✔️Документация по Xet

@ai_machinelearning_big_data


#huggingface #release #xet

Data Science. SQL hub

30 March 2025 18:04

🖥 Огромный обучающий плейлист для специалиста по аналитике данных!

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

28 March 2025 19:08

Ваши SQL-запросы работают медленно, а базы данных грузятся дольше, чем хотелось бы? Исправим это на нашем бесплатном уроке 31 марта в 20:00 мск: https://otus.pw/38hM/

Индексы — один из ключевых инструментов ускорения работы с БД. Но как выбрать нужный тип, правильно его создать и избежать ошибок?

После занятия вы сможете уверенно работать с индексами в PostgreSQL и MS SQL Server, оптимизировать запросы и делать базы данных быстрее. 

Регистрируйтесь прямо сейчас и получите скидку на большое обучение «SQL для разработчиков и аналитиков»: https://otus.pw/38hM/

erid: 2W5zFHQJ1ua

Data Science. SQL hub

28 March 2025 09:04

Как ИИ помогает компаниям принимать умные решения и развивать разные индустрии?

15-16 апреля пройдет Весенний онлайн-лекторий, посвященный влиянию ИИ на индустрии. Разберемся в технологиях вместе с ФКН НИУ ВШЭ, Яндекс, Сбер, Авито, МТС и другими лидерами рынка.

Программа Лектория обширна:
— Вебинары про ИИ и ML в банках, бигтехе и e-com
— Мастер-классы и кейсы по Data Science, Data Analytics и Data Engineering
— Круглый стол по разработке и применению ИИ-агентов
— Прожарка резюме и карьерная лекция

Вы сможете разобраться в ключевых трендах и возможностях в IT, а также погрузиться в Data Science, Data Analytics и Data Engineering, изучение инструментов и реальных задач каждого направления.

Лекторий организуют эксперты факультета компьютерных наук НИУ ВШЭ, онлайн-магистратур ФКН и Центра непрерывного образования, а также ведущие компании индустрии. Поэтому вас ждут глубокие инсайты из мира IT.

Когда:15-16 апреля в 16:00
Где:онлайн

🔗 Зарегистрироваться

Реклама: НИУ ВШЭ
ИНН: 7714030726
Erid: 2SDnjeZbJvp

Data Science. SQL hub

27 March 2025 15:45

Найти: решение на базе ИИ, которое автоматизирует процесс создания JSON-схем для описания бизнес-логики и интеграций.

Если знаешь, как выполнить эту задачу, значит, этот пост для тебя. Приглашаем на хакатон МТС True Tech Hack 2025. Участникам в команде из 2–5 человек нужно выбрать один из пяти представленных треков и создать новое решение на базе DataOps Platform, Integration Platform, True Tabs, Product Factory или MWS GPT.

Если хочешь внести вклад в продукты, которые приносят пользу разработчикам по всей России, и побороться за призовой фонд в 1 500 000 рублей — регистрируйся до 16 апреля.

Подробная информация и регистрация — по ссылке.

@sqlhub

Data Science. SQL hub

26 March 2025 15:00

Данные и облака — наше все 🧠

На конференции GoCloud ты найдешь новые знания об инструментах обработки данных.

Обсудим интеграцию AI в аналитические процессы и тренды облачных технологий. А еще:
😶‍🌫️покажем инструменты для упрощения процесса обработки данных
😶‍🌫️поговорим с компаниями, которые уже работают с данными в облаке
😶‍🌫️возможные риски потери данных и способы их предотвращения
😶‍🌫️покажем архитектуру DBaaS поверх K8s

30+ докладов, нетворкинг, live-демо сервисов и afterparty ждут тебя 10 апреля.
Регистрация по ссылке 👈

Data Science. SQL hub

24 March 2025 15:04

🔥 Self-Hosted AI Starter Kit — это готовый набор инструментов для развертывания собственных AI-решений с использованием n8n, платформы для автоматизации рабочих процессов!

🌟 Он включает преднастроенные потоки для интеграции моделей ИИ, таких как OpenAI, Ollama и другие, позволяя управлять данными и автоматизировать процессы без необходимости использования облачных сервисов. Решение идеально подходит для бизнеса и индивидуальных разработчиков.

🔐 Лицензия: Apache-2.0

🖥 Github

@sqlhub

Data Science. SQL hub

21 March 2025 10:17

🖥 Эта статья объясняет различия между использованием операторов IN и EXISTS в SQL-запросах, включая их применение в зависимых и независимых подзапросах!

🌟 Автор демонстрирует, как они влияют на производительность запросов, и предлагает сценарии, когда переход от одного подхода к другому может улучшить производительность.

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

20 March 2025 17:01

💪 Качаем скиллы PostgreSQL!

10 апреля 2025 года пройдет бесплатное комьюнити-мероприятие из серии PG BootCamp Russia — конференция, направленная на приобретение практических навыков при работе с СУБД PostgreSQL.

🔵Программа рассчитана как на начинающих специалистов, так и на более опытных разработчиков, желающих углубить знания в части ядра и экосистемы продукта
🔵 Ведущие эксперты в области СУБД проведут мастер-классы и лекции по наиболее востребованным и интересным темам
🔵Для тех, кто не сможет присутствовать очно, предусмотрена онлайн-трансляция

🧑‍🎓 Все участники получат электронные сертификаты, подтверждающие приобретение новых знаний и навыков.

📌 Дата и время: 10 апреля, в 10:00 (по ЕКБ)
Формат: офлайн/онлайн
Место проведения: конгресс-отель «Екатеринбург»

✅ Зарегистрируйтесь сейчас и приготовьтесь к захватывающему путешествию в мир СУБД!

Реклама. ООО "ТАНТОР ЛАБС" ИНН 9701183207 Erid: 2W5zFJHvTwv

Data Science. SQL hub

20 March 2025 10:29

Хотите получить много практики на реальных задачах, собрать портфолио и узнать как выглядит рабочий день аналитика?

CEO Simulative и эксперт с большим опытом в аналитике, Андрон Алексанян организовал бесплатный интенсив, где вы будете решать реальные задачи, с которыми аналитики сталкиваются на работе

На прямых эфирах вы сделаете:
🟠Анализ активности пользователей с помощью SQL
🟠Анализ маркетинговых активностей с помощью Python
🟠ABC анализ ассортиментной матрицы в Excel (уже прошел, но вам будет доступна запись)

Во время эфиров вы узнаете много лайфхаков, а также будете получать полезные материалы для развития в аналитике на протяжении всего интенсива

❗️Знать Python и SQL не обязательно — все будем разбирать с нуля

🕗 Встречаемся на новом эфире уже сегодня, 20 марта в 19:00 по мск

😶Участвовать в бесплатном интенсиве

Data Science. SQL hub

18 March 2025 16:02

Как эффективно управлять доступом пользователей к базе данных, используя роли?

Разберем основные механизмы безопасности PostgreSQL на практике: шифрование соединений (SSL/TLS), контроль доступа (pg_hba.conf, роли, RLS), аудит (pg_audit).

Приглашаем на открытый практический урок «Безопасность в PostgreSQL: защита данных, управление доступом и аудит» в рамках курса PostgreSQL для администраторов баз данных и разработчиков

✅ Практика: настройка SSL/TLS шифрование для защиты данных при передаче, обеспечивая конфиденциальность обмена информацией между клиентом и сервером PostgreSQL.

Покажем, как защититься от распространенных угроз:SQL-инъекции, DDoS-атаки.

👉  Регистрация и подробности: 
https://otus.pw/DAoa/?erid=2W5zFGdBSKz

#реклама
О рекламодателе

Data Science. SQL hub

18 March 2025 09:04

Большие данные — для большого будущего. Navio расширяется и приглашает в команду сильных Дата инженеров, а также Data
Science: ML, CV, NLP специалистов.

Вы будете участвовать в разработке уникальных решений, которые меняют транспортную отрасль. Мы создаём:
· универсальную технологию автономного вождения, совместимую с разными видами транспорта;
· платформу для управления беспилотным флотом автомобилей;
· проекты новой городской мобильности.

Navio объединяет культуру автопроизводителей и IT-компаний. Более 700 специалистов работают над тем, чтобы доставка грузов стала быстрее и эффективнее, а городской транспорт — безопаснее и комфортнее.

Найдите интересную вакансию и отправьте отклик.