Data Science. SQL hub

06 February 2025 10:59

💚 Авито запускает Weekend Offer для опытных DS-инженеров! Ускоренный отбор за выходные и возможность попасть в одну из пяти команд: автомодерация, монетизация, поисковое ранжирование, AI Lab и вертикальные команды DS.

Вас ждет:
— конкурентная зарплата и удаленка по всей России;
— реальные задачи на большом масштабе — разработка алгоритмов для проверки объявлений, внедрение ML-моделей, оптимизация процессов и DS-поддержка;
— участие в разработке новых продуктов — предлагаем для этого мощное железо и бюджет на обучение;
— сильное IT-комьюнити, которое любит опенсорс.

🚀Регистрируйтесь до 27 февраля и развивайте крупнейший в мире сервис объявлений: https://u.to/dV67IQ

Data Science. SQL hub

05 February 2025 07:47

PostgreSQL 17: архитектура и тюнинг SQL-запросов

Погрузись в архитектуру и прокачай оптимизацию запросов одной из самых популярных open source СУБД – PostgreSQL.

🌐 В программе курса:

🤩 Разберем, как работают СУБД вообще и PostgreSQL в частности: что такое MVCC, ACID, WAL, LRU, PPC/TPC и другие фундаментальные понятия архитектуры баз данных
🤩 Получите свой собственный выделенный облачный PostgreSQL-сервер (8 vCPU, 12G RAM, 100G NVMe) – БЕСПЛАТНО на время обучения предоставляется
🤩 Получите теорию и практику EXPLAIN и EXPLAIN ANALYZE на разных типа запросов
🤩 Изучите архитектуру хранения данных в PostgreSQL, типы и особенности индексов, а также получите полезные советы и трюки оптимизации БД

🗓 Старт курса: 6 марта. Продолжительность: 5 недель обучения (четверг, 18:00 МСК).

Изучить программу и записаться можно здесь.

🤩Кто мы: R&D-центр Devhands, основатель школы Алексей Рыбак.
Автор курса — Николай Ихалайнен, эксперт по СУБД (ex-Percona), со-основатель MyDB, энтузиаст открытого ПО.

Реклама. ИП Рыбак А.А. ИНН 771407709607 Erid: 2VtzqwZUTvc

Data Science. SQL hub

04 February 2025 11:01

🌐 Meilisearch — это поисковый движок с открытым исходным кодом, обеспечивающий быстрый и удобный поиск в веб-приложениях!

🌟 Он поддерживает поиск по мере ввода, толерантность к опечаткам, фильтрацию данных и фасетный поиск, что делает его мощным инструментом для создания интуитивных поисковых систем. API Meilisearch прост в интеграции, а его высокая производительность позволяет обрабатывать запросы менее чем за 50 мс.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Data Science. SQL hub

03 February 2025 12:03

🖥 Dolt — это реляционная база данных с функциями контроля версий, аналогичными Git!

🌟 Она позволяет не только выполнять SQL-запросы, но и отслеживать изменения данных на уровне строк, создавать ветки, выполнять слияния и просматривать историю изменений. Каждая операция с данными может быть закоммичена, а история изменений доступна для анализа, что делает Dolt уникальным инструментом для управления данными в командах.

🔐 Лицензия: Apache-2.0

🖥 Github

@sqlhub

Data Science. SQL hub

30 January 2025 15:25

📊 Metabase — это мощная и простая в использовании платформа для бизнес-аналитики!

🌟 Она позволяет визуализировать данные, создавать отчёты и дашборды, а также находить инсайты без необходимости писать сложные SQL-запросы. Metabase поддерживает подключение к различным базам данных, включая MySQL, PostgreSQL, MongoDB и другие, предоставляя интуитивный интерфейс для работы с данными.

🔐 Лицензия: AGPL-3.0

🖥 Github

@sqlhub

Data Science. SQL hub

27 January 2025 09:25

Как построить витрину данных, как в крупной IT-компании?

Объединение данных из разных источников — то, с чем в какой-то момент сталкиватся каждый аналитик или дата-инженер.

Представьте, что вы тренер футбольной команды. И у вас есть витрина данных, которая собирает информацию о каждом игроке, включая количество забитых голов, ассистов, время на поле и количество проведенных матчей. Такая витрина помогает выявить слабые места в команде и сфокусироваться на их улучшении.

Как строить витрину данных разберём в прямом эфире нашего бесплатного вебинара в режиме решения реальной рабочей задачи📊. Спикер вебинара — Айгуль Сибгатуллина, Data Engineer в Сбер.

Что будет на вебинаре:
• Построим воркфлоу от этапа получения ТЗ до создания полноценной витрины;
• Разберемся с методологией на разных диалектах;
• Узучим Spark в работе дата-инженера: преобразования, оптимизации, планы запросов;
• Используем AI для ускорения процессов.

🕗Встречаемся 28 января 19:00 по мск

Зарегистрироваться на бесплатный вебинар

Data Science. SQL hub

24 January 2025 12:20

🖥 sync — инструмент для синхронизации данных из рабочих баз данных в локальные экземпляры в реальном времени!

🌟 Он поддерживает MongoDB (с репликацией) и MySQL, с возможностью инкрементальной синхронизации через Change Streams для MongoDB и binlog для MySQL. Этот инструмент позволяет синхронизировать данные как в режиме начальной синхронизации, так и в реальном времени, обеспечивая высокую отказоустойчивость и возможность возобновления с последней позиции при перезапуске.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Data Science. SQL hub

19 January 2025 15:21

🖥 PeepDB — это инструмент командной строки и библиотека на Python, созданные для быстрого анализа баз данных!

🌟 Он поддерживает такие популярные СУБД, как MySQL, PostgreSQL, SQLite, MongoDB и Firebase, позволяя разработчикам и администраторам легко просматривать данные и структуры таблиц без написания сложных SQL-запросов. Удобный CLI-интерфейс делает инструмент простым в использовании, даже для начинающих специалистов.

🌟 PeepDB предлагает такие функции, как пагинация для работы с большими наборами данных, вывод результатов в форматах таблиц или JSON, а также возможность локального сохранения данных соединений с базой. Это делает инструмент полезным для отладки, анализа и быстрого доступа к данным, экономя время и усилия в сравнении с традиционными методами.

🔐 Лицензия: GPL-3.0

🖥 Github

@sqlhub

Data Science. SQL hub

18 January 2025 11:12

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
Data Science: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: /channel/gamedev
Haskell: t.me/haskell_tg

💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy

Data Science. SQL hub

14 January 2025 13:05

🔥 Sequin — это инструмент для захвата изменений данных (CDC) в PostgreSQL, который упрощает потоковую передачу строк и изменений из PostgreSQL в такие платформы, как Kafka и SQS!

🌟 Он позволяет выполнять бэкап существующих строк и в реальном времени передавать новые изменения. Sequin поддерживает различные приемники данных, включая HTTP-эндпоинты, что позволяет начать работу без дополнительной инфраструктуры.

💡 В отличие от других решений, таких как Debezium, Sequin не требует использования Kafka для работы. Он функционирует как автономный Docker-контейнер, который можно развернуть рядом с вашей базой данных PostgreSQL. Sequin обеспечивает надежную доставку всех изменений базы данных к указанным приемникам, поддерживает маршрутизацию сообщений с использованием SQL-условий и предоставляет возможность выполнения бэкапов данных.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Data Science. SQL hub

10 January 2025 18:32

🦑 SQL Squid Game: 9 уровней. 1 Аналитик данных. Ваша жизнь на кону 🔫.

Развлечение на выходные - Игра в Кальмара с SQL. Это бесплатный образовательный тренажер по работе с БД, по мотивам Netflix's Squid Game, SQL Murder Mystery и других известных SQL-игр.

❓О чем игра?
Вы только что были приняты на работу в качестве Аналитика данных в загадочную организацию Squid Game.

Таинственный работодатель, управляющий игрой, пообещал вам полностью удаленную работу, на которой вы будете составлять промпты, работать с pandas и генеративным ИИ

Но, как это обычно бывает в индустрии данных, вас подставили и обманули.

Оказалось, что работа связана с аналитикой данных на SQL, а работа не полностью удаленная, а гибридная: 5 дней в офисе, а 2 дня удаленно.

Не успели вы отказаться от работы , как работодатель приставил к вашей голове пистолет и начал требовать ответов на различные бизнес-вопросы.

Вы должны написать SQL-запросы, чтобы ответить ему - иначе вас ждет печальный конец 💀

📌 Как играть

- На каждом уровне вам будут даны задачи, а также одна или несколько таблиц и их схема.

Вам будет дана ячейка решения, в которую вы должны будете записать свое решение и отправить его на проверку.

Каждый уровень становится сложнее.

PS: Для прохождения SQL Squid Games, вам нужно хорошо знать SQL.А если хотите освежить свои знания или выучить SQL с нуля, вот 33 интерактивных учебника от Datalemur авторов игры из которых вы узнаете все, что нужно знать, чтобы пройти игру.

📲 Начать игру

@ai_machinelearning_big_data


#sql #tutorial #educationalgame

Data Science. SQL hub

08 January 2025 13:03

🖥 SQL Studio — это инструмент для работы с SQL-базами данных, поддерживающий такие системы, как SQLite, PostgreSQL, MySQL/MariaDB, DuckDB, ClickHouse и другие!

🌟 Он позволяет просматривать метаданные баз данных, управлять таблицами, выполнять запросы и работать с результатами через удобный графический интерфейс. Одной из ключевых функций является встроенный редактор SQL с поддержкой автодополнения (IntelliSense), что упрощает написание запросов и работу с большими объемами данных.

🌟 Инструмент предназначен для локального и удалённого подключения к базам данных и доступен в виде исполняемого файла, Docker-образа или пакета Nix. SQL Studio предоставляет удобные функции для администраторов и разработчиков, включая бесконечную прокрутку для больших таблиц, просмотр структуры базы данных и метаданных, а также возможности расширенного управления таблицами и запросами.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Data Science. SQL hub

06 January 2025 14:04

🖥 Transactor — библиотека на Go, предназначенная для управления базами данных с использованием транзакций!

🌟 Она упрощает внедрение и использование транзакций, инкапсулируя логику работы с базой данных в сервисах и репозиториях. Библиотека поддерживает работу с несколькими драйверами SQL, включая pgx, sqlx, и стандартный database/sql, а также предоставляет функционал для поддержки вложенных транзакций с помощью различных стратегий, таких как использование точек сохранения в PostgreSQL, MySQL и других СУБД.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Data Science. SQL hub

04 January 2025 08:02

Разбираем тестовое задание на позицию Junior Аналитика в Яндекс.

Чтобы найти работу, мало пройти курс и сделать классное резюме. На практике, чтобы выделиться на собеседовании, нужно понимать, что лежит под капотом каждого инструмента, а не следовать конкретному заученному алгоритму.

Чтобы попрактиковаться в этом, приходите на бесплатный вебинар, где будем разбирать реальное тестовое задание, которое дают аналитикам в подразделении Яндекс Картинки.

Что будет на вебинаре:
🟠С помощью Python решим рутинные задачи - разархивировать файлы, прочитать большой json и т.д.
🟠С помощью Pandas проанализируем поисковые запросы Яндекс.Картинок
🟠С помощью Plotly построим интерактивные графики и сделаем выводы
🟠Найдем статистически значимую разницу в поведении пользователей на разных устройствах

Вебинар проведет Андрон Алексанян, CEO Simulative

🎁Обязательно приходите смотреть вебинар в прямом эфире - в лайве будут дарить подарки, которые сильно бустанут старт карьеры в аналитике!

Зарегистрироваться на бесплатный вебинар

Data Science. SQL hub

31 December 2024 10:11

🖥 Бесплатная книга: Введение в SQL!

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

05 February 2025 09:50

🖥 pgai — набор инструментов от Timescale, предназначенных для упрощения разработки AI-приложений с использованием PostgreSQL!

💡 Они помогают работать с технологиями, такими как RAG и семантический поиск, а также упрощает создание и синхронизацию эмбеддингов в базе данных PostgreSQL. Это позволяет выполнять семантический поиск и генерировать ответы с использованием моделей, таких как OpenAI или Ollama, прямо в SQL-запросах, что значительно облегчает создание приложений с ИИ на основе реляционных данных.

🔐 Лицензия: PostgreSQL

🖥 Github

@sqlhub

Data Science. SQL hub

04 February 2025 16:15

🖥 ToolJet — это платформа с открытым исходным кодом для низкокодовой разработки, предназначенная для создания и развертывания бизнес-приложений с минимальными усилиями!

🌟 Она предоставляет интуитивно понятный интерфейс с возможностью перетаскивания компонентов, что позволяет быстро создавать сложные и отзывчивые пользовательские интерфейсы. ToolJet поддерживает интеграцию с более чем 50 различными источниками данных, включая базы данных (PostgreSQL, MongoDB, MySQL), облачные хранилища, GraphQL, API, а также такие сервисы, как Airtable, Google Sheets и OpenAI.

🔐 Лицензия: AGPL-3.0

🖥 Github

@sqlhub

Data Science. SQL hub

04 February 2025 09:01

Как Docker упрощает жизнь аналитиков и инженеров данных

Когда вы работаете с данными, например, анализируете их или строите модели машинного обучения, Docker позволяет сосредоточиться на самой работе, не отвлекаясь на настройку окружения. Это как иметь готовую мастерскую со всеми нужными инструментами, где вы можете сразу приступить к работе.

На бесплатом вебинаре вы научитесь упаковывать приложения вместе со всеми зависимостями, избегать проблем с несовместимостью ➡️ повысите эффективность работы и сэкономите время на настройку окружения.

Что будем делать на вебинаре:
🟠Разберём основы Docker и как контейнеры упрощают работу;
🟠Выполним анализ данных, запустив Python прямо внутри контейнера;
🟠 Автоматизируем окружение с помощью Docker Compose (Python + PostgreSQL);
🟠 Настроим удобный доступ к результатам анализа;
🟠Организуем ускоренную обработку больших данных.

🕗Встречаемся 5 февраля 19:00 по мск

Зарегистрироваться на бесплатный вебинар

Data Science. SQL hub

01 February 2025 12:02

🖥 ScyllaDB — это высокопроизводительное NoSQL-хранилище данных, совместимое с Apache Cassandra, но с улучшенной производительностью и масштабируемостью!

🌟 ScyllaDB разработана на основе фреймворка Seastar, что позволяет использовать асинхронные вызовы для оптимизации работы с многопоточными системами и улучшения работы на современных многоядерных процессорах.

🖥 Github

@sqlhub

Data Science. SQL hub

27 January 2025 11:31

🖥 Azimutt — это инструмент для визуализации, проектирования и анализа баз данных, который помогает разработчикам и аналитикам лучше понимать структуры сложных и масштабных схем!

🌟 Он позволяет генерировать современные диаграммы сущностей и связей (ERD), исследовать связи между таблицами, искать данные в схемах и документировать базы данных. Azimutt разработан с учетом реальных задач и может обрабатывать даже большие и сложные схемы.

💡 Среди ключевых возможностей — масштабируемая визуализация ERD, поиск и фильтрация таблиц и связей, выполнение SQL-запросов с визуализацией внешних ключей и инструмент для обнаружения проблем в структуре базы данных. Это делает Azimutt полезным как для анализа существующих баз, так и для их проектирования.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Data Science. SQL hub

26 January 2025 12:01

🖥 TiDB — это распределённая SQL-база данных с открытым исходным кодом, разработанная для современных облачных приложений и больших данных!

🌟 Она предлагает совместимость с MySQL, поддерживая стандартный SQL и MySQL-протоколы, что облегчает миграцию существующих приложений. TiDB обеспечивает строгую согласованность данных, распределённые транзакции (используя двухфазный коммит) и горизонтальное масштабирование, позволяя работать с огромными объёмами данных без изменения архитектуры.

🔐 Лицензия: Apache-2.0

🖥 Github

@sqlhub

Data Science. SQL hub

20 January 2025 10:00

🖥 Эта статья объясняет, как оптимизаторы запросов в реляционных базах данных преобразуют SQL-запросы в эффективные планы выполнения!

🌟 Она подробно рассматривает концепции реляционной алгебры, лежащей в основе оптимизации, включая операции выбора, проекции, объединения и их эквивалентности. Автор иллюстрирует процесс перевода SQL-запросов в реляционные выражения, применение правил оптимизации и использование статистики для выбора лучшего плана выполнения.

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

18 January 2025 12:34

🖥 sxt-proof-of-sql — высокопроизводительный доказатель с нулевым разглашением (ZK prover)!

🌟 Этот инструмент криптографически гарантирует, что SQL-запросы выполняются точно и на неизмененных данных. Он предназначен для обеспечения доверительных вычислений как с ончейн, так и с офчейн данными, позволяя разработчикам создавать более сложные DeFi-протоколы с использованием данных в смарт-контрактах.

🖥 Github

@sqlhub

Data Science. SQL hub

16 January 2025 10:45

🖥 kh-sql-projects — репозиторий, который содержит исходный код популярных SQL-проектов для начинающих, промежуточных и опытных разработчиков!

🌟 Проекты включают различные базы данных и системы управления, такие как управление библиотеками, студентами, больничные системы, системы бронирования и учета инвентаря. Все проекты написаны для базы данных PostgreSQL и предлагают практические примеры для работы с SQL.

🖥 Github

@sqlhub

Data Science. SQL hub

12 January 2025 15:02

🖥 Эта статья подробно объясняет, как с нуля разработать хранилище данных, основанное на деревьях LSM (Log-Structured Merge-Tree)!

🌟 Этот метод оптимизирован для высокопроизводительных операций записи, минимизируя случайные обращения к диску за счет предварительного хранения данных в памяти и последовательной записи на диск. Автор обсуждает основные компоненты, такие как Memtable (хранилище в памяти), WAL (журнал предзаписи) и SSTables (упорядоченные таблицы на диске), а также процессы записи, удаления и компакции данных.

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

10 January 2025 12:01

🖥 Эта статья раскрывает
ключевые методы повышения производительности MySQL в приложениях с высокой нагрузкой!

🌟 Автор предлагает практические рекомендации по оптимизации дизайна схемы базы данных, созданию индексов, оптимизации запросов, использованию кэширования и мониторинга медленных запросов.

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

07 January 2025 13:15

🌟 Всегда так.

@sqlhub

Data Science. SQL hub

04 January 2025 10:02

🖥 Эта статья объясняет настройку и использование логической репликации в PostgreSQL, включая её основные случаи применения!

🌟 Она содержит пошаговый гайд по конфигурации мастера и реплики, настройке публикации и подписки, а также разъясняет, как использовать логическую репликацию для миграции данных, создания аналитических баз данных и распределения нагрузки.

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

02 January 2025 14:04

🖥 Kine — это промежуточный слой (shim) для работы с Kubernetes, который позволяет заменить etcd на другие базы данных, такие как SQLite, PostgreSQL, MySQL/MariaDB и NATS!

🌟 Kine преобразует запросы API etcd в вызовы, поддерживаемые указанными базами данных.

🌟 Этот инструмент может использоваться не только в Kubernetes-дистрибутиве K3s, но и в других конфигурациях Kubernetes. Он реализует ограниченный набор функций etcd API и поддерживает базовые операции, такие как создание, обновление и удаление данных. Kine позволяет запускать Kubernetes в средах, где etcd недоступен или нежелателен, упрощая требования к инфраструктуре.

🔐 Лицензия: Apache-2.0

🖥 Github

@sqlhub

Data Science. SQL hub

30 December 2024 14:44

"Поступашки — ШАД, Стажировки и Магистратура", - лучше гайд в мире образования и карьеры.
Канал ведут преподаватели Яндекса, ВШЭ и ШАД.

Внутри:
🔺Слив вопросов с собеса в Яндекс
🔺Как бесплатно вкатиться в айти
🔺Подборка топовых магистратур по Data Science

...и еще море полезнейшего контента. Я жалею, что не нашел этот канал раньше.

Подписывайтесь, потом сами себе спасибо скажете: ⬇️
@postypashki_old