30088
Всё о базах данных простым языком. Сотрудничество: @max_excel РКН: vk.cc/cHhG5h
Как устроена виртуальная машина SQLite
Среди встраиваемых баз данных SQLite уникальна не только благодаря своему транзакционному уровню хранения данных, построенному по принципу Б-дерева, но и благодаря собственному надёжному движку выполнения SQL. В этой статье автор подробно разбирает, как SQLite синтаксически анализирует, оптимизирует и выполняет ваши SQL-запросы.
Базы данных
Почему Trino такой быстрый: динамические фильтры
Принцип большинства оптимизаций производительности в аналитических SQL-движках — ответить на запрос пользователя, затратив минимум вычислительных ресурсов. Динамические фильтры — это оптимизация, которая создает дополнительный предикат для одной из сторон оператора Join на основе данных другой стороны. Рассмотрим реализацию динамических фильтров на примере Trino.
Базы данных
SQL миграции в Postgres. Часть 2
Эта статья посвящена двум более сложным миграциям:
- обновление большой таблицы
- разделение таблицы на две
Базы данных
Почему вам стоит отказаться от использования timestamp в PostgreSQL
Не секрет, что работа с часовыми поясами — боль, и многие разработчики объяснимо стараются ее избегать. Тем более что в каждом языке программирования и в каждой СУБД работа с часовыми поясами реализована по-разному.
Базы данных
СУБД ClickHouse: настоящее и будущее
В этом видео автор поделится основными принципами и целями развития ClickHouse, отличительными чертами и преимуществами системы, которые планируют развивать. Также автор рассмотрит недостатки и неудобства системы.
Помимо этого вы познакомитесь с некоторыми новыми возможностями ClickHouse, которые раньше сложно было даже представить.
Смотреть это видео на youtube: youtu.be/qeZOT8B8QiA
Продвинутый курс SQL
В этом видео автор рассматривает на практике работу с продвинутыми командами языка запросов SQL.
01:14 Сортировка по номеру
03:23 Ограничение вывода (LIMIT)
06:30 Уникальность данных (DISTINCT)
08:18 Сложение колонок
11:00 Псевдонимы
15:35 JOIN - связи таблиц
27:45 LEFT JOIN
29:38 RIGHT JOIN
35:00 Быть или не быть (EXISTS)
39:32 Объединения (UNION)
41:42 Глобальный поиск
43:45 Агрегатные функции
54:00 Группировка данных (GROUP BY)
Смотреть это видео на youtube: youtu.be/iawjAmwTo9E
SQL простыми словами
В этой статье автор собрал все, что нужно знать об SQL на первых порах: привел реальные кейсы использования языка запросов и показал, как написать ваш первый код.
Базы данных
Миграция терабайтной базы 1С: УПП с платформы 1C 8.1 на 8.3
В этом материале автор говорит про, казалось бы, обыденный случай – обновление платформы 1С. Но большие базы, как обычно, накладывают свои ограничения на все процессы обновления / обслуживания / конвертации. Есть много рисков, которые необходимо предусмотреть на берегу, подстелить соломки, чтобы не получить простои системы и бизнеса.
Базы данных
Разработка многопоточной базы данных
В этой статье автор расскажет о том, как разработать многопоточную базу данных, уделяя внимание ключевым компонентам и механизмам, которые обеспечивают ее эффективное функционирование. Вы рассмотрите основы хранилища данных, транзакционные системы, многопоточность, журналирование и восстановление, а также создание API для взаимодействия с базой данных.
Базы данных
Как SQL-скриптом сократить время ручного тестирования в 3 раза и облегчить жизнь коллегам
Если ваша система использует БД и время от времени нужны тестовые записи, или если вы делаете insert-ы с несколькими наборами значений values, то изложенное в этой статье может вам пригодиться.
Базы данных
Основы SQL: Подзапросы
В этом видео автор подробно и наглядно разбирает работу с подзапросам в SQL.
00:00 Подзапросы в SQL (subqueries)
00:52 Запуск подзапросов в SELECT
02:01 Подзапрос, возвращающий список значений
04:25 Подзапросы в UPDATE
05:57 Итоги
Смотреть это видео на youtube: youtu.be/Df6tQlWhn3Q
Основные команды SQL, которые должен знать каждый программист
В этой статье автор рассмотрит основные команды SQL, включая агрегатные функции и вложенные подзапросы, на примере работы с MySQL.
Базы данных
Базовые SELECT запросы в SQL
В этом видеокурсе автор разбирает основы SQL: вы узнаете что такое SQL, научитесь писать SQL-запросы различной сложности. Все эти знания будут легко применимы не только к PostgreSQL, но и к другим СУБД: MySQL, Microsoft SQL Server, Oracle.
0:00:00 Полная выборка данных с SELECT
0:07:06 Выборка и простая арифметика в SQL
0:10:30 Использование DISTINCT
0:15:29 Использование COUNT
0:25:17 Использование WHERE
0:36:17 AND и OR
0:46:56 BETWEEN
0:52:27 IN, NOT IN
0:57:24 Сортировка с ORDER BY
1:02:37 MIN, MAX, AVG
1:16:14 LIKE для поиска строк
1:22:21 LIMIT
1:24:36 Проверка на NULL: IS NULL, IS NOT NULL
1:27:38 Группировка с GROUP BY
1:37:06 UNION, INTERSECT, EXCEPT
Смотреть это видео на youtube: youtu.be/QlTKtC0_Wgk
Нормализация и денормализация базы данных
Понимание нормализации и денормализации - это основа основ SQL. Если кратко, нормализованное состояние БД удобно для хранения и редактирования данных, а денормализованное - для отображения.
SQL имеет большое количество инструментов, как из нормального состояния преобразовать таблицы в денормализованные, одна из таких возможностей - это объединение таблиц через FROM и перечисление нескольких таблиц.
Умение склеивать таблицы разными способами поможет вам на собеседовании, а также облегчит понимание темы JOIN в SQL.
00:00 Введение
00:25 Нормализованная структура БД
00:40 Денормализовання структура БД
01:28 Анализ БД
02:25 Первичный и внешний ключ SQL
05:16 Склейка через FROM и псевдонимы
09:19 SELECT с указанием таблицы
11:37 Целостность баз данных
Смотреть это видео на youtube: youtu.be/oOJgHQ5Yuto
Как маскировка данных спасает вашу приватность
Одним из распространенных методов защиты данных является их маскировка. Для более ясного понимания этого процесса в данной статье автор рассмотрит различные техники маскировки и попробует разобраться, с чем это едят.
Базы данных
Когда для работы с данными используется сразу несколько систем
По данным Yandex B2B Tech, 70% аналитических команд используют от 5 до 10 инструментов для загрузки, хранения, обработки и анализа данных. В результате приходится отдельно настраивать интеграции и обмен информацией между системами.
Yandex B2B Tech представила DataLens Platform, где хранилище, обработка данных, отчеты, дашборды и ИИ-аналитика объединены в одной среде. В платформе также есть ИИ-помощник, которому можно задавать вопросы на обычном языке и получать показатели на основе корпоративных данных.
По оценке разработчиков, такой подход может сократить совокупные затраты на аналитику до 30%, а подготовку отчетов и дашбордов ускорить в 3–5 раз.
Сначала платформа будет доступна в Yandex Cloud. Общедоступный релиз запланирован на март 2027 года.
Иерархические (рекурсивные) запросы
При построении SQL-запросов иногда может потребоваться соединение таблицы с самой собой. Например, если таблица содержит список сотрудников с указанием должностной подчиненности, или филиалов и входящих в них под-филиалов, то можно вывести всю иерархию одним запросом, дописав всего лишь несколько слов. В этом видеоуроке автор подробно разбирает такие иерархические (рекурсивные) запросы.
Смотреть это видео на youtube: youtu.be/9_MuOe6KrmE
NoSQL простым языком: что это и зачем нужно?
NoSQL — тип баз данных, которые хранят данные в отличном от реляционных таблиц формате. Они узкоспециализированны для конкретных задач и нужны для улучшения производительности, масштабируемости и удобства в работе. В этом ролике автор подробно и наглядно разберёт данный тип БД.
Смотреть это видео на youtube: youtu.be/IBzTDkYNB7I
Комбинаторы в ClickHouse
Автору статьи часто приходилось сталкиваться с тем, что не все коллеги были знакомы с комбинаторами агрегатных функций в ClickHouse или же ограничивались использованием комбинатора -If.
Базы данных
Go Tarantool: как построить Key-value-хранилище на сотни тысяч запросов в секунду
С увеличением сложности ИТ-систем все больше становится очевидной ограниченность привычных реализаций с простой архитектурой компонентов. Особенно это заметно в случае систем, которые должны стабильно работать с большими и интенсивными нагрузками.
Базы данных
Всё что нужно знать про DuckDB
DuckDB — это хороший инструмент для взаимодействия с данными. Он позволяет через единый интерфейс (SQL) общаться с разными сервисами и форматами файлов.
Базы данных
Топ полезных SQL-запросов для PostgreSQL
Статей о работе с PostgreSQL и её преимуществах достаточно много, но не всегда из них понятно, как следить за состоянием базы и метриками, влияющими на её оптимальную работу. В этой статье подробно рассмотрим SQL-запросы, которые помогут вам отслеживать эти показатели и просто могут быть полезны как пользователю.
Базы данных
5 бесплатных сервисов для практики SQL
Когда вы только начинаете изучать SQL, нужно как можно больше практики. Хорошо, когда есть реальные задачи на работе, на которых можно практиковаться. Но если их нет - то эти бесплатные сервисы помогут получить необходимую практику и улучшить свой уровень.
Базы данных
Функции SQL для даты и времени
В этом видеоуроке автор подробно разбирает функции SQL, необходимые для работы с датой и временем.
00:00 Вступление
00:27 Получение системной даты и времени (SYSDATE)
01:05 Преобразовать строку в дату (TO_DATE)
01:59 Получить последний день месяца (LAST_DAY)
02:28 Добавить N-ое количество месяцев (ADD_MONTHS)
02:57 Извлечь год, квартал, месяц (EXTRACT)
03:14 Получить первый день года, квартала, месяца или недели (TRUNC)
Смотреть это видео на youtube: youtu.be/_6XWUJ2zf8Y
Интеграция LLM в корпоративное хранилище данных
В этой статье автор рассматривает способы интеграции Large Language Models (LLM) в корпоративные системы хранения данных. Основное внимание уделено использованию LLM для автоматического извлечения информации из текстовых данных с последующим формированием SQL-запросов.
Базы данных
LLM'ы в преобразовании запроса на естественном языке в SQL (text2sql)
Одной из главных проблем, с которыми сталкиваются компании, это непосредственная работа с базами данных с помощью языка SQL. Поэтому на рынке появляются инструменты, позволяющие писать запрос на естественном языке и получать ответ на языке запросов. В этой статье автор познакомит вас с двумя AI-инструментами для генерации SQL-запросов: SQLCoder Defog и SQLthroughAI.
Базы данных
Книга: «Антипаттерны SQL. Как избежать ловушек при работе с базами данных»
Язык SQL необходим для работы со структурированными данными. Программисты, прекрасно знающие свой любимый язык (Java, Python или Go), не могут разбираться во всем, и часто не являются экспертами в SQL. Это приводит к появлению антипаттернов — решений, которые на первый взгляд кажутся правильными, но со временем создают все больше проблем.
Базы данных
Оператор SQL IN на понятных примерах
В этой статье автор подробно разбирает синтаксис оператора фильтрации SQL IN и рассматривает его использование на практических примерах.
Базы данных
Как благодаря переезду хранилища данных прокачать стек, архитектуру и скиллы команды
Правильный стек, правильная архитектура и правильное видение процесса ELT — залог успешной аналитики, с этим никто не спорит. Но как прийти к ним и как найти баланс между затратами времени на исследование и поддержкой уже сделанного в бесконечном потоке A/B-тестирований, дашбордов, метрик и Ad hoc-запросов?
Базы данных
Простая документация с dbt: упрощение документирования хранилищ данных
К счастью, dbt (Data Build Tool) значительно упростил задачу документирования хранилищ данных. Все, что нужно сделать, это включить описание таблиц и колонок в YAML-файл схемы, затем вся информация собирается в аккуратный HTML-файл.
Базы данных