31854
Всё о базах данных простым языком. Сотрудничество: @max_excel РКН: vk.cc/cHhG5h
Функции SQL для символьных данных
В этом видеоуроке автор подробно разбирает процесс работы с символьными (строчными) функциями в SQL.
00:00 Вступление
00:18 Преобразование строки в нижний регистр (LOWER)
00:32 Преобразование строки в верхний регистр (UPPER)
00:55 Получение длины указанной строки (LENGTH)
01:06 Вернуть символ, заданный числовым кодом (CHR)
01:28 Соединить вместе две и более строки (CONCAT)
01:57 Удалить символ с начала или конца строки (TRIM)
02:22 Посимвольная замена значений (TRANSLATE)
03:25 Замена слова в строке другим словом (REPLACE)
04:03 Извлечь часть данных из строки (SUBSTR)
Смотреть это видео на youtube: youtu.be/myYvKpjquGw
Горизонтальное масштабирование базы данных: репликация, партицирование, шардирование
В современном мире нагрузка на базы данных стремительно растёт. Когда один сервер перестаёт справляться с объёмом запросов, встаёт вопрос о масштабировании: как эффективно распределить нагрузку, сохранив высокую производительность и доступность? Можно, конечно, попытаться сделать единственный сервер идеальным и мощным — вертикально масштабировать его. Но в этой статье мы поговорим о горизонтальном масштабировании — будем брать не мощностью сервера, а количеством узлов.
Базы данных
Как GitLab с Liquibase миграции в ClickHouse везли
В этом материале автор расскажет, как с помощью Liquibase, GitLab и немного Python настроить прозрачный, безопасный и удобный процесс миграций для ClickHouse кластера.
Базы данных
Как и где учить SQL для начинающих?
В этом видео автор разберет как лучше учить SQL с нуля для анализа данных. Вы узнаете что учить в первую очередь, где это учить, а также рассмотрите профильные курсы и бесплатные материалы, рекомендованные автором.
00:00 Что такое SQL и СУБД
01:32 Чем плох классический подход к изучению SQL
02:20 SQL запросы
02:49 Где учить теорию? (статьи и курсы)
03:23 Что нужно знать для работы аналитиком?
04:22 Функции агрегирования
05:16 SQL Join
07:00 Подзапросы
08:31 Оконные функции
10:42 Отличные сайты для изучения SQL
Смотреть это видео на youtube: youtu.be/AX-w4fr46RM
JOIN в SQL
В этом видеоуроке автор подробно и наглядно разбирает запросы данных из нескольких таблиц с использованием оператора JOIN.
00:00 Пример базы данных
01:53 JOIN в SQL
04:06 Псевдонимы таблиц и столбцов в JOIN
05:23 Фильтрация данных
06:59 Сортировка данных
07:32 Итоги
Смотреть это видео на youtube: youtu.be/SYJ1B2KrDCQ
Основы SQL: реляционная модель, базовые запросы
В этом видео автор подробно говорит про реляционную модель и язык SQL. Вы узнаете, что такое SQL Server, какие он имеет версии редакции и почему это важно, а также разберете базовые запросы SQL.
Смотреть это видео на youtube: youtu.be/3PXPpU0kncM
Debezium в действии: сбор и синхронизация отчётной базы данных
Автор этой статьи занимается разработкой фронтального приложения для сотрудников банка, в котором они смогут в одном окне видеть всю необходимую информацию, хранящуюся в трёх отдельных базах данных. Задача — отобразить пользователю общую выборку данных, которые хранятся физически в отдельных кластерах БД.
Базы данных
Гарантии видимости в распределённых хранилищах
Часто оказывается так, что в процессе упрощения и структурирования на самом видном месте обнаруживаются скелеты древних динозавров, присыпанные мутными формулировками так, что долгие годы их никто не замечает. Если вы хотите окончательно разобраться в уровнях изоляции транзакций и гарантиях порядка операций, то изучите эту статью.
Базы данных
Хеш-индексы в PostgreSQL: быстрый поиск или скрытые проблемы?
Индексы — важнейший инструмент оптимизации запросов в базах данных. В PostgreSQL одним из вариантов является хеш-индекс. В отличие от B-tree, он работает исключительно с операциями равенства (=) и использует бакеты для хранения ссылок на строки таблицы.
Базы данных
Практический курс по SQL для начинающих
В этом видеокурсе автор разбирает основы SQL: вы узнаете что такое SQL, научитесь писать SQL-запросы различной сложности. Все эти знания будут легко применимы не только к PostgreSQL, но и к другим СУБД: MySQL, Microsoft SQL Server, Oracle.
0:00:00 Основные концепции: БД, СУБД
0:17:22 Реляционная модель и SQL
0:30:54 Почему стоит выбрать PostgreSQL?
0:36:04 Установка PostgreSQL
0:42:38 Обзор типов данных в PostgreSQL
0:56:48 Как создать базу данных
1:04:22 Как создать таблицу
1:16:03 Отношение "один ко многим"
1:35:18 Отношение "один к одному"
1:44:45 Отношение "многие ко многим"
1:59:12 Создаём БД Northwind
Смотреть это видео на youtube: youtu.be/HVQNxdI6fqY
Достижение согласованности без менеджеров транзакций
Вам нужно интегрировать несколько компонентов без помощи менеджеров транзакций с поддержкой ACID (атомарность, согласованность, изоляция и долговечность)? Тогда эта статья для вас.
Базы данных
Озеро для дата-склада: как мы нырнули в новые методы хранения данных и что из этого вышло
Гибкие методологии построения хранилищ данных — очень популярный тренд. Причина — возрастающая сложность корпоративных моделей данных и необходимость интеграции большого числа разнородных источников, которые включают в себя не только традиционные СУБД и плоские файлы, но и различные real-time-брокеры сообщений, внешние API и базы данных NoSQL.
Базы данных
Полезные функции и операторы SQL
В этом видео автор рассматривает функции и операторы SQL, которые наиболее полезны в виду их разнообразного применения.
00:00 Вступление
00:24 Работа с полями таблиц в SQL
00:57 Создать таблицу для работы
01:09 Добавить поле в таблицу
01:34 Узнать тип поля
01:48 Переместить поле
02:22 Изменить тип поля
03:19 Переименовать поле
03:37 Удалить поле
03:58 Форматирование записей
05:55 Временные таблицы в SQL
Смотреть это видео на youtube: youtu.be/SglQ7CCkkTw
Как мы проверяли качество данных после завершения миграции с Teradata на Greenplum
В этой статье автор расскажет об опыте и результатах кросс‑платформенной проверки качества данных во время и после миграции, а также о трудностях и решениях, связанных с этим процессом.
Базы данных
Бесплатный онлайн-интенсив для аналитиков и разработчиков DWH в «Открытых школах» от ИТ-холдинга Т1
✉️ Отправьте заявку до 10 февраля!
На интенсиве вы: изучите основы архитектуры DWH, типы источников данных и принципы их организации, научитесь работать с ELT-процессами, разберетесь с особенностями SQL, работой в СУБД и не только.
Почему стоит участвовать:
— практика на реальных кейсах — по четыре часа в неделю из любой точки страны;
— приглашение на Offer Weeks для лучших участников и быстрый карьерный старт;
— HR-поддержка – познакомитесь с процессом найма и оформите резюме для успешного прохождения интервью;
— погружение в бигтех — узнаете инсайты о работе в Т1 от команды профессионалов.
👥 Успейте зарегистрироваться до 10 февраля: https://u.to/Ft7EIQ
Каждый год говорят, что Python устарел. Но на деле:
🔹 Google, YouTube, Netflix используют Python в своих сервисах
🔹 Разработчики в Data Science и AI активно применяют Python
🔹 Кибербезопасность – многие инструменты для пентеста создаются именно на Python
Если вы интересуетесь разработкой или хотите освоить новый язык программирования, обратите внимание на бесплатный мини-курс по Python от Skillbox. Он поможет разобраться в базовых навыках и научит применять их на практике.
Подробности и регистрация: https://epic.st/GY1-M?erid=2Vtzqvy6Esx
Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880
Хотите научиться автоматизировать процессы обработки данных как в Бигтехе?
Чтобы проанализировать большой массив данных, его нужно обработать. Обычно это происходит в три этапа: извлечение, трансформация и загрузка (или ETL). Но чем больше становится данных, тем труднее управлять этим процессом вручную — автоматизировать его можно с помощью Airflow.
Чтобы научиться работать с Airflow, приходите на бесплатный вебинар, где Антон Шишков, опытный Software Engineer из бигтех-компании, — поделится с вами своими знаниями и лучшими практиками работы с Airflow на примере автоматизации сбора данных.
Что мы будем делать на вебинаре:
🟠 Познакомимся с Airflow: узнаем, как он может упростить работу и повысить эффективность;
🟠 Узнаем об операторах и сенсорах: как использовать для создания гибких и надежных конвейеров данных;
🟠 Напишем базовые и продвинутые DAG'и, чтобы вы могли применить их на практике;
🟠 Разберем, как использовать Docker, FastAPI, Postgres, Clickhouse и Minio для автоматизации ETL-процессов.
🕗Встречаемся 4 марта в 19:30 по мск
Зарегистрироваться на бесплатный вебинар
Как протестировать производительность СУБД перед миграцией
После ухода западных вендоров в 2022 году российские компании столкнулись с необходимостью массовой миграции с Oracle и MS SQL на PostgreSQL и другие открытые СУБД. Теперь к вопросам миграции приходится относиться ответственнее: самостоятельно оценивать риски и прогнозировать работу систем после переезда.
Базы данных
#вакансия #job #vacancy #remote #parttime #руководитель #educator #databases #security
Компания: OTUS – EdTech платформа.
Вакансия: Руководитель онлайн-курса «Безопасность баз данных».
Вакансия предполагает дополнительную частичную занятость. Требуется практический опыт по тематике курса. Можно без опыта преподавания. Мы с удовольствием поможем Вам освоить Best Practices преподавания: для этого у нас есть вводный курс по преподаванию и пробные уроки с методистом.
Руководитель - это эксперт, который играет ключевую роль на курсе - разрабатывает программу курса, ведёт часть занятий, работает в команде с преподавателями, методистом и продюсером курса.
Условия:
✅ удаленное сотрудничество, занятость part-time.
✅ темы по программе курса и комфортную нагрузку можно выбирать.
✅ ставка за проведение одного занятия (полтора часа) от 3000 до 5000 руб., плюс отдельно оплачивается разработка программы, разработка материалов к занятиям, проведение открытых уроков и другие активности.
✅ уроки проводятся в онлайн формате на mts-link ru.
✅ на занятиях используется презентация с теорией и практические примеры, чтобы раскрыть тему урока.
✅ наши методисты помогают освоить лучшие инструменты и практики преподавания.
Еще Вы сможете:
✅ внести свой вклад в развитие IT.
✅ структурировать свой опыт и знания.
✅ развивать личный бренд.
✅ прокачать софт-скиллы.
Бонусы:
✅ наши курсы со скидкой/бесплатно.
✅ воркшопы и конференции для наших руководителей и преподавателей.
Подробнее в telegram: @ElenaAlias
Зачем запускать облачную СУБД на выделенном сервере
Когда речь заходит о выборе инфраструктуры, возникает классический вопрос: использовать готовый сервис в облаке или собрать свой на выделенных серверах. На первый взгляд, все просто: облако — это про скорость и удобство, а выделенные серверы — про мощность и производительность. Но все не так просто.
Базы данных
📍Геоданные и временные ряды в Spark: хаос или порядок?
GPS-координаты, карты, временные метки — данные есть, но как с ними работать? Стандартные методы тормозят, запросы громоздкие, аналитика требует вечности.
💡Есть решение. На открытом вебинаре «Обработка геопространственных и временных данных на Spark» 11 марта в 20:00 (мск):
- Разберём пространственные данные: координаты, маршруты, карты
- Научимся анализировать временные ряды с трендами и предсказаниями
- Проанализируем реальные кейсы: GPS-данные, сенсоры IoT, анализ движения
📢 Спикер Вадим Заигрин — опытный разработчик, Data Engineer и Data Scientist. Team Lead команд инженеров данных на разных проектах.
Все участники получат скидку на большое обучение «Spark Developer».
➡️ Регистрируйтесь, чтобы не пропустить: https://vk.cc/cIWj68
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
Основы аналитики: как с помощью SQL, Python и статистики принимать обоснованные решения
Центр непрерывного образования ФКН НИУ ВШЭ приглашает присоединиться к бесплатному вебинару, который подойдет всем, кто только начинает знакомство с классическими аналитическими инструментами.
Вебинар состоит из двух частей:
〰️〰️〰️〰️
- Теория: разберетесь в основах SQL, Python и статистического анализа.
- Практика: примените полученные знания, решив прикладную задачу. Вместе с преподавателем отфильтруете данные, сформируете из них выборки, построите визуализации и на основе статистики сможете принять решение о нововведениях для разработчиков онлайн-игры.
Спикер: Маргарита Бурова, академический руководитель программы «Аналитик данных».
Дата: 26 февраля, 19:00.
Регистрация
Реклама: НИУ ВШЭ
ИНН: 7714030726
Erid: 2SDnjdUEJ7E
На GitVerse стала доступна среда разработки GigaIDE Cloud со встроенным AI-ассистентом
СберТех представил российскую облачную среду для разработки GigaIDE Cloud, встроенную в платформу для работы с исходным кодом GitVerse.
Среда обеспечивает редактирование, отладку, проверку и совместную работу с кодом, а также постоянный и безопасный доступ к предварительно настроенным рабочим пространствам разработки. GigaIDE Cloud доступна из браузера и позволяет вести разработку в удобном режиме с различных устройств вне зависимости от их производительности.
Также пользователи получили доступ к обновлённой версии интегрированной среды разработки GigaIDE Desktop, которую можно скачать на GitVerse. Десктопная версия стала стабильнее и производительнее, а еще добавились новые инструменты для анализа и навигации по элементам крупнейших фреймворков для Java.
В обе версии среды разработки интегрирован AI-ассистент разработчика GigaCode, который автоматизирует рутинные процессы и помогает программистам в реальном времени.
Начать пользоваться GigaIDE Cloud — по ссылке
Соревнование Data Fusion Contest 2025: покажи, что умеешь!
Стартует долгожданное соревнование в мире Data Science — Data Fusion Contest 2025! Общий призовой фонд — 3 000 000 рублей 🔥
Что тебя ждёт?
🚀 2 основные и одна образовательная задачи: «Label Craft» — про предсказание категории товаров, «4 Cast» — про предсказание динамики платежей на последующие 12 недель, и «Distribution».
🚀 Специальная номинация Companion за лучшие публичные решения, в которой победителей выбирает жюри на основе мнений других участников.
⏰ Даты проведения соревнования: с 13 февраля по 7 апреля 2025 года.
❗️ Формат — онлайн: участвовать можно из любой точки мира.
Церемония награждения пройдет в Москве на конференции DATA FUSION 2025.
Почему нужно участвовать? Три основных причины — это:
🛑 возможность прокачать скилы на практике и погрузиться в новые DS/ML-методы,
🛑 шанс сразиться с профессионалами отрасли,
🛑 твоё желание получить внушительный денежный приз.
Организаторы — ИТ-холдинг Т1 и ВТБ.
Хочешь попасть в число лучших? Регистрируйся по ссылке прямо сейчас!
Реклама. ООО "Т1". ИНН 7720484492. erid: 2W5zFJHUFrQ
Кластеризация временных рядов: хаос или скрытые паттерны?
Финансовые данные, сенсоры, котировки акций — данные приходят потоком, но как выявить закономерности и сгруппировать их правильно? Стандартные методы не работают, а временные ряды ведут себя слишком нестабильно.
Разбираем на открытом вебинаре «Кластеризация временных рядов» 5 марта в 20:00 (мск):
- Изучим метрику DTW (Dynamic Time Warping)
- Разберём методы понижения размерности
- Найдём связи в котировках акций на реальных данных
Всем участникам — скидка на большое обучение «Machine Learning. Professional».
➡️ Регистрируйтесь, чтобы не пропустить: https://vk.cc/cIJQD9
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
PostgreSQL 17: архитектура и тюнинг SQL-запросов
Погрузись в архитектуру и прокачай оптимизацию запросов одной из самых популярных open source СУБД – PostgreSQL.
🌐 В программе курса:
🤩 Разберем, как работают СУБД вообще и PostgreSQL в частности: что такое MVCC, ACID, WAL, LRU, PPC/TPC и другие фундаментальные понятия архитектуры баз данных
🤩 Получите свой собственный выделенный облачный PostgreSQL-сервер (8 vCPU, 12G RAM, 100G NVMe) – БЕСПЛАТНО на время обучения предоставляется
🤩 Получите теорию и практику EXPLAIN и EXPLAIN ANALYZE на разных типа запросов
🤩 Изучите архитектуру хранения данных в PostgreSQL, типы и особенности индексов, а также получите полезные советы и трюки оптимизации БД
🗓 Старт курса: 6 марта. Продолжительность: 5 недель обучения (четверг, 18:00 МСК).
Изучить программу и записаться можно здесь.
🤩Кто мы: R&D-центр Devhands, основатель школы Алексей Рыбак.
Автор курса — Николай Ихалайнен, эксперт по СУБД (ex-Percona), со-основатель MyDB, энтузиаст открытого ПО.
Реклама. ИП Рыбак А.А. ИНН 771407709607 Erid: 2VtzqxPDV6M
Как я запустил контейнеры с Oracle Database 21c Express Edition внутри Podman на отечественной ОС
В этой статье рассматривается пошаговое создание образов «с нуля» для контейнерного движка Podman. Внутрь контейнера «упакована» база данных Oracle Database 21c Express Edition. И всё это на отечественной операционной системе РЕД ОС.
Базы данных
Tarantool CDC: жизнь данных в гетерогенной среде
Часто в распределенных ИТ-ландшафтах компании используют несколько хранилищ данных под разные задачи. Это делает их важным компонентом любой системы Change Data Capture (CDC) — они помогают отслеживать изменения данных и связывать используемые хранилища. Но далеко не все CDC-инструменты способны ответить на актуальные запросы бизнеса.
Базы данных
Практика по SQL: удаление дубликатов email
В этом видеоуроке автор разбирает решение задачи по удалению дубликатов записей в таблице при помощи использования подзапросов в команде DELETE.
00:00 Описание задачи
01:28 Создание таблицы для экспериментов
02:31 Разработка подзапроса
03:21 Разработка команды для удаления дубликатов
04:28 Запуск команды на Leetcode
05:15 Учет особенностей MySQL
06:24 Итоги
Смотреть это видео на youtube: youtu.be/nF-l3tZovKY
PostgreSQL — особенности работы с памятью для 1С-систем (часть 3)
Это третья и заключительная часть цикла статей по настройке памяти в PostgreSQL. Она получилась не такой заумной, как предыдущие две, и представляет из себя некий сухой остаток с собирательным примером, в котором показано как выбирать параметры PostgreSQL по настройке оперативной памяти.
Базы данных