databases_secrets | Unsorted

Telegram-канал databases_secrets - Базы данных | Access, SQL, Big Data

31854

Всё о базах данных простым языком. Сотрудничество: @max_excel РКН: vk.cc/cHhG5h

Subscribe to a channel

Базы данных | Access, SQL, Big Data

Виртуальные таблицы в SQL

В этом материале автор подробно рассмотрел тему представлений в SQL: что они из себя представляют, какие бывают, для чего и как используются.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Поиск дубликатов в клиентском MDM на миллиард записей

Представьте, что вам нужно объединить две базы данных с информацией о клиентах, каждая из которых содержит несколько миллионов записей. Ваша задача — найти все похожие записи и не допустить ошибочных объединений. В этой статье автор расскажет о работе системы обработки данных, которую применяет и адаптирует под такие сложные случаи.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Data Consistency: как быть уверенным, что с данными всё ок

В этой статье автор поделится своим опытом по решению комплексной задачи по мониторингу данных и бонусом покажет примеры использования array functions в ClickHouse.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Базы данных: 1, 2, 3 нормальные формы

В этом ролике автор поговорит о:
• Нормализации баз данных
• 1 нормальной форме
• 2 нормальной форме
• 3 нормальной форме

Смотреть это видео на youtube: youtu.be/zwQzL80U51c

Читать полностью…

Базы данных | Access, SQL, Big Data

Поиск данных в таблицах и базе SQL

В этом ролике автор подробно разбирает поиск данных в таблицах и базе SQL. Вы рассмотрите работу ROWNUM, поиск по таблицам и полям через ALL TABLES, USER TABLES, USER TAB COLUMNS и др.

00:00 Вступление
00:18 Вводная часть про SQL-поиск
04:32 Вывод ограниченного набора строк (ROWNUM)
04:58 Поиск по таблицам в существующей схеме (USER TABLES)
05:42 Поиск по полям и таблицам в существующей схеме (USER TAB COLUMNS)
06:25 Поиск по полям и таблицам по всем доступным схемам (ALL TABLES и ALL TAB COLUMNS)
07:03 Поиск и просмотр доступных схем в базе данных
07:33 Выборка данных (SELECT) из другой схемы

Смотреть это видео на youtube: youtu.be/iv7ux_5AroM

Читать полностью…

Базы данных | Access, SQL, Big Data

Нормальные формы баз данных

В этом ролике автор рассматривает процесс нормализации баз данных и разбирает для чего он нужен. Вы узнаете что такое нормальная форма и какие формы существуют.

00:00 Введение
01:20 Что такое нормализация
02:08 Что такое избыточность данных с примерами
04:51 Какие бывают нормальные формы БД
08:00 Ненормализованная форма
09:37 Первая нормальная форма
11:24 Вторая нормальная форма
15:29 Что такое декомпозиция
16:18 Третья нормальная форма
18:54 Нормальная форма Бойса-Кодда
21:54 Четвертая нормальная форма
27:45 Почему обычно не нормализуют до 5 или 6 формы
29:14 Пятая нормальная форма
35:39 Шестая нормальная форма
38:02 Выводы и заключение

Смотреть это видео на youtube: youtu.be/zqQxWdTpSIA

Читать полностью…

Базы данных | Access, SQL, Big Data

Сайзинг многоуровневого КХД (часть 1)

Многолетний опыт работы автора в части проектирования и реализации КХД с использованием продуктов иностранных вендоров всегда был сопряжен с использованием их обширной инфраструктуры и наработок, обеспечивающих и помогающих выполнять вспомогательные задачи быстро и условно качественно. Одной из таких задач всегда являлось выполнение сайзинга разрабатываемого КХД.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Что такое оконные функции SQL

В этом ролике автор дает подробные ответы на следующие вопросы:
• Что такое оконные функции SQL
• Зачем нужны оконные функции
• Примеры использования
• Синтаксис
• Разница оконных функций и GROUP BY
• Классы

Смотреть это видео на youtube: youtu.be/phIR9W0yIaE

Читать полностью…

Базы данных | Access, SQL, Big Data

Как оптимизировать медленные SQL запросы?

В этой статье автор рассмотрит решение наиболее распространённых проблем с производительностью БД, вызванных неправильной индексацией. Примеры будут приведены для Postgres, MySQL и SQLite.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Оптимизация работы с большим объемом данных при помощи партиционирования в SQL

Оптимизация работы с данными позволяет снизить временные затраты, улучшить производительность и повысить доступность приложения. В этой статье автор подробно разбирает партиционирование - один из эффективных методов оптимизации работы с большим объемом данных.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Postgresso за 2023

В этом материале автор сделал обзор на все ключевые события в мире PostgreSQL за 2023 год.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Представления в SQL

В этом видеоуроке автор подробно разбирает процесс работы с представлениями (оператор VIEW) в SQL.

00:00 Представления в SQL
01:20 Работа представлений
02:21 VIEW из нескольких таблиц
03:32 Зачем использовать VIEW?
05:05 Материализованные представления
06:35 Удаление представлений
06:48 Итоги

Смотреть это видео на youtube: youtu.be/B3RRgBx_foc

Читать полностью…

Базы данных | Access, SQL, Big Data

Правильная работа с базой данных на Python

Эта статья рассчитана в основном на новичков, в ней автор подробно рассматривает, как не упереться в лимиты подключений к базе, чтобы приложение в продакшн при этом не упало.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Анализ данных на языке SQL: Хранилища и витрины данных

В этом видеоуроке автор подробно и наглядно разбирает процесс работы с хранилищами и витринами данных в SQL.

00:00 Вступление
13:48 OLTP
19:15 DWH

Смотреть это видео на youtube: youtu.be/wtm82_IY1sY

Читать полностью…

Базы данных | Access, SQL, Big Data

Немного про OR в SQL запросах

Несмотря на избитость темы и многочисленные рекомендации избегать OR в выражениях WHERE/ON SQL запросов, жизнь вносит свои коррективы. Иногда сама постановка задачи подразумевает необходимость использовать OR. В этой статье автор разберет случай, когда OR должно привести к двум разным выборкам по разным индексам одной и той же таблицы.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Математика в запросах SQL

В SQL-запросах есть возможность использовать результаты математических вычислений, причем мы можем как выводить результаты математических вычислений в SELECT, так и использовать математические выражения в условиях отбора строк WHERE. В этом видеоуроке автор подробно разбирает данную функцию.

Смотреть это видео на youtube: youtu.be/4BnxMB-VtVY

Читать полностью…

Базы данных | Access, SQL, Big Data

13 упражнений по SQL с решениями

В этом наборе упражнений автор рассмотрит SQL и T-SQL. Независимо от того, являетесь ли вы новичком или опытным пользователем, эти упражнения помогут вам укрепить свои знания и подготовиться к реальным сценариям собеседований.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Вся база SQL для начинающих

В этом ролике автор расскажет вам всё, что нужно знать про основы SQL.

0:00:00 Вступление
0:01:45 БД и SQL
0:07:58 Таблицы
0:11:52 Создание таблиц
0:21:48 INSERT/UPDATE/DELETE
0:34:26 SELECT
0:39:50 FOREIGN KEY
0:46:22 JOIN
1:01:00 Агрегатные функции, GROUP BY
1:09:20 HAVING
1:13:09 Изменение таблиц

Смотреть это видео на youtube: youtu.be/5sG9kmXYsKU

Читать полностью…

Базы данных | Access, SQL, Big Data

Шпаргалка по SQL (postgres), которая выручает меня на собесах

Данная информация предполагает знание основ языка запросов, она будет полезна для разработчиков, которые сейчас активно ищут работу.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

PITR в PostgreSQL

Cколько раз вы сталкивались с ситуацией, когда что-то пошло не так и вам необходимо было в срочном порядке восстановить данные из базы данных, причем так чтобы это было максимально близко к определенному моменту в прошлом? PITR – наш герой, спасающий нервы.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Сайзинг многоуровневого КХД (часть 2)

В этом материале автор продолжает процесс разбора задачи сайзинга многоуровневого КХД.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Администрирование SQL Server

В этом видео автор подробно разбирает процесс администрирования баз данных для начинающих.

0:00:13 sqlcmd
0:29:31 sys.databases
0:35:24 База master
0:36:15 База msdb
0:37:27 База tempdb
0:42:19 База model
2:07:41 Файловые группы
2:43:14 Резервное копирование
3:08:46 Full backUp
3:16:55 Restore Database
3:18:34 Restore HeaderOnly
3:31:06 Differential backup

Смотреть это видео на youtube: youtu.be/X508KcPidyk

Читать полностью…

Базы данных | Access, SQL, Big Data

«PostgreSQL для начинающих»: #3 — Сложные SELECT

В этой статье автор углубится в расширенные возможности команды SELECT: как можно "сложить" и "вычесть" выборки (UNION/INTERSECT/EXCEPT), или запомнить их и использовать повторно (даже в рекурсивных запросах), что дают оконные функции (WINDOW) и соединения (JOIN).

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Основы SQL для аналитики данных

В этом ролике автор собрал все SQL-команды, которые должен знать и уметь использовать в своей работе аналитик данных или продуктовый аналитик.

00:22 SELECT
01:01 WHERE (IN)
02:46 WHERE LIKE
03:57 Как исключить NULL значения?
06:33 Агрегирующие функции
06:53 GROUP BY
08:57 HAVING
10:06 SQL JOIN
12:48 ORDER BY
13:41 Оконные функции
16:49 Вложенные запросы

Смотреть это видео на youtube: youtu.be/Zf8M3xJaMEc

Читать полностью…

Базы данных | Access, SQL, Big Data

Почему Trino такой быстрый: архитектура оптимизатора SQL-запросов

Аналитические системы должны эффективно обрабатывать сложные пользовательские запросы к десяткам и сотням терабайт данных. Продвинутый оптимизатор запросов является важнейшим компонентом любого big data движка. В этой статье автор разбирает, как устроен оптимизатор запросов в массивно-параллельном аналитическом SQL-движке Trino.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

🥇 Новые думающие модели от OpenAI, опубликованные 12.09.2024 под названием OpenAI o1, уже доступны в РФ на сервисе Чат РуНета.

Модели серии OpenAI o1 — это новые большие языковые модели, обученные с помощью обучения с подкреплением для выполнения сложных рассуждений. Модели o1 думают, прежде чем дать ответ, и могут выстраивать длинную внутреннюю цепочку мыслей, прежде чем отвечать пользователю.

👉 Переходите по ссылке, добавляйте в закладки, делитесь ссылкой и получайте доступ к безграничным возможностям всего за 1 клик.

Разработчики создали Единый API для всех моделей (o1-mini, GPT-4 Omni, GPT-4o-mini, GPT-4 Turbo, DALLE-3, Llama-3.1, GigaChat-Pro и других).
Доступ к модели Google Gemini Pro бесплатный и по-настоящему безлимитный.

❗️ Полный функционал сервиса раскрывается при использовании с ПК, полезные видеоинструкции по ссылке: chatru.net/video-instructions

Следите за обновлениями в телеграм-канале: @ChatRu_net

Читать полностью…

Базы данных | Access, SQL, Big Data

Станьте разработчиком нейро-сотрудников на Python и зарабатывайте от 150.000р в месяц 🔥🔥🔥

Мы научим вас создавать топовых нейро-сотрудников на базе GPT-4 Omni, и вы сможете:
1️⃣ Устроиться разработчиком в крупную компанию и зарабатывать от 150 тысяч ₽ в месяц
2️⃣ Разрабатывать такие проекты на заказ и зарабатывать от 500 тысяч ₽ за проект
3️⃣ Создать нейро-сотрудника в вашей компании и вырасти на +30-100% в зарплате

Что будет на интенсиве?
🧬 Теория: как создаются нейро-сотрудники с GPT-4o на Python
🧬 Практика: мы создадим нейро-консультанта, нейро-HR, нейро-маркетолога и др.

Ведущий интенсива - Senior AI разработчик нейросетей и основатель Университета искусственного интеллекта
🔥 Регистрируйтесь на бесплатный интенсив! Встречаемся в ближайший четверг!

Читать полностью…

Базы данных | Access, SQL, Big Data

Как быстро обработать большой объем данных и ничего не потерять?

Расскажем на бесплатном вебинаре «Больше чем Pandas: библиотеки подготовки данных для ML-моделей».

Разберём:
➡️ на что стоит обратить внимание для эффективной работы с данными;
➡️ форматы работы с данными и их особенности;
➡️ фреймворки: pandas, swifter, polars, dask и cudf.

⚡️Спикер: Владимир Бугаевский, Team Lead Поиска в Купере

Бонус: демонстрационные jupyter-ноутбуки

⭐️ Когда вебинар: 24 сентября в 19:00
⭐️ Занять место на вебинаре — через бота

Реклама ООО «Слёрм» ИНН 3652901451

Читать полностью…

Базы данных | Access, SQL, Big Data

Умеете внедрять ERP и автоматизированные системы? Понимаете методологию управления корпоративной архитектурой? Знакомы с понятиями PDM/PLM, MES, QM, LIMS, ТОиР и APS? Мечтаете разрабатывать крутой продукт в крупной компании?

Гринатом рад пригласить в свою команду Архитектора продукта ERP, готового отвечать за обработку запросов на автоматизацию бизнес-процессов и разработку архитектурных концепций в области промышленной автоматизации. Предстоит формировать требования к IT-ландшафту, обеспечивать согласованность взаимозависимых проектов и контролировать качество реализации IT-решений.

Больше о вакансии

Читать полностью…

Базы данных | Access, SQL, Big Data

✊Расширьте свой стек и апнитесь в зарплате!

👉Начните на бесплатном вебинаре онлайн-курса «Greenplum для разработчиков и аналитиков» - «Введение в Greenplum и её архитектуру»: регистрация

На вебинаре вы узнаете о структуре системы, параллелизме и масштабируемости. В практической части будут продемонстрированы примеры работы с запросами и оптимизации производительности.

Цели вебинара:
1. Основы: Познакомить участников с архитектурой Greenplum и её концепциями.
2. Распределенная обработка: Объяснить преимущества MPP (Massively Parallel Processing).
3. Практика: Показать, как разрабатывать и оптимизировать запросы.
4. Сравнение: Рассмотреть отличия от других СУБД, таких как PostgreSQL.

🤝Понравится урок — продолжите обучение на курсе по спеццене и даже в рассрочку!

erid: LjN8Jx2gZ

Читать полностью…
Subscribe to a channel