31854
Всё о базах данных простым языком. Сотрудничество: @max_excel РКН: vk.cc/cHhG5h
На грани ИИ: пример поиска и обработки векторов в PostgreSQL + pgvector
В этой статье автор на практическом примере покажет как хранить и кластеризовать векторы алгоритмом DBSCAN и искать по ним в базе данных. В примере задача с векторами на грани типичного хранения и обработки результатов работы нейросетевых моделей в базе данных.
Базы данных
Как правильно использовать большие данные: строим хранилища на MPP-СУБД
В этой статье автор поделится опытом, как снизить капиталовложения в оборудование с большим объемом памяти, добиться производительности и высокой отказоустойчивости при создании DataLake и корпоративного хранилища данных.
Базы данных
Инфраструктура для data engineer Kafka
В этом материале автор покажет, как можно использовать Kafka в дата-инженерии и как её "пощупать".
Базы данных
Как мы перенесли архив данных из Teradata в GreenPlum с помощью Hadoop и PXF
В этой статье автор расскажет о полученном опыте и результатах переноса архива данных объёмом более 400 Тб из Teradata в GreenPlum, а также о трудностях и решениях, связанных с этим процессом.
Базы данных
SQL HowTo: TOP-N на субинтервалах
Автор периодически сталкивался с однотипными задачами вида "показать TOP-N позиций на каждом из вложенных интервалов некоторого периода", поэтому в этой статье он решил описать создание эффективного, но компактного запроса для PostgreSQL, который решает такую задачу.
Базы данных
Группировка и фильтрация в SQL
В этом видеоуроке автор подробно разбирает процесс фильтрации результатов группировки в SQL с помощью ключевого слова HAVING.
00:00 Фильтрация результатов группировки
00:59 Почему не работает фильтрация в WHERE
01:41 Порядок выполнения запроса SQL
02:29 Ключевое слово HAVING
04:00 Итоги
Смотреть это видео на youtube: youtu.be/ytfXUvCsNuo
Организуем High Availability PostgreSQL
Чтобы система долго работала без сбоев и перерывов, нужно поработать над отказоустойчивостью. В этой статье автор даст несколько способов её построить и покажет готовое решение.
Базы данных
Базы данных: SQL уроки для начинающих
В этом видеоуроке автор кратко проходится по теории реляционных баз данных и рассматривает язык запросов SQL на примере СУБД MySQL. Вы разберете основные конструкции языка и научитесь создавать и изменять таблицы и получать с них данные.
00:00 Введение
02:53 О реляционных БД
03:15 1 и 2 нормальные формы
04:50 Связи между таблицами
06:12 Начало работы с MySQL
06:47 SHOW, CREATE, DROP DATABASE
07:40 SHOW, CREATE TABLES
10:10 INSERT INTO
10:45 SELECT
11:40 DISTINCT
12:10 WHERE
13:07 AS
13:30 ORDER BY
14:40 UPDATE, SET
15:30 LIKE
18:10 Multiple INSERT
19:10 Объединение таблиц (JOINS)
22:04 Агрегатные функции
23:10 GROUP BY
Смотреть это видео на youtube: youtu.be/IK6e1SFCdow
Организация хранения исторических данных в Oracle
В этой статье автор разберет разные способы организации хранения исторических данных в Oracle. Под историческими данными будем понимать историю (лог) изменения данных в таблице.
Базы данных
erid: 2VtzqxDxjPS
Карты метрик для actionable дашбордов
Дмитрий Некрасов из JetMetrics и Алексей Колоколов проведут бесплатный воркшоп по работе с картами метрик.
Это фреймворк для систематизации показателей, с которым вы сможете ответить на вечный вопрос:
А что мне делать с вашей аналитикой 🥸?
Программа
- Демо: мы собрали дашборд, но что с ним делать?
- Кейс: мы собрали дашборд, но он не actionable...
- Симулятор: поиск причин падения продаж интернет-магазина
- Классификация: метрики затрат, результата, диагностические и действия
- Ошибки: как избежать метрик тщеславия
- Практика: 9 шагов построения карты метрик в Miro
- Выводы: как переосмыслить показатели, находить истинные метрики действия
- Домашка: построение карты метрик для техподдержки
15 августа в 18:00 мск. Регистрируйтесь и забирайте список 268 метрик маркетинга и продаж
Реклама. ИП Колоколов Алексей Сергеевич. ИНН 662704837675.
7 базовых функций SQL, первый код с нуля за полтора часа и практика на настоящих данных? Сделаем бесплатно!
Если вы всегда хотели попробовать SQL, но не знали, с чего начать, начните с бесплатного мастер-класса с Серафимом Фролкиным, инженером данных VK и экспертом программ школы аналитики Changellenge >> Education.
Без лишней теории про историю создания и количество проданных в мире учебников Серафим на примерах покажет 7 базовых функций SQL, а затем вы сразу же решите практический кейс, чтобы повысить свои шансы при трудоустройстве.
Присоединяйтесь онлайн из любой точки на глобусе 15 августа в 19:00 Мск. И да, у нас приятные карьерные бонусы всем зарегистрировавшимся и участникам!
Участие бесплатно, но подарки получат только зарегистрированные участники.
Регистрируйтесь и получайте подарки по ссылке >>
Реклама. ООО «Высшая школа аналитики и стратегии». ИНН 7716917009. erid: 2VtzqvwdEyJ
Как сохранить производительность высоконагруженных решений при работе с отечественными СУБД?
20 августа в 11:00 приходите на бесплатный вебинар СберТеха для бизнеса и узнаете, с какими нагрузками может работать отечественная СУБД Platform V Pangolin. Это целевая СУБД в Сбере и в ряде крупных компаний, которая создана для высоконагруженных систем.
В конце июля вышел новый релиз Platform V Pangolin 6.3.0 с оптимизациями производительности СУБД при работе с «1С:Предприятие», доработками в области безопасности под актуальные требования ФСТЭК и другими полезными изменениями.
На встрече выясним, как новые возможности продукта могут стать полезны вашему бизнесу и ответим на все вопросы.
Регистрация уже открыта
Проблемы при переходе с MS SQL на PostgreSQL: типы данных
В этой статье автор продолжит серию и поделится проблемами некоторых различий типов данных в MS SQL и PostgreSQL.
Базы данных
Шифрование бэкапов в ClickHouse: виды, инструменты и настройка
Один из клиентов Nixys обнаружил, что резервные копии ClickHouse, которые он хранит в S3 провайдера CROC, не шифруются. Перед командой поставили задачу: настроить шифрование бэкапов. Из статьи вы узнаете о различных методах шифрования данных на стороне сервера в S3 — SSE-C, SSE-KMS и SSE-S3. А ещё познакомитесь с таким инструментом как clickhouse-backup.
Базы данных
Простыми словами о Big Data
В этом видео автор объясняет, что такое Big Data на понятном языке. Вы рассмотрите методы и инструменты работы с большими данными, разберете разницу между Big Data и Data Science, а также между data scientist, data analyst и data engineer. Узнаете, почему биг дата - это новая нефть, и почему нужно бояться умных чайников.
Смотреть это видео на youtube: youtu.be/rOJ42y511lI
Оптимизация запроса и запрос оптимизации
В этой статье: как не грабить память, не пытать диск, не мучать кластер. Или делать все это всего одним запросом на Impala к Hadoop.
Базы данных
Как стать SQL-разработчиком или Data-инженером
В этом вебинаре вы рассмотрите, чем занимается специалист, работающий с базами данных, в том числе с их анализом. Кому эта область может быть интересна и какая востребованность специалистов на рынке.
План вебинара:
1. Основные направления развития в IT
2. Кто такие SQL-разработчик и дата-инженер
3. Что такое база данных и язык SQL?
4. Применение языка SQL и баз данных
5. Сферы применения баз данных
6. Какие СУБД бывают?
7. Чем занимается SQL-разработчик?
8. Для кого может быть интересно направление дата-инженера
9. Востребованность на рынке
10. Должности и направления для развития
Смотреть это видео на youtube: youtu.be/kcvslLoWDEQ
PGConf.СПб 2024 – главная встреча постгресистов в Санкт-Петербурге!
1 октября в Питере пройдёт техническая конференция по PostgreSQL от российского СУБД-разработчика Postgres Professional.
Участников ждут более 20 докладов по темам:
✔️Эксплуатация СУБД. Опыт DBA
✔️Миграция на Postgres
✔️Мониторинг и настройка СУБД
✔️Отказоустойчивые и масштабируемые системы
✔️Новости от разработчиков
Среди спикеров прошлого года – эксперты Сбера, ВТБ, Ozon, SoftSwiss, Netcracker, Нетрики и др.
💥На конференции пройдёт единственная в России сертификация по PostgreSQL!
ГДЕ? Онлайн и офлайн: Гостиница "Санкт-Петербург", г. Санкт-Петербург, Пироговская набережная, д. 5/2
КОГДА? 1 октября 2024 г.
Участие в конференции для студентов и преподавателей – бесплатное.
РЕГИСТРАЦИЯ
Реклама. ООО «ППГ». ИНН 7729445882. erid: 2VtzqwySdRF
Как увеличить производительность DBaaS в 10 раз?
Selectel запустил базы данных на выделенном облачном сервере — уникальный продукт, аналогов которому нет в России. Вы можете получите готовый к работе кластер облачных баз данных с изолированной на физическом уровне инфраструктурой. Новое решение позволит хранить и обрабатывать базы данных размером до 7 ТБ с производительностью до 1,5 млн IOPS.
Преимущества DBaaS на выделенном облачном сервере:
- Максимальная производительность. Увеличили производительность дисковой подсистемы DBaaS — до 1,5 млн IOPS, пропускную способность — до 7 000 МБ/с.
- Экономическая выгода. В зависимости от конфигурации стоимость нового решения до 47% ниже стандартного DBaaS-сервиса.
- Быстрый запуск. Не нужно самостоятельно подбирать железо, оптимизировать настройки и разворачивать CУБД.
- Безопасность. Изоляция базы данных на уровне физического сервера. Услуга соответствует закону 152-ФЗ (УЗ-1), приказу ФСТЭК № 21, PCI DSS, ISO 27001, 27017, 27018.
Разверните базу данных на выделенном облачном сервере: https://slc.tl/exld6
Реклама АО «Селектел». ИНН: 7810962785 Erid: 2VtzqxEDni9
Хочешь стать специалистом, который нужен любому бизнесу?
Тогда приходи на стажировку в Aston и учись работать с данными.
Мы открываем набор сразу по двум направлениям — «Дата-инженер» и «Дата-аналитик». Чтобы подать заявку, с 1 по 31 августа переходи по ссылке и заполняй анкету на нашем сайте. Каждый, кто выйдет на стажировку по одному из этих направлений до 3 октября, участвует в розыгрыше новенького Iphone 15.
📍 Локация: Санкт-Петербург, Самара, Москва, Тольятти.
Чего мы ждем от кандидатов?
🔎 Data Engineer
- высокий уровень знаний SQL;
- хорошее понимание баз данных SQL и NoSQL;
- базовое знание языка Python.
🔎 Data Analyst
- знание основ статистики и математики;
- глубокое знание SQL и умение эффективно работать с базами данных;
- опыт использования инструментов бизнес-аналитики (Power BI, Tableau, Google Data Studio и др.);
- владение языками программирования (Python, R) для анализа и визуализации данных;
- навыки работы с большими объемами данных и их обработки (Big Data, ETL);
- умение создавать информативные и наглядные визуальные отчеты;
- критическое мышление и умение делать обоснованные выводы.
Гарантируем трудоустройство при успешном прохождении стажировки.
👉 Регистрируйся здесь
Реклама. ООО «АСТОН». ИНН 9715350151. erid: 2VtzqwZRfJ5
🔥 Попробуйте себя в роли аналитика: анализируем клиентскую базу с нуля!
Хотите попробовать себя в роли аналитика и узнать, интересна ли вам эта сфера для развития? Тогда приходите на бесплатный практический интенсив, где в прямом эфире мы вместе будем решать реальную задачу бизнеса, с которой сталкиваются аналитики данных.
Что будет на интенсиве: вы с помощью Excel проанализируете клиентскую базу крупного онлайн-магазина и сформулируете выводы для бизнеса на основании проведенной аналитики. А это как раз то, чем занимаются аналитики каждый день.
📅 Дата: 20 августа.
🕗 Время: 19:00 по Мск.
Интенсив будет полезен как новичкам, так и тем кто уже имеет базовые знания в этой сфере и хочет почерпнуть для себя лайфхаки по работе с данными.
🔗 Регистрируйтесь на интенсив здесь.
Не упустите шанс, попробовать себя в роли аналитика и узнать лайфхаки по работе с данными!
Рекомендуем регистрироваться на вебинар через ПК, чтобы избежать возможных ошибок при открытии бота.
Реклама. ООО «АЙТИ РЕЗЮМЕ». ИНН 4025460134.
Erid:LjN8Jy2yQ
🫣 Вы видели этот хардовый тест для Системных аналитиков (не для новичков)? Его проходят всего 30%
👉 Пройдите тест из 20 вопросов онлайн-курса «Системный аналитик. Advanced» и узнайте, осилите ли вы обучение в OTUS.
🟢 Пройти тест: https://otus.pw/NU2d/
💣Все, кто успешно пройдет тест, получит доступ к записям уроков курса для знакомства с форматом обучения и спец.цену на курс.
💻Курс рассчитан на ИТ-аналитиков и системных аналитиков с опытом работы от 1-2 лет, желающих улучшить свои навыки в области системного анализа, выявления и описания требований, проектирования информационных систем и приложений. Так же курс может быть интересен аналитикам данных, дата-сайентистам и бизнес-аналитикам с опытом работы от 3-х лет.
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8KU9rj
Почему тупит Kafka?
Знаний об отправке/приёме сообщений не хватит, чтобы быстро найти причину просадки. Если хотите отказоустойчивую систему, которую легко дебажить, тогда придётся разобраться в архитектуре Кафки.
🤥На обновлённом курсе от Слёрма «Apache Kafka для разработчиков» вы получите больше, чем просто настройка Kafka. Вы изучите архитектуру и поймёте логику работы с Kafka на примере бизнес-кейсов компаний: MovieFlix, GetTaxi, MyBank.
За восемь недель курса вы:
😉Поймете основы работы с Kafka и принципы построения архитектуры и бизнес-процессов
😉 Научитесь решать проблемы с системами, требующими отправки/получения большого количества сообщений из разнородных систем
😉Подготовитесь к вопросам базовых собеседований на уровень пользователя Kafka
🥹Углублённый курс с практикой на Java и платформой Docker+Postgres. Старт — 16 сентября.
Спикеры курса:
🫡Всеволод Севостьянов. Staff Engineer в Lokalise
🫡Василий Калугин. Владелец корпоративного сервиса Apache Kafka в АО «ЭР-Телеком Холдинг»
😢Старт — 16 сентября
Занять место на потоке — по ссылке
Реклама ООО «Слёрм» ИНН 3652901451
Как мы продукт на PostgreSQL переводили
В этой статье автор поделится своими наработками как научить приложение работать с СУБД PostgreSQL и провести первую миграцию боевой системы.
Базы данных
Проектирование и нормализация базы данных
В этом видеоуроке по SQL автор разбирает:
00:00 Введение в процесс проектирования базы данных
18:13 Рекомендации, лучшие и худшие практики по проектированию БД
26:59 Нормальные формы и нормализация БД
Смотреть это видео на youtube: youtu.be/AdWi1L5Q13o
Деревья ltree в PostgreSQL – простым языком
В этой статье автор подробно разберет иерархические деревья ltree в PostgreSQL и расскажет о базовых приёмах извлечения данных из таких деревьев.
Базы данных
Как был создан потоковый SQL-движок
Потоковый SQL-движок обеспечивает, чтобы результаты SQL-запросов всегда оставались актуальны, и их не приходилось пересчитывать. Даже в тех случаях, когда меняются данные, на которых основан запрос.
Базы данных
Переименование и удаление таблиц в базе данных
В этом видеоуроке автор подробно разбирает процесс переименования и удаления таблиц в базе данных (ALTER TABLE, DROP TABLE).
00:00 Вступление
00:42 Переименование таблиц
01:54 Удаление таблиц
Смотреть это видео на youtube: youtu.be/VKhLWx7ue6A
Проблемы при переходе с MS SQL на PostgreSQL: активное использование временных таблиц
В этой статье автор подробно расскажет о наиболее распространенной проблеме, возникающей при переходе с MS SQL на PostgreSQL.
Базы данных
Как устроена виртуальная машина SQLite
Среди встраиваемых баз данных SQLite уникальна не только благодаря своему транзакционному уровню хранения данных, построенному по принципу Б-дерева, но и благодаря собственному надёжному движку выполнения SQL. В этой статье автор подробно разбирает, как SQLite синтаксически анализирует, оптимизирует и выполняет ваши SQL-запросы.
Базы данных