Data Science. SQL hub

04 December 2024 09:56

🖥 t.me/haskell_tg - Haskell входит в число наиболее востребованных функциональных языков программирования.

В нашем новом канале, вы найдете множество уроков, книг и гайдов для погружения в этот мощный язык с нуля.

Отличная возможность не только выучить новый язык, но и возможность прокачать свои навыки программирования.

t.me/haskell_tg - стоит подписаться!

Data Science. SQL hub

03 December 2024 15:29

Как готовить данные для анализа с помощью ETL?

Чтобы освоить основы инжиниринга данных регистрируйтесь на бесплатный вебинар от Simulative 💬

Спикер Даниил Джепаров, lead analytics engineer в Сравни.ру, расскажет о том, как извлекать данные из разных источников, а затем преобразовывать и загружать их в хранилище.

Вы узнаете:

🟡 Что такое ETL и как он работает
🟡 Какие есть различия между пакетной и потоковой обработкой
🟡 Какие виды документации используют в дата-проектах
🟡 Как оценивать и поддерживать высокое качество данных
🟡 Как мониторить ETL-процессы

В конце вебинара вас ждет бонус от спикера — дорожная карта для аналитиков и инженеров с планом развития на middle-позицию 🎁

Встречаемся 4 декабря в 19:00 по мск. Успейте присоединиться по ссылке.

Data Science. SQL hub

02 December 2024 18:41

⚡️ Интересный факт: DuckDB быстрее подсчитывает строки в CSV-файле, чем команда подсчета слов UNIX, а также анализирует файл, чтобы определить его диалект (разделитель, символ кавычки и т. д.).

Вот время для CSV-файла размером 3 ГБ: 2,966 секунды для `wc -l` и 1,261 секунды для DuckDB.

Результаты теста Hyperfine benchmark tool.

@sqlhub

Data Science. SQL hub

30 November 2024 13:04

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
АНАЛИЗ Данных: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/golang_interview
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: /channel/gamedev

💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy

Data Science. SQL hub

29 November 2024 08:30

📊 D2 — современный язык для описания диаграмм с помощью текста!

💡 Этот инструмент преобразует текстовые сценарии в визуальные диаграммы, используя декларативный подход: вы описываете, что хотите видеть, а D2 автоматически создает визуализацию.

🔍 Особенности D2:

🌟 Простая синтаксическая структура и встроенные темы для быстрой визуализации.

🌟 Поддержка анимаций, LaTeX, нескольких языков, Markdown, UML и последовательностных диаграмм.

🌟 Экспорт в форматы PNG, SVG и PDF.

🌟 Возможность использования в локальном CLI или в онлайн-песочнице для быстрого создания и редактирования диаграмм.

🌟 Поддержка различных движков для компоновки, работы с контейнерами и импорта изображений.

🔐 Лицензия: MPL-2.0

🖥 Github

@sqlhub

Data Science. SQL hub

28 November 2024 17:30

🔐 keyring — библиотека для работы с системными хранилищами паролей на Python!

🌟 Она позволяет разработчикам безопасно хранить и получать учетные данные, используя стандартные механизмы защиты, встроенные в операционные системы, такие как Windows Credential Locker, macOS Keychain, и Linux Secret Service.

💡 Основной функционал включает в себя автоматический выбор подходящего хранилища для текущей системы, поддержку плагинов для расширения возможностей и интеграцию с популярными менеджерами паролей. Это упрощает создание безопасных приложений, которые требуют работы с конфиденциальными данными.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Data Science. SQL hub

28 November 2024 16:00

🖥 Использование DuckDB для анализа Ad-Hoc: альтернатива Pandas для любителей SQL!

🌟 Анализ ad-hoc является неотъемлемой частью любого человека в области данных. Нам приходится регулярно объединять данные из различных источников, таких как файлы CSV или базы данных, для некоторого ad-hoc тестирования или быстрого составления отчетов.

🌟 Наиболее распространенным инструментом в нашем распоряжении является Pandas Python, где мы можем считывать данные из различных источников в dataframes, а затем выполнять анализ. Однако для тех, кому удобнее в SQL, чем в Python, DuckDB является отличной альтернативой! Он позволяет запрашивать данные с помощью SQL, без необходимости загружать их в базу данных или преобразовывать в dataframe Pandas.

🔗 Подробнее: *клик*

@sqlhub

Data Science. SQL hub

28 November 2024 12:00

🖥 libsql — это форк SQLite с добавлением новых возможностей, таких как обработка запросов по HTTP и gRPC, а также поддержка прозрачной репликации!

💡 LibSQL позволяет создавать распределенные базы данных, где запись обрабатывается основным сервером, а чтение может выполняться с реплик. Проект поддерживает безопасную передачу данных с помощью TLS и предоставляет Docker-образ для простого развертывания.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Data Science. SQL hub

26 November 2024 15:01

🖥 Полезная статья с Postgre Wiki, которая рассказывает о распространенных ошибках при работе и более правильных методах для каждого случая!

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

23 November 2024 11:15

🖥 restic — это инструмент для создания резервных копий данных с фокусом на надежность, шифрование и скорость!

🌟 Разработанный как кросс-платформенное решение, restic поддерживает системы Windows, macOS, Linux и другие, предоставляя пользователям возможность хранить резервные копии в локальных или облачных хранилищах, таких как Amazon S3, Google Cloud Storage и другие.

🔍 Особенности:

🌟 Шифрование по умолчанию — все данные шифруются с использованием AES-256, что обеспечивает их безопасность.

🌟 Дедупликация данных — инструмент автоматически исключает дублирующиеся данные, что снижает объем хранимых резервных копий.

🌟 Поддержка различных источников и хранилищ — можно создавать резервные копии как локально, так и в облаке, на FTP или SFTP-серверах.

🌟 Удобство и скорость — restic оптимизирован для быстрого создания и восстановления резервных копий с минимальными ресурсами.

🔐 Лицензия: BSD-2-Clause

🖥 Github

@sqlhub

Data Science. SQL hub

22 November 2024 14:02

⚡️Всероссийский Хакатон ФИЦ 2024

🚀Попробуйте себя в одном из предложенных кейсов:
1. Семантический делитель текстов: Разработать алгоритм, который сможет обеспечить точное разделение текста на блоки.

2. Контекстный перевод названий научных работ: Разработать переводчик, который будет переводить названия научных работ.

3. Прогнозирование бизнес драйверов: Разработать решение для задачи прогнозирования временных рядов бизнес-драйверов.

4. Система контроля и управления доступом: Разработка системы контроля и управления доступом.

И др. 16 кейсов смотрите на сайте: https://фиц2024.рф/hackathon 

Хакатон пройдет в 2 этапа: Отборочный этап в Онлайн, Финал в Офлайн.

🏆Призовой фонд: 6 000 000 руб.
🔥Дедлайн регистрации: 26 ноября, 23:59
📅Даты отборочного этапа: 29 ноября - 2 декабря
🦾Даты финала: 3 - 4 декабря

Зарегистрируйтесь для участия в хакатоне: https://фиц2024.рф/hackathon

#реклама
О рекламодателе

Data Science. SQL hub

22 November 2024 09:00

Сегодня не можешь найти стажировку. Завтра — открываешь с ноги дверь в топовые компании и претендуешь на зп выше рынка. Как так? Очень просто со знанием SQL.

Как работать с данными на профессиональном уровне, рассказывают на курсе Нетологии «SQL и получение данных». За 2 месяца вы узнаете, как создавать собственные базы данных, станете асом в создании сложных запросов и сможете с первого раза находить нужную информацию в огромных таблицах.

Всё обучение построено с упором на практику: вы выполните 6 работ, а в конце самостоятельно развернёте и проанализируете базу данных. Как минимум — будет повод похвастаться друзьям, как максимум — добавить новый скилл в резюме и получить крутую работу.

Регистрируйтесь

Реклама. ООО "Нетология". Erid 2VSb5xk6S8G

Data Science. SQL hub

20 November 2024 13:02

🔍 Курс: Наука о данных, Машинное обучение, Аналитика данных на Python и R!

⭐️ Этот курс ориентирован на начинающих в Data Science и содержит множество практических упражнений и готовых примеров кода, которые можно использовать в своих проектах!

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

18 November 2024 11:38

🖥 Как оптимизировать поисковые запросы в MongoDB?

💡 Поиск в базе данных для извлечения релевантных данных может оказаться довольно утомительным, если у вас нет нужных инструментов или вы не знаете, как ими пользоваться. Цель статьи — максимально понятно объяснить оптимизацию поиска в MongoDB новичкам!

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

17 November 2024 15:01

🖥 Atlas — это инструмент управления схемой базы данных как кодом. Он поддерживает декларативное описание схем, миграции и автоматическое управление ими для различных СУБД, включая MySQL и PostgreSQL.

🔐 Лицензия: Apache-2.0

🖥 Github
🔗 Сайт проекта: *клик*

@sqlhub

Data Science. SQL hub

03 December 2024 22:29

🥷 w3af — фреймворк для тестирования веб-приложений на уязвимости!

🌟 Он объединяет функции веб-сканера и инструмента для эксплуатации уязвимостей, предоставляя разработчикам и специалистам по безопасности возможность находить и анализировать потенциальные уязвимости в веб-приложениях и сервисах.

💡 Основные возможности — сканирование для обнаружения SQL-инъекций, XSS, CSRF и других распространенных уязвимостей, а также интеграция с Python для написания собственных плагинов и расширений.

🖥 Github

@sqlhub

Data Science. SQL hub

03 December 2024 13:00

🖥 GenAI Showcase — демонстрация использования MongoDB в контексте генеративного искусственного интеллекта!

🌟 Этот репозиторий включает в себя примеры для интеграции MongoDB с такими технологиями, как Retrieval-Augmented Generation (RAG) и различными моделями ИИ.

🔍 Основные функции репозитория:

🌟 Использование MongoDB как векторной базы данных и хранилища памяти для AI-решений.

🌟 Интеграция с популярными фреймворками, такими как LlamaIndex, Haystack и LangChain, а также моделями от OpenAI и Anthropic.

🌟 Примеры решений для конкретных отраслей, включая здравоохранение, финансы и электронную коммерцию.

🌟 Готовые сценарии для создания систем RAG и агентов на основе ИИ, таких как AI Research Assistant и AI Investment Researcher.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Data Science. SQL hub

30 November 2024 15:00

🖥 SeaweedFS — это высокопроизводительная распределённая файловая система с поддержкой хранения огромного количества файлов и их быстрой обработки!

💡 Её основное назначение — управление смешанными нагрузками, включая blob-хранилища, объекты, файловые системы и аналитику данных.

🔍 Особенности:

🌟 Масштабируемость: система легко расширяется путём добавления серверов, обеспечивая хранение больших объёмов данных.

🌟 Поддержка множества форматов: Blob Storage, S3-совместимое объектное хранилище, файловая система с FUSE-монтажом и интеграцией с Big Data-фреймворками (Hadoop, Spark).

🌟 Производительность: постоянное время поиска данных (O(1)) и эффективное управление метаданными!

🌟 Надёжность: репликация данных, защита от сбоев, контроль целостности и поддержка многоуровневого хранения.

🔐 Лицензия: Apache-2.0

🖥 Github

@sqlhub

Data Science. SQL hub

29 November 2024 13:00

🖥 Эта статья посвящена обновлению материализованных представлений (Materialized Views, MViews) в Oracle SQL по требованию!

🌟 Автор обсуждает сценарии, в которых материализованные представления используются для повышения производительности, например, при работе с большими объемами данных.

💡 Ключевая идея статьи — необходимость и способы ручного обновления MViews для синхронизации данных между исходными таблицами и представлением. Автор рассматривает подходы к настройке обновлений, использованию PL/SQL и управлению данными в различных бизнес-кейсах, а также демонстрирует, как работать с процедурой DBMS_MVIEW.REFRESH.

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

28 November 2024 19:01

🖥 Redash — это инструмент для анализа данных с открытым исходным кодом, разработанный для упрощения подключения, запроса и визуализации данных из различных источников!

🌟 Он позволяет пользователям создавать SQL- и NoSQL-запросы, визуализировать данные в виде графиков и диаграмм, а также делиться дашбордами с командами. Продукт ориентирован как на технических специалистов, так и на бизнес-пользователей, предоставляя интуитивно понятный интерфейс и REST API для автоматизации процессов.

🌟 Redash поддерживает множество источников данных, включая SQL-базы, NoSQL, Big Data и API, что делает его универсальным решением для аналитики. Также инструмент предоставляет функции настройки алертов, автоматического обновления дашбордов и управления доступом пользователей.

🔐 Лицензия: BSD-2-Clause

🖥 Github

@sqlhub

Data Science. SQL hub

28 November 2024 16:30

🌎 PostgreSQL и ClickHouse — два мира, два подхода к индексации!

💡 Вы когда-нибудь задумывались, как индексация может влиять на производительность ваших баз данных? На открытом вебинаре мы раскроем тайны реляционных и колоночных БД и покажем, как правильно использовать индексацию для оптимизации работы с большими объемами данных.

👨‍🏫 Спикер: Алексей Железной — Senior Data Engineer с более чем 5-летним опытом разработки и проектирования пайплайнов для обработки, хранения и визуализации данных.

📅 Дата: 2 декабря в 20:00 МСК

🎁 Бонус: Участники вебинара получат скидку на обучение на курсе «ClickHouse для инженеров и архитекторов БД»

👉 Регистрируйтесь на открытый урок по ссылке: ссылка

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

Data Science. SQL hub

28 November 2024 15:30

🖥 Redash — это инструмент для анализа данных с открытым исходным кодом, разработанный для упрощения подключения, запроса и визуализации данных из различных источников!

🌟 Он позволяет пользователям создавать SQL- и NoSQL-запросы, визуализировать данные в виде графиков и диаграмм, а также делиться дашбордами с командами. Продукт ориентирован как на технических специалистов, так и на бизнес-пользователей, предоставляя интуитивно понятный интерфейс и REST API для автоматизации процессов.

🌟 Redash поддерживает множество источников данных, включая SQL-базы, NoSQL, Big Data и API, что делает его универсальным решением для аналитики. Также инструмент предоставляет функции настройки алертов, автоматического обновления дашбордов и управления доступом пользователей.

🔐 Лицензия: BSD-2-Clause

🖥 Github

@sqlhub

Data Science. SQL hub

26 November 2024 21:01

🖥 SurrealDB — это современная многомодельная база данных, предназначенная для универсального управления данными!

💡 Она объединяет возможности SQL, NoSQL и графовых баз данных в едином решении, позволяя использовать реляционные, документные, графовые, временные и ключ-значение модели данных без необходимости переключаться между разными системами.

🌟 SurrealDB также поддерживает запросы через SQL, GraphQL, REST и SDK для различных языков программирования, таких как Rust, JavaScript, Python, PHP, Java и другие. Кроме того, она включает функции реального времени, масштабируемости, встроенной поддержки AI и машинного обучения, а также обладает мощной системой управления схемами и разрешениями.

🔐 Лицензия: Apache-2.0

🖥 Github

@sqlhub

Data Science. SQL hub

26 November 2024 11:01

🖥 SQLFluff — это инструмент для статического анализа SQL-кода (SQL-linter), который помогает проверять и форматировать SQL-запросы в соответствии с определёнными стилевыми правилами!

🌟 Этот проект поддерживает гибкость за счёт настройки под разные диалекты SQL, такие как ANSI SQL, PostgreSQL, MySQL, BigQuery, Snowflake и многие другие.

🌟 Он особенно полезен в проектах ETL и ELT, а также совместим с такими инструментами, как Jinja и dbt (Data Build Tool), поддерживая шаблонизированные SQL-запросы. SQLFluff может автоматически исправлять большинство ошибок форматирования, экономя время разработчиков и позволяя сосредоточиться на задачах высокой важности. Для удобства пользователей доступно расширение для Visual Studio Code и подробная документация.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Data Science. SQL hub

22 November 2024 17:01

🖥 Освоение служб интеграции SQL Server: полное руководство!

💡 В современном мире, где все движет технологиями, эффективное управление данными и их перемещение играют ключевую роль в обеспечении бесперебойной работы предприятий. Одним из мощных инструментов, который существенно помогает в этом процессе, являются SQL Server Integration Services (SSIS). В этом видео вы углубитесь в тонкости SSIS, проливая свет на ее функциональность, предварительные условия, настройку, выполнение и расширенные функции, в конечном итоге предлагая подробное руководство по интеграции данных.

🕞 Продолжительность: 1:59:16

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

22 November 2024 11:01

🔥 full-stack-fastapi-template — шаблон для создания полноценных веб-приложений с использованием FastAPI и современных технологий!

🌟 Он включает в себя готовую архитектуру для фронтенда и бэкенда с поддержкой баз данных, аутентификации, авторизации и тестирования. Этот шаблон упрощает создание приложений с хорошей структурой и масштабируемостью, предлагая пример интеграции различных стэков и инструментов для быстрой разработки.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Data Science. SQL hub

20 November 2024 16:01

🔥 Бесплатный Data Science митап от Альфа-Банка в гараже

22 ноября специалисты Питера соберутся, чтобы поговорить о новых инструментах DS и кейсах их применения. Будут лекции об оптимизации доставки и проблемах алгоритмов, дискуссия об эффективности ML-решений, а ещё два трека программы на выбор: внутренние процессы и бизнес. Всего — 7 лекций и одна дискуссия с экспертами рынка, а после них — выступление рок-группы и вечеринка.

Когда: 22 ноября (пятница) в 18:00
Где: Санкт-Петербург, ул. Газовая 10Ж, 2 этаж башни-газгольдера

🔗 Зарегистрироваться по ссылке: *клик*

@sqlhub

Data Science. SQL hub

20 November 2024 10:01

Вебинар «Анализируем транзакции в реальном времени» 

Приходите на бесплатный вебинар и узнайте, как обрабатывать высокие транзакционные и аналитические нагрузки в гибридной in-memory СУБД. 

Дата и время: 28 ноября, 16:00.

Программа

🔹 Ускорение аналитических расчетов и аналитика на самых свежих данных с помощью HTAP-систем.

🔹 Основные архитектурные характеристики гибридных транзакционно-аналитических СУБД (HTAP). 

🔹 Повышение отказоустойчивости транзакционно-аналитических решений, настройка под разные профили нагрузки и интеграция с другими компонентами ИТ-ландшафта. 

Проведем демонстрацию возможностей продукта Tarantool Column Store в работе с объектами и данными.

Расскажем, как формировать отчетность в реальном времени и рассчитывать агрегаты в антифрод-системах с помощью продукта Tarantool Column Store.  

Вебинар будет полезен архитекторам, дата-инженерам, DevOps-инженерам и разработчикам аналитических систем. 
  
Регистрируйтесь, и вам придет ссылка на трансляцию в день мероприятия.

Data Science. SQL hub

18 November 2024 09:00

Возможно, вы — неофоб. Но это не страшно, вокруг их полно. Одни хотят переехать в другой город, но страшно, другие по той же причине не могут сменить работу. Знакомо?

Вы уже догадались: неофобия — это боязнь нового. И она здорово портит жизнь. Особенно когда перспектив на старом месте не осталось, хочется освоить современную профессию и зарабатывать больше. Но эти страхи! «Не получится», «будет хуже»…

Спокойно! Один из основных советов психологов в таком случае: быть к себе добрее и не торопиться. Никто ведь не стоит над вами с палкой. Вы сами можете выбирать, как и когда решаться на перемены. Начните с малого.

Например, запишитесь на бесплатный мини-курс «Python для всех»: https://epic.st/pSi4W?erid=2VtzqwcMyHp

Вы не только познакомитесь с одним из самых популярных языков программирования, но и примерите профессию разработчика — поймёте, ваше ли это.

Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880

Data Science. SQL hub

16 November 2024 12:01

🔥 DataEase — это open-source BI-инструмент, который предоставляет возможности для создания интерактивной визуализации данных и анализа бизнес-метрик!

⭐️ Он разработан для упрощения доступа к BI-аналитике, предлагая интуитивный интерфейс для работы с данными, основанный на перетаскивании элементов. DataEase поддерживает интеграцию с различными источниками данных, включая базы данных, API и файлы, и позволяет пользователям создавать отчеты и дашборды, не требующие написания кода.

🔐 Лицензия: GPL-3.0

🖥 GitHub

@sqlhub