Data Science. SQL hub

30 December 2024 14:02

🖥 Limbo — система управления базами данных OLTP (online transaction processing), находящаяся в стадии разработки, совместимая с SQLite!

🌟 Она поддерживает асинхронный ввод-вывод на Linux с использованием io_uring и предназначен для использования внутри приложений. В проекте реализована поддержка SQL-диалекта и формата файлов SQLite, а также имеется возможность взаимодействовать с базой данных через JavaScript, Python и командную строку. Limbo стремится предложить улучшенную производительность и асинхронность по сравнению с традиционными SQLite-системами.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Data Science. SQL hub

28 December 2024 14:00

🖥 Курс: MySQL в phpMyAdmin!

🕞 Продолжительность: 1:43:34

🔗 Ссылка: *клик*

#курс #sql

freecourses

Data Science. SQL hub

26 December 2024 16:30

Сложно представить себе современный мир без искусственного интеллекта. Он помогает нам учиться, работать, а теперь и делать покупки. Так, с помощью ИИ Авито сделал поиск на 25% релевантнее. Логику выдачи объявлений удалось изменить с помощью собственной технологии ранжирования — Avito Ranker 3. Теперь алгоритмы учитывают не время публикации объявления, а более важные для пользователя данные: например, качество фото и описания, а также цену.

Результаты не заставили себя ждать: показы нерелевантных и некачественных объявлений упали в 2 раза, а покупатели стали на 17% чаще открывать карточки товара, которые увидели в выдаче. Покупки тоже стали делать чаще — конверсия увеличились до 25%.

Чтобы пользователи видели нужные им объявления, алгоритмы ИИ анализируют свыше 100 факторов, которые формируют выдачу. В их числе предпочтения конкретного покупателя, рейтинг товара, а также стоимость доставки и конкурентность цены.

@sqlhub

Data Science. SQL hub

24 December 2024 14:00

🖥 Шпаргалка по SQL — cheat sheet с базовыми командами для работы с таблицами, данными и запросами.

@sqlhub

Data Science. SQL hub

23 December 2024 09:24

🌍Хотите освоить работу с географическими данными в PostgreSQL?

Приглашаем на бесплатный вебинар 26.12 в 20:00, где вы узнаете как использовать PostGIS для решения практических задач. Запишитесь сейчас и улучшите свои навыки в работе с геоданными!

На вебинаре мы разберем:

- Что такое системы координат (SRID) и как они влияют на работу с географическими данными.

- Какие типы географических объектов поддерживаются в PostgreSQL и как их создавать.

- Основные функции для работы с географическими данными: расчёт расстояний, проверка пересечений и построение зон.

- Как использовать PostgreSQL для решения практических задач, связанных с географией, например, поиск ближайшего объекта или определение зоны покрытия.

👉Регистрация. Участие бесплатно: https://otus.pw/OpXT/?erid=LjN8KPVV7

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

Data Science. SQL hub

21 December 2024 13:00

⚡️ PostgREST создает полноценное RESTful API на основе любой существующей базы данных PostgreSQL.

**Производительность:**

Скорость работы обеспечивается за счет трех факторов. Во-первых, сервер написан на Haskell с использованием HTTP Warp (это компилируемый язык с легковесными потоками). Во-вторых, он передает максимальное количество вычислений базе данных, включая:

- Сериализацию ответов JSON прямо в SQL,
- Валидацию данных,
- Механизмы авторизации,
- Комбинированный подсчет строк и фильтрацию,
- Возврат всех данных одной командой (*).

И наконец, PostgREST эффективно взаимодействует с базой данных через библиотеку Hasql:

- Поддерживает пул соединений с базой данных,
- Использует бинарный протокол PostgreSQL,
- Работает без сохранения состояния, что позволяет легко масштабироваться горизонтально.

▪ Github

@haskell_tg

Data Science. SQL hub

20 December 2024 12:01

🖥 pgvectorscale — это расширение для PostgreSQL, которое предоставляет функциональность для работы с векторами, что полезно в контексте обработки и хранения векторных представлений данных, например, для машинного обучения или поиска по векторным данным!

🌟 Этот проект является частью экосистемы Timescale, которая известна своими решениями для работы с временными рядами, но здесь акцент сделан именно на работу с векторами для быстрого поиска и манипуляций с многомерными данными.

🔐 Лицензия: PostgreSQL

🖥 Github

@sqlhub

Data Science. SQL hub

17 December 2024 13:04

🖥 EventStore — встраиваемая реализация хранилища событий, написанная на Go!

🌟 Она использует библиотеку GORM для работы с базами данных, такими как SQLite и PostgreSQL. Функции включают сохранение событий в потоки, их чтение, подписку на события в реальном времени и создание отказоустойчивых проекций для построения моделей чтения. Инструмент ориентирован на применение в архитектурах, базирующихся на event sourcing и DDD (Domain-Driven Design).

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Data Science. SQL hub

14 December 2024 10:36

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pro_python_code
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
АНАЛИЗ Данных: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sql_lib
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: /channel/gamedev
Haskell: t.me/haskell_tg

💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy

Data Science. SQL hub

12 December 2024 11:33

🖥 Обеспечение целостности данных в финансовых транзакциях: решение PostgreSQL для транзакций!

🌟 Когда речь идет о финансовых системах, целостность данных является одной из самых важных проблем. В среде финансовых транзакций сбои могут привести к потере денег, несоответствию остатков на счетах или даже нарушениям безопасности. Для обеспечения согласованности и безопасности данных необходимо использовать транзакции в базе данных. В этой статье мы рассмотрим, как транзакции в PostgreSQL помогают решать эти проблемы, с практическими примерами использования NestJS и Prisma для внедрения надежных решений.

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

10 December 2024 20:03

🖥 Обучающая статья по SQL для начинающих! В ней подробно расписан синтаксис команды CREATE TABLE с различными примерами.

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

09 December 2024 14:00

🖥 Cloudberry — это проект с открытым исходным кодом от Apache, предназначенный для анализа и визуализации больших данных в реальном времени!

🌟 Он ориентирован на обработку и анализ данных, хранящихся в распределенных и облачных системах, с интеграцией возможностей визуализации, которые позволяют более эффективно работать с большими объемами данных. Одной из ключевых особенностей является тесная интеграция с базами данных, что делает Cloudberry удобным инструментом для аналитиков, работающих с большими и сложными наборами данных.

🌟 Основное внимание в Cloudberry уделяется обработке данных, хранящихся в распределенных базах данных, таких как HBase или Apache Cassandra, что позволяет эффективно обрабатывать и анализировать большие объемы информации. Проект поддерживает расширенные возможности по интеграции с такими системами, обеспечивая высокую производительность и масштабируемость. Cloudberry использует SQL-подобные запросы для извлечения данных из таких распределенных хранилищ и предоставляет интерфейсы для анализа и визуализации этих данных.

🌟 Кроме того, Cloudberry фокусируется на предоставлении простых инструментов для взаимодействия с данными и их представления в виде удобных графиков и отчетов. Это полезно для пользователей, которые хотят интегрировать аналитику с облачными хранилищами данных, используя мощные инструменты визуализации для анализа и принятия решений на основе больших данных.

🔐 Лицензия: Apache-2.0

🖥 Github

@sqlhub

Data Science. SQL hub

09 December 2024 07:28

🔥 Огромная бесплатная книга по SQL! (500+ страниц!)

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

06 December 2024 13:30

👣 Go Graph Seeder — CLI-инструмент, разработанный на языке Go, предназначенный для генерации случайных данных и заполнения графовых баз данных, совместимых с Gremlin!

🌟 Он позволяет пользователям создавать узлы и ребра с различными свойствами, используя JSON-конфигурационные файлы. Это упрощает процесс наполнения графовых баз данных случайными или тестовыми данными, что особенно полезно при разработке и тестировании приложений, работающих с графовыми структурами данных.

🖥 Github

@sqlhub

Data Science. SQL hub

06 December 2024 11:01

🖥 pgroll — это инструмент командной строки на Go с открытым исходным кодом, предназначенный для безопасной и обратимой миграции схем в PostgreSQL!

🌟 Основная задача проекта заключается в обеспечении миграций без простоя, когда изменения схемы применяются таким образом, чтобы и старая, и новая версии схемы оставались доступными для клиентских приложений. Это особенно полезно при внесении сложных изменений, требующих поддержания совместимости с уже работающими приложениями.

🌟 pgroll использует подход «расширить/сузить» (expand/contract), создавая виртуальные схемы на основе представлений поверх физических таблиц. Этот метод позволяет миграциям быть безопасными и минимизирует риски, такие как блокировки базы данных или прерывание работы приложений.

🌟 Инструмент поддерживает автоматическое заполнение данных для новых колонок, мгновенный откат изменений при возникновении проблем и работу с существующими схемами без необходимости начинать с нуля.

🔐 Лицензия: Apache-2.0

🖥 Github


@sqlhub

Data Science. SQL hub

29 December 2024 12:14

👩‍💻 SQLDelight — это библиотека для работы с SQLite в Kotlin-приложениях!

🌟 SQLDelight генерирует типобезопасные объекты для выполнения запросов и манипуляций с базой данных, обеспечивая интеграцию с Android и многими другими платформами, использующими Kotlin. Она позволяет писать SQL-запросы непосредственно в коде, при этом генерируя соответствующие классы для их выполнения. Это упрощает работу с базами данных, улучшает читаемость кода и снижает вероятность ошибок.

🔐 Лицензия: Apache-2.0

🖥 Github

@sqlhub

Data Science. SQL hub

26 December 2024 18:31

🖥 PremSQL — это open-source инструмент для создания локальных, безопасных пайплайнов Text-to-SQL!

🌟 Он позволяет разработчикам строить и развертывать модели, которые могут преобразовывать запросы на естественном языке в SQL-запросы для работы с базами данных.

🌟 Этот инструмент ориентирован на безопасность и конфиденциальность, предлагая выполнение процессов локально. Включает возможности для анализа и визуализации данных, а также обработку ошибок и тонкую настройку моделей. PremSQL поддерживает интеграцию с различными базами данных, такими как SQLite и PostgreSQL, и предоставляет удобный интерфейс для тестирования и развертывания.

🖥 Github

@sqlhub

Data Science. SQL hub

26 December 2024 14:20

🖥 ClickHouse — мощная аналитическая колоночная база данных с открытым исходным кодом, разработанная для обработки больших объёмов данных с высокой скоростью!

🌟 Она поддерживает SQL-запросы, масштабируемость и используется для анализа в реальном времени. ClickHouse подходит для задач аналитики, логирования, мониторинга и обработки данных в масштабных системах.

🔐 Лицензия: Apache-2.0

🖥 Github

@sqlhub

Data Science. SQL hub

23 December 2024 11:48

⚡️ SQLCipher представляет собой ответвление от библиотеки SQLite, которое добавляет возможность использования 256-битного шифрования AES и включает дополнительные функции обеспечения безопасности, такие как шифрование «на лету» и надёжное получение криптографических ключей.

Программа обеспечивает быструю работу с минимальными накладными расходами, полностью шифрует данные и поддерживает передовые методы защиты информации. Пользователи могут преобразовывать стандартные базы данных в защищённые и управлять паролями через команды.

▪ Github

@sqlhub

Data Science. SQL hub

22 December 2024 16:00

🖥 Эта статья описывает набор SQL-скриптов для администрирования серверов и баз данных SQL!

🌟 Эти скрипты помогают упростить рутинные задачи, такие как управление пользователями, ролями, разрешениями, а также создание резервных копий и восстановление баз данных.

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

21 December 2024 10:00

В СУБД Яндекса YDB появился компонент, отвечающий за аналитическую обработку данных. Инструмент под названием YDB DWH обеспечивает работу со сложными аналитическими запросами (OLAP). Сама платформа может использоваться как корпоративное хранилище – она способна хранить сотни терабайт данных.

СУБД горизонтально масштабируется, а запросы выполняются быстрее за счет устройства платформы – она реализована в виде массивно-параллельной архитектуры (MPP). В планах у компании работа над поддержкой SQL диалекта PostgreSQL для бесшовной интеграции в OLAP- и OLTP-сценариях.

Data Science. SQL hub

19 December 2024 14:00

🖥 Полный справочник по SQL!

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

14 December 2024 12:00

📖 postgres_for_everything — полезный репозиторий, который собирает примеры использования PostgreSQL для различных задач, таких как очереди сообщений, аналитика, контроль доступа, GIS, временные ряды, поиск, кэширование и многое другое!

🌟 Цель проекта — показать универсальность PostgreSQL как инструмента для упрощения разработки и ускорения процессов, используя одну базу данных для множества нужд.

🖥 Github

@sqlhub

Data Science. SQL hub

13 December 2024 11:00

🖥 Steampipe — инструмент с открытым исходным кодом, предназначенный для проведения запросов к облачным данным и API с помощью SQL!

💡 Он позволяет подключаться к различным облачным сервисам и выполнять SQL-запросы, чтобы извлекать, фильтровать и анализировать данные из таких сервисов, как AWS, Azure, Google Cloud, GitHub и других.

🔍 Основные возможности Steampipe:

🌟 SQL-интерфейс для работы с облачными данными. Steampipe преобразует облачные API в виртуальные таблицы, что позволяет использовать SQL-запросы для получения информации.

🌟 Подключение к множеству облачных сервисов. Он поддерживает такие провайдеры, как AWS, Azure, Google Cloud, Kubernetes, GitHub и другие, позволяя вам работать с данными в этих сервисах через единый интерфейс.

🌟 Плагины и расширяемость. Steampipe поддерживает расширение с помощью плагинов, что позволяет подключать новые источники данных и интеграции.

🌟 Безопасность и аудит. Инструмент помогает анализировать и проверять конфигурации облачных сервисов, а также отслеживать и анализировать события в облаке.

🔐 Лицензия: AGPL-3.0

🖥 Github

@sqlhub

Data Science. SQL hub

11 December 2024 10:01

🖥 TypeDB — это база данных, предназначенная для работы со сложными связями и большими наборами данных!

🌟 Она использует язык запросов TypeQL, позволяющий описывать данные с высокой семантической детализацией. Основное отличие TypeDB — возможность моделировать и анализировать сложные отношения между объектами, что делает её подходящей для задач, связанных с исследованиями, обработкой графов знаний и построением интеллектуальных систем.

🌟 Система поддерживает концепции типизации данных, автоматическую дедукцию новых знаний и расширяемую структуру, что удобно для областей, требующих сложного анализа, например, биоинформатики и AI.

🔐 Лицензия: MPL-2.0

🖥 Github

@sqlhub

Data Science. SQL hub

10 December 2024 17:01

🔥 Российские ученые представят рекордное количество работ на NeurIPS 2024 в Ванкувере.

Специалисты из AIRI подготовили к презентации 17 научных работ. Среди исследуемых тем — обновление крупнейшего в мире датасета для лекарственных молекул, оптимизация в машинном обучении, а также методы удешевления обучения AI-моделей.

Одна из работ, подготовленных совместно с Лабораторией искусственного интеллекта Сбера, изучает влияние эмоций на принятие решений нейросетями. По словам старшего вице-президента Сбера Андрея Белевцева, такой успех говорит о высокой конкурентоспособности отечественной науки в области AI на мировой арене.

@ai_machinelearning_big_data

#AI #LLM

Data Science. SQL hub

09 December 2024 09:51

🖥 postgres-r2-backup — решение для создания резервных копий базы данных PostgreSQL, интегрированное с облачным хранилищем Amazon S3 или аналогичными решениями (например, MinIO)!

🌟 Этот проект позволяет автоматизировать процесс создания бэкапа данных с PostgreSQL и хранить резервные копии в облаке, что упрощает управление данными и повышает безопасность.


🖥 Github

@sqlhub

Data Science. SQL hub

06 December 2024 20:18

⚡️ Llama 3.3 70B.

Модель доступна в версии с 70 млрд параметров и оптимизирована для диалоговых сценариев использования на нескольких языках. Llama 3.3 превосходит многие доступные модели с открытым и закрытым исходным кодом по стандартным отраслевым бенчмаркам.

Llama 3.3 основана на оптимизированной архитектуре трансформера и использует авторегрессивный подход. Настройка модели включает SFT с RLHF для согласования с человеческими предпочтениями в отношении полезности и безопасности.

Модель была обучена на новом наборе общедоступных онлайн-данных, включающем более 15 триллионов токенов, с ограничением по свежести данных до декабря 2023 года.

Llama 3.3 поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки.

▶️ Пример инфренса на Transformers:

import transformers
import torch

model_id = "meta-llama/Llama-3.3-70B-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

Data Science. SQL hub

06 December 2024 11:22

Пишите код быстрее и оставляйте больше времени на творчество вместе с AI-ассистентом разработчика

Устали от рутины? Отдайте ее AI!
Заходите на платформу GitVerse и пишите код вместе с AI-ассистентом GigaCode. Он поддерживает более 35 языков, умеет анализировать контекст, дописывать строки и функции в автоматическом и ручном режимах, а еще — писать код по комментариям и делать рефакторинг с помощью коротких команд. Всего за пару минут AI-помощник может оценить проект и трудозатраты на его создание.

Внутри AI есть функция CodeChat — с ней можно оптимизировать или отрефакторить имеющийся код, сгенерировать тесты и документацию, а также объяснить фрагмент кода. Задавать вопросы можно и по всему открытому файлу, и по конкретному фрагменту — просто выделите его в редакторе и сформулируйте запрос к CodeChat.

Хорошие новости — недавно GigaCode обновился и стал еще лучше справляться с задачами разработки: теперь наиболее вероятные продолжения кода будут генерироваться с учётом контекста всего проекта. Не забудьте обновить плагин GigaCode :)

Зарегистрироваться на GitVerse.

Data Science. SQL hub

04 December 2024 11:02

🔥 TypeORM — популярная библиотека ORM (Object-Relational Mapping) для работы с базами данных в TypeScript и JavaScript!

🌟 TypeORM поддерживает многие реляционные базы данных, включая PostgreSQL, MySQL, SQLite, MariaDB и нереляционную MongoDB. Библиотека позволяет разработчикам работать с базами данных, используя объекты и классы вместо написания SQL-запросов напрямую. Она поддерживает такие функции, как миграции, ленивую загрузку (lazy loading), отношения между сущностями и сложные запросы.

🔐 Лицензия: MIT

🖥 Github

@sqlhub