52807
по всем вопросам @haarrp @itchannels_telegram - 🔥 best it channels @ai_machinelearning_big_data -ML @ArtificialIntelligencedl -AI @datascienceiot - ml 📚 @pythonlbooks -📚books
🔥What’s the Hack? ЭКСПО! Этим летом с 1 по 10 августа прими участие в хакатоне от Экспобанк, реши задачу по созданию системы управления клиентскими базами для компаний-партнеров Экспобанка и получи возможность забрать вознаграждение из призового фонда в 400.000 рублей!
Регистрируйся на хакатон до 29 июля включительно: https://экспохак.рф
🌐Хакатон пройдет в формате Онлайн - 9 дней интенсивной работы над проектом, а 10-го августа участники защищают свои решения перед представителями из компаний-партнеров Экспобанка!
🚀Главная цель – создать единый механизм управления клиентскими базами, позволяющий оптимизировать взаимодействие с клиентами и предлагать различные услуги из разных компаний, входящих в число компаний-партнеров Экспобанка. .
👨💻К участию приглашаются разработчики, Product менеджеры, IT-специалисты и бизнес-архитекторы.
На протяжении всего хакатона Вас ждут регулярные сессии с экспертами, которые помогут скорректировать Ваши идеи в нужно русло!
📌Ключевые события хакатона:
29 июля – Завершение подачи заявок
1 августа – Церемония открытия
2 и 5 августа – Индивидуальные сессии с экспертами
7 августа – Общая встреча с экспертами
10 августа – Финальный питч и Церемония закрытия
🏆Успей зарегистрироваться на хакатон и побороться за призовой фонд в 400.000 рублей! What’s the Hack? ЭКСПО!
Подробная информация и регистрация: https://экспохак.рф
🌟 ExVideo — техника тюнинга, позволяющая улучшить возможности моделей генерации видео
ExVideo позволяет модели генерировать в 5 раз больше кадров, при этом требуется всего 1.5 тыс. часов обучения на GPU на датасете из 40 тыс. видео.
В частности при помощи ExVideo была улучшена модель Stable Video Diffusion, для генерации длинных видеороликов до 128 кадров.
Код, статья и модель — по ссылкам ниже.
🟡 Страничка ExVideo
🖥 GitHub
🟡 Hugging Face
🟡 Arxiv
@pythonl
🔔 Столкнулись с необходимостью управления множеством связанных задач?
Приглашаем вас на открытый вебинар «Оркестрация задач с Apache AirFlow» 25 июля в 20:00 мск! Разберемся во всех тонкостях техники оркестрации задач и управлении сложными сценариями.
💯 На вебинаре вы:
- узнаете, как создавать и запускать периодические задачи по расписанию;
- получите навыки управления связанными задачами;
- изучите работу не только с интерфейсом AirFlow, но и с языком описания DAGов;
- рассмотрите различные операторы и интеграции AirFlow.
Этот урок будет полезен, если вы:
- хотите освоить методы MLOps и техники оркестрации задач;
- дата-сайентист, желающий углубиться в профессию;
- самостоятельно изучаете Data Science и готовы перейти от обучения моделей к их эксплуатации.
Встречаемся в преддверии старта курса «Python Developer. Professional». Все участники вебинара получат спеццену на обучение.
🔴 Регистрируйтесь прямо сейчас, чтобы не пропустить бесплатный урок: https://otus.pw/qIdc/?erid=LjN8KCmHC
ML: с чего начинается Data Science?
Приглашаем на открытый урок, где вы узнаете про область ML, которая лежит в основе Data Science и AI сегодня.
🔹Расскажем, чем оно отличается от классического программирования и какие в ML существуют типы задач.
✅ Практика: Решите первую задачу ML на языке Python
В результате урока вы обучите свою первую модель машинного обучения для решения задачи классификации рукописных цифр
Урок приурочен курсу «Специализация Machine Learning» от Otus.
👉 Регистрация и подробности:
https://otus.pw/rbyU/?erid=LjN8KG9Pa
Неуязвимого кода не существует. Абсолютно защищённых данных – тоже.
Зато есть способы восстановить информацию после серьёзного сбоя или атаки.
Именно о способах восстановления повреждённых данных мы и поговорим на открытом вебинаре «Создаём бэкапы для Ethereum-блокчейна на Rust»
Вы познакомитесь с принципами хранения и развития данных в блокчейн-системах, увидите, как с помощью Rust эффективно переиспользовать код для разных задач на разных целевых платформах.
Вебинар проведёт Кирилл Федченко, опытный программист на Rust, Python, C++
Будет интересно и Rust-разработчикам и тем, кто использует другие языки.
23 июля, 19:00 МСК
Бесплатно
Записаться на событие - https://otus.pw/O9CO/?erid=LjN8JywnU
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
🐍 Библиотека для управления очередями сообщений
PGMQ - новая библиотека для облегченной обработки очереди сообщений для PostgreSQL в Python. Она отличается простотой и гибкостью системы очередей одновременно с надежностью и масштабируемостью баз данных.
Основные особенности:
- Гибкость. Поддержка различных конфигураций и расширений для индивидуальной настройки
- Надежность. Гарантированная единоразовая доставка сообщений в течении тайм-аута видимости
- Компактность. Только функции Postgres упакованные в расширение, никаких фоновых процессов или внешних зависимостей
- API-паритет с AWS SQS и RSMQ
Установка:
Самый легкий способ - запустить Tembo Docker, где PGMQ предустановлен в Postgresdocker run -d --name postgres -e POSTGRES_PASSWORD=postgres -p 5432:5432 quay.io/tembo/pg16-pgmq:latest
▪ GitHub
#python #PostgreSQL #pgmq #MessageQueues
@pythonl
Pyxel - это игровой движок для Python в стиле ретро.
Благодаря своей простоте, вдохновленной старыми игровыми консолями (например, палитра состоит всего из 16 цветов, и только 4 звука могут быть проиграны одновременно), вы можете легко создавать игры в стиле пиксель-арт.
📌 Github
@pythonl
🖥 Crawlee-Python: Библиотека для Веб-Скрапинга.
Crawlee-Python — это мощная библиотека, разработанная для выполнения задач веб-скрапинга. Она предоставляет пользователям набор инструментов и функциональности для эффективного извлечения данных из веб-страниц.
Преимущества Crawlee-Python:
- Легкость использования: Crawlee-Python разработан с акцентом на простоту и удобство использования, что позволяет даже начинающим разработчикам быстро освоить основные принципы веб-скрапинга и кроулинга.
- Поддержка современных технологий: Библиотека поддерживает работу с современными веб-технологиями, что позволяет ей эффективно справляться с динамическими веб-страницами, используя инструменты для работы с JavaScript, такие как Puppeteer и Playwright.
- Асинхронное выполнение задач: Crawlee-Python поддерживает асинхронное выполнение задач, что значительно ускоряет процесс скрапинга и позволяет одновременно обрабатывать множество запросов.
- Расширяемость: Библиотека легко расширяется благодаря модульной архитектуре, что позволяет пользователям добавлять и настраивать функциональность под свои специфические нужды.
- Управление сессиями и прокси: Crawlee-Python предоставляет встроенные инструменты для управления сессиями и прокси-серверами, что помогает обходить блокировки и ограничения, накладываемые веб-сайтами.
- Автоматическое управление очередями: Библиотека автоматизирует процесс управления очередями задач, что упрощает организацию большого количества запросов и их выполнение.
- Гибкость конфигурации: Пользователи могут гибко настраивать параметры скрапинга, такие как частота запросов, задержки между запросами, обработка ошибок и многое другое.
Примеры использования:
- Извлечение данных для анализа: С помощью Crawlee-Python можно автоматически собирать данные с различных веб-сайтов для последующего анализа и визуализации.
- Мониторинг изменений на веб-страницах: Библиотека позволяет отслеживать изменения на веб-страницах и уведомлять пользователей о важных обновлениях.
- Сбор данных для обучения моделей машинного обучения: Crawlee-Python может быть использован для сбора большого объема данных, необходимых для обучения и тестирования моделей машинного обучения.
Crawlee-Python представляет собой мощный инструмент для веб-скрапинга и кроулинга, предоставляющий множество возможностей для автоматизации процесса извлечения данных из интернета.
Crawlee-Python предлагает два основных типа краулеров: BeautifulSoupCrawler и PlaywrightCrawler.
BeautifulSoupCrawler отлично подходит для проектов, которые требуют эффективного извлечения данных из HTML-контента без необходимости выполнения JavaScript на стороне клиента. С другой стороны,
PlaywrightCrawler использует безголовый браузер для обработки веб-страниц, которые зависят от клиентского JavaScript или требуют взаимодействия с JavaScript-контентом.pipx run crawlee create my-crawler
🖥 Github
@pythonl
Привет! Присматриваетесь в сторону Data Science и ML? У нас есть крутая новость!
23 июля в 18:00 по Москве мы проведем открытый урок о том, как математика и Python могут сделать вашу работу еще эффективнее с помощью машинного обучения.
📌 Что будет на уроке?
- Почему математика и Python важны для ML? Как эти инструменты помогут вам в повседневной работе.
- Линейная алгебра с примерами: Основные понятия, операции и их применение в ML. Как работать с данными и их представлением.
- Статистика и теорвер: Вероятностные модели и их значение в анализе данных. Примеры прогнозирования и анализа.
- Основы Python: Синтаксис, типы данных, основные конструкции. Почему Python стал стандартом для анализа данных и ML.
- Библиотеки для машинного обучения: Как они ускоряют разработку и стандартизируют подходы. Примеры использования.
- Решение реальной задачи на Python с использованием популярных библиотек.
- Сессия вопрос-ответ: Задавайте любые вопросы и получайте ответы от экспертов.
🦾 Регистрация на урок
Реклама. ООО «ИНЖЕНЕРКАТЕХ» ИНН 9715483673 erid:2VtzqwwT2sC
🖥 Colour — библиотека Python от JetBrains, которая предоставляет большое количество алгоритмов для исследований, связанных с восприятием цветов
— $ pip install colour-science
Colour позволяет просто работать с цветами/палитрами и т.д.
К примеру, вот команда для построения спектра видимого света:
import colour
colour.plotting.colour_style()
colour.plotting.plot_visible_spectrum()
🚀 Отправляемся в мир Django: ваш первый проект в веб-разработке
22 июля в 19:00 мск — не пропустите открытый урок
Что ждет вас на вебинаре:
- основы Django: краткий обзор архитектуры, установка и создание нового проекта;
- ваше первое приложение: определение и регистрация простой модели данных, создание представления и маршрута для отображения информации на странице;
- работа с шаблонами: использование шаблонов для отображения данных в браузере.
Спикер — опытный системный инженер, веб-разработчик и преподаватель.
Встречаемся в преддверии старта курса «Специализация Python Developer». Все участники вебинара получат специальную цену на обучение.
🔴 Регистрируйтесь прямо сейчас, чтобы не пропустить бесплатный урок: https://otus.pw/nzpr/?erid=LjN8KDN4K
Работаете на Python? Хотите овладеть созданием веб-приложений с использованием Django?
Ждём вас на открытом практическом уроке «Введение в Django REST API» от OTUS, где мы:
— познакомимся с основой работы с Django и его ролью в веб-разработке;
— разберем Views в Django;
— изучим Middleware и их использование для дополнительной обработки запросов и ответов;
— научимся разрабатывать RESTful API с помощью Django REST Framework.
Спикер Валентин Шилин — старший программист и аналитик данных в зарубежной компании, опытный преподаватель.
Встречаемся 16 июля в 20:00 мск в преддверии старта курса «Python Developer. Professional». Все участники вебинара получат специальную цену на обучение.
🔴 Регистрируйтесь прямо сейчас, чтобы не пропустить бесплатный урок: https://otus.pw/osTS/?erid=LjN8K51kv
🖥 Как построить полигональную сетку по изображению с помощью Python?
— pip install numpy mediapipe supervision pillow
В целом ничего сложного, нам понадобятся библиотеки numpy, mediapipe, supervision и pillow
Пробуйте)
@pythonl
🖥 Code 2 Prompt
Мощный инструмент командной строки, который генерирует качественные промпты и предназначен для упрощения взаимодействия между разработчиками и LLM для генерации и анализа кода, документирования и выполнения задач по улучшению существующего кода.
Ключевые особенности:
- Поддержка нескольких языков программирования
- Интеграция с .gitignore
- Настраиваемое форматирование вывода с помощью шаблонов Jinja2
- Автоматический обход каталогов
Code2Prompt упрощает создание информативных комментариев по коду, что делает его ценным инструментом для разработчиков, желающих улучшить документацию и совместную работу по своим проектам.
▪ Github
@machinelearning_ru
Мы ищем талантливых наставников в образовательный центр «Алабуга Политех» для нового поколения IT-специалистов.
Что вы получите:
🔹Возможность оказаться среди лучших
🔹Шанс задать вектор развития новому IT-поколению
🔹Высокую заработную плату
🔹Карьеру в компании мирового уровня
🔹Реализацию амбиций в наставничестве
🔽Узнать подробности🔽
Программа «Я НАСТАВНИК» проходит с 25.07.24 по 28.07.24 в г. Елабуга
Подать заявку:
📞Телефон: +7 (950) 826-27-80
✈Telegram @AizilyaHR.
📍Питание и проживание в дни программы предоставляется.
Создавайте будущее уже сегодня!
🔍 Exo: Расширяем горизонты разработчиков
Exo – это мощный инструмент, помогающий разработчикам изучать и анализировать экзопланеты. Этот репозиторий включает инструменты для обработки данных, визуализации и моделирования экзопланетарных систем. Основные функции Exo включают:
- Анализ астрономических данных
- Визуализация орбит и траекторий
- Моделирование атмосферных условий
Exo предназначен для использования в научных исследованиях и образовательных проектах, облегчая доступ к сложным астрономическим данным и инструментам.
📚 GitHub
#python #github #astronomy
@pythonl
🖥 Logfire — observability-платформа, созданная командой Pydantic
— pip install logfire
Logfire — это платформа для мониторинга и observability.
Особенности Logfire:
— предоставляет простой дашборд, который легко использовать
— позволяет отображать объекты Python, профилировать код, визуализировать запросы к БД
— Logfire отдаёт собранные данные по обычным SQL-запросам, не нужно учить новый диалект
А также Logfire отлично интегрируется с OpenTelemetry и с Pydantic
🖥 GitHub
🟡 Доки
@pythonl
🖥 Kapitan — инструмент на Python для управления шаблонами Kubernetes, Terraform и не только
Kapitan — это не самый хайповый инструмент, но в некоторых ситуациях он очень полезен, и для кого-то будет удобнее, чем Helm
С технической точки зрения Kapitan очень прост и включает в себя такие компоненты:
— иерархическая коллекция значений в yaml-формате, которые подставляются в шаблоны
— шаблонизаторы: Jinja2, Jsonnet, Kadet; они берут значения и создают файлы (yaml, json или bash-скрипты).
— компонент для управления секретами
Быстрый старт с Docker:
docker run -t --rm -v $(pwd):/src:delegated kapicorp/kapitan -h
🖥 Unfold — тема для кастомизации стандартной админ-панели Django
pip install django-unfold
poetry add django-unfold
🖥 badjpg
Этот полезный скрипт на Python позволяет спрятать полезную информацию внутри JPG-изображения, применяя методы стеганографии.
▪ Githubgit clone https://github.com/basicW/badjpg.git
@pythonl
Офер в Яндекс для опытных бэкендеров за два дня
24–25 августа приглашаем бэкендеров с опытом работы от пяти лет получить офер в Яндекс через multitrack за 2 дня. Достаточно решить задачи онлайн до 20 августа и пройти несколько технических секции 24 августа, чтобы уже 25-го получить офер и выбрать три команды, к которым вам было бы интересно присоединиться.
Как правило, за несколько собеседований сложно понять, подходит ли вам команда и наоборот. Multitrack позволит вам поработать в трёх разных командах Яндекса и выбрать подходящую. Вы сможете погрузиться в рабочие процессы, познакомиться с будущими коллегами и понять, с какими задачами и технологиями хотите работать.
Узнать подробности и зарегистрироваться.
Реклама. ООО "Яндекс". ИНН 7736207543
🌟 ggshield — CLI-утилита, которую можно интегрировать в CI-конвейер для обнаружения 400+ типов захардкоженных секретов и не только
— brew install gitguardian/tap/ggshield
Также ggshield позволяет выявить нарушения безопасности и 70+ типов неправильно написанных конфигов в подходе IaaC.
Для сканирования репозитория достаточно просто выполнить:
ggshield secret scan repo /path/to/your/repo
🖥 Tach
Крутой и полезный инструмент: контроля вызова модулей и зависимостей для Python, напсианная на Rust.
С помощью Tach вы можете управлять тем, какие модули Python полагаются на какие другие. Чтобы избежать жесткой зависимости, модули также могут указывать общедоступный интерфейс.
В результате получается модульная, разделенная конструкция, которая упрощает разработку и обслуживание.
Любая попытка одного модуля импортировать другой, который явно не объявлен как зависимость, приведет к сообщению об ошибке от Tach. Когда для модуля установлен «строгий режим», Tach выдаст ошибку, если другой модуль попытается импортировать из него без использования его общедоступного интерфейса.
1. Он может показать что откуда кого вызывает и обращается в масштабе проекта, например (особенно, если он чужой)
2. Для CI процесса важно проверить перед деплоем, все ли ок, эта штука помогает это сделать
3. Контроль при коллективной разработке. Ставите ограничения на main например и фиг кто добавит в вызовы туда лишнееpip install tach
▪ Github
@pythonl
⚡️ Обход капчи с GPT4o
Мощный инструмент для обхода различных капч (головоломок, текста, рекапчи) с использованием Python, Selenium и Open air GPT-4o.
📌 Github
#Python #Selenium #OpenAI #GPT4
@pythonl
🖥 Django Unicorn добавляет функциональность реактивных компонентов в шаблоны Django без необходимости изучать новый язык или со сложные JavaScript-фреймворки
— pip install django-unicorn
Django Unicorn плавно расширяет Django за пределы его базовых возможностей, не заставляя переделывать готовое приложение.
С помощью Django Unicorn можно легко добавлять в свои шаблоны фронтенд-взаимодействия, не отказываясь от Django.
🖥 GitHub
🟡 Доки
@pythonl
🖥 Open3D — современная библиотека Python для 3D моделирования
— pip install open3d
Open3D — это open-source библиотека, которая поддерживает быструю разработку ПО, работающего с 3D-данными.
Фронтенд Open3D предоставляет набор тщательно отобранных структур данных и алгоритмов на языках C++ и Python. Бэкэнд высоко оптимизирован и настроен на распараллеливание.
Основные возможности Open3D:
— поддержка структур 3D-данных
— алгоритмы обработки 3D-данных
— реконструкция сцены
— Выравнивание поверхностей
— 3D-визуализация
— рендеринг с учётом физики (PBR)
— поддержка машинного 3D-обучения с помощью PyTorch и TensorFlow
— ускорение GPU для основных 3D-операций
🖥 GitHub
🟡 Доки
@pythonl
🖥 Robyn — асинхронный веб-фреймворк Python с Rust-рантаймом
— pip install robyn
Robyn — это очень быстрый веб-фреймворк, который объединяет асинхронные возможности Python и скорость Rust для создания высокопроизводительных веб-приложений. Быстрое построение проектов, удобное использование и надежная поддержка плагинов.
Robyn отличается от остальных фреймворков.
Обычно для запуска какого-то фреймворка нужен WSGI/ASGI-сервер: Gunicorn, uWSGI или Uvicorn, например. У Robin этого нет. Сразу идет рантайм, написанный на Rust, который реализует WSGI-сервер. С помощью PyO3 он интегрируется с Python и вызывает его функции.
Robyn делает разбор и роутинг запроса на Rust, что ожидаемо работает быстро
🖥 GitHub
🟡 Доки
@pythonl
🖥 Интересная идея для пет-проекта на Python — визуализация алгоритма сортировки в терминале
wget https://github.com/dormant-chicken/sortty/releases/latest/download/sortty.tar.gz
tar -xzvf sortty.tar.gz
cd sortty/
chmod +x install.sh
./install.sh
sortty --algorithm insertion --text --bar_character o
🖥 Testcontainers — библиотека Python, облегчающая использование Docker-контейнеров для функционального и интеграционного тестирования
— pip install testcontainers[postgres] (postgres как пример)
Testcontainers — это библиотека тестирования, которая позволяет писать тесты с использованием реальных зависимостей с помощью контейнеров Docker.
🖥 GitHub
🟡 Доки
@pythonl