52807
по всем вопросам @haarrp @itchannels_telegram - 🔥 best it channels @ai_machinelearning_big_data -ML @ArtificialIntelligencedl -AI @datascienceiot - ml 📚 @pythonlbooks -📚books
🖥 Downloading a YouTube Playlist using Python
Загрузка плейлиста YouTube с помощью Python.
@pythonl
🖥 vedo — модуль python для анализа и визуализации 3D-объектов
— pip install vedo
vedo может работать как с полигональной сеткой, так и с облаком точек, отлично интегрируется с другими библиотеками
🖥 GitHub
🟡 Примеры использования
@pythonl
🖥 👣 Вызов функций Go из Python с помощью ctypes
Поговорим о том, как можно запускать программу, написанную на Go из Python.
Зачем?
При работе на Python иногда имеет смысл реализовать отдельные функции на статичном, высокопроизводительном языке. Go может стать отличным выбором для этого, потому что он быстрый, простой и кроссплатформенный.
Поехали!
https://habr.com/ru/articles/821007/
@pythonl
🖥 Litestar — это мощный, гибкий ASGI-фреймворк, ориентированный на создание API
— pip install litestar
Litestar предлагает проверку данных, внедрение зависимостей, интеграцию с ORM, примитивы авторизации и многое другое, что необходимо для запуска приложений в работу.
Простой пример использования Litestar:
from litestar import Litestar, get
@get("/")
async def hello_world() -> str:
return "Hello, world!"
app = Litestar([hello_world])
🖥 StatsForecast — библиотека Python для быстрого прогнозирования с помощью статистических и эконометрических моделей
— pip install statsforecast
StatsForecast предоставляет коллекцию популярных моделей прогнозирования одномерных временных рядов, оптимизированных для высокой производительности и масштабируемости.
🖥 GitHub
🟡 Доки
@pythonl
Сбер проведет открытую технологическую конференцию GigaConf 2024.
27 июня в «Дизайн заводе» соберутся ведущие инженеры и разработчики из Сбера, Билайна, Positive Technologies, Т-Банка, МТС и других компаний.
Вместе они погрузят вас в темы:
— машинное обучение и искусственный интеллект;
— инструменты разработчика;
— DevOps;
— инженерия данных;
— безопасность приложений;
— системный анализ
— инновации и стратегии.
Зарегистрироваться и узнать подробности можно на сайте конференции.
Участие бесплатное!
🖥 GPT Computer Assistant — альтернативный мультиплатформенный клиент ChatGPT на Python
pip3 install gpt-computer-assistant
computerassistant
🖥 draw_scatter — позволяет нарисовать нужное распределение в Python
Если нужны кластеры нужной формы (например, хочется сравнить разные алгоритмы кластеризации) — не проблема, для этого есть библиотека drawdata и функция draw_scatter()
# ячейка 1
import pandas as pd
import seaborn as sns
from drawdata import draw_scatter
draw_scatter()
# ячейка 2
df = pd.read_clipboard(sep=',')
sns.scatterplot(data=df, x='x', y='y', hue='z')
🖥 Distilabel — фреймворк Python для создания синтетических данных для AI и не только для этого
— pip install distilabel --upgrade
Помимо создания синтетических данных, Distilabel помогает организовать сложные конвейеры обработки данных;
эти конвейеры могут содержать любое количество разных шагов.
🖥 GitHub
🟡 Доки
@pythonl
🖥 Marker — Python-утилита для быстрого и точного преобразования PDF в MD
— pip install marker-pdf
Процесс преобразования PDF при помощи Marker состоит из таких шагов:
— извлечение текста, при необходимости использование OCR (эвристические методы, Surya, Tesseract)
— определение макета страницы и порядка чтения (Surya)
— подготовка и форматирование каждого блока (эвристика, Texify)
— объединение блоков и постобработка полного текста (Heuristics, Pdf_postprocessor)
Marker использует ML-модели только там, где это необходимо, что повышает скорость и точность
Пример использования:marker_single /path/to/file.pdf /path/to/output/folder --batch_multiplier 2 --max_pages 10 --langs English
🖥 GitHub
🟡 Пример использования
@pythonl
🖥 Шпаргалка по Python, в которой собраны небольшие скрипты для решения повседневных задач
Вот, кстати, некоторые из них:
— добавить файл sample.txt к архиву .tar.gz:
import tarfile
with tarfile.open('sample.tar.gz', 'w:gz') as tar:
tar.add('sample.txt')
import difflib
diff = difflib.ndiff('one\ntwo\nthree\n'.splitlines(keepends=True),
'ore\ntree\nemu\n'.splitlines(keepends=True))
print(''.join(diff))
🖥 geemap — библиотека Python для интерактивного геопространственного анализа и визуализации с помощью Google Earth Engine
— pip install geemap
Библиотека geemap Python создана на базе ipyleaflet и ipywidgets и позволяет пользователям анализировать и визуализировать наборы данных Earth Engine в интерактивном режиме в среде, основанной на Jupyter.
🖥 GitHub
@pythonl
🖥 DeepChem — демократизация Deep Learning для открытия лекарств, квантовой химии, материаловедения и биологии
— pip install deepchem
DeepChem предоставляет отличный набор open-source инструментов, который демократизирует использование Deep Learning для открытия лекарств, материаловедения, квантовой химии и биологии.
🖥 GitHub
🟡 Туториалы
🟡 Модели Deep Learning от DeepChem
@pythonl
🖥 Repo2txt — утилита на Python, которая позволяет сохранить любой репозиторий в виде текстового файла
Repo2txt может пригодиться для интеллектуального анализа текстов или обучения LLM.
При написании Repo2txt автор не использовал сторонние зависимости и уместил всё в один файл. Для лучшей производительности применяется многопоточность. Кроме того, Repo2txt учитывает файлы в .gitignore, чтобы исключать их из вывода, поддерживается вывод двоичных файлов (аудио, изображений). Сам исходный файл понятен человеку и может легко токенизироваться для обучения моделей.
Кроме возможности обучать на полученных данных нейросети, разработчик приводит и другие сценарии использования Repo2txt:
— анализ данных;
— резервное копирование;
— локальное версирование.
Сперва утилиту необходимо скачать, локально клонировав исходный репозиторий. После этого для копирования репозиториев надо выполнить файл main.py с указанием пути к репозиторию и флагами:
— -d, --directory — путь к каталогу (обязательно).
— -t, --tree — вывод дерева репозитория (без содержимого файлов, отключен по умолчанию).
— -e, --embed — включить дерево в начале вывода.
— -b, --binary — ключить двоичные файлы (отключен по умолчанию).
— -g, --gitignore — использовать .gitignore для исключения файлов.
— -i, --ignore — можно через запятую указать дополнительный шаблон для исключения файлов.
— -o, --output — имя файла на выходе.
🖥 GitHub
@pythonl
🖥 Pyre — отличная библиотека для добавления статической типизации в Python (а вернее проверки типов)
sudo apt-get install python3 python3-pip python3-venv watchman
pip install pyre-check
🖥 PhySO — модуль для поиска закономерностей в данных и вывода аналитических зависимостей на их основе
PhySO предназначен для вывода аналитических физических законов из эмпирических данных; модуль способен использовать ограничения физических единиц, например, сокращая пространство поиска с помощью анализа размерности
Рекомендуемый способ установки с помощью conda:
conda create -n PhySO python=3.8
conda activate PhySO
git clone https://github.com/WassimTenachi/PhySO
cd PhySO
conda install --file requirements.txt
pip install -e .
🖥🖥 Дроиды и питоны: как работать с ADB быстрее и проще
Если вы — разработчик или тестировщик приложений для Android, просто обычный программист или юзер — то вы попали по адресу.
Читать
@pythonl
Python-разработчики тут? Вас уже ждут в Т-банке!
Вместе с результативной командой вы будете развивать финтех: от внутренних проектов до клиентских продуктов, которыми пользуются миллионы.
Приходите прокачивать навыки и работать в команде единомышленников. Посмотреть вакансии и откликнуться, если у вас больше двух лет опыта, можно здесь
Реклама. АО «Тинькофф Банк», ИНН 7710140679
ПСБ цифровая лаборатория — это ИТ-блок ПСБ, одного из крупнейших банков в стране.
Ребята разрабатывают и совершенствуют продукты ПСБ, которыми пользуются миллионы людей. Присоединяйся к команде и участвуй в создании финтех-сервисов.
На сайте ПСБ цифровая лаборатория ты узнаешь:
- ️какие в банке есть ИТ-направления
- с каким стеком работают
- какие бонусы и льготы есть для сотрудников
- чем занимаются айтишники вне офиса
- что надо сделать, чтобы попасть в команду
Разделяешь ценности и подход к работе? Оставляй резюме на сайте!
Реклама. ООО "ПСБ ЛАБ". ИНН 7714436892.
🖥 368 решённых задач по Python с Leetcode
Здесь собрана масса литкод-задач с решением на Python.
Вот условия некоторых из задач:
— найти самое популярное слово в наборе
— удалить один элемент, чтобы список был строго возрастающим
— объединить k сортированных списков
— обойти матрицу по спирали и собрать полученные числа
▶️ Задачи с решениями
@pythonl
🖥 tinygrad — фреймворк Python для Deep Learning
— pip install tinygrad
tinygrad имеет встроенную библиотеку для работы с нейросетями, используя разные классы, оптимизаторы и инструменты для управления состоянием нейросетей.
В tinygrad есть JIT, чтобы всё работало быстро.
Также tinygrad имеет отличную поддержку нескольких GPU, что позволяет удобно параллелить операции над тензорами с помощью Tensor.shard.
🖥 GitHub
🟡 Доки
🟡 Примеры использования tinygrad
@pythonl
🖥 Freeway — инструмент на Python для тестирования и аудита Wi-Fi
— pip install 3way
Используется Freeway интуитивно понятным способом, как видно на скринах
🖥 GitHub
@pythonl
🖥 Instructor — получение структурированного вывода от LLM
— pip install -U instructor
Instructor позволяет легко получать структурированные данные (например, в формате JSON) от таких LLM, как GPT-3.5, GPT-4, GPT-4-Vision, и моделей с открытым исходным кодом, включая Mistral/Mixtral, Anyscale, Ollama и llama-cpp-python.
Instructor отличается простотой и ориентированным на пользователя дизайном, построенным на базе Pydantic.
🖥 GitHub
🟡 Примеры использования instructor
@pythonl
⚡️Хочешь разработать решение технологического кейса для внедрения в работу НКО? Тогда регистрируйся на Smart Social: Хакатон!
🏆Гранты на 1 200 000 рублей!
Smart Social: Хакатон – это командное соревнование для программистов, дизайнеров, менеджеров, аналитиков и других IT-специалистов, которые в сжатые сроки решают технологическую задачу.
👨💻Кейсы:
- Сервис для онлайн-записи на музейные мероприятия;
- Телеграм-бот для быстрого сбора, передачи и выгрузки информации для участников проекта "Накорми";
- Приложение для туристических маршрутов;
- Инструмент для анонимизации документов пользователей сервиса «Просто спросить»;
- Алгоритм для систематизации архивных материалов;
- Приложение-путеводитель по музею.
📆Даты хакатона: C 10 по 18 Июня 2024 г
📍Формат: Онлайн/Офлайн
🔥Дедлайн регистрации: 6 Июня, 23:59 (МСК)
Не нашел для себя задачу? Смотри еще кейсы по ссылке: https://tglink.io/85445a9e0b4c
🚀Сделай Добро – помоги НКО!
⭐️ Сравниваем DBSCAN и OPTICS
Поговорим сегодня о 2 популярных алгоритмах кластеризации — DBSCAN и OPTICS, посмотрим их особенности и сравним
Поехали!
https://habr.com/ru/articles/818889/
@pythonl
🔵 Практический интенсив «Python-разработчик: основы за 2 дня» — 12-13 июня в 19:00 мск.
О перспективах направления Python и многом другом расскажет Грегори Салиба, старший разработчик ЭквантаЛаб с опытом в разработке более 3 лет.
На вебинаре вы:
☑️ Самостоятельно напишете Telegram-бота с карточными мини-играми.
☑️ Познакомитесь с синтаксисом языка и сферами его применения.
☑️ Поймете как продолжить обучение, какие навыки потребуются, чтобы стать backend-разработчиком на Python.
☑️ Узнаете, чего ждут работодатели от junior-разработчиков и что делать, чтобы найти работу без опыта.
🎁 Приятные бонусы: полезный гайд для начинающего Python-разработчика и гайд о сленге в IT всем участникам интенсива!
⚡️ ЛУЧШИЕ БЕСПЛАТНЫЕ Курсы и Книги для изучения МАШИННОГО ОБУЧЕНИЯ.
https://www.youtube.com/watch?v=j0BrMPgrCuo
@pythonl
🖥 PDM — современный менеджер пакетов и зависимостей Python, поддерживающий последние стандарты PEP
— curl -sSL https://pdm-project.org/install-pdm.py | python3 -
PDM — это инструмент управления зависимостями и пакетами Python нового поколения.
Если вам не хватает чего-то в Pipenv или Poetry, вероятно, вам подойдёт PDM.
🖥 GitHub
🟡 Доки
@pythonl
🖥 PyTorch-Ignite — библиотека Python, помогающая гибко и прозрачно обучать и оценивать нейросети в PyTorch
— pip install pytorch-ignite
Особенности PyTorch-Ignite:
— позволяет запускать любые обработчики на любые встроенные или кастомные события
— даёт возможность устанавливать контрольные точки, делать раннюю остановку, выполнять профилирование, планирование параметров и многое другое
— позволяет без проблем подключать дополнительные CPU, GPU и TPU
— имеет 50+ метрик, позволяющих легко оценивать модели
— бесшовно интегрируется с Tensorboard, MLFlow, WandB, Neptune
🖥 GitHub
🟡 Доки
🟡 Google Colab для экспериментов
@pythonl
🖥 Как легко вырезать фон на изображении с помощью Python
# pip install rembg pillow
from rembg import remove
from PIL import Image
input_path = "in.png"
output_path = "out.png"
input = Image.open(input_path)
output = remove(input)
output.save(output_path)
rembg и pillow, конечно жеhttps://github.com/danielgatis/rembg/releases/download/v0.0.0/u2net.onnx