52807
по всем вопросам @haarrp @itchannels_telegram - 🔥 best it channels @ai_machinelearning_big_data -ML @ArtificialIntelligencedl -AI @datascienceiot - ml 📚 @pythonlbooks -📚books
ПСБ цифровая лаборатория — это ИТ-блок ПСБ, одного из крупнейших банков в стране.
Ребята разрабатывают и совершенствуют продукты ПСБ, которыми пользуются миллионы людей. Присоединяйся к команде и участвуй в создании финтех-сервисов.
На сайте ПСБ цифровая лаборатория ты узнаешь:
- ️какие в банке есть ИТ-направления
- с каким стеком работают
- какие бонусы и льготы есть для сотрудников
- чем занимаются айтишники вне офиса
- что надо сделать, чтобы попасть в команду
Разделяешь ценности и подход к работе? Оставляй резюме на сайте!
Реклама. ООО "ПСБ ЛАБ". ИНН 7714436892.
🖥 368 решённых задач по Python с Leetcode
Здесь собрана масса литкод-задач с решением на Python.
Вот условия некоторых из задач:
— найти самое популярное слово в наборе
— удалить один элемент, чтобы список был строго возрастающим
— объединить k сортированных списков
— обойти матрицу по спирали и собрать полученные числа
▶️ Задачи с решениями
@pythonl
🖥 tinygrad — фреймворк Python для Deep Learning
— pip install tinygrad
tinygrad имеет встроенную библиотеку для работы с нейросетями, используя разные классы, оптимизаторы и инструменты для управления состоянием нейросетей.
В tinygrad есть JIT, чтобы всё работало быстро.
Также tinygrad имеет отличную поддержку нескольких GPU, что позволяет удобно параллелить операции над тензорами с помощью Tensor.shard.
🖥 GitHub
🟡 Доки
🟡 Примеры использования tinygrad
@pythonl
🖥 Freeway — инструмент на Python для тестирования и аудита Wi-Fi
— pip install 3way
Используется Freeway интуитивно понятным способом, как видно на скринах
🖥 GitHub
@pythonl
🖥 Instructor — получение структурированного вывода от LLM
— pip install -U instructor
Instructor позволяет легко получать структурированные данные (например, в формате JSON) от таких LLM, как GPT-3.5, GPT-4, GPT-4-Vision, и моделей с открытым исходным кодом, включая Mistral/Mixtral, Anyscale, Ollama и llama-cpp-python.
Instructor отличается простотой и ориентированным на пользователя дизайном, построенным на базе Pydantic.
🖥 GitHub
🟡 Примеры использования instructor
@pythonl
⚡️Хочешь разработать решение технологического кейса для внедрения в работу НКО? Тогда регистрируйся на Smart Social: Хакатон!
🏆Гранты на 1 200 000 рублей!
Smart Social: Хакатон – это командное соревнование для программистов, дизайнеров, менеджеров, аналитиков и других IT-специалистов, которые в сжатые сроки решают технологическую задачу.
👨💻Кейсы:
- Сервис для онлайн-записи на музейные мероприятия;
- Телеграм-бот для быстрого сбора, передачи и выгрузки информации для участников проекта "Накорми";
- Приложение для туристических маршрутов;
- Инструмент для анонимизации документов пользователей сервиса «Просто спросить»;
- Алгоритм для систематизации архивных материалов;
- Приложение-путеводитель по музею.
📆Даты хакатона: C 10 по 18 Июня 2024 г
📍Формат: Онлайн/Офлайн
🔥Дедлайн регистрации: 6 Июня, 23:59 (МСК)
Не нашел для себя задачу? Смотри еще кейсы по ссылке: https://tglink.io/85445a9e0b4c
🚀Сделай Добро – помоги НКО!
⭐️ Сравниваем DBSCAN и OPTICS
Поговорим сегодня о 2 популярных алгоритмах кластеризации — DBSCAN и OPTICS, посмотрим их особенности и сравним
Поехали!
https://habr.com/ru/articles/818889/
@pythonl
🔵 Практический интенсив «Python-разработчик: основы за 2 дня» — 12-13 июня в 19:00 мск.
О перспективах направления Python и многом другом расскажет Грегори Салиба, старший разработчик ЭквантаЛаб с опытом в разработке более 3 лет.
На вебинаре вы:
☑️ Самостоятельно напишете Telegram-бота с карточными мини-играми.
☑️ Познакомитесь с синтаксисом языка и сферами его применения.
☑️ Поймете как продолжить обучение, какие навыки потребуются, чтобы стать backend-разработчиком на Python.
☑️ Узнаете, чего ждут работодатели от junior-разработчиков и что делать, чтобы найти работу без опыта.
🎁 Приятные бонусы: полезный гайд для начинающего Python-разработчика и гайд о сленге в IT всем участникам интенсива!
⚡️ ЛУЧШИЕ БЕСПЛАТНЫЕ Курсы и Книги для изучения МАШИННОГО ОБУЧЕНИЯ.
https://www.youtube.com/watch?v=j0BrMPgrCuo
@pythonl
🖥 PDM — современный менеджер пакетов и зависимостей Python, поддерживающий последние стандарты PEP
— curl -sSL https://pdm-project.org/install-pdm.py | python3 -
PDM — это инструмент управления зависимостями и пакетами Python нового поколения.
Если вам не хватает чего-то в Pipenv или Poetry, вероятно, вам подойдёт PDM.
🖥 GitHub
🟡 Доки
@pythonl
🖥 PyTorch-Ignite — библиотека Python, помогающая гибко и прозрачно обучать и оценивать нейросети в PyTorch
— pip install pytorch-ignite
Особенности PyTorch-Ignite:
— позволяет запускать любые обработчики на любые встроенные или кастомные события
— даёт возможность устанавливать контрольные точки, делать раннюю остановку, выполнять профилирование, планирование параметров и многое другое
— позволяет без проблем подключать дополнительные CPU, GPU и TPU
— имеет 50+ метрик, позволяющих легко оценивать модели
— бесшовно интегрируется с Tensorboard, MLFlow, WandB, Neptune
🖥 GitHub
🟡 Доки
🟡 Google Colab для экспериментов
@pythonl
🖥 Как легко вырезать фон на изображении с помощью Python
# pip install rembg pillow
from rembg import remove
from PIL import Image
input_path = "in.png"
output_path = "out.png"
input = Image.open(input_path)
output = remove(input)
output.save(output_path)
rembg и pillow, конечно жеhttps://github.com/danielgatis/rembg/releases/download/v0.0.0/u2net.onnx
🖥 PyRIT — библиотека Python для оценивания безопасности LLM
conda create -y -n <environment-name> python=3.11
pip install pyrit
🖥 Celery — open-source распределенная очередь задач, написанная на Python
— pip install -U Celery
Celery — это гибкая и надежная распределенная система для обработки огромного количества сообщений.
Ориентирована на обработку в реальном времени, а также поддерживающает планирование задач.
Для отправки и получения сообщений Celery требуется решения типо RabbitMQ и Redis.
Помимо полноценной поддержки RabbitMQ и Redis есть и поддержка множества других экспериментальных решений, включая использование SQLite для локальной разработки.
Celery может работать на одной машине, на нескольких машинах или даже в разных ЦОДах.
В дополнение к Python-версии существуют node-celery и node-celery-ts для Node.js, а также PHP-клиент.
🖥 GitHub
🟡 Доки
@pythonl
🖥 Python-скрипт для озвучивания PDF
# Importing necessary libraries
import PyPDF2
import pyttsx3
# Prompt user for the PDF file name
pdf_filename = input("Enter the PDF file name (including extension): ").strip()
# Open the PDF file
try:
with open(pdf_filename, 'rb') as pdf_file:
# Create a PdfFileReader object
pdf_reader = PyPDF2.PdfReader(pdf_file)
# Get an engine instance for the speech synthesis
speak = pyttsx3.init()
# Iterate through each page and read the text
for page_num in range(len(pdf_reader.pages)):
page = pdf_reader.pages[page_num]
text = page.extract_text()
if text:
speak.say(text)
speak.runAndWait()
# Stop the speech engine
speak.stop()
print("Audiobook creation completed.")
except FileNotFoundError:
print("The specified file was not found.")
except Exception as e:
print(f"An error occurred: {e}")
🖥 StatsForecast — библиотека Python для быстрого прогнозирования с помощью статистических и эконометрических моделей
— pip install statsforecast
StatsForecast предоставляет коллекцию популярных моделей прогнозирования одномерных временных рядов, оптимизированных для высокой производительности и масштабируемости.
🖥 GitHub
🟡 Доки
@pythonl
Сбер проведет открытую технологическую конференцию GigaConf 2024.
27 июня в «Дизайн заводе» соберутся ведущие инженеры и разработчики из Сбера, Билайна, Positive Technologies, Т-Банка, МТС и других компаний.
Вместе они погрузят вас в темы:
— машинное обучение и искусственный интеллект;
— инструменты разработчика;
— DevOps;
— инженерия данных;
— безопасность приложений;
— системный анализ
— инновации и стратегии.
Зарегистрироваться и узнать подробности можно на сайте конференции.
Участие бесплатное!
🖥 GPT Computer Assistant — альтернативный мультиплатформенный клиент ChatGPT на Python
pip3 install gpt-computer-assistant
computerassistant
🖥 draw_scatter — позволяет нарисовать нужное распределение в Python
Если нужны кластеры нужной формы (например, хочется сравнить разные алгоритмы кластеризации) — не проблема, для этого есть библиотека drawdata и функция draw_scatter()
# ячейка 1
import pandas as pd
import seaborn as sns
from drawdata import draw_scatter
draw_scatter()
# ячейка 2
df = pd.read_clipboard(sep=',')
sns.scatterplot(data=df, x='x', y='y', hue='z')
🖥 Distilabel — фреймворк Python для создания синтетических данных для AI и не только для этого
— pip install distilabel --upgrade
Помимо создания синтетических данных, Distilabel помогает организовать сложные конвейеры обработки данных;
эти конвейеры могут содержать любое количество разных шагов.
🖥 GitHub
🟡 Доки
@pythonl
🖥 Marker — Python-утилита для быстрого и точного преобразования PDF в MD
— pip install marker-pdf
Процесс преобразования PDF при помощи Marker состоит из таких шагов:
— извлечение текста, при необходимости использование OCR (эвристические методы, Surya, Tesseract)
— определение макета страницы и порядка чтения (Surya)
— подготовка и форматирование каждого блока (эвристика, Texify)
— объединение блоков и постобработка полного текста (Heuristics, Pdf_postprocessor)
Marker использует ML-модели только там, где это необходимо, что повышает скорость и точность
Пример использования:marker_single /path/to/file.pdf /path/to/output/folder --batch_multiplier 2 --max_pages 10 --langs English
🖥 GitHub
🟡 Пример использования
@pythonl
🖥 Шпаргалка по Python, в которой собраны небольшие скрипты для решения повседневных задач
Вот, кстати, некоторые из них:
— добавить файл sample.txt к архиву .tar.gz:
import tarfile
with tarfile.open('sample.tar.gz', 'w:gz') as tar:
tar.add('sample.txt')
import difflib
diff = difflib.ndiff('one\ntwo\nthree\n'.splitlines(keepends=True),
'ore\ntree\nemu\n'.splitlines(keepends=True))
print(''.join(diff))
🖥 geemap — библиотека Python для интерактивного геопространственного анализа и визуализации с помощью Google Earth Engine
— pip install geemap
Библиотека geemap Python создана на базе ipyleaflet и ipywidgets и позволяет пользователям анализировать и визуализировать наборы данных Earth Engine в интерактивном режиме в среде, основанной на Jupyter.
🖥 GitHub
@pythonl
🖥 DeepChem — демократизация Deep Learning для открытия лекарств, квантовой химии, материаловедения и биологии
— pip install deepchem
DeepChem предоставляет отличный набор open-source инструментов, который демократизирует использование Deep Learning для открытия лекарств, материаловедения, квантовой химии и биологии.
🖥 GitHub
🟡 Туториалы
🟡 Модели Deep Learning от DeepChem
@pythonl
🖥 Repo2txt — утилита на Python, которая позволяет сохранить любой репозиторий в виде текстового файла
Repo2txt может пригодиться для интеллектуального анализа текстов или обучения LLM.
При написании Repo2txt автор не использовал сторонние зависимости и уместил всё в один файл. Для лучшей производительности применяется многопоточность. Кроме того, Repo2txt учитывает файлы в .gitignore, чтобы исключать их из вывода, поддерживается вывод двоичных файлов (аудио, изображений). Сам исходный файл понятен человеку и может легко токенизироваться для обучения моделей.
Кроме возможности обучать на полученных данных нейросети, разработчик приводит и другие сценарии использования Repo2txt:
— анализ данных;
— резервное копирование;
— локальное версирование.
Сперва утилиту необходимо скачать, локально клонировав исходный репозиторий. После этого для копирования репозиториев надо выполнить файл main.py с указанием пути к репозиторию и флагами:
— -d, --directory — путь к каталогу (обязательно).
— -t, --tree — вывод дерева репозитория (без содержимого файлов, отключен по умолчанию).
— -e, --embed — включить дерево в начале вывода.
— -b, --binary — ключить двоичные файлы (отключен по умолчанию).
— -g, --gitignore — использовать .gitignore для исключения файлов.
— -i, --ignore — можно через запятую указать дополнительный шаблон для исключения файлов.
— -o, --output — имя файла на выходе.
🖥 GitHub
@pythonl
🖥 Pyre — отличная библиотека для добавления статической типизации в Python (а вернее проверки типов)
sudo apt-get install python3 python3-pip python3-venv watchman
pip install pyre-check
🖥 Dataherald — движок для преобразования естественного языка в запросы SQL
Позволяет создать API, чтобы получать ответы на вопросы по БД; при этом вопросы можно будет задавать на простом английском языке.
🖥 GitHub
🟡 Доки
@pythonl
⭐️ LM-Studio. Запускаем у себя на ПК АНАЛОГ GPT. Генерируем Flask приложение с помощью ИИ.
https://www.youtube.com/watch?v=bsbW8UoA0zA
@pythonl
🖥 Rich — библиотека Python для отображения текста в терминале с поддержкой цвета, разных стилей и форматирования
— pip install rich
Rich позволяет сделать CLI-утилиты более информативными и удобными в использовании.
Также поддерживает подсветку синтаксиса структур данных.
Rich работает везде — в macOS, Linux и Windows.
🖥 GitHub
🟡 Доки
@pythonl
🖥 fabric — Python фреймворк с открытым исходным кодом для извлечения максимальной пользы из AI
git clone https://github.com/danielmiessler/fabric.git
cd fabric
sudo apt install pipx
pipx install .
fabric --setup