52807
по всем вопросам @haarrp @itchannels_telegram - 🔥 best it channels @ai_machinelearning_big_data -ML @ArtificialIntelligencedl -AI @datascienceiot - ml 📚 @pythonlbooks -📚books
🖥 Distilabel — фреймворк Python для создания синтетических данных для AI и не только для этого
— pip install distilabel --upgrade
Помимо создания синтетических данных, Distilabel помогает организовать сложные конвейеры обработки данных;
эти конвейеры могут содержать любое количество разных шагов.
🖥 GitHub
🟡 Доки
@pythonl
🖥 Marker — Python-утилита для быстрого и точного преобразования PDF в MD
— pip install marker-pdf
Процесс преобразования PDF при помощи Marker состоит из таких шагов:
— извлечение текста, при необходимости использование OCR (эвристические методы, Surya, Tesseract)
— определение макета страницы и порядка чтения (Surya)
— подготовка и форматирование каждого блока (эвристика, Texify)
— объединение блоков и постобработка полного текста (Heuristics, Pdf_postprocessor)
Marker использует ML-модели только там, где это необходимо, что повышает скорость и точность
Пример использования:marker_single /path/to/file.pdf /path/to/output/folder --batch_multiplier 2 --max_pages 10 --langs English
🖥 GitHub
🟡 Пример использования
@pythonl
🖥 Шпаргалка по Python, в которой собраны небольшие скрипты для решения повседневных задач
Вот, кстати, некоторые из них:
— добавить файл sample.txt к архиву .tar.gz:
import tarfile
with tarfile.open('sample.tar.gz', 'w:gz') as tar:
tar.add('sample.txt')
import difflib
diff = difflib.ndiff('one\ntwo\nthree\n'.splitlines(keepends=True),
'ore\ntree\nemu\n'.splitlines(keepends=True))
print(''.join(diff))
🖥 geemap — библиотека Python для интерактивного геопространственного анализа и визуализации с помощью Google Earth Engine
— pip install geemap
Библиотека geemap Python создана на базе ipyleaflet и ipywidgets и позволяет пользователям анализировать и визуализировать наборы данных Earth Engine в интерактивном режиме в среде, основанной на Jupyter.
🖥 GitHub
@pythonl
🖥 DeepChem — демократизация Deep Learning для открытия лекарств, квантовой химии, материаловедения и биологии
— pip install deepchem
DeepChem предоставляет отличный набор open-source инструментов, который демократизирует использование Deep Learning для открытия лекарств, материаловедения, квантовой химии и биологии.
🖥 GitHub
🟡 Туториалы
🟡 Модели Deep Learning от DeepChem
@pythonl
🖥 Repo2txt — утилита на Python, которая позволяет сохранить любой репозиторий в виде текстового файла
Repo2txt может пригодиться для интеллектуального анализа текстов или обучения LLM.
При написании Repo2txt автор не использовал сторонние зависимости и уместил всё в один файл. Для лучшей производительности применяется многопоточность. Кроме того, Repo2txt учитывает файлы в .gitignore, чтобы исключать их из вывода, поддерживается вывод двоичных файлов (аудио, изображений). Сам исходный файл понятен человеку и может легко токенизироваться для обучения моделей.
Кроме возможности обучать на полученных данных нейросети, разработчик приводит и другие сценарии использования Repo2txt:
— анализ данных;
— резервное копирование;
— локальное версирование.
Сперва утилиту необходимо скачать, локально клонировав исходный репозиторий. После этого для копирования репозиториев надо выполнить файл main.py с указанием пути к репозиторию и флагами:
— -d, --directory — путь к каталогу (обязательно).
— -t, --tree — вывод дерева репозитория (без содержимого файлов, отключен по умолчанию).
— -e, --embed — включить дерево в начале вывода.
— -b, --binary — ключить двоичные файлы (отключен по умолчанию).
— -g, --gitignore — использовать .gitignore для исключения файлов.
— -i, --ignore — можно через запятую указать дополнительный шаблон для исключения файлов.
— -o, --output — имя файла на выходе.
🖥 GitHub
@pythonl
🖥 Pyre — отличная библиотека для добавления статической типизации в Python (а вернее проверки типов)
sudo apt-get install python3 python3-pip python3-venv watchman
pip install pyre-check
🖥 Dataherald — движок для преобразования естественного языка в запросы SQL
Позволяет создать API, чтобы получать ответы на вопросы по БД; при этом вопросы можно будет задавать на простом английском языке.
🖥 GitHub
🟡 Доки
@pythonl
⭐️ LM-Studio. Запускаем у себя на ПК АНАЛОГ GPT. Генерируем Flask приложение с помощью ИИ.
https://www.youtube.com/watch?v=bsbW8UoA0zA
@pythonl
🖥 Rich — библиотека Python для отображения текста в терминале с поддержкой цвета, разных стилей и форматирования
— pip install rich
Rich позволяет сделать CLI-утилиты более информативными и удобными в использовании.
Также поддерживает подсветку синтаксиса структур данных.
Rich работает везде — в macOS, Linux и Windows.
🖥 GitHub
🟡 Доки
@pythonl
🖥 fabric — Python фреймворк с открытым исходным кодом для извлечения максимальной пользы из AI
git clone https://github.com/danielmiessler/fabric.git
cd fabric
sudo apt install pipx
pipx install .
fabric --setup
Блокчейн TON ищет талантливых разработчиков!
Стартует масштабный хакатон “The Open League Hackathon” с призовым пулом $2,000,000 от команды блокчейна TON.
В поддержку хакатона все Web3-энтузиасты приглашаются на трёхдневные оффлайн встречи для нетворкинга в 13 городах мира:
📍Прага, Берлин, Киев, Варшава, Тбилиси, Белград, Сеул, Тайбэй (Тайвань), Гуруграм (Индия), Гонг-Конг, Минск, Москва и Санкт-Петербург.
Первые встречи начнутся уже 24 мая. Ищи свой город и регистрируйся здесь 👈 тык
Что вас ждет:
— 3 дня нетворка, лекций, конкурсов и работы над собственными проектами с поддержкой представителей TON Foundation и команд экосистемы TON
— Призовые $5.000 для трех лучших проектов на каждом оффлайн ивенте + много мерча и других бонусов
Не упусти возможность представить свое приложение 900 миллионам активных пользователей Telegram вместе с TON.
Регистрируйся — https://society.ton.org/activities/open-league
⚡️У нас Большой Розыгрыш!
ПОЛУЧИ Steam Deck, наши обучающие курсы, 2 топовые книги по Python и машинному обучению и Premium подписки телеграм.
Для участия необходимо быть 1. 1.Подписаться на @ai_machinelearning_big_data
2. Подписаться на канал наших друзей @postypashki_old;
3. Нажать на кнопку «Участвовать».
Итоги подведём 10 июня в 19:00 случайным образом будут выбраны 8 победителей при помощи бота. Призы отправим в зоне работы СДЭК, доставка с нас.
⚠️ Если кнопка подвисла — не переживайте, просто выполните условия и нажмите «Участвовать».
🌟 Checkov — инструмент статического анализа кода для инфраструктуры как кода (IaaC)
— brew install checkov
Также Checkov — это инструмент анализа состава программного обеспечения (SCA) для образов и пакетов с открытым исходным кодом.
Сканирует облачную инфраструктуру, созданную с помощью Terraform, Terraform plan, Cloudformation, AWS SAM, Kubernetes, Helm charts, Kustomize, Dockerfile, Serverless, Bicep, OpenAPI или ARM Templates, и обнаруживает ошибки в безопасности и соответствии требованиям.
Checkov также использует Prisma Cloud Application Security — платформу, ориентированную на разработчиков, которая упрощает безопасность облачных сред на протяжении всего жизненного цикла разработки. Prisma Cloud выявляет, исправляет и предотвращает неправильные конфигурации в облачных ресурсах и файлах инфраструктуры как кода.
🖥 GitHub
@pythonl
🖥 Помощник на Python для работы с видео, использующий CrewAI и GPT-4o
git clone https://github.com/alexfazio/viral-clips-crew.git
pip install poetry
poetry install
⚡️Хочешь разработать решение технологического кейса для внедрения в работу НКО? Тогда регистрируйся на Smart Social: Хакатон!
🏆Гранты на 1 200 000 рублей!
Smart Social: Хакатон – это командное соревнование для программистов, дизайнеров, менеджеров, аналитиков и других IT-специалистов, которые в сжатые сроки решают технологическую задачу.
👨💻Кейсы:
- Сервис для онлайн-записи на музейные мероприятия;
- Телеграм-бот для быстрого сбора, передачи и выгрузки информации для участников проекта "Накорми";
- Приложение для туристических маршрутов;
- Инструмент для анонимизации документов пользователей сервиса «Просто спросить»;
- Алгоритм для систематизации архивных материалов;
- Приложение-путеводитель по музею.
📆Даты хакатона: C 10 по 18 Июня 2024 г
📍Формат: Онлайн/Офлайн
🔥Дедлайн регистрации: 6 Июня, 23:59 (МСК)
Не нашел для себя задачу? Смотри еще кейсы по ссылке: https://tglink.io/85445a9e0b4c
🚀Сделай Добро – помоги НКО!
⭐️ Сравниваем DBSCAN и OPTICS
Поговорим сегодня о 2 популярных алгоритмах кластеризации — DBSCAN и OPTICS, посмотрим их особенности и сравним
Поехали!
https://habr.com/ru/articles/818889/
@pythonl
🔵 Практический интенсив «Python-разработчик: основы за 2 дня» — 12-13 июня в 19:00 мск.
О перспективах направления Python и многом другом расскажет Грегори Салиба, старший разработчик ЭквантаЛаб с опытом в разработке более 3 лет.
На вебинаре вы:
☑️ Самостоятельно напишете Telegram-бота с карточными мини-играми.
☑️ Познакомитесь с синтаксисом языка и сферами его применения.
☑️ Поймете как продолжить обучение, какие навыки потребуются, чтобы стать backend-разработчиком на Python.
☑️ Узнаете, чего ждут работодатели от junior-разработчиков и что делать, чтобы найти работу без опыта.
🎁 Приятные бонусы: полезный гайд для начинающего Python-разработчика и гайд о сленге в IT всем участникам интенсива!
⚡️ ЛУЧШИЕ БЕСПЛАТНЫЕ Курсы и Книги для изучения МАШИННОГО ОБУЧЕНИЯ.
https://www.youtube.com/watch?v=j0BrMPgrCuo
@pythonl
🖥 PDM — современный менеджер пакетов и зависимостей Python, поддерживающий последние стандарты PEP
— curl -sSL https://pdm-project.org/install-pdm.py | python3 -
PDM — это инструмент управления зависимостями и пакетами Python нового поколения.
Если вам не хватает чего-то в Pipenv или Poetry, вероятно, вам подойдёт PDM.
🖥 GitHub
🟡 Доки
@pythonl
🖥 PyTorch-Ignite — библиотека Python, помогающая гибко и прозрачно обучать и оценивать нейросети в PyTorch
— pip install pytorch-ignite
Особенности PyTorch-Ignite:
— позволяет запускать любые обработчики на любые встроенные или кастомные события
— даёт возможность устанавливать контрольные точки, делать раннюю остановку, выполнять профилирование, планирование параметров и многое другое
— позволяет без проблем подключать дополнительные CPU, GPU и TPU
— имеет 50+ метрик, позволяющих легко оценивать модели
— бесшовно интегрируется с Tensorboard, MLFlow, WandB, Neptune
🖥 GitHub
🟡 Доки
🟡 Google Colab для экспериментов
@pythonl
🖥 Как легко вырезать фон на изображении с помощью Python
# pip install rembg pillow
from rembg import remove
from PIL import Image
input_path = "in.png"
output_path = "out.png"
input = Image.open(input_path)
output = remove(input)
output.save(output_path)
rembg и pillow, конечно жеhttps://github.com/danielgatis/rembg/releases/download/v0.0.0/u2net.onnx
🖥 PyRIT — библиотека Python для оценивания безопасности LLM
conda create -y -n <environment-name> python=3.11
pip install pyrit
🖥 Celery — open-source распределенная очередь задач, написанная на Python
— pip install -U Celery
Celery — это гибкая и надежная распределенная система для обработки огромного количества сообщений.
Ориентирована на обработку в реальном времени, а также поддерживающает планирование задач.
Для отправки и получения сообщений Celery требуется решения типо RabbitMQ и Redis.
Помимо полноценной поддержки RabbitMQ и Redis есть и поддержка множества других экспериментальных решений, включая использование SQLite для локальной разработки.
Celery может работать на одной машине, на нескольких машинах или даже в разных ЦОДах.
В дополнение к Python-версии существуют node-celery и node-celery-ts для Node.js, а также PHP-клиент.
🖥 GitHub
🟡 Доки
@pythonl
🖥 Python-скрипт для озвучивания PDF
# Importing necessary libraries
import PyPDF2
import pyttsx3
# Prompt user for the PDF file name
pdf_filename = input("Enter the PDF file name (including extension): ").strip()
# Open the PDF file
try:
with open(pdf_filename, 'rb') as pdf_file:
# Create a PdfFileReader object
pdf_reader = PyPDF2.PdfReader(pdf_file)
# Get an engine instance for the speech synthesis
speak = pyttsx3.init()
# Iterate through each page and read the text
for page_num in range(len(pdf_reader.pages)):
page = pdf_reader.pages[page_num]
text = page.extract_text()
if text:
speak.say(text)
speak.runAndWait()
# Stop the speech engine
speak.stop()
print("Audiobook creation completed.")
except FileNotFoundError:
print("The specified file was not found.")
except Exception as e:
print(f"An error occurred: {e}")
🖥 IconMatch
IconMatch — это библиотека на языке Python, созданная на основе OpenCV.
Она позволяет пользователям легко выбирать значки на экране в любой среде, что упрощает добавление данной функциональности в ваши программы.
Основные особенности библиотеки включают обнаружение областей с высокой вероятностью наличия значков, на которые можно нажимать, и определение ближайшего к ним прямоугольника — точки интереса.
• Github
@pythonl
🖥 Qlib — платформа для количественных инвестиций
— pip install pyqlib
Qlib — это платформа для количественных (quantitative) инвестиций, которая стремится раскрыть потенциал AI и смежных технологий в количественных инвестициях.
Позволяет легко испытывать свои идеи для создания более эффективных стратегий инвестирования.
На изображении приведены различные компоненты, из которых состоит Qlib. Компоненты разработаны как свободно соединенные модули, и каждый из них может быть использован отдельно.
🖥 GitHub
🟡 Доки
@pythonl
#вакансия #backend #senior #remote
"Hello, Doc!" (hellodoc.app) — активно развивающаяся компания в сфере онлайн медицины.С начала 2019 года мы занимаемся развитием online медицины, чтобы сделать общение врачей и пациентов эффективным и удобным, а доступ к медицинским услугам доступным и понятным. Сегодня это уже более 400 000 пациентов и более 30 000 профи.
Мы ищем активного, целеустремлённого разработчики, который хочет расти и развивать online медицину вмести с нами.
🔎Мы ищем активного, целеустремлённого сотрудника, который хочет расти и развиваться вместе с нами.
🔬Почему мы:
- Мы являемся резидентами Сколково и участниками Московского интонационного кластера (МИК); - Компания аккредитована в минцифры;
- Наше ПО зарегистрировано в реестре отечественного ПО;
- Удалённый формат работы;
- Социально-значимый проект;
- Быстрое принятие решений;
- Мы продуктовая компания, которая делает проект для людей, а не для заказчика.
Стэк: Python 3.9, Django 4.2, PostrgeSQL 16, Docker.
🚧Обязанности:
- Разработка нового функционала и поддержка старого в рамках своей команды;
- Отвечать за качество: покрывать код unittest, codereview, разбирать ошибки, troubleshooting;
- Документирование реализованного функционала, если требуется;
- Взаимодействие с frontend разработчиками и QA инженерами.
📚Необходимые знания:
- Умения писать чистый и понятный код;
- Твердое знание Python , Django (DRF), Celery, SQL;
- Опыт проектирования БД и REST API;
- Опыт написания юнит-тестов (у нас их много);
- Опыт работы с системами контроля версий (git);
- Опыт разработки бекенда на Python не менее 4х лет.
➕Будет плюсом: - Опыт работы с нагруженным ETL системами;
- Опыт проектирвания микросервесной архитектуры;
- Опыт работы с k8s.
🤝Условия:
- Удалённая занятость ( 5/2 с 10 до 19).
- Уровень дохода 300 000 - 350 000 руб.
Контакт для связи tg @fedosovaAS
Хотите тестировать приложения на Python быстрее?
Создайте пакет в Python и интегрируйте его с проектами Django.
О том, как это сделать, мы поговорим на открытом уроке «Как создать свою библиотеку и ускорить тестирование в Django REST framework».
Приглашаем веб-разработчиков, Python-разработчиков, бэкенд-разработчиков, девопс-инженеров.
Вы научитесь:
- Создавать пакет Python
- Пользоваться инструментами для тестирования приложений в Django REST Framework
- Писать тест-кейсы для юнит-тестов
- Интегрировать созданный пакет в проекты Django
Занятие проведёт Python-разработчик и опытный преподаватель OTUS – Леонид Орлов.
Бонус! Всем участникам – скидка 5% на любой курс OTUS
23 мая в 19:00 МСК
Записаться на воркшоп - https://otus.pw/k37Mr/?erid=LjN8Jyw6W
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
Изучите применение ChatGPT в рабочих целях, чтобы получить от этого прибыль. Сейчас самое время начать использовать искусственный интеллект.
Здесь вы узнаете, почему стоит освоить ChatGPT. Это поможет вам:
- Использовать ChatGPT в вашей профессиональной сфере.
- Предлагать компаниям разработку индивидуально дообученного ChatGPT по заказу.
- Увеличить свой доход, освоив навык создания индивидуально дообученного ChatGPT.
Зарегистрируйтесь на бесплатный вебинар, чтобы узнать больше деталей.
Реклама. ООО "ТЕРРА ЭЙАЙ". ИНН 9728019395. erid: LjN8K1Nof