52806
по всем вопросам @haarrp @itchannels_telegram - 🔥 best it channels @ai_machinelearning_big_data -ML @ArtificialIntelligencedl -AI @datascienceiot - ml 📚 @pythonlbooks -📚books
🖥 Создание своего интерфейся для взаимодействия с ChatGPT-подобным ботом со своей БД буквально в 50 строк
Здесь используется 2 ключевых компонента:
— LangChain: фреймворк для создания LLM-приложений
— Gradio: библиотека Python для создания простых в использовании веб-интерфейсов для ML-моделей
📎 Пошаговый гайд
@pythonl
⚡ BM25, библиотеку быстрого лексического поиска!
BM25 —семейство функций ранжирования документов, которые оценивают число ключевых запросов в каждом из документов.
🏎️ В 500 раз быстрее, чем самая популярная библиотека Python lib, соответствует.
🤗 Первая библиотека BM25, напрямую интегрированная с
huggingface.pip install bm25s
▪ Github
@pythonl
Как создавать высоконагруженные сайты и приложения, способные обработать миллионы пользовательских запросов?
И от каких факторов зависит успех разработки?
Узнаете на нашей традиционной тематической конференции
OTUS CONF: архитектура и бэкенд-разработка
Вас ждут выступления четырёх экспертов:
- программиста баз данных
- руководителя отдела разработки в VK
- руководителя группы «Защита профилей» в WildberriesHR
- бизнес-партнёра в НЛМК-ИТ
Вы узнаете:
- как формировать кастомную архитектуру взаимодействия бэкенда и фронтенда
- как работает интерпретатор CPython
- как решать проблему распределённых транзакций на Go
- кому идти в управление, а кому – совершенствовать технические навыки
Все участники конференции получат полезные бонусы
19 июня в 19:00 МСК
Бесплатно
Записаться на конференцию - https://otus.pw/KN16/?erid=LjN8KD3iU
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
🌟 sh — полноценная замена подпроцесса для Python
— pip install sh
Может кто не знает, но существует sh — полноценная замена подпроцесса для Python 3.8 - 3.11 и PyPy, которая позволяет вызывать любую программу так, как если бы она была функцией, наподобие:
from sh import ifconfig
print(ifconfig("eth0"))
🖥 Downloading a YouTube Playlist using Python
Загрузка плейлиста YouTube с помощью Python.
@pythonl
🖥 vedo — модуль python для анализа и визуализации 3D-объектов
— pip install vedo
vedo может работать как с полигональной сеткой, так и с облаком точек, отлично интегрируется с другими библиотеками
🖥 GitHub
🟡 Примеры использования
@pythonl
🖥 👣 Вызов функций Go из Python с помощью ctypes
Поговорим о том, как можно запускать программу, написанную на Go из Python.
Зачем?
При работе на Python иногда имеет смысл реализовать отдельные функции на статичном, высокопроизводительном языке. Go может стать отличным выбором для этого, потому что он быстрый, простой и кроссплатформенный.
Поехали!
https://habr.com/ru/articles/821007/
@pythonl
🖥 Litestar — это мощный, гибкий ASGI-фреймворк, ориентированный на создание API
— pip install litestar
Litestar предлагает проверку данных, внедрение зависимостей, интеграцию с ORM, примитивы авторизации и многое другое, что необходимо для запуска приложений в работу.
Простой пример использования Litestar:
from litestar import Litestar, get
@get("/")
async def hello_world() -> str:
return "Hello, world!"
app = Litestar([hello_world])
🖥 StatsForecast — библиотека Python для быстрого прогнозирования с помощью статистических и эконометрических моделей
— pip install statsforecast
StatsForecast предоставляет коллекцию популярных моделей прогнозирования одномерных временных рядов, оптимизированных для высокой производительности и масштабируемости.
🖥 GitHub
🟡 Доки
@pythonl
Сбер проведет открытую технологическую конференцию GigaConf 2024.
27 июня в «Дизайн заводе» соберутся ведущие инженеры и разработчики из Сбера, Билайна, Positive Technologies, Т-Банка, МТС и других компаний.
Вместе они погрузят вас в темы:
— машинное обучение и искусственный интеллект;
— инструменты разработчика;
— DevOps;
— инженерия данных;
— безопасность приложений;
— системный анализ
— инновации и стратегии.
Зарегистрироваться и узнать подробности можно на сайте конференции.
Участие бесплатное!
🖥 GPT Computer Assistant — альтернативный мультиплатформенный клиент ChatGPT на Python
pip3 install gpt-computer-assistant
computerassistant
🖥 draw_scatter — позволяет нарисовать нужное распределение в Python
Если нужны кластеры нужной формы (например, хочется сравнить разные алгоритмы кластеризации) — не проблема, для этого есть библиотека drawdata и функция draw_scatter()
# ячейка 1
import pandas as pd
import seaborn as sns
from drawdata import draw_scatter
draw_scatter()
# ячейка 2
df = pd.read_clipboard(sep=',')
sns.scatterplot(data=df, x='x', y='y', hue='z')
🖥 Distilabel — фреймворк Python для создания синтетических данных для AI и не только для этого
— pip install distilabel --upgrade
Помимо создания синтетических данных, Distilabel помогает организовать сложные конвейеры обработки данных;
эти конвейеры могут содержать любое количество разных шагов.
🖥 GitHub
🟡 Доки
@pythonl
🖥 Marker — Python-утилита для быстрого и точного преобразования PDF в MD
— pip install marker-pdf
Процесс преобразования PDF при помощи Marker состоит из таких шагов:
— извлечение текста, при необходимости использование OCR (эвристические методы, Surya, Tesseract)
— определение макета страницы и порядка чтения (Surya)
— подготовка и форматирование каждого блока (эвристика, Texify)
— объединение блоков и постобработка полного текста (Heuristics, Pdf_postprocessor)
Marker использует ML-модели только там, где это необходимо, что повышает скорость и точность
Пример использования:marker_single /path/to/file.pdf /path/to/output/folder --batch_multiplier 2 --max_pages 10 --langs English
🖥 GitHub
🟡 Пример использования
@pythonl
🖥 Шпаргалка по Python, в которой собраны небольшие скрипты для решения повседневных задач
Вот, кстати, некоторые из них:
— добавить файл sample.txt к архиву .tar.gz:
import tarfile
with tarfile.open('sample.tar.gz', 'w:gz') as tar:
tar.add('sample.txt')
import difflib
diff = difflib.ndiff('one\ntwo\nthree\n'.splitlines(keepends=True),
'ore\ntree\nemu\n'.splitlines(keepends=True))
print(''.join(diff))
🖥 LibrePhotos — self-hosted сервис управления фотографиями на Python
В отличие от коммерческих сервисов, которые хранят фотографии в облаке и сканируют/индексируют их, LibrePhotos позволяет хранить все ваши фотографии и метаданные полностью локально.
Быстрый старт с Docker (<photos> — реальная папка с фотографиями):
docker run -v <photos>:/var/lib/librephotos/photos/ -v <thumbnails>:/var/lib/librephotos/data/protected_media -v <logs>:/var/log/librephotos/ -v <db>:/var/lib/postgresql/data -p 3000:80 -d reallibrephotos/singleton
🖥 Scapy — это Python-утилита и библиотека, которая позволяет отправлять, анализировать и изменять сетевые пакеты
— pip install scapy
Утилита позволяет создавать инструменты для сканирования сети и осуществления сетевых атак.
Scapy может заменить такие инструменты как hping, arpspoof, arp-sk, arping, p0f и даже некоторые части Nmap, tcpdump и tshark.
🖥 GitHub
🟡 Доки
@pythonl
1 простой Совет Python как организовать свой код ЛУЧШЕ 💪
https://youtube.com/shorts/OLG-bXzYk0U?feature=share
🖥 Rio — open-source фреймворк для разработки веб-приложений на чистом Python: не нужен ни HTML, ни CSS, ни JS
— pip install rio-ui
Rio привносит в Python компоненты в стиле React.
Можно выбирать из множества встроенных компонентов и комбинировать их для создания своих собственных компонентов, а потом строить из тех свои приложения
Готовые приложения, созданные с помощью Rio могут работать как локально на вашей машине, так и в Интернете.
🖥 GitHub
🟡 Доки
🟡 Примеры готовых веб-приложений
@pythonl
🖥 PhySO — модуль для поиска закономерностей в данных и вывода аналитических зависимостей на их основе
PhySO предназначен для вывода аналитических физических законов из эмпирических данных; модуль способен использовать ограничения физических единиц, например, сокращая пространство поиска с помощью анализа размерности
Рекомендуемый способ установки с помощью conda:
conda create -n PhySO python=3.8
conda activate PhySO
git clone https://github.com/WassimTenachi/PhySO
cd PhySO
conda install --file requirements.txt
pip install -e .
🖥🖥 Дроиды и питоны: как работать с ADB быстрее и проще
Если вы — разработчик или тестировщик приложений для Android, просто обычный программист или юзер — то вы попали по адресу.
Читать
@pythonl
Python-разработчики тут? Вас уже ждут в Т-банке!
Вместе с результативной командой вы будете развивать финтех: от внутренних проектов до клиентских продуктов, которыми пользуются миллионы.
Приходите прокачивать навыки и работать в команде единомышленников. Посмотреть вакансии и откликнуться, если у вас больше двух лет опыта, можно здесь
Реклама. АО «Тинькофф Банк», ИНН 7710140679
ПСБ цифровая лаборатория — это ИТ-блок ПСБ, одного из крупнейших банков в стране.
Ребята разрабатывают и совершенствуют продукты ПСБ, которыми пользуются миллионы людей. Присоединяйся к команде и участвуй в создании финтех-сервисов.
На сайте ПСБ цифровая лаборатория ты узнаешь:
- ️какие в банке есть ИТ-направления
- с каким стеком работают
- какие бонусы и льготы есть для сотрудников
- чем занимаются айтишники вне офиса
- что надо сделать, чтобы попасть в команду
Разделяешь ценности и подход к работе? Оставляй резюме на сайте!
Реклама. ООО "ПСБ ЛАБ". ИНН 7714436892.
🖥 368 решённых задач по Python с Leetcode
Здесь собрана масса литкод-задач с решением на Python.
Вот условия некоторых из задач:
— найти самое популярное слово в наборе
— удалить один элемент, чтобы список был строго возрастающим
— объединить k сортированных списков
— обойти матрицу по спирали и собрать полученные числа
▶️ Задачи с решениями
@pythonl
🖥 tinygrad — фреймворк Python для Deep Learning
— pip install tinygrad
tinygrad имеет встроенную библиотеку для работы с нейросетями, используя разные классы, оптимизаторы и инструменты для управления состоянием нейросетей.
В tinygrad есть JIT, чтобы всё работало быстро.
Также tinygrad имеет отличную поддержку нескольких GPU, что позволяет удобно параллелить операции над тензорами с помощью Tensor.shard.
🖥 GitHub
🟡 Доки
🟡 Примеры использования tinygrad
@pythonl
🖥 Freeway — инструмент на Python для тестирования и аудита Wi-Fi
— pip install 3way
Используется Freeway интуитивно понятным способом, как видно на скринах
🖥 GitHub
@pythonl
🖥 Instructor — получение структурированного вывода от LLM
— pip install -U instructor
Instructor позволяет легко получать структурированные данные (например, в формате JSON) от таких LLM, как GPT-3.5, GPT-4, GPT-4-Vision, и моделей с открытым исходным кодом, включая Mistral/Mixtral, Anyscale, Ollama и llama-cpp-python.
Instructor отличается простотой и ориентированным на пользователя дизайном, построенным на базе Pydantic.
🖥 GitHub
🟡 Примеры использования instructor
@pythonl
⚡️Хочешь разработать решение технологического кейса для внедрения в работу НКО? Тогда регистрируйся на Smart Social: Хакатон!
🏆Гранты на 1 200 000 рублей!
Smart Social: Хакатон – это командное соревнование для программистов, дизайнеров, менеджеров, аналитиков и других IT-специалистов, которые в сжатые сроки решают технологическую задачу.
👨💻Кейсы:
- Сервис для онлайн-записи на музейные мероприятия;
- Телеграм-бот для быстрого сбора, передачи и выгрузки информации для участников проекта "Накорми";
- Приложение для туристических маршрутов;
- Инструмент для анонимизации документов пользователей сервиса «Просто спросить»;
- Алгоритм для систематизации архивных материалов;
- Приложение-путеводитель по музею.
📆Даты хакатона: C 10 по 18 Июня 2024 г
📍Формат: Онлайн/Офлайн
🔥Дедлайн регистрации: 6 Июня, 23:59 (МСК)
Не нашел для себя задачу? Смотри еще кейсы по ссылке: https://tglink.io/85445a9e0b4c
🚀Сделай Добро – помоги НКО!
⭐️ Сравниваем DBSCAN и OPTICS
Поговорим сегодня о 2 популярных алгоритмах кластеризации — DBSCAN и OPTICS, посмотрим их особенности и сравним
Поехали!
https://habr.com/ru/articles/818889/
@pythonl
🔵 Практический интенсив «Python-разработчик: основы за 2 дня» — 12-13 июня в 19:00 мск.
О перспективах направления Python и многом другом расскажет Грегори Салиба, старший разработчик ЭквантаЛаб с опытом в разработке более 3 лет.
На вебинаре вы:
☑️ Самостоятельно напишете Telegram-бота с карточными мини-играми.
☑️ Познакомитесь с синтаксисом языка и сферами его применения.
☑️ Поймете как продолжить обучение, какие навыки потребуются, чтобы стать backend-разработчиком на Python.
☑️ Узнаете, чего ждут работодатели от junior-разработчиков и что делать, чтобы найти работу без опыта.
🎁 Приятные бонусы: полезный гайд для начинающего Python-разработчика и гайд о сленге в IT всем участникам интенсива!