52806
по всем вопросам @haarrp @itchannels_telegram - 🔥 best it channels @ai_machinelearning_big_data -ML @ArtificialIntelligencedl -AI @datascienceiot - ml 📚 @pythonlbooks -📚books
🖥 geemap — библиотека Python для интерактивного геопространственного анализа и визуализации с помощью Google Earth Engine
— pip install geemap
Библиотека geemap Python создана на базе ipyleaflet и ipywidgets и позволяет пользователям анализировать и визуализировать наборы данных Earth Engine в интерактивном режиме в среде, основанной на Jupyter.
🖥 GitHub
@pythonl
🖥 DeepChem — демократизация Deep Learning для открытия лекарств, квантовой химии, материаловедения и биологии
— pip install deepchem
DeepChem предоставляет отличный набор open-source инструментов, который демократизирует использование Deep Learning для открытия лекарств, материаловедения, квантовой химии и биологии.
🖥 GitHub
🟡 Туториалы
🟡 Модели Deep Learning от DeepChem
@pythonl
🖥 Repo2txt — утилита на Python, которая позволяет сохранить любой репозиторий в виде текстового файла
Repo2txt может пригодиться для интеллектуального анализа текстов или обучения LLM.
При написании Repo2txt автор не использовал сторонние зависимости и уместил всё в один файл. Для лучшей производительности применяется многопоточность. Кроме того, Repo2txt учитывает файлы в .gitignore, чтобы исключать их из вывода, поддерживается вывод двоичных файлов (аудио, изображений). Сам исходный файл понятен человеку и может легко токенизироваться для обучения моделей.
Кроме возможности обучать на полученных данных нейросети, разработчик приводит и другие сценарии использования Repo2txt:
— анализ данных;
— резервное копирование;
— локальное версирование.
Сперва утилиту необходимо скачать, локально клонировав исходный репозиторий. После этого для копирования репозиториев надо выполнить файл main.py с указанием пути к репозиторию и флагами:
— -d, --directory — путь к каталогу (обязательно).
— -t, --tree — вывод дерева репозитория (без содержимого файлов, отключен по умолчанию).
— -e, --embed — включить дерево в начале вывода.
— -b, --binary — ключить двоичные файлы (отключен по умолчанию).
— -g, --gitignore — использовать .gitignore для исключения файлов.
— -i, --ignore — можно через запятую указать дополнительный шаблон для исключения файлов.
— -o, --output — имя файла на выходе.
🖥 GitHub
@pythonl
🖥 Pyre — отличная библиотека для добавления статической типизации в Python (а вернее проверки типов)
sudo apt-get install python3 python3-pip python3-venv watchman
pip install pyre-check
🖥 Dataherald — движок для преобразования естественного языка в запросы SQL
Позволяет создать API, чтобы получать ответы на вопросы по БД; при этом вопросы можно будет задавать на простом английском языке.
🖥 GitHub
🟡 Доки
@pythonl
⭐️ LM-Studio. Запускаем у себя на ПК АНАЛОГ GPT. Генерируем Flask приложение с помощью ИИ.
https://www.youtube.com/watch?v=bsbW8UoA0zA
@pythonl
🖥 Rich — библиотека Python для отображения текста в терминале с поддержкой цвета, разных стилей и форматирования
— pip install rich
Rich позволяет сделать CLI-утилиты более информативными и удобными в использовании.
Также поддерживает подсветку синтаксиса структур данных.
Rich работает везде — в macOS, Linux и Windows.
🖥 GitHub
🟡 Доки
@pythonl
🖥 fabric — Python фреймворк с открытым исходным кодом для извлечения максимальной пользы из AI
git clone https://github.com/danielmiessler/fabric.git
cd fabric
sudo apt install pipx
pipx install .
fabric --setup
Блокчейн TON ищет талантливых разработчиков!
Стартует масштабный хакатон “The Open League Hackathon” с призовым пулом $2,000,000 от команды блокчейна TON.
В поддержку хакатона все Web3-энтузиасты приглашаются на трёхдневные оффлайн встречи для нетворкинга в 13 городах мира:
📍Прага, Берлин, Киев, Варшава, Тбилиси, Белград, Сеул, Тайбэй (Тайвань), Гуруграм (Индия), Гонг-Конг, Минск, Москва и Санкт-Петербург.
Первые встречи начнутся уже 24 мая. Ищи свой город и регистрируйся здесь 👈 тык
Что вас ждет:
— 3 дня нетворка, лекций, конкурсов и работы над собственными проектами с поддержкой представителей TON Foundation и команд экосистемы TON
— Призовые $5.000 для трех лучших проектов на каждом оффлайн ивенте + много мерча и других бонусов
Не упусти возможность представить свое приложение 900 миллионам активных пользователей Telegram вместе с TON.
Регистрируйся — https://society.ton.org/activities/open-league
⚡️У нас Большой Розыгрыш!
ПОЛУЧИ Steam Deck, наши обучающие курсы, 2 топовые книги по Python и машинному обучению и Premium подписки телеграм.
Для участия необходимо быть 1. 1.Подписаться на @ai_machinelearning_big_data
2. Подписаться на канал наших друзей @postypashki_old;
3. Нажать на кнопку «Участвовать».
Итоги подведём 10 июня в 19:00 случайным образом будут выбраны 8 победителей при помощи бота. Призы отправим в зоне работы СДЭК, доставка с нас.
⚠️ Если кнопка подвисла — не переживайте, просто выполните условия и нажмите «Участвовать».
🌟 Checkov — инструмент статического анализа кода для инфраструктуры как кода (IaaC)
— brew install checkov
Также Checkov — это инструмент анализа состава программного обеспечения (SCA) для образов и пакетов с открытым исходным кодом.
Сканирует облачную инфраструктуру, созданную с помощью Terraform, Terraform plan, Cloudformation, AWS SAM, Kubernetes, Helm charts, Kustomize, Dockerfile, Serverless, Bicep, OpenAPI или ARM Templates, и обнаруживает ошибки в безопасности и соответствии требованиям.
Checkov также использует Prisma Cloud Application Security — платформу, ориентированную на разработчиков, которая упрощает безопасность облачных сред на протяжении всего жизненного цикла разработки. Prisma Cloud выявляет, исправляет и предотвращает неправильные конфигурации в облачных ресурсах и файлах инфраструктуры как кода.
🖥 GitHub
@pythonl
🖥 Помощник на Python для работы с видео, использующий CrewAI и GPT-4o
git clone https://github.com/alexfazio/viral-clips-crew.git
pip install poetry
poetry install
🖥 Реализация модели Llama 3 на чистом NumPy
Держите подробный гайд по созданию Llama 3 только средствами Python и библиотеки NumPy.
В качестве источников вдохновения и примеров использовались такие реализации:
— llama2.c
— llama.np
— modeling_llama.py — с Hugging Face
$ python llama3.py "I have a dream"
"""
I have a dream. He dream of a big, beautiful garden full of flower and tree. He dream of playing with hi friend and eating yummy snack.
One day, he wa walking in the garden when he saw
Token count: 50, elapsed: 1.53s, 33 tokens/s
"""
📌Featuretools для генерации признаков
— python -m pip install featuretools
Featuretools — это Python библиотека для автоматизированной разработки фич, т.е. определения переменных из набора данных для обучения ML-модели.
Featuretools отлично справляется с преобразованием временных и реляционных наборов данных в матрицы признаков для машинного обучения.
🖥 GitHub
🟡 Доки
@pythonl
🖥 httpbin — сервис HTTP-запросов и ответов, написанный на Python + Flask
Быстрый запуск с помощью Docker:
— docker run -p 80:80 kennethreitz/httpbin
🖥 GitHub
🟡 Методы и запросы
@pythonl
⚡️ ЛУЧШИЕ БЕСПЛАТНЫЕ Курсы и Книги для изучения МАШИННОГО ОБУЧЕНИЯ.
https://www.youtube.com/watch?v=j0BrMPgrCuo
@pythonl
🖥 PDM — современный менеджер пакетов и зависимостей Python, поддерживающий последние стандарты PEP
— curl -sSL https://pdm-project.org/install-pdm.py | python3 -
PDM — это инструмент управления зависимостями и пакетами Python нового поколения.
Если вам не хватает чего-то в Pipenv или Poetry, вероятно, вам подойдёт PDM.
🖥 GitHub
🟡 Доки
@pythonl
🖥 PyTorch-Ignite — библиотека Python, помогающая гибко и прозрачно обучать и оценивать нейросети в PyTorch
— pip install pytorch-ignite
Особенности PyTorch-Ignite:
— позволяет запускать любые обработчики на любые встроенные или кастомные события
— даёт возможность устанавливать контрольные точки, делать раннюю остановку, выполнять профилирование, планирование параметров и многое другое
— позволяет без проблем подключать дополнительные CPU, GPU и TPU
— имеет 50+ метрик, позволяющих легко оценивать модели
— бесшовно интегрируется с Tensorboard, MLFlow, WandB, Neptune
🖥 GitHub
🟡 Доки
🟡 Google Colab для экспериментов
@pythonl
🖥 Как легко вырезать фон на изображении с помощью Python
# pip install rembg pillow
from rembg import remove
from PIL import Image
input_path = "in.png"
output_path = "out.png"
input = Image.open(input_path)
output = remove(input)
output.save(output_path)
rembg и pillow, конечно жеhttps://github.com/danielgatis/rembg/releases/download/v0.0.0/u2net.onnx
🖥 PyRIT — библиотека Python для оценивания безопасности LLM
conda create -y -n <environment-name> python=3.11
pip install pyrit
🖥 Celery — open-source распределенная очередь задач, написанная на Python
— pip install -U Celery
Celery — это гибкая и надежная распределенная система для обработки огромного количества сообщений.
Ориентирована на обработку в реальном времени, а также поддерживающает планирование задач.
Для отправки и получения сообщений Celery требуется решения типо RabbitMQ и Redis.
Помимо полноценной поддержки RabbitMQ и Redis есть и поддержка множества других экспериментальных решений, включая использование SQLite для локальной разработки.
Celery может работать на одной машине, на нескольких машинах или даже в разных ЦОДах.
В дополнение к Python-версии существуют node-celery и node-celery-ts для Node.js, а также PHP-клиент.
🖥 GitHub
🟡 Доки
@pythonl
🖥 Python-скрипт для озвучивания PDF
# Importing necessary libraries
import PyPDF2
import pyttsx3
# Prompt user for the PDF file name
pdf_filename = input("Enter the PDF file name (including extension): ").strip()
# Open the PDF file
try:
with open(pdf_filename, 'rb') as pdf_file:
# Create a PdfFileReader object
pdf_reader = PyPDF2.PdfReader(pdf_file)
# Get an engine instance for the speech synthesis
speak = pyttsx3.init()
# Iterate through each page and read the text
for page_num in range(len(pdf_reader.pages)):
page = pdf_reader.pages[page_num]
text = page.extract_text()
if text:
speak.say(text)
speak.runAndWait()
# Stop the speech engine
speak.stop()
print("Audiobook creation completed.")
except FileNotFoundError:
print("The specified file was not found.")
except Exception as e:
print(f"An error occurred: {e}")
🖥 IconMatch
IconMatch — это библиотека на языке Python, созданная на основе OpenCV.
Она позволяет пользователям легко выбирать значки на экране в любой среде, что упрощает добавление данной функциональности в ваши программы.
Основные особенности библиотеки включают обнаружение областей с высокой вероятностью наличия значков, на которые можно нажимать, и определение ближайшего к ним прямоугольника — точки интереса.
• Github
@pythonl
🖥 Qlib — платформа для количественных инвестиций
— pip install pyqlib
Qlib — это платформа для количественных (quantitative) инвестиций, которая стремится раскрыть потенциал AI и смежных технологий в количественных инвестициях.
Позволяет легко испытывать свои идеи для создания более эффективных стратегий инвестирования.
На изображении приведены различные компоненты, из которых состоит Qlib. Компоненты разработаны как свободно соединенные модули, и каждый из них может быть использован отдельно.
🖥 GitHub
🟡 Доки
@pythonl
#вакансия #backend #senior #remote
"Hello, Doc!" (hellodoc.app) — активно развивающаяся компания в сфере онлайн медицины.С начала 2019 года мы занимаемся развитием online медицины, чтобы сделать общение врачей и пациентов эффективным и удобным, а доступ к медицинским услугам доступным и понятным. Сегодня это уже более 400 000 пациентов и более 30 000 профи.
Мы ищем активного, целеустремлённого разработчики, который хочет расти и развивать online медицину вмести с нами.
🔎Мы ищем активного, целеустремлённого сотрудника, который хочет расти и развиваться вместе с нами.
🔬Почему мы:
- Мы являемся резидентами Сколково и участниками Московского интонационного кластера (МИК); - Компания аккредитована в минцифры;
- Наше ПО зарегистрировано в реестре отечественного ПО;
- Удалённый формат работы;
- Социально-значимый проект;
- Быстрое принятие решений;
- Мы продуктовая компания, которая делает проект для людей, а не для заказчика.
Стэк: Python 3.9, Django 4.2, PostrgeSQL 16, Docker.
🚧Обязанности:
- Разработка нового функционала и поддержка старого в рамках своей команды;
- Отвечать за качество: покрывать код unittest, codereview, разбирать ошибки, troubleshooting;
- Документирование реализованного функционала, если требуется;
- Взаимодействие с frontend разработчиками и QA инженерами.
📚Необходимые знания:
- Умения писать чистый и понятный код;
- Твердое знание Python , Django (DRF), Celery, SQL;
- Опыт проектирования БД и REST API;
- Опыт написания юнит-тестов (у нас их много);
- Опыт работы с системами контроля версий (git);
- Опыт разработки бекенда на Python не менее 4х лет.
➕Будет плюсом: - Опыт работы с нагруженным ETL системами;
- Опыт проектирвания микросервесной архитектуры;
- Опыт работы с k8s.
🤝Условия:
- Удалённая занятость ( 5/2 с 10 до 19).
- Уровень дохода 300 000 - 350 000 руб.
Контакт для связи tg @fedosovaAS
Хотите тестировать приложения на Python быстрее?
Создайте пакет в Python и интегрируйте его с проектами Django.
О том, как это сделать, мы поговорим на открытом уроке «Как создать свою библиотеку и ускорить тестирование в Django REST framework».
Приглашаем веб-разработчиков, Python-разработчиков, бэкенд-разработчиков, девопс-инженеров.
Вы научитесь:
- Создавать пакет Python
- Пользоваться инструментами для тестирования приложений в Django REST Framework
- Писать тест-кейсы для юнит-тестов
- Интегрировать созданный пакет в проекты Django
Занятие проведёт Python-разработчик и опытный преподаватель OTUS – Леонид Орлов.
Бонус! Всем участникам – скидка 5% на любой курс OTUS
23 мая в 19:00 МСК
Записаться на воркшоп - https://otus.pw/k37Mr/?erid=LjN8Jyw6W
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
Изучите применение ChatGPT в рабочих целях, чтобы получить от этого прибыль. Сейчас самое время начать использовать искусственный интеллект.
Здесь вы узнаете, почему стоит освоить ChatGPT. Это поможет вам:
- Использовать ChatGPT в вашей профессиональной сфере.
- Предлагать компаниям разработку индивидуально дообученного ChatGPT по заказу.
- Увеличить свой доход, освоив навык создания индивидуально дообученного ChatGPT.
Зарегистрируйтесь на бесплатный вебинар, чтобы узнать больше деталей.
Реклама. ООО "ТЕРРА ЭЙАЙ". ИНН 9728019395. erid: LjN8K1Nof
🔥Подборка лучших обучающих каналов для программистов.
➡️ Делитесь с коллегами и сохраняйте себе, чтобы не потерять
⚡Машинное обучение
Machine Learning - запускаем лучшие ИИ модели, пишем код, погружаемся в нейросети
Ml Собеседование - подготовка к собесу по мл, алгоритмам, коду
Ml ru - актуальные статьи, новости, код и обучающие материалы
Ml Jobs - вакансии ML
ML Книги - актуальные бесплатные книги МО
ML чат
🏆 Golang
Golang
Golang собеседование - разбор задач и вопросов с собесов
Golang вакансии -работа для Go разработчика
Golang книги библиотека книг
Golang задачи и тесты
Golang чат
Golang news - новости из мира go
Golang дайджест
💥 Linux /Этичный хакинг
Linux Academy - гайды, секреты и лучшие материалы по Linux
Kali linux - погрузись в мир этичного хакинга и кибербезопасности
linux_kal - kali чат
Информационная безопасность
🚀 Data Science
Анализ данных - полезные фишки, код, гайды и советы, маст-хэв датасаентиста
Data Jobs - ds вакансии
Аналитик данных
Data Science книги - актуальные бесплатные книги
Big data
🛢Базы данных
Sql базы данных - научим работе с базами данных профессионально
Библиотека баз данных
SQL чат
Вакансии Sql аналитик данных
#️⃣C#
С# академия - лучший канал по c#
С# заметки — код, лучшие практики, заметки программиста c#
С# задачи и тесты
С# библиотека - актуальные бесплатные книги
C# вакансии - работа
🐍 Python
Python/django - самый крупный обучающий канал по Python
Python Собеседование - подготовка к собеседовению python и разбор алгоритмов
Pro python - статьи, новости, код и обучающие материалы
Python Jobs - вакансии Python
Python чат
Python книги
☕ Java
Java академия - java от Senior разработчика
Java вакансии
Java чат
Java вопросы с собеседований
Java книги
💻 C++
C++ академия
С++ книги
C++ задачи - подготовка к собеседовению мл, алгоритмам
C++ вакансии
⚡️ Frontend
Javascript академия - крупнейший js канал
React - лучшие гайды и советы по работе с react
Frontend - тутрориалы, уроки, гайды, код
PHP
Книги frontend
Задачи frontend
🦀 Rust
Rust программирование
Rust чат
Rust книги для программистов
📲 Мобильная разработка
Android разработка
Мобильный разработчик гайды и уроки
🇬🇧 Английский для программистов
🧠 Искусственный интеллект
ИИ и технологии
Neural - нейросети для работы и жизни
Книги ИИ
Artificial Intelligence
🔥 DevOPs
Devops для программистов
Книги Devops
🌟 Docker/Kubernets
Docker
Kubernets
📓 Книги
Библиотеки Книг для программситов
💼 Папка с вакансиями:
Папка Go разработчика:
Папка Python разработчика:
Папка Data Science
Папка Java разработчика
Папка C#
Папка Frontend
💥 Бесплатный Chatgpt бот
Программирование сейчас - один из немногих социальных лифтов, доступных всем!
Лучший способ начать свой путь в IT - изучать Python. Этот язык не такой сложный для изучения, однако на нем создают сайты, чат-боты и даже искусственный интеллект. Например, Netflix, YouTube и Google написаны на этом языке.
С нуля стать опытным разработчиком со средней зарплатой в 180 000 рублей можно в онлайн-школе Product Star на курсе “Профессия: Python-разработчик”. Курс создан специалистами из топовых компаний с реальным опытом в индустрии, благодаря чему в процессе обучения вы будете погружаться в реальные кейсы.
После обучения ваше портфолио пополнится проектами, которые будет не стыдно показать любому работодателю. И самое главное: Product Star гарантируют трудоустройство, а если в процессе поймете, что специальность не для вас, вам вернут деньги.
Станьте Python-разработчиком вместе с ProductStar. Скидка до 57% и техническое собеседование с топовым разработчиком в подарок - https://tglink.io/bb2a561b5790
Реклама. ООО "ТРИВИУМ". ИНН 7806297293.
⚡️ Как эффективно использовать явный и неявный фидбек в рекомендательных системах?
Расскажет опытный эксперт на открытом практическом уроке от OTUS, где вы:
— познакомитесь с двумя типами фидбека от пользователя: явным и неявным;
— обучите рекомендательные модели на разных типах фидбека;
— сравните их качество.
📌 Вебинар будет полезен дата-сайентистам и ML-спецам, которые хотят расширить область знаний и технологический стек.
Встречаемся 23 мая в 20:00 мск в преддверии старта курса «Machine Learning. Professional». Все участники вебинара получат специальную цену на обучение и персональную консультацию от менеджера OTUS!
💣 Пройдите короткий тест прямо сейчас, чтобы посетить бесплатный урок: https://otus.pw/VDdn/?erid=LjN8KJ6Ey