52807
по всем вопросам @haarrp @itchannels_telegram - 🔥 best it channels @ai_machinelearning_big_data -ML @ArtificialIntelligencedl -AI @datascienceiot - ml 📚 @pythonlbooks -📚books
⚡️ Эндрю Нг, основатель DeepLearningAI и Coursera только что выпустил новый пакет Python с открытым исходным кодом.
Быстрая смена моделей через простой строковый идентификатор. Гибкая и простая в использовании и библиотека.
Одна строка для переключения между любыми LLM:
OpenAI ➝ "openai:gpt-4o"
Claude ➝ "антропный:claude-3-5-sonnet"
Лама ➝ "оллама:ллама3"pip install aisuite
🔗 GitHub
@pythonl
🖥 Easy Animate
Комплексное решение для генерации видео высокого разрешения и большой продолжительности, основанное на технологии Transformer Diffusion.
Обновлен до версии 5, поддерживает генерацию видео с разрешением до 1024x1024, 49 кадров, 6 с, 8 кадров в секунду, с расширенным масштабом модели до 12B, включает структуру MMDIT и позволяет управлять моделями с различными входными данными.
🖥 Github
@pythonl
👩💻 Простой совет для улучшения вашего Python кода!
@pythonl
🖥 Paramiko — библиотека, реализующая протокол SSHv2 на языке Python!
🌟 Эта библиотека предоставляет функциональность как для SSH-клиентов, так и для серверов, включая такие возможности, как удаленное выполнение команд и безопасная передача файлов. Она используется как основа для более высокоуровневых инструментов, таких как Fabric, которые предназначены для автоматизации задач администрирования серверов.
🔐 Лицензия: LGPL-2.1
🖥 Github
@pythonl
🔥 Курс — создание пользовательских интерфейсов Python с помощью PyQt5!
🕞 Продолжительность: 6:47:47
🔗 Ссылка: *клик*
@pythonl
👩💻 Odoo — большая платформа на Python с открытым исходным кодом для управления бизнес-процессами, включающую множество модулей для управления продажами, складом, бухгалтерией, проектами, CRM и другими аспектами! Odoo разработан как ERP-система, которую можно расширять и адаптировать под различные бизнес-потребности.
🔐 Лицензия: LGPLv3
🖥 Github
@pythonl
👩💻 pandas-datareader — библиотека для получения финансовых и экономических данных из различных удалённых источников и API, таких как Yahoo Finance, FRED, и World Bank! Это расширение для библиотеки pandas, которое упрощает доступ к данным для анализа.
💡 Основные функции — чтение данных из множества Интернет-источников и кэширование запросов для оптимизации производительности. Библиотека поддерживает Python версии 3.6 и выше и регулярно используется в исследовательской и аналитической среде для работы с временными рядами и финансовыми данными
🔐 Лицензия: BSD-3-Clause
🖥 Github
@pythonl
🤖 CrewAI: платформа для управления ролевыми играми автономных агентов с искусственным интеллектом. Развивая совместный интеллект, CrewAI позволяет агентам слаженно работать вместе, решая сложные задачи.
🖥 GIthub
⭐️ Docs
@pythonl
Изучаете Python и уже чувствуете себя уверенно? Хотите проверить себя и свои знания? Тогда приглашаем на бесплатный мини-курс «Python для всех»: https://epic.st/vB09p?erid=2VtzqufivmC
Курс состоит из практики чуть меньше чем полностью. За 4 дня вы создадите 4 проекта:
1️⃣ Бота для Telegram, который умеет переводить голос в текст
2️⃣ Бота для Telegram, который обрабатывает фотографии
3️⃣ Парсер, который извлекает данные с сайтов
4️⃣ Веб-сайт (с помощью фреймворка Flask)
В общем, прокачаете навыки и наверняка узнаете что-то новое.
🎁 А ещё подарки: персональная карьерная консультация, скидка 10 000 рублей на любой курс Skillbox и подборка полезных материалов.
Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880
👩💻 Khoj — это инструмент на Python с открытым исходным кодом для локального поиска и организации заметок.
🌟 Khoj использует встраиваемую ИИ-модель для индексирования и быстрого поиска информации в заметках и файлах, поддерживая интеграцию с Obsidian, Markdown и другими форматами. Khoj работает локально, обеспечивая безопасность данных и поддержку нескольких форматов для удобства пользователей, которым нужна организация информации на базе ИИ.
🔐 Лицензия: AGPL-3.0
🖥 Github
@pythonl
👩💻 pytorch_sparse — расширения для PyTorch, предназначенные для эффективной обработки разреженных тензоров, что актуально для графовых нейронных сетей и других задач с редкими данными.
🌟 Библиотека включает оптимизированные операции над разреженными тензорами, такие как умножение матриц и индексирование. Она широко используется в задачах, требующих обработки графов и сетевых данных, и поддерживает CUDA для ускорения на GPU.
🔐 Лицензия: MIT
🖥 Github
@pythonl
🔥 AlphaFold 3 — новейшая версия модели искусственного интеллекта на Python от DeepMind и Isomorphic Labs, предназначенная для предсказания структуры и взаимодействий биомолекул, таких как белки, ДНК, РНК и лекарственные вещества.
💡 AlphaFold 3 построена на усовершенствованной архитектуре предыдущей версии (AlphaFold 2) и показывает значительное улучшение точности — до 50% в предсказании взаимодействий различных типов молекул. Это открытие позволяет ученым моделировать сложные молекулярные комплексы для биологических исследований, разработки лекарств и новых методов лечения заболеваний.
Пакет AlphaFold 3 включает в себя все необходимое для теоретического моделирования структуры белка. Для запуска системы необходимо сконфигурировать входной файл JSON, содержащий информацию о белке, например, его идентификатор и аминокислотную последовательность.
Вместе с программным конвейером инференса доступна подробная документация по входным и выходным данным системы, решению известных проблем, настройкам производительности и установке с последующим запуском с помощью Docker.
Для локального использования понадобится ОС Linux (AlphaFold 3 не поддерживает другие операционные системы) примерно 1 ТB дискового пространства для хранения генетических баз данных (рекомендуется SSD), 64 GB RAM, GPU NVIDIA с Compute Capability 8.0 или выше.
Исходные данные, содержащие 5120 токенов, могут поместиться на одном NVIDIA A100 80 ГБ или одном NVIDIA H100 80 ГБ.
⚠️ Получение параметров модели возможно через подачу заявки в Google DeepMind, доступ предоставляется в течении 2-3 дней по итогам рассмотрения обращения.
⚠️ Любая публикация, основанная на результатах, полученных с использованием AlphaFold 3, должна ссылаться на статью «Accurate structure prediction of biomolecular interactions with AlphaFold 3».
⚠️ AlphaFold 3 не является официально поддерживаемым продуктом Google и ее результаты не предназначены, не проверены и не одобрены для клинического использования.
📌Лицензирование: CC-BY-NC-SA 4.0
🟡Техотчет
🟡Demo
🖥GitHub
@pythonl
⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:
МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
АНАЛИЗ Данных: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: /channel/gamedev
💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy
😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno
🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy
💡 Знаете основы Python, но хотите перейти от простых скриптов к полноценным проектам? Приходите на расширенный курс Нетологии «Python-разработчик».
На нём вы:
- Освоите все инструменты и технологии, необходимые для работы.
- Научитесь разрабатывать веб-приложения и API, работать с базами данных, настраивать сервера и тестировать код.
- Поработаете с фреймворками Flask и Django и узнаете, как разрабатывать backend веб-приложения.
- Выполните 22 проекта, поработаете над реальными кейсами и примете участие в хакатоне.
Ваши проекты будут включать в себя всё, что нужно для сильного портфолио, а стажировка в компании «Самолёт» даст практический опыт, который вы сможете применить в работе.
Запишитесь на курс пока не закончилась Чёрная Пятница и получите двойную выгоду: скидки 40% и 20 000 ₽ по промокоду BlackFriday20
Реклама. ООО "Нетология". Erid 2VSb5yefJBS
👩💻 В PyPI внедрил новую систему проверки подлинности пакетов
Разработчики репозитория Python-пакетов PyPI (Python Package Index) сообщили о введении нового механизма цифровой аттестации для проверки подлинности загружаемых пакетов.
Этот механизм заменил прежнюю систему верификации с помощью PGP-подписей. Основное отличие заключается в том, что теперь публикацию пакета подтверждает не сам разработчик, а третья сторона (каталог пакетов), основываясь на проверке через внешнего провайдера OpenID Connect. Это может включать проверку соответствия публикуемого пакета с исходным репозиторием на платформах вроде GitHub или GitLab.
Новая система решает проблемы, присущие старому методу верификации через PGP-подпись, который уже считался устаревшим. Основная трудность заключалась в проверке принадлежности открытых PGP-ключей их владельцам. Из 1069 PGP-ключей, использовавшихся с 2020 года для подписания пакетов в PyPI, 29% ключей вообще не были найдены на крупных публичных серверах ключей, а 35% оказались невозможными для подтверждения в процессе аудита. При этом подтвержденные 36% ключей покрывали всего 0.3% от общего числа подписанных файлов.
В рамках новой системы цифровые подписи формируются с использованием временных эфемерных ключей, создаваемых на основании полномочий, подтвержденных провайдером OpenID Connect.
Когда разработчик создает ключ для подписи, он проходит идентификацию через провайдера, который удостоверяет его связь с основным проектом. Эта инфраструктура основана на системах Sigstore и in-toto Attestation Framework.
Одним из преимуществ аттестации является отсутствие зависимости от постоянных PGP-ключей.
Если закрытый ключ теряется или подвергается атаке, все созданные с его помощью подписи становятся ненадежными. Аттестация же связывает подпись с временным токеном, который подтверждает права разработчика в момент загрузки пакета и его соответствие основному репозиторию кода.
Например, при загрузке пакета, подготовленного через GitHub Actions, аттестация гарантирует наличие связи между пакетом в PyPI и исходным хранилищем, рабочим процессом и хешем коммита, на базе которого был собран пакет.
Для мониторинга подлинности ключей и обнаружения потенциальных угроз в проектах, создающих пакеты, и самом PyPI используется централизованный публичный журнал. Чтобы обеспечить целостность данных и предотвратить изменение информации задним числом, в нем применяется структура «дерева Меркла» (Merkle Tree), где каждая ветвь проверяет все подчиненные ветви и узлы посредством древовидной схемы хеширования.
Кроме того, стоит упомянуть обнаруженный в каталоге PyPI вредоносный пакет под названием «fabrice», который использовал технику тайпсквоттинга – назначение схожего имени, различающегося несколькими символами (например, exampl вместо example, djangoo вместо django, pyhton вместо python и так далее), чтобы замаскироваться под популярную библиотеку «fabric».
Эта библиотека насчитывает около 201 миллиона загрузок (около 7 миллионов за последний месяц). Вредоносный пакет оставался незамеченным с 2021 года и успел набрать более 37 тысяч загрузок.
Пакет «fabrice» имитировал основную функциональность оригинальной библиотеки, но также содержал код для поиска и передачи ключей доступа к AWS (Amazon Web Services), установки бэкдоров и выполнения определенных скриптов.
Активизация вредоносных компонентов происходила как в операционной системе Linux, так и в Windows. В случае с Linux, файлы, связанные с вредоносной активностью, загружались в каталог ~/.local/bin/vscode.
👩💻 Основы Pandas — полный курс!
🔗 Ссылка: *клик*
#курс #python #pandas
@pythonl
🐍 Начните программировать на Python - бесплатно!
Курс по основам Python с наставником — напишете первый мини пет-проект в портфолио за 14 дней.
🔹 72 урока в онлайн-тренажере.
🔹 4 живых вебинара.
🔹 Закрытый telegram-чат для поддержки 24/7.
🔹 Полезные материалы с собой.
А главное при поддержке наставника: попробуйте быстро, просто и без ошибок.
📍Старт курса: уже 3 декабря!
🔥 Огромный репозиторий со всевозможной беспалтной литературой по различным разделам IT!
🔐 Лицензия: CC-BY-4.0
🖥 GitHub
@pythonl
👩💻 ZIM — инструмент на Python для матирования изображений (image matting), особенно полезный для задач по удалению фонов с изображений, где требуется выделить конкретный объект. Этот процесс включает сегментацию объектов и фона с высокими деталями, что часто используется для редактирования изображений и улучшения контента.
🌟 На практике ZIM использует машинное обучение для точного различения границ объектов, обеспечивая четкость и правильность выделения даже на сложных фонах.
🔐 Лицензия: CC BY-NC 4.0
🖥 Github
@pythonl
👩💻 questionary — библиотека для Python, которая предоставляет простой и удобный способ создавать интерактивные текстовые интерфейсы в командной строке! Эта библиотека подходит для создания диалогов с пользователем, например, для выбора из списка, ввода текста или подтверждения.
🔍 Основные возможности Questionary:
🌟 Разнообразие типов вопросов: Ввод текста, Выбор одного варианта из списка, Выбор нескольких вариантов, Подтверждение, Ввод пароля, Слайдер!
🌟 Поддержка настроек: Можно кастомизировать внешний вид и поведение вопросов, есть возможность задать предустановленные значения по умолчанию.
🌟 Интуитивный и минималистичный API.
🌟 Поддержка ANSI-цветов: Возможность стилизовать вопросы для более выразительного отображения.
🔐 Лицензия: MIT
🖥 Github
@pythonl
Как менялась разработка на Python и что нас ждёт дальше
📆 19 декабря собираем предновогодний митап от Яндекса, чтобы подвести итоги 2024 года.
Вспомним об интересных новостях, связанных с языком:
🔸 Обсудим Python 3.12, о котором говорили в прошлом году, и подумаем, какие ожидания оправдались, а какие нет
🔸 Посмотрим на версию 3.13, Faster CPython, jit и nogil
А ещё поговорим о трендах в архитектуре и развитии бэкенд-разработчика на круглом столе с экспертами:
🔸 Николаем Хитровым, тимлидом в Точке
🔸 Евгением Афонасьевым, тимлидом из Авито
🔸 Никитой Соболевым, опенсорс-разработчиком
🔸 Сергеем Яхницким, техлидом в Техплатформе
🔸 Александром Букиным, основателем Pytup
⏭️ Регистрируйтесь на встречу в Москве или подключайтесь к трансляции, где бы вы ни были.
🖥 Указание арифметических операции вручную между объектами класса может сделать код менее читабельным.
Метод _add__ в Python обеспечивает изящный арифметический синтаксис между вашими объектами класса и делает код более читабельным и интуитивно понятным.
@pythonl
👩💻 DocETL — это инструмент на Python для создания и выполнения конвейеров обработки данных, особенно подходящий для сложных задач обработки документов. Он применяет подходы с минимальным кодом и YAML для упрощенного управления потоками данных, обеспечивая модульность и возможность повторных попыток обработки данных при сбоях
🔐 Лицензия: MIT
🖥 Github
@pythonl
👩💻 Scrapling — это инструмент для веб-скрейпинга, предоставляющий набор готовых функций для сбора данных с веб-сайтов!
💡 Scrapling написан на Python и разработан с целью облегчить извлечение информации из HTML-страниц, делая процесс скрейпинга доступным даже для начинающих пользователей.
🔍 Особенности:
🌟 Удобство использования — разработан для быстрого старта, не требуя сложной настройки.
🌟 Множество предустановленных методов — функции для поиска элементов, анализа данных, работы с таблицами и текстовыми блоками.
🌟 Минимальная зависимость от внешних библиотек — поддерживает основные методы работы с HTML, включая парсинг тегов, CSS-классов и идентификаторов.
🌟 Простота и гибкость — позволяет пользователям создавать кастомные запросы и извлекать данные, подходящие для их целей.
🔐 Лицензия: BSD-3-Clause
🖥 Github
@pythonl
⚡️ BRIA Background Removal v2.0 Model.
RMBG v2.0 - новая модель удаления фона, предназначенная для эффективного отделения переднего плана от фона в различных категориях и типах изображений. Точность, эффективность и универсальность RMBG v2.0 конкурирует с ведущими SOTA-моделями.
RMBG-2.0 разработана на основе архитектуры BiRefNet и обучена на более чем 15 000 высококачественных, высокого разрешения, вручную маркированных (с точностью до пикселя), полностью лицензированных изображений.
Модель доступна на HF в двух версиях : pytorch и safetensors. Демо можно попробовать на HF Space.
▶️Пример кода запуска на Transformers:
from PIL import Image
import matplotlib.pyplot as plt
import torch
from torchvision import transforms
from transformers import AutoModelForImageSegmentation
model = AutoModelForImageSegmentation.from_pretrained('briaai/RMBG-2.0', trust_remote_code=True)
torch.set_float32_matmul_precision(['high', 'highest'][0])
model.to('cuda')
model.eval()
# Data settings
image_size = (1024, 1024)
transform_image = transforms.Compose([
transforms.Resize(image_size),
transforms.ToTensor(),
transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
])
image = Image.open(input_image_path)
input_images = transform_image(image).unsqueeze(0).to('cuda')
# Prediction
with torch.no_grad():
preds = model(input_images)[-1].sigmoid().cpu()
pred = preds[0].squeeze()
pred_pil = transforms.ToPILImage()(pred)
mask = pred_pil.resize(image.size)
image.putalpha(mask)
image.save("no_bg_image.png")
⚡️Всероссийский Хакатон ФИЦ 2024
🚀Попробуйте себя в одном из предложенных кейсов:
- Разработка алгоритма трекинга людей в видеопотоке с нескольких камер
- Цифровая карта подземных коммуникаций с использованием Cesium
- Симуляция записи в расписание
- Цифровой сервис для ведения реестра зеленых насаждений города Москвы
- Предсказание необходимого количества средств досмотра
- Система контроля и управления доступом
- Семантический делитель текстов
- Разработка сервиса печати этикеток для производителей одежды
И др. кейсы смотрите на сайте: https://фиц2024.рф/hackathon
Хакатон пройдет в 2 этапа: Отборочный этап в Онлайн, Финал в Офлайн.
🏆Призовой фонд: 6 000 000 руб.
🔥Дедлайн регистрации: 26 ноября, 23:59
📅Даты отборочного этапа: 29 ноября - 2 декабря
🦾Даты финала: 3 - 4 декабря
Зарегистрируйтесь для участия в хакатоне: https://фиц2024.рф/hackathon
#реклама
О рекламодателе
🤲 OpenHands: Code Less, Make More
Платформ для ИИ-агентов для разработки программного обеспечения на базе искусственного интеллекта.
Агенты OpenHands могут делать все, что под силу разработчику—человеку: изменять код, запускать команды, просматривать веб-страницы, вызывать API-интерфейсы и даже копировать фрагменты кода из StackOverflow.
▪Инструкция по быстрому запуску
▪Документация
▪ Github
@pythonl
👩💻 ERPNext — это полнофункциональная ERP-система на Python с открытым исходным кодом, подходящая для бизнеса любого размера.
🌟 Разработанная на фреймворке Frappe, ERPNext охватывает управление финансами, продажами, закупками, производством, CRM, проектами и кадровыми ресурсами. Она предоставляет гибкий интерфейс и может быть настроена под потребности пользователя, поддерживает многоуровневую отчётность и автоматизацию бизнес-процессов.
🔐 Лицензия: GPL-3.0
🖥 Github
@pythonl
👩💻 Конвертируйте PDF в docx с помощью Python
@pythonl
👩💻 Серия видео по введению в программирование на Python от одного из лучших вузов мира MIT!
🔗 Ссылка: *клик*
@pythonl