52808
по всем вопросам @haarrp @itchannels_telegram - 🔥 best it channels @ai_machinelearning_big_data -ML @ArtificialIntelligencedl -AI @datascienceiot - ml 📚 @pythonlbooks -📚books
"Поступашки — ШАД, Стажировки и Магистратура", - лучше гайд в мире образования и карьеры.
Канал ведут преподаватели Яндекса, ВШЭ и ШАД.
Внутри:
🔺Слив вопросов с собеса в Яндекс
🔺Как бесплатно вкатиться в айти
🔺Подборка топовых магистратур по Data Science
...и еще море полезнейшего контента. Я жалею, что не нашел этот канал раньше.
Подписывайтесь, потом сами себе спасибо скажете: ⬇️
@postypashki_old
⭐️ Python 1.0.0 был выпущен 31 год назад
https://groups.google.com/g/comp.lang.misc/c/_QUzdEGFwCo/m/KIFdu0-Dv7sJ?pli=1
Хотите создать устойчивое к нагрузкам масштабируемое приложение?
Ключевой элемент при проектировании микросервисов – правильная интеграция брокеров сообщений с микросервисной архитектурой.
На открытом вебинаре «Как эффективно использовать брокеры сообщений в микросервисной архитектуре?» вы научитесь:
- Повышать производительность системы, настраивать взаимодействие между микросервисами, правильно работать с очередями сообщений
- Связывать различные слои приложений с помощью брокеров сообщений
- Проектировать решения с учётом масштабируемости и отказоустойчивости
- Эффективно управлять инфраструктурой сообщений RabbitMQ и Apache Kafka
А также увидите примеры кода и познакомитесь со случаями использования брокеров сообщений.
Будет интересно: бэкенд и фулстек-разработчикам, системным аналитикам, девопс-инженерам.
Спикеры: Сергей Прощаев, Java-разработчик в ПАО «Сургутнефтегаз».
Бонус! Всем участникам – скидка 5% и эксклюзивные материалы от спикера.
6 февраля, 19:00 МСК
Записаться - https://otus.pw/4Ues/?erid=2W5zFJDZrtp
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
🌟 Model2Vec: создание компактных и быстрых моделей на основе Sentence Transformer.
Model2Vec - библиотека для создания компактных и быстрых моделей на основе предобученных Sentence Transformer моделей.
Model2Vec позволяет создавать эмбединг-модели слов и предложений, которые значительно меньше по размеру, но при этом сопоставимы по производительности с исходными Sentence Transformer моделями.
Отличительные особенности:
🟢быстрая дистилляция, процесс создания модели занимает несколько минут;
🟢быстрый инференс, в 500 раз быстрее на CPU относительно родительской модели;
🟢BYOM и BYOV, можно использовать на любой Sentence Transformer модели с любым словарем;
🟢мультиязычность, все что нужно - только мультиязычная модель в качестве источника;
🟢интеграция с Huggingface, загрузка\выгрузка моделей привычными from_pretrained и push_to_hub.
Пайплайн Model2Vec трехэтапный. На первом этапе словарь пропускается через модель Sentence Transformer для получения векторов эмбедингов для каждого слова.
Далее, размерность полученных эмбеддингов сокращается с помощью метода главных компонент (PCA). Наконец, применяется zipf-взвешивание для учета частотности слов в словаре.
Model2Vec работает в двух режимах:
🟠Output, в котором модель работает подобно Sentence Transformer, используя subword токенизацию;
🟠Vocab, в котором создается набор статических эмбедингов слов, аналогично GloVe или Word2Vec.
Оценку производительности Model2Vec делали на наборе данных MTEB на задачах PEARL (оценка качества представления фраз) и WordSim (оценка семантической близости слов).
Результаты показывают, что Model2Vec превосходит по производительности GloVe и модели, основанные на WordLlama по всем задачам оценки.
▶️Пример дистилляции:
from model2vec.distill import distill
# Choose a Sentence Transformer model
model_name = "BAAI/bge-base-en-v1.5"
# Distill the model
m2v_model = distill(model_name=model_name, pca_dims=256)
# Save the model
m2v_model.save_pretrained("m2v_model")
from model2vec import StaticModel
# Load a model from the HuggingFace hub, or a local one.
model_name = "minishlab/M2V_base_output"
# You can optionally pass a token if you're loading a private model
model = StaticModel.from_pretrained(model_name, token=None)
# Make embeddings
embeddings = model.encode(["It's dangerous to go alone!", "It's a secret to everybody."])
🖥 Способ, как нарисовать бабочку в консоли с помощью Python!
@pythonl
🖥 Authentik — это система управления удостоверениями (IAM) с открытым исходным кодом, предназначенная для обеспечения аутентификации и авторизации пользователей в различных приложениях!
🌟 Она поддерживает единый вход (SSO), многофакторную аутентификацию (MFA) и интеграцию с популярными протоколами, такими как OAuth2, SAML и LDAP. Authentik используется для защиты веб-приложений и управления доступом на основе ролей.
🔐 Лицензия: CC BY-SA 4.0
🖥 Github
@pythonl
🔥 IronCalc — это движок для работы с электронными таблицами!
🌟 Он включает инструменты для чтения и записи файлов формата .xlsx, с возможностью интеграции с различными языками программирования, такими как Python и JavaScript. Проект нацелен на создание более открытой и функциональной инфраструктуры для работы с таблицами, предлагая разработчикам гибкость в использовании как в веб-приложениях, так и в десктопных приложениях.
🔐 Лицензия: Apache-2.0
🖥 Github
@pythonl
⭐️ Pandera, библиотека Python, которая упрощает валидацию pandas датафреймов.
Она также поддерживает , быструю и легкую библиотеку Polars.
С помощью Pandera вы можете быть уверены, что ваши Polars датафреймы имеют правильную структуру и будут работать правильно.pip install pandera
▪ Github
▪Документация
#Pandera #python #opensource #Polars
🖥 Hickle — это Python-библиотека, предназначенная для сериализации объектов в формат HDF5, что позволяет эффективно хранить и обмениваться большими объемами данных!
💡 Hickle является альтернативой стандартным методам сериализации (например, pickle) и предлагает улучшенную производительность при работе с большими наборами данных. Она используется в научных и аналитических приложениях для сохранения сложных структур данных, таких как массивы и матрицы, в компактном и эффективном формате.
🔐 Лицензия: MIT
🖥 Github
@pythonl
🌍 WebRover – это автономный ИИ-агент , предназначенный для взаимодействия с элементами веб-страниц и выполнения пользовательских запросов.
Агент построен на базе LangChain и LangGraph и в первую очередь создан, чтобы освободить пользователей от рутины, связанной с поиском и сбором информации.
Благодаря глубокому пониманию контекста и способности автоматически определять нужные элементы, WebRover эффективно справляется даже со сложными задачами.
Основные возможности WebRover включают:
- самостоятельную навигацию по сайтам, управление состоянием через LangGraph и автоматизированное взаимодействие с браузером посредством Playwright.
- агент способен анализировать содержимое страниц, делать скриншоты и формировать структурированные ответы и парить информацию.
Особенности
🤖 Навигация на основе GPT-4 для понимания контекста и интеллектуальной навигации по веб-сайтам
🎯 Интеллектуальное обнаружение элементов: Автоматически идентифицирует и взаимодействует с любыми элементами сайтов
📸 Визуальная обратная связь: Визуализация процесса навигации в реальном времени
🔄 Автономная работа: Самокорректирующаяся навигация со стратегиями обратного ходаgit clone https://github.com/hrithikkoduri18/webrover.git
cd webrover
cd backend
▪ Github
@ai_machinelearning_big_data
#aiagents #ai #ml #opensource
🔥 Minima — это open source решение для RAG в контейнерах для развертывания на любых мощностях (клауд или локал), с возможностью интеграции с ChatGPT и MCP.
Minima также может использоваться как RAG на вашей машине.
Minima поддерживает три режима работы:
1. Изолированная установка — Работа в контейнерах без внешних зависимостей, таких как ChatGPT или Claude. Все нейронные сети (LLM, ранкер, эмбеддинг) и векторный сторедж запускаются на вашем сервере или ПК, обеспечивая безопасность ваших данных.
2. Кастомный GPT — Запросы к вашим локальным документам через приложение или веб-версию ChatGPT с использованием кастомных GPT. Индексатор работает на вашем сервере или локальном ПК, а основная LLM остаётся ChatGPT.
3. Anthropic Claude — Использование приложения Anthropic Claude для запросов к вашим локальным документам. Индексатор работает на вашем локальном ПК, а основная LLM — это Anthropic Claude.
В данный момент, Minima решает задачу RAG on-premises и призывает всех поставить звезду и форкнуть репозиторий, а так же не стесняться и принять участие в разработке.
📌 Лицензия MPL-2.0
▪ Github
@pythonl
🖥 TinyTroupe — это экспериментальная библиотека на Python, которая позволяет моделировать взаимодействие искусственных агентов с различными личностями, интересами и целями!
🌟 Используя мощь больших языковых моделей, таких как GPT-4, TinyTroupe создаёт реалистичные симуляции поведения. Эти агенты могут общаться друг с другом, реагировать на внешние стимулы и существовать в созданных мирах.
🔐 Лицензия: MIT
🖥 Github
@pythonl
🖥 Manim — это мощная библиотека на Python для создания анимаций математических и научных концепций!
💡 Она позволяет визуализировать сложные идеи с высокой точностью и гибкостью, используя код для определения сцен, объектов и их взаимодействия. Manim широко используется в образовательных целях и для создания объясняющих видео. Библиотека поддерживает анимацию графиков, формул, геометрических фигур и других визуальных элементов.
🔐 Лицензия: MIT
🖥 Github
@pythonl
🖥 Freqtrade — это бесплатный и открытый криптовалютный торговый бот, написанный на Python!
🌟 Он поддерживает множество криптовалютных бирж и управляется через Telegram или веб-интерфейс. Среди его возможностей — бэктестинг, оптимизация стратегий с помощью машинного обучения, настройка размера позиций, а также интеграция с FreqAI для адаптивного обучения. Бот подходит как для новичков, так и для опытных трейдеров, предлагая гибкие инструменты для торговли и анализа.
🔐 Лицензия: GPL-3.0
🖥 Github
@pythonl
🖥 Ai-gradio
Свежий Python Пакет, который упрощает разработчикам создание приложений машинного обучения на базе различных ИИ.
Написанный на базе Gradio, он предоставляет единый интерфейс для множества моделей и сервисов ИИ.
Особенности
- Поддержка нескольких провайдеров: Интеграция с 15+ крупнейшиими ИИ, включая OpenAI, Google Gemini, Anthropic и другие
- Встроенные интерактивные интерфейсы чата для всех текстовых моделей
- Голосовой чат: Голосовое взаимодействие в реальном времени с моделями OpenAI
- Видеочат: Возможности обработки видео с моделями Gemini
- Генерация кода: Специализированные интерфейсы для помощи в кодинге
Мультимодальность: Поддержка ввода текста, изображений и видео
- Интеграция CrewAI для кооперативных задач ИИ
- Автоматизация браузера: Встроенные Агенты ИИ, способные выполнять веб-задачи
▪ Github
@pythonl
🖥 reaktiv Python Version PyPI Version License
Если вы работали с современными фронтенд-фреймворками, такими как React, Vue или Angular, вы знакомы с мощью реактивного управления состояниями.
Это магия, лежащая в основе динамических пользовательских интерфейсов и систем реального времени.
Но почему Python должен упускать преимущества реактивности? reaktiv привносит эти преимущества реактивного программирования в ваши Python-проекты.pip install reaktiv
▪Github
@pythonl
#python #frontend #react #opensource
🖥 web2py — это фреймворк для веб-приложений с открытым исходным кодом, написанный на Python!
🌟 Он предназначен для быстрой разработки безопасных веб-приложений, управляемых базами данных, и предоставляет полный стек инструментов, включая генерацию HTML, обработку запросов, управление сессиями, а также абстрактный слой работы с базами данных (DAL), который поддерживает различные СУБД, такие как SQLite, MySQL, PostgreSQL и другие.
🖥 Github
@pythonl
🖥 MicroPie — это ультра-микро веб-фреймворк на языке Python, разработанный для создания веб-приложений с минимальными усилиями!
🌟 Он поддерживает асинхронные веб-приложения благодаря реализации спецификации ASGI и обеспечивает высокую производительность и гибкость. Среди ключевых возможностей MicroPie — автоматическое сопоставление URL с функциями, управление сессиями с использованием cookies, поддержка шаблонов через Jinja2 (если установлена), а также минимальные зависимости, что упрощает разработку и развертывание приложений.
🔐 Лицензия: BSD-3-Clause
🖥 Github
@pythonl
📞 bpytop — это современный инструмент мониторинга ресурсов, который работает на Linux, macOS и FreeBSD!
💡 Он отображает данные об использовании процессора, памяти, дисков, сети и запущенных процессов в удобном и визуально привлекательном интерфейсе. Написанный на Python, bpytop предлагает гибкие возможности настройки и легкость использования, включая полную поддержку управления с помощью мыши.
🌟 Инструмент отличается быстрым откликом, интуитивным управлением и визуализацией системных данных в реальном времени. Пользователи могут настроить интерфейс, выбирая цветовые схемы, управлять процессами прямо из меню, отслеживать сетевые подключения и даже работать с несколькими устройствами одновременно.
🔐 Лицензия: Apache-2.0
🖥 Github
@pythonl
🖥 Flask-Moment — расширение для Flask, которое интегрирует Moment.js для форматирования дат и времени в шаблонах Jinja2!
🌟 С помощью этого инструмента можно легко отображать даты и время в удобном формате, включая поддержку локализации, временных зон и обновлений времени в реальном времени.
🌟 Основное применение — улучшение отображения временных данных в веб-приложениях Flask. Flask-Moment позволяет использовать Moment.js прямо в шаблонах, избавляя разработчиков от необходимости самостоятельно писать сложный код JavaScript для обработки времени.
🔐 Лицензия: MIT
🖥 Github
@pythonl
Спорим, тебе советовали книгу “Грокаем алгоритмы”
А как насчет грокнуть уже эти алгоритмы?
Да так, чтобы РАЗ И НАВСЕГДА
Ты не смог выучить алгоритмы, потому что:
- cложно и бессистемно объясняли
- практика не билась с теорией
- отправляли читать устаревшие книги...
Я это исправлю! И научу тебя решать алгоритмические задачи по четкой и понятной системе!
Регистрируйся на открытый урок в предверии курса
"Хакни алго-собесы". И за 1 час ты:
☝️ получишь четкую систему решения алгоритмических задач
☝️ решишь топ-3 популярные задачи
☝️ получишь RoadMap изучения алгоритмов
12:30 по МСК в эту субботу (1 февраля) стартуем.
Регистируйся, чтобы не упустить шанс выучить алгоритмы навсегда
Erid: 2VtzqwwXV16
ИП Фатин Максим Романович. ИНН: 525406426719
🖥 Vanna
Это Python-фреймворк с открытым исходным кодом, в котором используется LLM для создания SQL-запросов на основе естественного языка.
✔️ Всё просто: сначала обучаете модель на своих данных, а потом можно задать вопросы на обычном языке.
В ответ модель выдает готовые SQL-запросы, которые можно сразу запускать в своей базе данных.
⚡️ Установка: pip install vanna
▪GitHub: https://github.com/vanna-ai/vanna
@ai_machinelearning_big_data
#python #sql #opensource #vanna #llm
🖥 pysimdjson — это Python-библиотека, которая представляет собой обертку над C-библиотекой simdjson, предназначенной для быстрого парсинга JSON-данных!
🌟 Эта библиотека использует SIMD (Single Instruction, Multiple Data) технологии, которые позволяют ускорить обработку JSON по сравнению с традиционными методами, особенно для больших данных. pysimdjson обеспечивает высокую производительность, делая парсинг JSON быстрее и эффективнее, чем стандартные решения в Python.
🔐 Лицензия: Apache-2.0
🖥 Github
@pythonl
⭐️ Browser-use
Создайте своего собственного оператора OpenAI с помощью инструментов с открытым исходным кодом!
Browser Use - это платформа с открытым исходным кодом, которая позволяет агентам искусственного интеллекта использовать браузер всего с помощью нескольких строк кода на Python.
Ключевые функции:
🆓 100% Открытый исходный код
✅ Интегрируется с Gradio для создания веб-интерфейса
✅ Работает с Claude, gpt-4o и Llama 3
✅ Для обеспечения безопасной работы пользовательское управление в цикле
Вы просто указываете компьютеру, что делать, а при использовании браузера это выполняется.
▪ Github
@pythonl
🖥 orjson — это высокопроизводительная библиотека для работы с JSON в Python!
🌟 Она обеспечивает быструю сериализацию и десериализацию JSON, поддерживает обработку дат, таймстампов и numpy-массивов. Библиотека совместима с стандартным API Python и подходит для использования в высоконагруженных приложениях, требующих эффективной обработки JSON-данных.
🖥 Github
@pythonl
🖥 Pydantic имеет встроенную функцию #DataValidation , но она потребляет много памяти.Attrs не имеет встроенной проверки данных и обеспечивает более высокую производительность и меньшее использование памяти, что идеально подходит для внутренних структур данных и простого создания классов в #Python.
from attrs import define, field
@define
class UserAttrs:
name: str
age: int = field()
@age.validator
def check_age(self, attribute, value):
if value < 0:
raise ValueError("Age can't be negative")
return value # accepts any positive age
try:
user = UserAttrs(name="Bob", age=-1)
except ValueError as e:
print("ValueError:", e)
Узнай свой грейд и зарплату — бесплатно
1. Переходи в бота ШОРТКАТ @shortcut_python_bot
2. Бронируй удобный слот на индивидуальную встречу для тестирования
3. Проходи тест
4. Сразу же на звонке узнаешь свой грейд и з/п в рынке — на основе опыта менторов из бигтеха
Всё просто, даже добавить нечего
Пройти тестирование в ШОРТКАТ ➡️ @shortcut_python_bot
Реклама. ООО "ШОРТКАТ", ИНН: 9731139396, erid: 2VtzqvMqbhE
Эта статья описывает процесс миграции парсера языка запросов YQL (диалект SQL для YDB и YTsaurus) с ANTLR3 на ANTLR4!
Для успешного переноса парсера автору и его ментору из Школы анализа данных Яндекса потребовалось разработать специальный .stg-файл для генерации идентичных protobuf-схем, изменить оригинальный Cpp.stg для обеспечения совместимости с новой схемой, а также адаптировать грамматику YQL к изменениям, связанным с ANTLR4.
Ссылка: *клик*
Python-разработчики уже который год остаются одними из самых востребованных на рынке. По данным Хабр Карьера, сейчас для них открыто около десяти тысяч вакансий со средней зарплатой 196 000 рублей.
Попробуйте себя в этой профессии на бесплатном курсе Нетологии «Основы Python: создаём телеграм-бота». За 5 занятий вы не просто познакомитесь с логикой работы языка и научитесь применять базовые конструкции, но и напишете телеграм-бота и планировщик задач.
После основной части курса вам откроется тренажёр-симулятор с рабочими задачами специалиста — сможете взглянуть на профессию разработчика изнутри, узнать, как выглядит общение в команде, и создадите программу для интернет-магазина зоотоваров. А начинать учиться можно сразу.
Реклама. ООО "Нетология". ИНН 7726464125 Erid 2VSb5xfnYpx
🖥 Эта статья объясняет, как использовать сложные фильтры в Django ORM с помощью подзапросов (Subquery) и связанных методов!
🌟 Автор показывает, как с их помощью эффективно выполнять сложные запросы, включая фильтрацию по вложенным отношениям и исключения. Рассматриваются примеры работы с моделями, такими как пользователи, категории, публикации и комментарии, а также реализация SQL-логики через Python-код для решения специфических задач, например, поиска пользователей, комментировавших определённые публикации.
🔗 Ссылка: *клик*
@pythonl