52808
по всем вопросам @haarrp @itchannels_telegram - 🔥 best it channels @ai_machinelearning_big_data -ML @ArtificialIntelligencedl -AI @datascienceiot - ml 📚 @pythonlbooks -📚books
📘 Потерянная глава Automate the Boring Stuff
Автор культовой книги выложил бесплатно новую главу книги, которая не попала в издание — про автоматизацию работы с аудио и видео.
🎧 Что внутри:
— Конвертация и обрезка видео с помощью moviepy
— Преобразование аудио в текст через SpeechRecognition
— Извлечение субтитров
— Автоматизация задач с файлами .mp3, .wav, .mp4 и .avi
🛠 Глава написана в привычном стиле — просто, на примерах, с пояснениями к коду. Идеально подойдёт для тех, кто хочет быстро научиться обрабатывать медиафайлы на Python без сложных фреймворков.
📎 Читать
@Pythonl
Как сказать рутине STOP?
Ускорьте рабочие процессы и освободите время для более интересных дел — с помощью курса Слёрма «Python для инженеров» 👈
Это обучение, заточенное на инженеров — в нём нет ничего лишнего, только то, что необходимо именно вам.
На курсе вы научитесь:
🔹 писать эффективный и поддерживаемый код;
🔹 писать Kubernetes-операторы и модули для Ansible;
🔹 создавать, использовать и тестировать свои API;
🔹 взаимодействовать с инструментами CI/CD, CVS и DevOps системами.
Есть бесплатный демодоступ.
Старт 11 августа. Занять своё место на курсе — по ссылке.
🐍 Хитрый совет по Python: как ускорить in в 1000 раз
Когда ты проверяешь, есть ли элемент в списке, Python делает это медленно — он пробегает по списку полностью.
А если ты проверяешь элемент в множестве (set), это работает в сотни раз быстрее.
📌 Пример:
data = [1, 2, 3, ..., 1000000] # большой список
queries = [42, 9999, 123456]
# Медленно:
for q in queries:
if q in data:
print(q)
data_set = set(data)
for q in queries:
if q in data_set:
print(q)
🐍 Микросервисные архитектуры — как ретраи влияют на отказоустойчивость микросервисов
Ретраи, или повторные запросы, — важный механизм обеспечения отказоустойчивости распределенных систем. Необходимо быть в курсе последних изменений и понимать, как ретраи эволюционировали в электронике, программировании и Java-экосистеме. Об этом подробно расскажет техлид Т-Банка Дмитрий Фролов на конференции JVM Day 30 августа в Москве. На лендинге заявлены спикеры из разных компаний, которые разберут темы по Java, Scala и Backend.
Мероприятие пройдет в штаб-квартире Т-Банка, а половину собранных средств организаторы хотят перечислить региональным техническим вузам, чтобы помочь с развитием ИТ-сферы и подготовкой квалифицированных специалистов в разных городах страны. После докладов гостей ждут настолки с лото, афтепати и нетворкинг. Чтобы принять участие в JVM Day необходимо заранее пройти регистрацию.
@pythonl
📊 OpenBB — это платформа для инвестиционных исследований, предоставляющая доступ к акциям, опционам, криптовалютам, форексу и макроэкономическим данным. Платформа ориентирована на пользователей всех уровней и включает в себя как командную строку, так и графический интерфейс. 🌟 OpenBB предлагает бесплатный и открытый доступ к аналитическим инструментам и может быть расширен через различные плагины. Проект также поддерживает автоматизацию процессов и интеграцию с внешними сервисами
🔥 Инструмент является бесплатным аналогом Bloomberg terminal (подписка на который стоит $20 тыс. в год!)
👩💻 Язык: Python
🔐 Лицензия: GNU
▪ Github
@pythonl
📊 Python for Nonprofits — книга и код для анализа данных в НКО
Это полноценное учебное пособие по Python, заточенное под нужды некоммерческих организаций.
Автор — Kenneth Burchfiel — собрал в одном репозитории и книгу, и рабочие блокноты для реального анализа данных.
▪ Импорт и очистка данных (CSV, API, Google Sheets)
▪ Описательная статистика, линейные регрессии
▪ Визуализация: графики, интерактивные карты (Plotly, Folium)
▪ Dash-приложения и публикация дашбордов
▪ Всё оформлено как Jupyter-книга: можно читать, запускать, менять
Кому подойдёт:
– начинающим дата-аналитикам, которые хотят делать полезные проекты
– НКО, работающим с открытыми данными и отчётами
– преподавателям, ищущим учебный курс по Python с практикой
💡 Можно читать онлайн или скачать как книгу. Лицензия MIT — можно использовать где угодно.
📘 Подробнее и исходники: https://github.com/kburchfiel/pfn
@pythonl
🐍 Продвинутый Python‑совет дня
💡 Используй слоты (`__slots__`) для оптимизации классов, когда тебе нужно много однотипных объектов.
По умолчанию Python хранит атрибуты объектов в словаре (`__dict__`), что удобно, но неэффективно по памяти. Если ты точно знаешь, какие поля будут у объекта — зафиксируй их:class Point:
slots = ("x", "y") # только эти атрибуты допустимы
def __init__(self, x, y):
self.x = x
self.y = y```
📈 Выгода:
- Уменьшает использование памяти до 30–50% для миллионов объектов
- Ускоряет доступ к полям (нет __dict__)
- Запрещает создание произвольных новых атрибутов (меньше багов)
🧠 Подходит:
- Для численных расчётов (вместо namedtuple)
- При генерации большого количества однотипных объектов
- В data-heavy структурах (например, парсеры, AST, графы и т.п.)
Python — динамичный язык, но когда знаешь структуру данных заранее, slots дают тебе контроль и производительность.
👉 Видео
🚀 Быстрый HTTP‑сервер на базе asyncio.Protocol
В этом гайде показано как создать минималистичный HTTP‑сервер на Python, используя низкоуровневый API asyncio.Protocol, что делает его быстрее и гибче, чем решения на основе asyncio.Streams или фреймворков типа FastAPI.
Основные пункты:
1. Сокет-обработчик (`ConnectionHandler`)
- Наследуется от asyncio.Protocol — реакции на события connection_made, data_received, connection_lost.
- Хранит буфер, транспорт и маппинг маршрутов.
2. Парсинг HTTP-запросов
- В data_received накапливаются байты.
- Запрос считается полным при обнаружении \r\n\r\n.
- Затем из заголовков извлекаются method, path, другие поля.
3. Маршрутизация через декоратор
- Класс HTTPServer собирает функции-обработчики для путей.
- Обработчик вызывает либо корутины, либо возвращает статический HTML.
4. Отправка ответа
- Используется asyncio.create_task внутри колбэка, чтобы запустить send_response — где формируется ответ с HTTP-кодом, заголовками и телом.
- После write() соединение закрывается.
5. Простой запуск сервера
- Через loop.create_server() создаётся экземпляр ConnectionHandler.
- serve_forever() запускает обработку соединений.
6. Высокая производительность
Сервер обрабатывает ~100 000 запросов за ~4.2 с при нагрузке 100 одновременных соединений, в то время как FastAPI справляется за ~32 с :contentReference[oaicite:1]{index=1}.
Зачем это полезно:
- Полный контроль над TCP-соединениями и буферами.
- Существенно выше скорость при простых HTTP-API.
- Отличная демонстрация возможностей, которые остаются скрытыми за высокоуровневыми фреймворками.
Поддержка сообщества:
На Reddit статья получила высокую оценку как "отличный материал по Asyncio Protocols"
https://jacobpadilla.com/articles/asyncio-protocols
@pythonl
🔥 Совет дня Python: быстро получить частоту элементов в списка
Когда нужно узнать, сколько раз каждый элемент встречается в списке — не пиши вручную циклы. Используй collections.Counter:
from collections import Counter
items = ['apple', 'banana', 'apple', 'orange', 'banana', 'apple']
freq = Counter(items)
print(freq)
# 👉 Counter({'apple': 3, 'banana': 2, 'orange': 1})
🐍 Часть2: ещё 20 полезных Python-однострочников для тех, кто пишет в прод
Первая часть зашла — вот ещё 20 трюков, которые реально экономят время и делают код лаконичнее и чище:
1. 📥 Считать все строки из файла, убрав перевод строки
lines = Path('file.txt').read_text().splitlines()
hash = hashlib.sha256(b"your text").hexdigest()
s = ','.join(map(str, numbers))
raise SystemExit("Done")
print(sys.getsizeof(obj))
flat = [i for sub in nested for i in sub]
inv_mask = ~mask
seen = set(); uniq = [x for x in lst if not (x in seen or seen.add(x))]
result = func(**params)
top_n = dict(Counter(lst).most_common(5))
s_trunc = s[:n] + '…' if len(s) > n else s
binary = [random.randint(0, 1) for _ in range(n)]
today = date.today().isoformat()
size_mb = os.path.getsize(path) / 1024**2
shuffled = dict(random.sample(d.items(), len(d)))
with contextlib.redirect_stdout(io.StringIO()): exec('code')
chunks = [lst[i:i+n] for i in range(0, len(lst), n)]
ok = socket.create_connection((host, port), timeout=2)
s = s.replace('from', 'to', 1)
is_all_numbers = all(isinstance(x, (int, float)) for x in lst)
👩💻 Всем программистам посвящается!
Вот 17 авторских обучающих IT каналов по самым востребованным областям программирования:
Выбирай своё направление:
👩💻 Python — t.me/python_ready
🤔 InfoSec & Хакинг — t.me/hacking_ready
🖥 SQL & Базы Данных — t.me/sql_ready
🤖 Нейросети — t.me/neuro_ready
👩💻 C/C++ — /channel/cpp_ready
👩💻 C# & Unity — t.me/csharp_ready
👩💻 Linux — t.me/linux_ready
📖 IT Книги — t.me/books_ready
👩💻 Frontend — t.me/frontend_ready
📱 JavaScript — t.me/javascript_ready
👩💻 Backend — t.me/backend_ready
📱 GitHub & Git — t.me/github_ready
👩💻 Java — t.me/java_ready
👩💻 Весь IT — t.me/it_ready
👩💻 Bash & Shell — t.me/bash_ready
🖼️ DevOps — t.me/devops_ready
🖥 Design — t.me/design_ready
📌 Гайды, шпаргалки, задачи, ресурсы и фишки для каждого языка программирования!
🐍 20 реально полезных однострочных функций на Python — для тех, кто пишет в прод
Забудь про [::-1] и lambda x: x*2. Вот подборка, где однострочники реально ускоряют работу, убирают лишний код и улучают читаемость кода:
1. 📁 Получить все файлы с расширением .py рекурсивно
files = list(Path('.').rglob('*.py'))
timeit(lambda: your_func(), number=1000)
[m for m in dir(obj) if not m.startswith('_')]
df_clean = df.dropna()
list(ThreadPoolExecutor().map(func, iterable))
dict(Counter(my_list))
dups = [x for x, c in Counter(lst).items() if c > 1]
None
filtered = list(filter(None, data))
try: foo() except Exception as e: logging.exception(e)
pd.DataFrame(list_of_dicts)
inv = {v: k for k, v in d.items() if list(d.values()).count(v) == 1}
start = time(); result = fn(); print(f'{time() - start:.2f}s')
sample = random.sample(big_list, k=100)
max(data, key=lambda x: x.score)
dedented = textwrap.dedent(multiline_string)
[func() for _ in range(5) if not success()][-1]
data = json.loads(Path('file.json').read_text())
v /= np.linalg.norm(v)
print('\n'.join(f'{k}={v}' for k, v in sorted(os.environ.items())))
query = urlencode(params)
🔍Открытое собеседование на Python-бекендера с разработчиком из Avito и Яндекс в четверг
10 июля(уже в четверг!) в 19:00 по мск приходи онлайн на открытое собеседование, чтобы посмотреть на настоящее интервью на Middle Python-разработчика.
Как это будет:
📂 Савва Демиденко, ТехЛид с опытом в Яндексе и Авито, будет задавать реальные вопросы и задачи разработчику-добровольцу
📂 Савва будет комментировать каждый ответ респондента, чтобы дать понять чего от вас ожидает собеседующий на интервью
📂 В конце можно будет задать любой вопрос Савве
Это бесплатно. Эфир проходит в рамках менторской программы от ШОРТКАТ для Python-разработчиков, которые хотят повысить свой грейд, ЗП и прокачать скиллы.
Переходи в нашего бота, чтобы получить ссылку на эфир → @shortcut_py_bot
Реклама. ООО "ШОРТКАТ", ИНН: 9731139396, erid: 2VtzqwZX5NF
🧠 Ускорь import в Python-проектах с помощью lazy loading — без изменения логики
Если у тебя проект с тяжёлыми модулями (`pandas`, torch, tensorflow`), но они не всегда нужны — не загружай их зря. Python позволяет **отложить импорт до первого использования**, через встроённый `importlib.
Вот как это выглядит на практике:
import importlib
# Обёртка для ленивого импорта
def lazy_import(name):
return importlib.util.LazyLoader(importlib.import_module(name))
# Использование
np = lazy_import('numpy')
# numpy ещё не загружен
# Теперь загрузится:
print(np.array([1, 2, 3]))
ML-инженеры, какая встреча!
19 июля в Москве снова пройдет Turbo ML Conf от группы Т-Технологий. В этом году — еще масштабнее!
В программе 5 тематических потоков, продовые кейсы и технологии.
Среди спикеров — эксперты Т-Банка, Сбера, Яндекса и других ведущих специалистов.
Будет много нетворкинга, прикладные доклады, настольные игры, лимитированный мерч. Участие бесплатное.
Успейте оставить заявку
💡 STUMPY — библиотека для анализа временных рядов. Этот проект предлагает мощный инструмент для работы с временными последовательностями через вычисление matrix profile — специальной метрики, которая автоматически находит схожие паттерны в данных.
Инструмент поддерживает распределённые вычисления через Dask и GPU-ускорение через Numba. Технология особенно полезна для обнаружения аномалий, повторяющихся фрагментов и семантической сегментации. Библиотека одинаково хорошо работает как на небольших наборах данных, так и на временных рядах длиной в миллионы точек.
🤖 GitHub
@pythonl
🌀 Cirq — Python-фреймворк для работы с квантовыми схемами, разработанный командой Google Quantum AI. Этот проект предоставляет инструменты для создания параметризованных квантовых цепей, их трансформации и симуляции на различных бэкендах.
Инструмент имеет встроенную поддержку аппаратно-зависимых операций и интеграция с высокопроизводительными симуляторами вроде qsim. Позволяет описывать квантовые алгоритмы с учетом шумовых характеристик реальных процессоров.
🤖 GitHub
@pythonl
👍 Ozon Tech приглашает QA-инженеров
Новый набор на бесплатные курсы Route 256.
Неважно, на каком языке вы тестируете сейчас. Важно, что вы хотите прокачаться в автотестах на Python, и Route 256 — отличный шанс. 2 месяца в экспертном коммьюнити: работа над реальными задачами, интенсивная практика без лишней теории, поддержка крутых коллег.
Чтобы попасть, зарегистрируйтесь и пройдите отборочный контест 3 августа: https://s.ozon.ru/1Wt8Fhy
🛠️ AI + SQL = мгновенный доступ к данным в базе
На картинке — простой пример, как с помощью FastMCP и SQLAlchemy можно подключить инструмент к базе данных, который по человеческому запросу выводит список всех таблиц.
📦 Что происходит:
1. Человек пишет: *"Show me all tables in the ecommerce database"*
2. AI вызывает list_tables(), получает список через SQLAlchemy
3. Возвращается JSON и сгенерированный ответ на естественном языке
⚙️ Используемые технологии:
- FastMCP — для регистрации инструментов и взаимодействия с агентами
- @mcp.tool — декоратор, позволяющий превращать функции в доступные действия для ИИ
- inspect() из SQLAlchemy — безопасный способ получить метаданные БД
🧠 Это база для создания умных ботов-помощников, которые умеют работать с реальными базами данных и выдавать ответы, понятные человеку.
Интерфейс будущего уже здесь — не SQL-запрос, а обычный вопрос на английском.
@pythonl
🛠 Вышел новый генератор CAD‑моделей по чертежам — и он реально работает!
GenCAD умеет превращать чертежи в 3D‑модели и сразу генерирует параметрический CAD‑код. Для сложных и детализированных объектов он пока не подойдет, но с простыми деталями вроде винтиков и креплений справляется отлично.
📎 Идеально для быстрого прототипирования стандартных элементов.
📄 Статья: https://openreview.net/pdf?id=e817c1wEZ6
🔗 Сайт: https://gencad.github.io
💻 Код: https://github.com/ferdous-alam/GenCAD
@pythonl - погружение в Python
🖥 Полезный, но редко используемый приём: динамическое управление множеством контекст-менеджеров через `contextlib.ExitStack`
Если вам нужно открыть *N* файлов, захватить *M* блокировок или временно изменить кучу настроек, а их количество известно только во время выполнения, традиционный with … as …: не подойдёт. Вместо «пирамиды» вложенных with воспользуйтесь ExitStack:
from contextlib import ExitStack
filenames = ["a.log", "b.log", "c.log"]
with ExitStack() as stack:
files = [stack.enter_context(open(name)) for name in filenames]
# теперь у вас список открытых файлов, с которыми можно работать
for f in files:
print(f.readline())
# здесь ExitStack автоматически закроет все файлы, даже если их было 1000
🐍 20 ещё более продвинутых однострочников на Python — часть 3
Если ты уже пишешь на Python профессионально, вот ещё приёмы, которые реально экономят строки и читаются на лету:
1. 🗃️ Группировка по ключу без pandas
groups = defaultdict(list); [groups[k].append(v) for k, v in data]
copy = pickle.loads(pickle.dumps(obj, -1))
r = requests.post(url, json=payload)
is_symlink = Path(p).is_symlink()
merged = {**d1, **d2, **d3}
is_sorted = all(a <= b for a, b in zip(lst, lst[1:]))
matches = re.findall(r'\d+', text)
domain = urlparse(url).netloc
nums = list(map(int, str_list))
rows = list(csv.DictReader(open('file.csv')))
bits = f'{num:08b}'
json.dump(obj, open('data.json', 'w'), indent=2)
lines = [l for l in lines if l.strip()]
params = dict(parse_qsl('a=1&b=2'))
seen = set(); uniq = [s for s in seq if not (s in seen or seen.add(s))]
idx = max(range(len(lst)), key=lst.__getitem__)
is_nested = all(isinstance(i, list) for i in lst)
clean = re.sub(r'\W+', '', text)
signal.alarm(2); try: ... except: ...
fields = [f.name for f in dataclasses.fields(MyClass)]
Что общего у Netflix, Google и Spotify
Все эти компании используют Python для разработки своих продуктов. Python подходит для создания веб-приложений, анализа данных и даже машинного обучения.
Познакомиться с этим универсальным языком можно на бесплатном курсе Нетологии. За 5 занятий вы не просто изучите теорию, а создадите 2 рабочих проекта.
Сначала напишете планировщик задач. Начнёте с кода, который запрашивает дату и описание задачи, добавите условные операторы и циклы, встроите в программу уникальную функцию с помощью готовых библиотек. После создадите телеграм-бота и перенесёте в него функционал планировщика — на выходе у вас будет полноценное приложение.
Помощь в практике и ответы на вопросы сможете получить в чате с экспертами и однокурсниками.
Записывайтесь
Реклама. ООО "Нетология". ИНН 7726464125 Erid 2VSb5xHtdRi
Inside ML: индустриальные секреты машинного обучения
Онлайн-магистратура «Искусственный интеллект» от Вышки запускает мини-курс, где разберём, как ML работает в индустрии: от Computer Vision и AutoML до LLM и мультиагентных систем.
Что вас ждёт:
— 5 вебинаров от практиков из Avito, Сбера, Ozon
— Кейсы: как выигрывают Kaggle AutoML Grand Prix, запускают CV-системы и внедряют LLM в бизнес
— Q&A с экспертами: можно спросить о задачах и карьерном треке в ML
Для кого:
— IT-специалистам, которые хотят перейти в ML или усилить свою экспертизу
— Тем, кто хочет понять, что востребовано сейчас на рынке
— Тем, кто планирует сделать шаг в сторону applied ML или сменить специализацию внутри IT
Когда: до 15 июля, 19:00 (по МСК)
🔗 Зарегистрироваться
⚙️ Подменяй любые импорты в Python “на лету” — без изменения кода
Если ты хочешь протестировать модуль, подменить зависимость, замокать внешний сервис или обмануть импорт — не обязательно редактировать исходники. Python позволяет перехватывать импорты прямо во время выполнения, через sys.modules.
Вот минимальный приём, который делает это прозрачно:
import sys
import types
# Создаём фейковый модуль
fake = types.SimpleNamespace()
fake.get_data = lambda: "подмена работает"
# Подменяем импорт
sys.modules['external_service'] = fake
# Теперь даже import будет работать
import external_service
print(external_service.get_data()) # → "подмена работает"
🌟 Odigos — распределенный трейсинг без модификации кода. Этот open-source проект меняет правила игры в observability-инструментах. Инструмент умеет автоматически генерировать распределенные трейсы для приложений на Java, Python, .NET, Node.js и Go без необходимости правки исходного кода.
Под капотом используется eBPF для низкоуровневой инструментации, что особенно ценно для скомпилированных языков вроде Go. Трейсы сразу экспортируются в формате OpenTelemetry, что позволяет интегрироваться с любыми совместимыми системами мониторинга.
🤖 GitHub
@pythonl
🧠 Как превратить любой Python-объект в читаемый словарь — даже если это класс с кучей вложенных полей
Когда работаешь с API, логами или дебажишь сложные объекты — хочется увидеть весь объект как словарь, без .__dict__, без сериализации, без ручного разбора.
Вот приём, который делает это рекурсивно, красиво и гибко — с помощью dataclasses и asdict, даже если объект не был dataclass изначально.
python
from dataclasses import dataclass, asdict, is_dataclass
from types import SimpleNamespace
def deep_to_dict(obj):
if isinstance(obj, dict):
return {k: deep_to_dict(v) for k, v in obj.items()}
elif isinstance(obj, list):
return [deep_to_dict(i) for i in obj]
elif is_dataclass(obj):
return asdict(obj)
elif isinstance(obj, SimpleNamespace):
return deep_to_dict(vars(obj))
elif hasattr(obj, '__dict__'):
return deep_to_dict(vars(obj))
else:
return obj
🪶 DotDotGoose — open-source инструмент для ручного подсчёта объектов на изображениях
Нужен простой способ разметить объекты на фото — вручную и без лишних настроек? DotDotGoose — идеальный выбор. Это десктоп‑приложение, написанное на Python, для учёта объектов путём простого "тыкания" точек.
🔧 Возможности:
- Быстрое добавление точек и классов объектов
- Зум, панорама, тёмная тема
- Экспорт в CSV, JSON и изображения с разметкой
- Поддержка пользовательских метаданных
- Готовые билды под Windows и macOS
Установка: git clone https://github.com/persts/DotDotGoose
python3 -m venv ddg-env
source ddg-env/bin/activate
python -m pip install --upgrade pip
python -m pip install -r ./DotDotGoose/requirements.txt
👨🔬 Для всех, кому нужен точный ручной подсчёт на изображениях.
🔗 GitHub:
@pythonl
⚡ Ускорь Python без переписывания — скомпилируй код в .so через Cython
Нужно ускорить медленные куски Python-кода (циклы, численные вычисления, парсинг)?
Не обязательно лезть в C или переписывать всё под NumPy. Можно взять свой .py`-файл, добавить одну строчку и превратить его в бинарный .so`‑модуль через Cython — без изменения логики.
# 1. Устанавливаем Cython и компилятор
pip install cython
sudo apt install build-essential
# 2. Переименовываем файл
mv myscript.py myscript.pyx
# 3. Создаём setup.py
echo '
from setuptools import setup
from Cython.Build import cythonize
setup(ext_modules=cythonize("myscript.pyx"))
' > setup.py
# 4. Компилируем
python3 setup.py build_ext --inplace
# 5. Используем как обычный модуль
python3 -c 'import myscript; myscript.main()'
👾 GREMLLM — теперь у ваших багов есть сознание
GREMLLM — это необычный Python-класс, в котором все методы и свойства создаются динамически с помощью LLM. Вы описываете, *что за объект вы хотите*, и дальше GREMLLM сам решает, что должно происходить при вызове методов или обращении к полям.
📦 Установка:
pip install gremllm
from gremllm import Gremllm
counter = Gremllm('counter')
counter.value = 5
counter.increment()
print(counter.value) # → 6?
print(counter.to_roman_numerals()) # → VI?