52807
по всем вопросам @haarrp @itchannels_telegram - 🔥 best it channels @ai_machinelearning_big_data -ML @ArtificialIntelligencedl -AI @datascienceiot - ml 📚 @pythonlbooks -📚books
🖥 Малоизвестные библиотеки Python для анализа данных, которые сделают вашу жизнь проще
⏩Sketch использует алгоритмы машинного обучения для понимания контекста пользовательских данных и предоставляет соответствующие предложения по коду. Также Sketch может автоматизировать повторяющиеся задачи, находить ошибки и предлагать исправления, анализировать кодовую базу и предлагать предложения по оптимизации.
⏩MLxtend можно использовать как основной инструмент для задач машинного обучения или в качестве дополнения и вспомогательного инструмента к другим более известным библиотекам по анализу данных.
MLxtend включает такие модули как классификатор, кластеризатор, методы оценки, извлечение признаков,предварительная обработка, методы визуализации и т.д
Модуль классификации MLxtend предоставляет различные алгоритмы классификации и регрессии, включая многослойные персептроны, классификаторы, стекирования, логистическую регрессию и др.
⏩SciencePlots — это библиотека, которая предоставляет стили для библиотеки Matplotlib, чтобы получить профессиональные графики для презентаций, исследовательских работ и т.д.
📎 Читать подробнее
@pythonl
🖥 В альфа выпуск языка программирования Python 3.13.0a6 встроен JIT-компилятор
⏩ Опубликован альфа выпуск языка программирования Python 3.13.0a6, в который включена экспериментальная реализация JIT-компилятора, позволяющая добиться существенного повышения производительности. Для активации JIT в CPython добавлена сборочная опция --enable-experimental-jit. Для работы JIT требуется установка LLVM в качестве дополнительной зависимости.
📎 Подробнее
@pythonl
erid: LjN8KbbVG
Уже кое-что знаете о Python и машинном обучении и готовы начать карьеру в перспективной сфере Deep Learning?
Deep Learning это буквально суперсила, которая работает подобно человеческому мозгу. Рекомендации фильмов, переводчики или генерация ответов на вопросы как от Siri - эти и другие интересные задачи выполняют такие специалисты.
У karpovꓸcourses появилась программа, где вы с нуля освоите базовые и продвинутые инструменты глубинного обучения за 4 месяца.
Учиться вы будете на задачах, которые действительно встречаются на работе. А преподавать будут практикующие специалисты из Raiffeisen и Яндекса — поэтому в актуальности знаний можно не сомневаться.
Школа поможет вам с трудоустройством — 89% студентов находят работу в течение трёх месяцев благодаря карьерному сопровождению.
Научитесь создавать и обучать нейросети: https://clc.to/K348gA
По промокоду PYTHONL получите скидку 5000 рублей до 24.04.2024
Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627.
👩💻 Инструмент OSINT на Python для сканирования сайта и извлечения полезной информации.
▪Укажите начальный URL-адрес и автоматически соберите URL-адреса для сканирования через href, robots.txt и карту сайта
▪Извлеките полезную информацию для поиска:
- Электронные письма
- Ссылки в социальных сетях
- Поддомены
- Файлы
- Список просмотренных ссылок на сайты
- Rомментарии
- IP-адреса
▪Маркетинговые теги (UA, GTM и т.д.)
▪"Интересные" находки, такие как контент frame ancestors и ресурсы, возвращающие содержимое в формате JSON
▪ Внутри встроенный FireProx для автоматического создания эндпоинтов для каждого поддомена, смены исходного IP-адреса и очистки в конце
▪Поддержка HTTP/SOCKS прокси
git clone https://github.com/chm0dx/creepyCrawler.git
cd creepyCrawler
pip install -r requirements.txt
🖥 На портале репозиториев PyPI заблокировали 174 учётные записи из‑за неавторизированного доступа к ним хакеров
⏩Администраторы репозитория Python‑пакетов PyPI (Python Package Index) рассказали о неавторизированном доступе к 174 учётным записям пользователей сервиса. Представители PyPI предполагают, что доступ к записям пострадавших пользователей был получен из ранее скомпрометированных учётных данных в результате взломов или утечек баз пользователей других сервисов.
⏩Активность атакующих была выявлена администраторами после получения серии жалоб 31 марта 2024 года. В жалобах пользователи сообщали о получении уведомлений от PyPI об активации двухфакторной аутентификации и другой активности, но хозяева учётных записей не логинились на портале и сами ничего не меняли. Проанализировав логи авторизации, администраторы портала установили доступ третьих лиц к учётным записям 174 пользователей.
@pythonl
🖥 Релиз Nuitka 2.0 — компилятора для языка Python
Относительно недавно состоялся релиз Nuitka 2.0. Это проект компилятора для трансляции скриптов на языке Python в представление на языке C, которое затем можно скомпилировать в исполняемый файл, использующий libpython для обеспечения максимальной совместимости с CPython.
В программном решении используются штатные средства CPython для управления объектами.
📎 Подробнее
🖥Исходный код проекта Nuitka выложен на GitHub под лицензией Apache.
@pythonl
Вышла Django 5.0 🔥
Что добавили/обновили/исправили?
• В предыдущих версиях мы использовали nulls_last=False. Теперь nulls_first и nulls_last могут быть True или None. Поэтому теперь в некоторых местах вместо значения по умолчанию находится nulls_last = None
- nulls_last = False
+ nulls_last = None
if ordering_by == OrderingField.FIELD_START_AT:
nulls_last = True
my_model_obj._meta.private_fields = []
my_model_obj.refresh_from_db()
🖥 VS Code, python, контейнеры — как обуздать эту триаду и разрабатывать внутри контейнера
⏩Держите небольшой, но очень полезный туториал о настройке VS Code для работы с контейнерами при помощи Python.
После того, как вы всё настроете по примеру из статьи останется только нажать F1, и в появившейся строке ввода ввести "Open folder in container". После этого выбрать корневую папку проекта. После чего запустится сборка контейнера и папка откроется внутри контейнера.
📎 Статья
@pythonl
⚡️ MindGraph
Демонстрационный прототип концепции для создания и обработки запросов к постоянно расширяющемуся графу знаний с помощью искусственного интеллекта.
▪ Github
🖥 Форк Newspaper4k продолжает развитие библиотеки Newspaper3k
⏩Библиотека Newspaper3k для Python 3 предназначена для скрейпинга и автоматического парсинга новостных статей. С 2018 года проект не обновляется. Разработчик Андрей Параскив представил проект-форк Newspaper4k, в рамках которого он планирует закрывать баги и продолжать улучшать работу библиотеки.
⏩Newspaper предназначена для парсинга статей с новостных сайтов. Все данные Newspaper обрабатывает в Юникоде и поддерживает 38 языков, включая русский. В библиотеку встроены автоматические парсеры с механизмами естественной обработки языка. Кстати, поэтому этот проект часто рекомендуют с припиской «искусственный интеллект». Основная задача библиотеки — извлечь релевантные данные (заголовок, автор, тело статьи, изображения, тэги, краткие пересказы и прочее), убрав ненужные элементы и тексты-заглушки, которые не несут полезной информации.
⏩По качеству работы Newspaper и Newspaper3k сравнивали с сервисом социальных закладок Instapaper. Хотя Оу-Ян поделился подробной документацией, библиотека доросла до того, что к ней писали сторонние руководства. Некоторые из них остались на GeeksforGeeks и ScrapeOps: это инструкции по скрейпингу с помощью Newspaper3k.
🖥 GitHub
@pythonl
🖥 HTTP-запросы и обработка JSON в Python: API Google Directions
⏩Для выполнения HTTP-запросов и обработки JSON в Python используйте модуль requests:
import requests
response = requests.get('https://api.example.com/end-point')
data = response.json()
'https://api.example.com/end-point' на необходимый API endpoint. Прежде чем приступить к обработке данных, проверьте, был ли запрос успешным.requests.get() используя словарь, чтобы избежать конкатенации строк:params = {'origin': 'Нарния', 'destination': 'Хогвартс', 'waypoints': 'Средиземье|Мордор', 'sensor': 'false'}
response = requests.get('https://maps.googleapis.com/maps/api/directions/json', params=params)waypoints должно быть указано в виде одной строки, например, 'Средиземье|Мордор'..json() и проверьте код ответа:data = response.json()
if response.status_code == 200:
from pprint import pprint
pprint(data) # Выведем данные структурированно для удобства
else:
print("Ошибка HTTP-запроса:", response.status_code)
for route in data['routes']:
for leg in route['legs']:
for step in leg['steps']:
print(step['html_instructions'])
.json(), а при необходимости — json.loads(response.content).
🖥 Python-разработчики подверглись сложной атаке на цепочку поставок
⏩Аналитики компании Checkmarx сообщили, что после загрузки вредоносного клона популярной утилиты Colorama несколько Python-разработчиков, включая сопровождающего Top.gg, оказались заражены малварью, похищающей информацию. По мнению специалистов, основной целью кампании, скорее всего, была кража данных и их последующая монетизация.
⏩Атака началась аж в ноябре 2022 года, когда хакеры впервые загрузили вредоносные пакеты в Python Package Index (PyPI). В последующие годы на PyPI было добавлено еще больше пакетов с малварью. Все они были похожи на популярные опенсорсные инструменты, что повышало вероятность их попадания в результаты поисковых систем.
⏩Утилита Colorama, которую в числе прочих подделали злоумышленники, обеспечивает работу последовательностей символов ANSI в Windows и в настоящее время насчитывает более 150 млн загрузок ежемесячно.
⏩Чтобы организовать атаку на цепочку поставок, хакеры клонировали эту утилиту, внедрили в нее вредоносный код и разместили вредоносную версию на поддельном домене. Благодаря тому, что атакующие использовали тайпсквоттинг, сайт хакеров (files.pypihosted[.]org) походил на легитимное зеркало files.pythonhosted.org.
⏩Для распространения вредоносного пакета злоумышленники не только создали вредоносные репозитории под собственными учетными записями, но также взломали ряд известных аккаунтов. В их числе был GitHub-аккаунт editor-syntax, поддерживающий платформу для поиска и обнаружения серверов, ботов и других социальных инструментов в Discord, Top.gg, сообщество которой насчитывает более 170 000 участников.
⏩Аккаунт, скорее всего, был взломан через украденные cookies, которые злоумышленники использовали для обхода аутентификации и выполнения вредоносных действий, при этом не зная пароля аккаунта. В результате взлома пострадали несколько членов сообщества Top.gg.
📎 Читать подробнее
@pythonl
🖥 Шпаргалка для подготовки к собеседованию Python
Держите, это нереальная квинтэссенция примеров кода, паттернов, покрывает 99% того, что могут спросить на собеседовании
Объём всей шпаргалки приличный, редактор показывает, что время чтения 96 минут)
📎 Шпаргалка
Enjoy)
@pythonl
🖥 Spelling Correction with Python
Исправление орфографии с помощью Python
@pythonl
🖥 Руководство по веб-скрейпингу на Python
Отличная статья, в которой описывается создание надёжных веб-краулеров с использованием таких библиотек, как BeautifulSoup.
Рассказывается про техники, позволяющие преодолевать реальные трудности при скрейпинге, а также даются рекомендации по крупномасштабному скрейпингу.
После прочтения вы получите ценную информацию для скрейпинга сложных сайтов и решения проблем, которые касаются ограничений частоты запросов, блокировок и генерируемых при помощи JavaScript страниц.
Пользуйтесь)
📎 Статья
@pythonl
💻 Совет тем, кто ищет виртуальный сервер с лучшей DDoS защитой — выбирай Aéзa!
– Виртуальные сервера до 6.0 ГГц на флагманских процессорах;
- Множество услуг, включая аренду готового VPN или S3-хранилища;
– Профессиональная DDoS защита;
– Бесплатная Anycast DDoS защита для сайтов;
– Низкие цены от 4,94 евро за Ryzen 7950x3D;
– Круглосуточная премиум поддержка;
- Анонимный ВПН от 1.9 евро
– 15% кешбэка по ссылке
На этом приятности не заканчиваются!
🖥Бесплатные сервера!
Возьми сервер от Aéзa на 1 час или воспользуйся
сервисом бесплатной аренды от Aéзa - Терминатор.
Без регистрации, СМС и платежей 🖥
aeza.net
@pythonl
🖥 400 вопросов с ответами, которые должен знать Python-разработчик
Держите наиполезнейшую подборку, тут есть и теоретические вопросы вроде «Что такое геттеры и сеттеры» и очень практические вида «Как отправить email с помощью SMTP».
Самое то, чтобы освежить какие-то темы и структурировать знания
Enjoy)
📎 Ссылка
@pythonl
📌Python Data Science Bootcamp
Держите мощное практическое видео по работе с Pandas, Matplotlib, NumPy, Seaborn, Scikit-learn, Plotly
Ключевые моменты в видео:
01:28:00 — Pandas
02:54:02 — NumPy
03:05:26 — Визуализация данных с помощью Matplotlib
03:26:22 — Визуализация данных с помощью Seaborn
04:39:40 — Анализ данных
05:03:12 — Элементы ML, использование Scikit-learn
📎 Видео
@pythonl
🖥 Sending a WhatsApp Message using Python
Отправка сообщения WhatsApp с помощью Python
@pythonl
🖥 Ляп в Питоне: x + 1.0 < x
▶️Хотите взорвать себе мозг?
При смешивании типов возможно неочевидное поведение, можете проверить:
>>> x = (1 << 53) + 1
>>> x + 1.0 < x
True
x к другому типу была потеряна точность, а в другой части — нет.x конвертируется в тип float.x непредставим точно в виде float, поэтому выбирается ближайшее (меньшее здесь) представимое число: x —> float(x-1). Поэтому сумма получается неточной, вся цепочка выглядит так:x+1.0 -> float(x-1)+1.0 -> (x) -> float(x-1)
float < int происходит точно. Значение x (int) математически больше x+1.0 (float).
🖥 Google Analytics 4 и Python - практические приемы работы
⏩Очень детальное руководство о том, как с помощью Python выполнять запросы к API Google Analytics 4 (Data API), выгружать данные по стандартным отчетам, ну и сохранять статистику вашего ресурса Google Analytics 4 на компьютер.
В конце статьи есть все исходники запросов, чтобы вы смогли взять их за основу при написании собственной программы.
⏩Содержание
• Создание проекта
• Быстрый запуск API
• Добавление сервисного аккаунта в Google Analytics 4
• Загрузка приватного ключа на Google Диск
• Подготовка программы
• Выгрузка данных по отчетам
— Источники трафика (User acquisition)
— Привлечение трафика (Traffic acquisition)
— События (Evemts)
— Конверсии (Conversions)
— Страницы и экраны (Pages and screens)
— Целевая страница (Landing Page)
— Совершённые покупки (Ecommerce purchases)
— Демографические данные (Demographic details)
— Технические данные (Tech details)
📎 Статья
@pythonl
🚀 Едадил приглашает Python-разработчиков на борт!
Едадил – сервис Яндекса, где собраны скидки, спецпредложения и кэшбеки. Мы помогаем людям совершать выгодные покупки!
Мы в поиске талантливых Python-разработчиков, специализирующихся на асинхронном программировании и с опытом коммерческой разработки более 3 лет.
Если вы мастер своего дела и готовы к новым вызовам, присоединяйтесь к нашей команде!
Ищем специалистов из разных уголков России!
Что вас ждет?
● Работа в классном офисе в гибридном формате
● Конкурентоспособная заработная плата, соцпакет и возможности для профессионального роста.
● Работа в команде единомышленников над проектами, влияющими на жизнь миллионов пользователей.
Выбирайте подходящую вакансию:
– Asyncio Python-разработчик
– Python-разработчик с опытом в PostgreSQL, noSQL, Docker и Git
– Python-разработчик с навыками в Python 3.10, aiohttp, YQL, YTsaurus, Docker
Реклама ООО "Яндекс"
ИНН 7736207543
Исследуешь айтишную тему, но пока нет большого опыта? Залетай до 20 апреля на «Цифровой марафон» Сбера и «Школы 21» и соревнуйся с равными! Три счастливчика отправятся отдыхать на премиум-курорты и прокачивать знания в СберУниверситете.
Конкурс проводят по всей России, а минимальный возраст для участия — от 18 лет. Отличная возможность оценить свои навыки и получить советы для дальнейшего развития. А главное — лучшие в своих категориях отправятся на очный финал в Москву с церемонией награждения.
Для успеха нужно пройти онлайн-игру на проверку логики и памяти, тестирование в соответствии с твоим уровнем подготовки и цифровой диктант. Здесь ты выбираешь язык, на котором будешь писать код. Заработай как можно больше очков, чтобы попасть в суперфинал, расправиться с более сложными задачами и выиграть главные призы!
Дедлайн подачи заявок на участие уже не за горами, скорее переходи на сайт и регистрируйся!
Академия CyberYozh откроет часть своих курсов бесплатно
✅Материал стоящий, без воды. Рекомендую присмотреться к их курсам по автоматизации с помощью Python и Selenium:
Автоматизация веб действий — вы научитесь работать с мультиаккаунтингом, авторегистрацией и прогревом аккаунтов, парсингом любого веб-контента, накруткой, автоматизацией покупок и заказов, автоматическими ставками. Тематика не простая, но спрос на таких специалистов огромный.
Автоматизация BlockChain — в рамках курса вы изучите автоматизацию BlockChain-проектов и начнете применять знания для сбора ретродропов. Люди делают состояния на этом, нужен лишь азарт, желание писать код и удача. Лучше хобби для питониста не придумать.
⏰ Всего откроют доступ к 8 курсам, но обещают, что доступ превратится в тыкву 14 апреля, лучше поторопиться.
Как писать код быстрее с помощью российского AI-ассистента
А вы знали, что AI-ассистенты* помогают разработчикам высвободить до 25% времени при написании кода? Они анализируют код и предлагают возможные варианты завершения. В Сбере используется один из таких инструментов — GigaCode. Практика показывает, что такой помощник на основе искусственного интеллекта действительно упрощает работу командам разработки!
GigaCode развивается вместе c сервисом GigaChat. В AI-ассистенте есть нейросетевые модели, которые обучены на больших корпусах исходного кода и специализируются на определенных задачах разработки. GigaCode можно использовать в любой привычной среде разработки, такой как IDEA, PyCharm, VSCode, Jupyter. Он генерирует варианты завершения кода в режиме реального времени, что ускоряет и упрощает процесс работы.
Сейчас ранний доступ к GigaCode предоставляется на площадке GitVerse. Это платформа для работы с исходным кодом от СберТеха. На GitVerse можно хранить открытые и закрытые репозитории, проводить код ревью, приглашать участников в свой проект и общаться с комьюнити.
Чтобы получить доступ к GigaCode, зарегистрируйтесь на портале GitVerse.
*AI, artificial intelligence — искусственный интеллект
Программа бакалавриата в Центральном университете от Тинькофф с грантом до 100% для сильных и мотивированных абитуриентов!
Грант можно получить на одно из направлений бакалавриата по искусственному интеллекту, разработке и бизнес-аналитике. Помимо диплома и практико-ориентированного образования студенты получат:
- Персонализацию учебной траектории;
- Стажировку в одной из лучших ИТ-компании страны;
- Личного ментора на все время обучения;
- Доступ к современному кампусу в центре Москвы.
Получить полную информацию и оставить заявку можно здесь.
erid:2VtzqucgZBU
Реклама, АНО ВО «Центральный университет», ИНН 7743418023
Бенчмарк Wi-Fi сетей на wifi-heat-mapper
wifi-heat-mapper — питонская версия Wi-Fi Analyzer, позволяющая не только визуализировать силу сигнала, но и рассчитывать мощность в любой точке помещения
#библиотека
@zen_of_python
Подготовка к алгоритмическим собеседованиям
📌 "Книжного академического образования недостаточно. Книги - это замечательно, но они не помогут вам пройти собеседование. Почему? Подскажу: интервьюверы не видели красно-черных деревье со времен своего обучения в университете. Чтобы успешно пройти собеседование, нужно готовиться на реальных вопросах, встречающихся на собеседованиях" - Лакман Макдауэлл
Поэтому 6 апреля CTO из Сбера Александр Алексеев (ех-СТО Тинькофф) начинает курс по подготовке к алгоритмическим собеседованиям, где можно будет без зубрежкки научиться правильно решать сложные задачи, которые встретятся на реальном собеседовании!
Ссылка на курс
🖥 PyPI приостановил регистрацию новых пользователей и проектов из-за всплеска вредоносных публикаций
⏩Репозиторий Python-пакетов PyPI (Python Package Index) временно запретил регистрацию новых пользователей и создание новых проектов из-за непрекращающейся массовой загрузки вредоносных пакетов в ходе автоматизированной атаки. Блокировка была введена после того, как 26 и 27 марта в репозиторий было загружено 566 пакетов с вредоносным кодом, стилизованных под 16 популярных Python-библиотек.
⏩Имена пакетов сформированы с использованием тайпсквотинга, т.е. назначение похожих имён, отличающихся отдельными символами, например, temsorflow вместо tensorflow, requyests вместо requests, asyincio вместо asyncio и т.п. При проведении подобных атак злоумышленники рассчитывают на невнимательных пользователей, совершивших опечатку или не заметивших отличий в названии при поиске или переходе по ссылке из форумов и чатов, в которых злоумышленники оставляют обманные инструкции.
Будьте аккуратнее, когда качаете что-то через pip)
@pythonl
🖥 Отладка Python кода в PyCharm
Держите полезный туториал по дебаггингу кода в PyCharm.
⏩Описывается процесс запуска программы в режиме Debugging и установка точек останова (Breakpoints).
⏩Рассматриваются различные окна и кнопки в интерфейсе дебаггера для анализа кода и пошагового выполнения.
⏩Обсуждаются ошибки в коде и способы их исправления с помощью дебаггера.
⏩Упоминается возможность автоматической остановки выполнения кода в строке с ошибкой.
⏩Описывается использование окна Watches для просмотра результатов выражений и функций.
📎 Туториал
@pythonl
