52807
по всем вопросам @haarrp @itchannels_telegram - 🔥 best it channels @ai_machinelearning_big_data -ML @ArtificialIntelligencedl -AI @datascienceiot - ml 📚 @pythonlbooks -📚books
🖥 Реализация модели Llama 3 на чистом NumPy
Держите подробный гайд по созданию Llama 3 только средствами Python и библиотеки NumPy.
В качестве источников вдохновения и примеров использовались такие реализации:
— llama2.c
— llama.np
— modeling_llama.py — с Hugging Face
$ python llama3.py "I have a dream"
"""
I have a dream. He dream of a big, beautiful garden full of flower and tree. He dream of playing with hi friend and eating yummy snack.
One day, he wa walking in the garden when he saw
Token count: 50, elapsed: 1.53s, 33 tokens/s
"""
📌Featuretools для генерации признаков
— python -m pip install featuretools
Featuretools — это Python библиотека для автоматизированной разработки фич, т.е. определения переменных из набора данных для обучения ML-модели.
Featuretools отлично справляется с преобразованием временных и реляционных наборов данных в матрицы признаков для машинного обучения.
🖥 GitHub
🟡 Доки
@pythonl
🖥 httpbin — сервис HTTP-запросов и ответов, написанный на Python + Flask
Быстрый запуск с помощью Docker:
— docker run -p 80:80 kennethreitz/httpbin
🖥 GitHub
🟡 Методы и запросы
@pythonl
🖥 Структуры данных в Python — cheat sheet
Держите мощную шпаргалку по структурам данных в Python; здесь всё объясняется на примерах, так будет кристально понятно
Описываются такие понятия, как мутабельность, иммутабельность, рассказывается про штуки типа list comprehensions и многое другое
📎 Шпаргалка
@pythonl
🖥 Так можно использовать API GPT-4o vision в Jupyter Notebook
Удобство Python и мощь GPT-4o.
GPT-4o распознаёт вводимые жесты и подбирает максимально подходящие по виду графики кривых.
Распознаются даже довольно сложные композиции из разных линий и текста.
▪Github
@pythonl
🖥 unsafe-python
Библиотека, помогающая писать небезопасный для памяти код на "чистом" python, без какого-либо импорта (т.е. без ctypes и т.д.).
▪ Github
@pythonl
Академия Аналитиков Авито открыла набор на курс 2024 – 25.
Это бесплатная образовательная программа для тех, кто хочет развиваться как аналитик данных или DS-инженер.
13 месяцев глубокого погружения в реальные задачи бизнеса, общение с ведущими экспертами бигтеха, помощь и поддержка куратора и ментора в поисках своего места в индустрии.
Присоединиться — задача не из лёгких. Нужно сдать два вступительных теста и быть готовым учиться до 25 часов в неделю, делать домашку и реализовывать неординарные проекты. Зато у выпускников есть все шансы на вау-карьеру, в том числе в самом Авито.
8–9 июня проводим Weekend Offer Backend
Устроиться в Яндекс за выходные — реально. Ищем крутых бэкендеров с опытом работы от 3 лет на C++, Python или Java, готовых работать в офисном или гибридном режиме на территории России или Республики Беларусь.
Подавайте заявку до 6 июня — и всего за 2 дня пройдите все технические собеседования. После сможете пообщаться с нанимателями и выбрать из участвующих команд ту, которая покажется самой интересной. Если всё сложится хорошо, сразу же пришлём вам офер.
Узнать подробности и зарегистрироваться.
🧠 Прокачай свои знания о Data Science! X5 Tech запускает хакатон X5 Tech AI Hack – узнай на практике больше об алгоритмах маскирования данных и избавлении нейросетей от галлюцинаций. Призовой фонд – 2 000 000 рублей.
🔔 Старт ML-соревнования уже через несколько дней – 17 мая. Не жди дедлайна, регистрируйся прямо сейчас!
Приглашаем на хакатон Python-разработчиков и специалистов по машинному обучению вне зависимости от их опыта. На выбор – один из двух треков:
1️⃣ Маскирование. Предстоит разработать алгоритм, который будет заменять чувствительные данные в датасете без потери смысла. Ты научишься решать задачу Named Entity Recognition и обучать модели обработки естественного языка.
2️⃣ Детекция галлюцинаций. Задача конкурсантов – создать систему, которая сможет эффективно выявлять аномалии в тексте, сгенерированном нейросетью. Решение поможет лучше понять, как работают языковые модели, разобраться, как анализировать и классифицировать большие данные.
Хакатон продлится 10 дней. У тебя будет шанс получить советы от крутых ML-экспертов и специалистов по Data Science, обсудить задачи соревнования с единомышленниками, узнать больше о проектах X5 Tech.
28-29 мая 5 лучших команд в каждом треке получат приглашение на финал в Москве. Церемония награждения пройдет 30 мая на X5 Future Night, где ты сможешь вживую пообщаться с представителями компании и коллегами по Data Science.
🔥 Участвуй в X5 Tech AI Hack и внеси свой вклад в развитие ML-технологий
Данные правят миром, а инженеры данных помогают компаниям управлять этим стратегическим ресурсом.
На дне открытых дверей онлайн-магистратуры ВШЭ и Нетологии «Инженерия данных» 16 мая в 18:00 мск вы разберётесь в ключевых задачах профессии и её перспективах. А также поймёте, как устроена онлайн-магистратура и как в неё поступить. Встреча будет полезна аналитикам данных, разработчикам и выпускникам технических специальностей.
Присоединяйтесь — узнайте, как получить новые востребованные компетенции и сделать следующий шаг в карьере с Big Data.
🗓Дата: 16 мая, 18:00 мск
📋Регистрация: https://netolo.gy/c95c
Реклама. ООО "Нетология". Erid 2VSb5yeDhha
Python разбор резюме CV от рекрутера из Яндекса.
Заходите на нашу трансляцию, задавайте свои вопросы
https://www.youtube.com/watch?v=bXj4Mo0LDX0
Так же можно смотреть на кайле наших друзей из Solvery: https://www.youtube.com/watch?v=k4BNhLaQuDgЗаходите на нашу трансляцию, задавайте свои вопросы
Приглашаем на Pytup — 1 июня в Нижнем Новгороде!
Вас ждёт большая конференция по Python-разработке Pytup.
Приезжайте, чтобы послушать доклады спикеров, узнать про новости языка и познакомиться с коллегами.
Расскажем о разработке платформы для обработки данных в IT-компаниях, создании микросервиса по обработке геометрических данных и о том, как делать RAG-приложения с помощью DataSphere. Программа получилась насыщенной!
Смотрите подробности на сайте.
До встречи на Pytup! 💛
🖥🖥 Решаем задачи на стажировку аналитика в яндекс. Подключаем CHATGPT и другие ИИ модели!
https://www.youtube.com/watch?v=I_6exF29t0k
#youtube #стажировка #яндекс
📌 Код
@pythonl
🔎 PyHTools: Python toolkit for diffirent cybersecurity purposes.
#Инструмент Python для различных задач кибербезопасности:
- изменение mac-адреса
- сканирование диапазона ip-адресов в сети;
- сканирование каталогов - сканирование уязвимостей
- сканирование поддоменов
и более
▪ Github
@pythonl
🖥 Вышла первая бета-версия языка программирования Python 3.13.0b1
8 мая 2024 года вышла первая бета-версия языка программирования Python 3.13.0b1 (3.13.0 beta 1) для тестирования с экспериментальным JIT-компилятором и улучшенным интерактивным интерпретатором на основе PyPy 🔥
Ещё одним интересным моментом в Python 3.13.0b1 является экспериментальный режим сборки free-threaded build mode, который отключает глобальную блокировку интерпретатора (GIL), циклический сборщик мусора теперь стал более инкрементальным, также там включен модифицированный mimalloc, внесены новые дополнения к типизации и другие изменения, включая исправление ранее обнаруженных ошибок.
@pythonl
🔥Подборка лучших обучающих каналов для программистов.
➡️ Делитесь с коллегами и сохраняйте себе, чтобы не потерять
⚡Машинное обучение
Machine Learning - запускаем лучшие ИИ модели, пишем код, погружаемся в нейросети
Ml Собеседование - подготовка к собесу по мл, алгоритмам, коду
Ml ru - актуальные статьи, новости, код и обучающие материалы
Ml Jobs - вакансии ML
ML Книги - актуальные бесплатные книги МО
ML чат
🏆 Golang
Golang
Golang собеседование - разбор задач и вопросов с собесов
Golang вакансии -работа для Go разработчика
Golang книги библиотека книг
Golang задачи и тесты
Golang чат
Golang news - новости из мира go
Golang дайджест
💥 Linux /Этичный хакинг
Linux Academy - гайды, секреты и лучшие материалы по Linux
Kali linux - погрузись в мир этичного хакинга и кибербезопасности
linux_kal - kali чат
Информационная безопасность
🚀 Data Science
Анализ данных - полезные фишки, код, гайды и советы, маст-хэв датасаентиста
Data Jobs - ds вакансии
Аналитик данных
Data Science книги - актуальные бесплатные книги
Big data
🛢Базы данных
Sql базы данных - научим работе с базами данных профессионально
Библиотека баз данных
SQL чат
Вакансии Sql аналитик данных
#️⃣C#
С# академия - лучший канал по c#
С# заметки — код, лучшие практики, заметки программиста c#
С# задачи и тесты
С# библиотека - актуальные бесплатные книги
C# вакансии - работа
🐍 Python
Python/django - самый крупный обучающий канал по Python
Python Собеседование - подготовка к собеседовению python и разбор алгоритмов
Pro python - статьи, новости, код и обучающие материалы
Python Jobs - вакансии Python
Python чат
Python книги
☕ Java
Java академия - java от Senior разработчика
Java вакансии
Java чат
Java вопросы с собеседований
Java книги
💻 C++
C++ академия
С++ книги
C++ задачи - подготовка к собеседовению мл, алгоритмам
C++ вакансии
⚡️ Frontend
Javascript академия - крупнейший js канал
React - лучшие гайды и советы по работе с react
Frontend - тутрориалы, уроки, гайды, код
PHP
Книги frontend
Задачи frontend
🦀 Rust
Rust программирование
Rust чат
Rust книги для программистов
📲 Мобильная разработка
Android разработка
Мобильный разработчик гайды и уроки
🇬🇧 Английский для программистов
🧠 Искусственный интеллект
ИИ и технологии
Neural - нейросети для работы и жизни
Книги ИИ
Artificial Intelligence
🔥 DevOPs
Devops для программистов
Книги Devops
🌟 Docker/Kubernets
Docker
Kubernets
📓 Книги
Библиотеки Книг для программситов
💼 Папка с вакансиями:
Папка Go разработчика:
Папка Python разработчика:
Папка Data Science
Папка Java разработчика
Папка C#
Папка Frontend
💥 Бесплатный Chatgpt бот
Программирование сейчас - один из немногих социальных лифтов, доступных всем!
Лучший способ начать свой путь в IT - изучать Python. Этот язык не такой сложный для изучения, однако на нем создают сайты, чат-боты и даже искусственный интеллект. Например, Netflix, YouTube и Google написаны на этом языке.
С нуля стать опытным разработчиком со средней зарплатой в 180 000 рублей можно в онлайн-школе Product Star на курсе “Профессия: Python-разработчик”. Курс создан специалистами из топовых компаний с реальным опытом в индустрии, благодаря чему в процессе обучения вы будете погружаться в реальные кейсы.
После обучения ваше портфолио пополнится проектами, которые будет не стыдно показать любому работодателю. И самое главное: Product Star гарантируют трудоустройство, а если в процессе поймете, что специальность не для вас, вам вернут деньги.
Станьте Python-разработчиком вместе с ProductStar. Скидка до 57% и техническое собеседование с топовым разработчиком в подарок - https://tglink.io/bb2a561b5790
Реклама. ООО "ТРИВИУМ". ИНН 7806297293.
⚡️ Как эффективно использовать явный и неявный фидбек в рекомендательных системах?
Расскажет опытный эксперт на открытом практическом уроке от OTUS, где вы:
— познакомитесь с двумя типами фидбека от пользователя: явным и неявным;
— обучите рекомендательные модели на разных типах фидбека;
— сравните их качество.
📌 Вебинар будет полезен дата-сайентистам и ML-спецам, которые хотят расширить область знаний и технологический стек.
Встречаемся 23 мая в 20:00 мск в преддверии старта курса «Machine Learning. Professional». Все участники вебинара получат специальную цену на обучение и персональную консультацию от менеджера OTUS!
💣 Пройдите короткий тест прямо сейчас, чтобы посетить бесплатный урок: https://otus.pw/VDdn/?erid=LjN8KJ6Ey
Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.
Ближайшее Fast Track мероприятия:
• 3–7 июня — для технических менеджеров и Crowd Solutions Architect, офер за 5 дней в команду Crowd.
Зарегистрироваться
Все о безопасной разработке расскажут на PHDays Fest 2 в Лужниках 23-26 мая. Positive Technologies вместе с сообществом POSIdev подготовили несколько секций с докладами для разработчиков:
🔥 General development
🔥 Development Security
🔥 Platform Engineering
🔥 Data Engineering
🔥 Team Lead
🔥 Python совместно с сообществом Moscow Python
🔥 Dev tools, languages & frameworks
Спикеры из Samokat, Тинькофф, СберМаркет, Yandex Cloud, Kaspersky, Lamoda Tech, Aвито, Positive Technologies и других компаний расскажут про архитектуру распределенных систем, безопасную разработку приложений, алгоритмы, языки и инструменты разработки, управление командой и не только.
В перерывах можно будет поиграть в IT-крокодила, решить безопасный кроссворд, выиграть полезную книгу или просто отдохнуть в лаунж-зоне. А в субботу, 25 мая, участвуйте в воркшопах экспертов из Positive Technologies, Yandex Cloud и Hilbert Team, Wildberries или в олимпиаде по программированию.
👉 Программа
👉 Регистрация
🖥 Gensim — Python библиотека для работы с естественным языком
— pip install gensim
Gensim может использоваться индексации документов и поиска сходства в больших текстах.
Особенно актуальным Gensim будет для специалистов по обработке естественного языка (NLP) и информационному поиску.
🖥 GitHub
@pythonl
🖥 SQLGlot — парсер, оптимизатор и движок SQL на Python
— pip3 install "sqlglot[rs]"
SQLGlot может использоваться для форматирования SQL или перевода между 21 различными диалектами, в том числе DuckDB, Presto / Trino, Spark / Databricks, Snowflake и BigQuery. Он предназначен для чтения широкого спектра входных данных SQL и вывода синтаксически и семантически корректного SQL на целевых диалектах.
SQLGlot — это очень полный общий парсер SQL с надежным набором тестов. Он также достаточно производителен (за счёт токенизатора на Rust) и при этом написан исключительно на Python.
Вы можете легко настраивать парсер, анализировать запросы, обходить деревья выражений и программно создавать SQL.
Синтаксические ошибки подсвечиваются, несовместимость диалектов отображается, однако SQLGlot не стремится быть валидатором SQL, поэтому он может не обнаружить некоторые синтаксические ошибки.
🖥 GitHub
@pythonl
🖥 ArchiveBox — создание своего собственного веб-архива при помощи Python
— pip install archivebox
ArchiveBox — open-source инструмент, написанный на Python, который позволяет архивировать публичный и частный веб-контент, сохраняя контроль над своими данными.
Зачем? Без активных усилий по сохранению все, что есть в интернете, в конечном итоге исчезает или деградирует. Archive.org отлично справляется с ролью централизованного сервиса, но сохраняемые URL должны быть публичными, и они не могут сохранять все типы контента.
ArchiveBox принимает URL-адреса/историю браузера/закладки/Pocket/Pinboard/..., позволяет сохранять HTML, JS, PDF, медиа и многое другое
🖥 GitHub
@pythonl
🖥 Ленивые импорты в Python — lazy import
🟡Все import'ы, по умолчанию, выполняются во время загрузки скриптов. Это не всегда хорошо: представим себе CLI-утилиту с 2 командами:
$ ./utility.py --help
./utility.py usage:
* --help Shows this message
* hard_work Does all the work
$ ./utility.py hard_work
Importing the universe...
Looking for stars*...
Done!
$ PYTHONPROFILEIMPORTTIME=1 ./utility.py --help
import time: self [us] | cumulative | imported package
import time: 1000 | 1000 | the_universe
import time: 2000 | 2000 | stars
...
$ PYTHONPROFILEIMPORTTIME=1 ./utility.py --help 2> import.log
$ tuna import.log
🖥 HTTPX — HTTP-клиент нового поколения для Python
— pip install httpx
HTTPX — это полнофункциональная библиотека HTTP-клиента для Python. Она включает в себя интегрированный клиент командной строки, поддерживает HTTP/1.1 и HTTP/2, а также предоставляет API синхронизации и асинхронизации.
🖥 GitHub
@pythonl
🖥 Tornado — библиотека для асинхронных соединений
Tornado — это Python веб-фреймворк и библиотека асинхронных сетевых соединений, изначально разработанная в FriendFeed. Благодаря использованию неблокирующего сетевого ввода-вывода, Tornado может масштабироваться до десятков тысяч открытых соединений, что делает его идеальным для длинных опросов, WebSockets и других приложений, требующих длительного соединения с каждым пользователем.
🖥 GitHub
🟡 Wiki
@pythonl
🖥 Typer — Python библиотека для создания CLI-приложений
— pip install typer
CLI-приложения получаются простые и в использовании, и в создании
Библиотека активно использует Python type hints.
Typer — это также инструмент командной строки для запуска скриптов, автоматически преобразующий их в CLI-приложения.
🖥 GitHub
🟡 Доки
@pythonl
🖥 Phidata: Phidata adds memory, knowledge and tools to LLMs
Phidata — фреймворк для добавления памяти, знаний и новых опций к LLM
— pip install -U phidata
А вот пара примеров AI-веб-приложений, созданных с помощью Phidata:
🟡 PDF AI — обобщает и отвечает на вопросы из PDF-файлов
🟡 ArXiv AI — отвечает на вопросы о статьях ArXiv, используя ArXiv API
🟡 HackerNews AI — обобщает истории, пользователей и делится тем, что нового на HackerNews
🖥 GitHub
🟡 Доки
@pythonl
🖥 Мощная шпаргалка по Python
Можете полистать перед собеседованием, здесь приведены рецепты Python для большей части бытовых задач; вот некоторые из разделов:
— обработка файла
— ООП: классы, методы
— продвинутые типы данных: heapq, deque, ...
— работа со строками
— операции над списками
🔥 Шпаргалка
@python_job_interview
🖥 Xonsh — язык-оболочка на основе Python и Bash
— python -m pip install 'xonsh[full]'
Xonsh — это кроссплатформенный язык-оболочка и командный интерпретатор, работающий на языке Python и ориентированный на Unix.
Можно использовать Xonsh вместо дефолтного Bash — это позволяет применять мощь Python в работе с файлами и в любых других действиях, которые вы привыкли делать из терминала.
Xonsh является надмножеством Python 3.6+ (т.е. поддерживает все его возможности) с дополнительными примитивами оболочки, взятыми из Bash и IPython.
Xonsh работает на всех основных системах, включая Linux, OSX и Windows.
🖥 GitHub
🟡 Доки
@pythonl