🌐 Scrapy VS Crawlee: сравнение фреймворков для веб-скрапинга

Scrapy и Crawlee — фреймворки для скрапинга. Первый — заслуженный ветеран, второй появился относительно недавно. В новой статье разбираемся, какой из инструментов лучше подойдёт для вашего проекта.

🔗 Читать статью
🔗 Зеркало

Этот материал взят из нашей субботней email-рассылки, посвященной Python. Подпишитесь, чтобы быть в числе первых, кто получит дайджест👈

Читать полностью…

🔥 Microsoft открыла исходники MS-DOS 4.00 под лицензией MIT

Десять лет назад Microsoft предоставила исходный код MS-DOS 1.25 и MS-DOS 2.0 Музею компьютерной истории в Калифорнии, а затем переиздала его в открытом доступе на GitHub. Этот код — важная веха в истории и представляет собой увлекательные знания об операционной системе, которая была полностью написана на ассемблере для Intel 8086 почти 45 лет назад.

За DOS 4.0 стоит сложная и увлекательная история, ведь Microsoft сотрудничала с IBM в части кода, но также создала ветку DOS под названием Multitasking DOS, которая не получила широкого распространения.
В выпуске MS-DOS 4.0 есть: возможность использования GUI и мыши, поддержка дисковых разделов больше 32 МБ (до 2 ГБ), добавлением файлового менеджера DOSSHELL, поддержка EMS (Expanded Memory Specification), команды FASTOPEN и FASTSEEK.

👉 Подробнее
👉 GitHub

Читать полностью…

🧑‍🍳 Data Engineer — специалист, который занимается построением и обслуживанием инфраструктуры для работы с данными, а также их предварительной обработкой.

Он не участвует в анализе, но обеспечивает аналитиков нужными мощностями, инструментами и подготовленными данными.

Ловите репозиторий, в котором вы найдете всё необходимое для того, чтобы прокачаться в данной теме.

👉 GitHub

Читать полностью…

📈 Стать аналитиком Big Data: пошаговое руководство 2024

Big Data — это наборы данных очень больших размеров, которые также характеризуются многообразием и высокой скоростью обновления. Аналитики больших данных находят и исследуют в них закономерности с помощью специальных программных средств.

В нашей обновлённой статье рассказываем, какие знания, онлайн-курсы, подкасты и книги помогут начать карьеру в сфере Big Data без специального образования🧑‍🎓

🔗 Читать статью
🔗 Зеркало

Читать полностью…

🐍 У нас есть еженедельная email-рассылка, посвященная последним открытиям и тенденциям в мире Python.

В ней:
● Новые возможности в последних версиях Python
● Работа с базами данных и SQL в Python
● Веб-разработка на Django и Flask
● Машинное обучение и анализ данных с помощью Python
● Автоматизация и работа с API на Python
● Тестирование и отладка кода на Python
● Задачи для новичков с решениями

👉Подписаться👈

Читать полностью…

Cookies 🆚 Sessions

Куки и сессии используются для передачи данных о пользователе (учетные данные и разрешения) через HTTP-запросы.

🔹 Cookies
• Куки обычно имеют ограничение на размер в 4 КБ
• Используются для хранения учетных данных пользователя или разрешений
• Отправляются с каждым последующим запросом от вошедшего пользователя
• Пользователи могут отключить куки в своем браузере, что может привести к выходу из системы

🔹 Sessions
• Создаются и хранятся на серверной стороне
• Сервер генерирует уникальный идентификатор сессии
• Идентификатор сессии связывается с конкретной пользовательской сессией
• Идентификатор сессии может быть отправлен клиенту в куки, параметрах URL или HTTP-заголовках
• Могут хранить больше данных, чем куки
• Обеспечивают большую безопасность по сравнению с куки, так как данные сессии не доступны напрямую клиенту

👉 Источник

#инфографика

Читать полностью…

🕹️🔥 Интерактивное исследование распространенных стратегий организации очередей

Перед вами мини-исследование, в котором изучается организация очередей в контексте HTTP-запросов. Автор начинает с простых концепций и постепенно разбирается с более сложными очередями.

📌 Под катом:

☑️ Чем полезны очереди
☑️ 3 разных типа очереди
☑️ Как эти 3 очереди сравниваются друг с другом
☑️ 1 дополнительная стратегия организации очередей, которую вы можете применить к очередям любого типа, чтобы не отбрасывать приоритетные запросы

Читать полностью…

☝️Схема типичного стартапа ☝️

💬 Есть здесь те, кто работает в стартапе? Что скажете?

#холивар

Читать полностью…

🖥 Итоги недели в мире Python и обзоры новых инструментов

У нас есть еженедельная рассылка о последних открытиях и тенденциях в мире Python. Мы опубликовали новый выпуск на 📰.

Ниже — небольшая часть выпуска, а целиком читайте здесь 👈

🏛Паттерн проектирования Unit of Work

Новый видеоролик рассказывает о паттерне Unit of Work, который используется для обеспечения согласованности данных при выполнении операций с базами данных.

🎸Как использовать PostgreSQL для управления очередями задач в Django

В этом видео подробно показан процесс настройки Django, создания класса Task и написания воркера.

📨Как отправлять зашифрованные имейлы с помощью собственного SMTP-сервера

Для отправки писем из Python-приложений можно использовать сторонние API или напрямую подключаться к SMTP-серверу. Второй метод пошагово разобран в этой статье.

➡ Вы можете подписаться на email-рассылку здесь

Читать полностью…

🐍🔀 Под капотом asyncio: принципы работы и ключевые концепции

Библиотека asyncio предоставляет полный набор инструментов для организации параллельного выполнения кода в Python с использованием концепции асинхронности. Но как на самом деле работает asyncio? В новой статье разберёмся в ключевых принципах и понятиях.

🔗 Читать статью
🔗 Зеркало

Читать полностью…

Проведите лето с Яндекс Практикумом и вернитесь на работу с новыми скилами. До конца июня вы можете получить дополнительный курс по цене одного.

◾️ Выберите любой курс для специалистов с опытом и оплатите его до 30.06.

◾️ Получите курс «Навыки рабочей коммуникации» в подарок.

◾️ Изучите новые навыки, которые помогут вам вырасти в карьере.

— Выбрать курс

#партнерский_пост

Читать полностью…

⚡️Proglib запускает канал про ИИ для генерации звука

Там мы будем рассказывать про все существующие нейросети, которые генерируют музыку и голос — с пошаговыми инструкциями, инструментами и лайфхаками.

⭐️генерация голоса и музыки
⭐️замена и перевод речи
⭐️распознавание звуков

👉Подписывайтесь!

Читать полностью…

🐍🆕 Змея сбросила старую кожу: что нового в Python 3.13

Версия 3.13 принесла ряд важных нововведений, нацеленных на повышение скорости выполнения кода, улучшение читаемости и новые возможности для интерактивной работы. В новой статье перечислили главные изменения, которые должен знать каждый Python-разработчик.

👉 Читать статью
👉 Зеркало

Читать полностью…

🤯 Итоги недели в мире ИИ и обзоры новых сервисов

У нас вышла новая статья на 📰 по мотивам еженедельной рассылки про последние новости и тенденции в мире ИИ.

Ниже — небольшая выдержка из статьи, а целиком читайте здесь 👈

💬 Новости

🔘Искусственный интеллект помог учёным расшифровать фонетический алфавит кашалотов. Кашалоты общаются с помощью последовательностей щелчков, называемых кодами. Оказалось, что коды имеют структуру.
🔘Канадский стартап Upend запустил ИИ-поисковик, который использует рекордное среди аналогичных сервисов количество LLM — почти 100 — и поддерживает загрузку файлов.
🔘ИИ также помог учёным обнаружить 27000 астероидов, незамеченных на старых изображениях, полученных с телескопов.

🛠 Инструменты

🔘SendFame — создаёт видеоролики со знаменитостями, произносящими заданный текст.
🔘AI Photo Editor — отредактирует фото до неузнаваемости: изменит стиль, добавит детали, заменит фон.
🔘Dreamwave — на основе 5+ изображений сделает серию профессиональных портретов – индивидуальных или групповых.
🔘Profile Picture Maker — генерирует высококачественные фото для профиля (в любом нужном стиле) на основе селфи.

➡ Вы можете подписаться на email-рассылку здесь

Читать полностью…

⭐🎤 Как не облажаться с докладом на IT-конференции

Готовитесь к докладу на IT-конференции? Не хотите оказаться в роли «того самого» докладчика, на которого все жалуются в кулуарах? Узнайте, как не облажаться и сделать свой доклад полезным и запоминающимся.

🔗 Читать статью
🔗 Зеркало

Читать полностью…

📆OPS Talk by Sber уже скоро - успей пройти регистрацию!
 
Встречаемся 30 мая в штаб-квартире Сбера! На митапе вместе с инженерами сопровождения и DevOps-инженерами обсудим тему вендорозамещения и импортозамещения ПО и технологий, а также сфокусируемся на вопросах их сопровождения.

▪️Поговорим о надежности высоконагруженных систем, рассмотрим конкретные кейсы и обменяемся опытом со спикерами из Сбера, Wildberries и других компаний.

Приглашаем вас присоединиться к большому сообществу support-специалистов и пообщаться с коллегами из технологических компаний со всей страны.
 
Подробности и регистрация - на сайте! Количество мест ограничено.

Читать полностью…

📖 ТОП-10 книг о том, как правильно построить карьеру в IT

Хотите преуспеть в IT? Ознакомьтесь с нашим списком лучших книг, которые помогут вам выстроить успешную карьеру в этой динамичной отрасли!

Читать статью, чтобы ознакомиться со всеми книгами 👉 https://proglib.io/sh/glq68BCSKj

Читать полностью…

🤖 Напоминаем, что у нас есть еженедельная email-рассылка, посвященная последним новостям и тенденциям в мире искусственного интеллекта.

В ней:
● Новости о прорывных исследованиях в области машинного обучения и нейросетей
● Материалы о применении ИИ в разных сферах
● Статьи об этических аспектах развития технологий
● Подборки лучших онлайн-курсов и лекций по машинному обучению
● Обзоры инструментов и библиотек для разработки нейронных сетей
● Ссылки на репозитории с открытым исходным кодом ИИ-проектов
● Фильмы, сериалы и книги

👉Подписаться👈

Читать полностью…

🎙️ Подкаст Podlodka: разработка LLM-приложений

Никого уже не пугает аббревиатура LLM, равно как и не удивишь ситуациями, когда чат-бот помог сделать какую-то работу. А значит пора выходить на новый уровень и делать сервисы и приложения на базе LLM! Но тогда встает ряд принципиально новых вопросов:

🤖 А что, если нужен не простой ответ, а цепочка рассуждений?
🤖 А что, если есть четкие критерии качества, и рандомные галлюцинации чатика недопустимы?

Что делать — рассказывает Макс Страхов из Apple!

👀 Смотреть
🎧 Слушать

#подкасты

Читать полностью…

💻🚀🏰 Как мы создали ИИ-стартап на хакатоне выходного дня в Германии

Инженер ПО рассказал нам о своих выходных на хакатоне в Кельне, где с командой пытался создать AI-стартап всего за два дня. Участники прошли путь от подачи идей в пятницу вечером до демонстрации работающего приложения к воскресенью.

В качестве бонуса автор привёл список основных пунктов, которые необходимо выполнить для создания стартапа.

🔗 Читать статью
🔗 Зеркало

Читать полностью…

🖥️🔤 Транскрибация видео и создание субтитров с помощью Whisper, FFmpeg и Python

Следуя нашему пошаговому руководству, вы сможете автоматически транскрибировать аудио и добавлять субтитры к своим видео всего за несколько минут.

🔗 Читать руководство
🔗 Зеркало

Читать полностью…

❤️ Активация с первого взгляда: как влюбить пользователя в продукт

Хотите научиться превращать случайных посетителей в преданных фанатов? Рассказываем, как повысить активацию пользователей, отличить ее от aha-момента и использовать эти знания для кратного роста количества активных пользователей.

🔗 Читать статью
🔗 Зеркало

Читать полностью…

🗺️ Недавно мы публиковали API design roadmap, а у Alex Xu тем временем появилась шпаргалка на эту тему. Изучаем☝️

#инфографика #шпаргалки

Читать полностью…

👩‍💻 Работа с тегами в Git: краткое руководство

Теги в Git — это особые указатели на определённые коммиты в истории вашего репозитория. Они часто используются для маркировки определённых версий софта.

📌 Создание тегов

В Git есть два типа тегов:

1️⃣ Аннотированные теги: содержат метаданные, такие как имя автора, дата и сообщение. Их рекомендуется использовать, так как они более информативны.
2️⃣ Легковесные теги: представляют собой простой указатель на коммит, не содержащий дополнительной информации.

📌 Создание аннотированного тега

Чтобы создать аннотированный тег, используйте команду:

git tag -a v1.0 -m "Release version 1.0"

• -a v1.0 — создание аннотированного тега с именем v1.0.
• -m "Release version 1.0" — добавление сообщения к тегу.

📌 Создание легковесного тега

Легковесный тег создаётся без опций:

git tag v1.0

📌 Просмотр тегов

Чтобы увидеть список всех тегов в репозитории, используйте команду:

git tag

Вы можете также использовать шаблоны для фильтрации тегов:

git tag -l "v1.0*"

📌 Работа с тегами

Для просмотра информации о конкретном теге используйте команду:

git show v1.0

Чтобы удалить тег в локальном репозитории, выполните:

git tag -d v1.0

Для удаления тега в удалённом репозитории используйте:

git push origin :refs/tags/v1.0

📌 Перенос тегов на удалённый репозиторий

По умолчанию команда git push не отправляет теги на удалённый репозиторий. Для этого выполните:

git push origin v1.0

Чтобы отправить все теги сразу, используйте:

git push origin --tags

👉 Подробнее

Читать полностью…

💬 А как в вашем проекте накатываются изменения в основную ветку?

👍 — создаю pull request и жду его одобрения перед мержем
🔥 — мержу изменения напрямую в основную ветку
❤️ — прохожу через код-ревью перед мержем
🤔 — использую автоматическую систему CI/CD для мержа после прохождения всех тестов
👾 — свой вариант (напишу в комментариях)

#холивар

Читать полностью…

😎 «Как стать сеньором?» — еще один доклад Василия Романова (Техдир в Облако Mail ru, VK), только уже на GolangConf 2023 и про то, как стать сеньором. Вася разбирает, чем сеньор отличается от других грейдов и какие есть сеньор-антипаттерны

Целевая аудитория: адепты технопесочницы и сеньоры, которые считают, что харды — наше все. Мидлы, которые хотят понять, как двигаться дальше. Руководители, которым надо взращивать сотрудников.

📺 Смотреть

Читать полностью…

🧑‍💻 Статьи для IT: как объяснять и распространять значимые идеи

Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом.

Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций.

Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах.

👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.

Читать полностью…

🗺️ Дорожная карта по проектированию API

Пошаговое руководство, которое поможет вам научиться проектировать и создавать надежные API.

👉 Скачать оригинал (PDF-файл в комментариях)

Читать полностью…

💪 «Уроки из проекта с коммитом 2001 года» — доклад Василия Романова (Техдир в Облако Mail ru, VK) на Saint HighLoad++ 2023 про очевидные вещи, которые особенно ценятся на дистанции в 10 лет

Василий беспощадно разбивает сердце романтикам микросервисов и мифического хайлоада, рассказывает про особенности больших проектов, монолиты, CRUD'ы и многое другое.

📺 Смотреть

Читать полностью…

🎮♥️ Инструкция для девушек, у которых начались отношения с геймером

#жиза

Читать полностью…