Понятно про анализ данных, технологии, нейросети и, конечно, SQL. Услуги — leftjoin.ru Обучение — https://stepik.org/users/431992492 Автор — @valiotti Реклама — @leftjoin_ads, @Spiral_Yuri Перечень РКН: https://tapthe.link/PpkTHavwS
Вебинар «Как развиваться в профессии инженера данных?» — сегодня!
Подключайтесь в 18:00 по Мск, чтобы узнать, какие навыки помогут построить карьеру в дата-инжинирнге. Рассказывает Николай Валиотти — основатель дата-консалтинга LEFT JOIN (и этого канала), предприниматель и дата-энтузиаст, который больше 15 лет работает с данными.
Про что он расскажет?
🔵 Стек, которым надо владеть, чтобы стать востребованным специалистом.
🔵 Hard & Soft skills, которые нужны дата-инженерам.
🔵 Примеры реальных инжиниринговых задач из практики дата-консалтинга.
🔜 Регистрируйтесь и приходите на вебинар!
UPD: вебинар прошел улетно! Огромное спасибо всем участникам 💙
Польза несовершенства на примере BlueSky
BlueSky — соцсеть, созданная как альтернатива Twitter. Принцип работы тот же: пользователи создают профили, подписываются на других пользователей и видят их посты в своих лентах.
Давайте посмотрим, как это работает изнутри и почему часть постов не доходит до подписчиков — и это нормально.
🔵 Таблица Timeline — те самые ленты постов — разделена на несколько шардов, где для каждого юзера выделена своя партиция. Всего на 32 млн пользователей приходится несколько сотен шардов.
🔵 Когда кто-то выкладывает новый пост, он разлетается по его подписчикам и встраивается в таблицы, из которых формируются их ленты. Одновременно старые сообщения выводятся из них. Этот процесс работает нормально, если пользователи не шалят и не подписываются на всех подряд. Но если кто-то подписывается на тысячи или сотни тысяч аккаунтов, начинаются проблемы.
🔵 Его лента постоянно обновляется, и это создает повышенную нагрузку не только на его партицию, но и на соседей по шарду. При этом сам пользователь (если это и правда человек, а не бот) никогда не сможет прочитать все сообщения в ней. Значит, и BlueSky незачем выводить все-все новые посты — достаточно просто, чтобы в ленте регулярно появлялся новый контент.
Так, чтобы избежать перегрузки, BlueSky внедрили такие понятия:
🔵 разумное ограничение (reasonable limit) на число подписок — то есть сколько подписок нужно, чтобы лента стабильно обновлялась и оставалась читабельной.
🔵 loss_factor
— процент новых сообщений, которые не попадут в ленту пользователя. Он рассчитывается по формуле min(reasonable_limit/num_follows, 1).
Допустим лимит у нас 2000, а подписан пользователь на 8000 аккаунтов. В этом случае loss_factor
= 0,25, то есть только 25% новых постов попадут в его ленту.
Внедрение таких запрограммированных потерь помогло значительно поднять производительность и снизить задержки.
Как вам это решение?Читать полностью…
❤️ — Изящно!
🌚 — Можно было и получше придумать…
LEFT JOIN открыл вакансии инженера данных для студентов karpov.соurses
Это значит, что все оплатившие обучение на курсе «Инженер данных» до 27 марта, смогут претендовать на позицию Middle Data Engineer в компании. Чем предстоит заниматься, раскроем через реальный кейс. Попробуйте решить ↓
Реальный кейс от LEFT JOIN: Биллинг-сервис для медицинских организаций пришел с задачей. Хочет автоматизировать обработку данных в трансформационном слое и зашифровать данные клиентов. В качестве материалов вам отдали сырые данные о клиентах и их платежах. Попросили использовать в работе инструмент Key management.
6 TB в SQLite
Как известно, те, кто хочет, ищет способы, а те, кто не хочет — оправдания.
Те, кому не хватает целеустремленности и авантюризма, говорят, что SQLite не заточена под работу с большими объемами данных и вообще не в этом ее главное преимущество. Те, кто открыт новому и не боится вызовов, делают базу на 6 терабайт.
Ко вторым относится автор searchcode — проекта по поиску исходного кода. В базе больше 75 миллиардов строк из 40 миллионов проектов. Вот так 6,4 ТБ данных и набежало.
🔵Изначально автор использовал MySQL, и был верен ей с самого начала до конца 2024 года. Но он постоянно искал способы сделать архитектуру проекта проще и удобнее — и пришел к мысли, что пора переходитm на SQLite.
🔵Переход не всегда был простым — пришлось и разобраться, как обойти ошибку database is locked
, и найти способ сжатия данных в SQLite. В MySQL вопрос решался через функцию compress
, а вот в SQLite решение оказалось не таким очевидным.
Спойлернем: автор начал с поисков стороннего плагина, но в итоге пришел к тому, что более жизнеспособный вариант — компрессия на уровне файловой системы.
🔵Несмотря на все сложности, SQLite с 6,4 ТБ справляется не хуже, а иногда даже лучше, чем MySQL. Автор все равно переживает, что какие-нибудь проблемы все равно вылезут, но пока полет нормальный.
Как вам такой эксперимент?Читать полностью…
❤️ — Проект работает, цель достигнута — значит, все было не зря!
🙈 — Слишком много суеты непонятно для чего
ClickHouse в практике дата-консалтинга
Мы довольно часто имеем дело с ClickHouse на своих проектах. Это колоночная СУБД, которую выбирают за то, что она на уровне архитектуры оптимизирована для быстрой обработки больших объемов данных. При всех сильных сторонах у нее есть и минусы вроде отсутствия полноценной поддержки транзакций или сложностей при точечных операциях.
В совокупности это все делает ClickHouse отличным вариантом для проектов, где данных уже много, в перспективе станет еще больше, и их надо быстро обрабатывать, возможно даже в режиме реального времени — например, стримингов или рекламных платформ.
🔜 Выложили в нашем блоге новую статью, где кратко рассказали, что знаем про ClickHouse: особенности архитектуры, отличия между работой в облаке и on-premise и, конечно, про кейс из своей практики не забыли.
Ждем ваших комментариев — статьи на какие темы вы хотели бы увидеть в блоге?
Команда NEWHR подвела итоги исследования рынка аналитиков, которое проводила в конце 2024! 🔥
Мы тогда выступили в качестве инфопартнера проекта и теперь рады поделиться с вами результатами.
Trisigma — аналитическая платформа от Авито Тех
Trisigma призвана ускорить разработку и развитие продуктов за счет комплексной аналитики и автоматизации A/B-тестирования. Она дает возможность проверить гипотезы и новые функции, а также оценить их влияние на бизнес-показатели, проводя сотни тестов одновременно.
Платформа разворачивается в облаке и легко интегрируется в ИТ-инфраструктуру компании для обмена данными с другими компонентами системы. Она нетребовательна к ресурсам, поэтому внедрить ее сможет как корпорация, так и небольшой стартап. Особенно полезен инструмент будет финтехам, эдтехам и стриминговым сервисам — тем, кому важно постоянно развивать и дорабатывать свои продукты с опорой на данные.
Что им даст Trisigma?
🔵 Автоматизацию тестирования — это даст возможность проводить больше тестов и при этом освободить время аналитиков.
🔵 Информативные и точные отчеты с результатами тестов. Автоматизация позволяет избежать ошибок, связанных с человеческим фактором.
🔵В итоге — принятие решений на основе данных и быстрое внедрение новых функций в продукт.
По словам управляющего партнера Авито Ивана Гуза, применение подхода с A/B тестированием обеспечивает дополнительный прирост ключевых показателей компании, таких как выручка или количество покупателей, в коридоре от 10 до 20% в год.
🔜 Для тех, кто хочет познакомиться с возможностями Trisigma, команда Авито Тех уже открыла прием заявок.
Курс от karpov.соurses + оффер от LEFT JOIN
27 марта в karpov.соurses стартует курс «Инженер данных». Он рассчитан на студентов уровня Junior+/Middle, которые хотят прокачать скиллы по:
🔵 работе с БД, DWH, BI‑платформами и облачными сервисами,
🔵 автоматизации ETL-процессов,
🔵 обработке больших данных,
🔵 применению ML-моделей.
Курс поможет не только получить новые знания и упорядочить старые, но и найти работу — 2 студента из потока смогут попасть в штат LEFT JOIN на должность Middle Data Engineer.
Для этого понадобится:
🔵 на старте обучения отправить резюме нашему HR,
🔵 пройти 50% курса без срыва дедлайнов,
🔵 выполнить тестовое задание и пройти интервью.
Успешные кандидаты получат оффер.
🔜 Подать заявку можно уже сейчас.
Открыты две вакансии в LEFT JOIN
Апдейт по вакансиям: их уже две (обе Middle), и мы рассматриваем part-time занятость c перспективой перехода на полный день.
Работаем удаленно по GPT+3. Зарплата в рынке, корпоративный английский, интересные проекты, демократичная атмосфера в компании без бюрократии и прочей духоты.
От аналитика ждем:
🔵 Опыт от 2 лет,
🔵 Уверенный Python и SQL,
🔵 Опыт работы с двумя и более BI-системами,
🔵 Релевантное высшее образование и знание мат. статистики.
Предстоит строить ad-hoc отчетность, разрабатывать отчеты в BI-системах и витрины данных.
🔜 Полное описание вакансии на huntflow. Откликайтесь там же или пишите напрямую нашей HR Татьяне @tanya_zab.
От инженера данных ждем:
🔵 Опыт от 3 лет,
🔵 Уверенное владение SQL, Python, Airflow, bash.
🔵 Опыт разработки ETL, проектирования и разработки хранилищ данных и аналитической отчетности, а также работы c Kafka, S3 и dbt.
🔵 Релевантное высшее образование.
Предстоит создавать и поддерживать ETL/ELT-процессы, обеспечивать корректность работы отчетов и консистентность данных, создавать и сопровождать витрины данных и вести документацию.
🔜 Полное описание вакансии на huntflow. Откликайтесь там же или пишите напрямую HR @tanya_zab.
Зарплаты маркетологов под прицелом данных
Все любят считать чужие деньги, а мы пошли дальше — сделали это красиво и понятно. Вместе с CLAN Recruiting мы не просто опросили спецов из маркетинга, но и превратили их ответы в удобный интерактивный дашборд.
О процессе визуализации исследования и инсайтах — в новой статье.
Читайте и оставляйте комментарии 🔜 https://vc.ru/marketing/1834012
EdTech — третий материал цикла «Безответственные прогнозы» от SETTERS Media 🩶
🔡Лидеры среди soft-skills сменяются ежегодно — какие наиболее актуальны сейчас?
🔡Почему комьюнити — это одна из важнейших составляющих успеха при обучении?
🔡Классическое обучение vs формат быстрого обучения?
🔡С чем связан спрос на «помогающие профессии»?
Рассказывает генеральный директор
образовательного холдинга
Ultimate Education Павел Мосейкин ➡️ссылка.
🌧🌧🌧🌧🌧🌧🌧🌧🌧🌧
🌧🌧🌧🌧🌧🌧🌧🌧🌧🌧
🌧🌧🌧🌧🌧🌧🌧🌧🌧🌧
Сергей Громов про Qlik, «Круги Громова» и BI-рынок в России
Если вы хоть как-то связаны с аналитикой и BI, скорее всего, про гостя нового выпуска вы хотя бы краем уха слышали.
И если не слышали про Сергея Громова, то про его исследование рынка российского BI «Круги Громова» — точно.
Вот рынок BI и обсудили:
🔵Какие риски несет (а какие не несет) использование ушедших из РФ BI-тулов в обход блокировок?
🔵Почему именно круги Громова и как вендоры BI относятся к этому проекту?
🔵Как дата-консалтинги зарабатывают деньги и какие навыки и знания нужны, чтобы успешно работать в этой сфере?
А еще про роль руководителя, сложности разработки своего продукта и отличия технологической компании от консалтинговой и продуктовой.
Смотреть: YouTube, VK Video
Слушать: Spotify, Apple Podcasts
Думающий Grok от Маска — что думаете?
Пока OpenAI работает над GPT-5, а DeepSeek отбивается от обвинений то в краже, то в недостаточной защите данных, принадлежащая Илону Маску xAI выпустила свою флагманскую модель — Grok 3.
На самом деле это целое семейство моделей: Grok 3 и ее «младшая сестра» Grok 3 mini, а также «думающие» Grok 3 Reasoning и Grok 3 mini Reasoning.
🔜 На VC уже собрали подборку мнений и тестов
К консенсусу пользователи и исследователи пока не пришли: судя по отзывам, с задачи на программирование и логику Grok 3 решает хорошо, но через раз. Иногда справляется с вопросами, на которых ломаются o1 и Claude, иногда галлюцинирует и выдает странные ответы.
Первыми к доступ к Grok 3 получили подписчики Premium+, который обойдется в 50$ месяц. Кстати, цена на этот тариф подскочила больше, чем в 2 раза, сразу после релиза Grok 3 — раньше она составляла 22 доллара.
Что думаете про Grok?Читать полностью…
❤️ — Выглядит круто, скоро догонит и перегонит конкурентов!
🙈 — Сомнительно, но окей…
Как ИИ помог игрокам в го стать лучше
Все возрастающее влияние ИИ не всегда делает жизнь лучше. Тут и регулярные судебные разбирательства из-за авторских прав, и уже не скрытые угрозы вытеснить людей с рынка труда, и исследования, которые доказывают, что слишком активное использование ИИ ведет к потере критического мышления.
Но не все так плохо. Иногда ИИ помогает, наоборот, раскрыть человеческий потенциал.
💬 В го играют уже больше 2000 лет. Неудивительно, что за все это время уровень игроков вышел на плато. Какими бы гибкими ни были правила игры, рано или поздно люди нащупают все возможные стратегии и комбинации.
Так было до 2016 года, когда DeepMind представила AlphaGo — ИИ, который смог обыграть профессиональных игроков в го. Поражение подстегнуло их к созданию новых креативных стратегий и помогло выйти с плато по уровню игры, которое тянулось аж с 1950-х годов.
Есть вероятность, что ИИ, который с каждым годом все умнее, однажды все-тки выйдет за границы людских возможностей. И тут уже догнать его не удастся даже самым лучшим игрокам. Но все равно история выглядит очень даже вдохновляюще: ИИ помог увидеть новые возможности в древней и, казалось бы, от начала и до конца изученной игре (насколько вообще можно изучить такую игру, как го).
Когда пришел на новый проект, где заказчик уже пытался сам построить какую-то аналитику с кучей табличек и Божьей помощью
#мем
Про данные, будущее и поиски работы
Любой бизнес работает с данными — хоть какими-то.
А где данные, там и те, кто должен их собирать, обрабатывать и анализировать. И если на первых порах с этим можно справиться без специально обученных людей, то большие объемы и сложные пайплайны требуют участия дата-инженеров.
В общем, спрос на дата-специалистов никуда не денется, как бы ни лихорадило рынок ИТ, но найти работу и построить успешную карьеру — это все равно челлендж.
🔜 Ребята из karpov.courses разобрались, какие знания и навыки дадут преимущество перед остальными кандидатами. Еще и спросили мнение экспертов, которые в аналитике и дата-инжиниринге не первый год (среди них вы можете заметить знакомые имена).
Кстати, помните, что они у себя на канале начали рассказывать про один наш кейс? Уже вышло продолжение и скоро будет завершение — не пропустите!
Как развиваться в профессии инженера данных?
Совсем скоро стартует новый поток курса «Инженер данных» — тот самый, где студенты могут получить не только знания, но и работу в LEFT JOIN.
А перед началом учебы на вебинаре разберемся, что должен знать и уметь инженер данных, чтобы успешно развиваться в профессии и повышать грейд. Вебинар проведет Николай Валиотти — создатель канала и основатель дата-консалтинга LEFT JOIN.
🔵 С каким стеком нужно уметь работать?
🔵 Какие «софты» и «харды» пригодятся DE, и как требования к ним меняются в зависимости от грейда?
🔵 Что именно делает инженер данных и какие задачи решает? Разберем на примере трех реальных проектов из нашей практики.
Онлайн-вебинар пройдет 18 марта в 18:00 по Москве. Участие бесплатное.
🔜 Регистрируйтесь по ссылке!
Umami — альтернатива Google Analytics
Как бы ни был хорош, привычен и удобен Google Analytics, не всем нравится, что корпорация собирает и использует в своих целях их данные. Если вы не хотите делиться с Google информацией о своих пользователях, можно рассмотреть альтернативы — например, Umami.
Это бесплатный инструмент для веб-аналитики с открытым исходным кодом.
🔵 Поддерживает PostgreSQL и MySQL. Судя по отзывам — работает устойчиво и стойко переваривает даже большие потоки данных.
🔵Простой интерфейс с гибкими настройками событий и действий юзеров, которые вы хотите трекать. Можно отслеживать действия, клики, переходы и удержания, строить воронки — в общем, все, что надо.
🔵Для тех, кто не хочет хостить инструмент самостоятельно, есть облачная версия.
Что думаете про подобные альтернативы Google Analytics?Читать полностью…
❤️ — Хорошо отношусь — на рынке должна быть здоровая конкуренция!
🙈 — Не вижу смысла — ни одна из них не превзошла GA
Сегодня не пятница, но это не повод не запостить #мем
Читать полностью…🔥 Исследование рынка аналитиков 2024: полные результаты
Мы опросили 1293 аналитиков 6-ти специализаций и готовы рассказать вам:
➤ Какие задачи решают аналитики
➤ Что с релокацией у аналитиков
➤ Сколько зарабатывают аналитики
➤ ТОП и анти-ТОП компаний для аналитиков
➤ Что ценят в аналитической культуре
➤ За какими экспертами следят аналитики
Будем рады, если вы поделитесь результатами исследования с коллегами, знакомыми, друзьями аналитиками и всеми, кому может быть интересно 🫶
👉 Смотреть полные результаты
Все, кто принял участие в нашем исследовании и оставлял почту, проверьте её! От нас должно прийти письмо с приглашением на закрытый стрим для респондентов 🙏
💙 Команда NEWHR анализирует IT-рынок в России и других странах. Мы делаем публичные и заказные исследования для компаний (смотреть примеры). Будем рады сделать исследование вместе с вами.
📨 Пишите на почту data@new.hr
Аналитика + логистика: выбираем новую локацию для склада
Когда мы говорим про пользу аналитики, мы всегда упираем на то, что она помогает принимать решения на основе данных.
Звучит красиво, но без примеров слишком абстрактно.
Хорошо, что пример у нас есть — и нет, он не про маркетинг и про то, как с помощью дашборда выбрали баннер, который нагеренерил больше всего лидов.
🔜 Это кейс Wing — телеком-оператора из Нью-Йорка, с которым мы работали несколько лет назад.
🔵 Wing предоставляет услуги связи, продает смартфоны и отправляет клиентам сим-карты и комплекты для подключения (роутер, маршрутизатор, кабели).
🔵 Когда мы начали работать, у заказчика было два больших склада — в Нью-Йорке и Техасе. Оттуда отправляли заказы по всей стране. Постепенно объем вырос, клиентов стало больше, и пришло время оптимизировать процессы и расширяться. Вот только как?
🔵 У Wing накопилось много данных о количество отправок, времени и направлениях, но не было ресурсов для обработки и экспертизы, чтобы извлечь из них инсайты. Но вы уже сами понимаете, что произошло — мы пришли на помощь. На карточках рассказываем, как с помощью данных найти лучшую локацию для нового склада.
Делимся своим опытом — может, вам тоже пригодится.
Как вам кейс? Стоит рассказывать о своих кейсах почаще? 👀
Открыт предзаказ на мерч LEFT JOIN!
Хотите классный стильный мерч, который покажет окружающим, как сильно вы любите данные? Теперь вы можете его заказать! Партия футболок «Навизуализировал» ждет своих владельцев.
🔵 Стоимость — 2500 рублей.
🔵 Доступны 5 размеров: S, M, L, XL, 2XL
🔵 Отправляем Почтой России и СДЭКом только по РФ. Если вы живете за границей, то можем отправить вашим друзьям-родным, которые будут согласны переслать футболку вам.
🔵 Дизайн со всех сторон показали в своей статье.
🔜 Чтобы оставить заявку, стучитесь к нашему боту.
Вскоре с вам свяжется наш сотрудник для оплаты и подтверждения заказа. Все вопросы задавайте в комментариях к этому посту.
Сломалась платформа vc, но не мы — все те же маркетологи, все те же зарплаты
Помните, мы публиковали статью про зарплаты маркетологов и наш интерактивный дашборд? Площадка не дала нам возможность продвинуть ее так, как хотелось, поэтому мы решили попытать счастья еще раз.
И как никогда нам нужна ваша поддержка в виде лайков и комментариев.
Поддержите нашу статью еще раз 🔜 https://vc.ru/hr/1846874
GLOBAL TECH FORUM: цифровая трансформация бизнеса
21 марта в Москве пройдет конференция GLOBAL TECH FORUM, посвященная цифровизации бизнес-процессов. LEFT JOIN выступает инфопартнером мероприятия.
В конференции примут участи эксперты из крупных технологических компаний, включая Роскосмос, Сбер, Росбанк, X5 Tech, Северсталь, Альфа-Банк, Уралхим Инновация и других — всего ожидаются более 80 спикеров и более 2000 участников. Они поделятся своим опытом в сфере цифровой трансформации и и расскажут об ИТ-сервисах и решениях, которые используют в своей практике.
В программе:
🔵 Разбор 100+ кейсов из разных направлений бизнеса — слушатели узнают, как автоматизируют процессы в HR, маркетинге и других направлениях.
🔵 4 трека — GLOBAL TECH, HR TECH & ED TECH, CLIENT TECH и MARKETING TECH & SALES TECH.
🔵 Открытая сцена, где компании представят свои технологичные решения для автоматизации бизнеса.
🔵 Практические интенсивы и нетворкинг.
Конференция пройдет оффлайн в кластере «Ломоносов», Раменский бульвар, д.1. Увидеть программу и купить билеты можно на сайте. Укажите промокод JOIN15
, чтобы получить скидку 15%.
Data Science проект, который не смог
Пет-проекты есть у многих — их делают либо для портфолио, либо просто для души. Проблема с ними в том, что, когда нет внешней мотивации, легко потерять интерес и так и не закончить начатое.
🔜 Так и получилось у дата-саейнтиста Мартина Леллепа, который 1600 дней работал над своим проектом — с начала 2020 до конца 2024.
Суть была в том, чтобы собрать и проанализировать текстовые данные с немецкого новостного сайта, который ежедневно размещал короткие новости про COVID. Автор хотел провести семантический анализ и анализ метаданных: то есть определить, о чем чаще всего писали, как часто, в какое время и так далее. А также поделиться получившимся датасетом с общественностью.
Система работала полуавтоматически: заходить каждый день на сайт и копировать ссылки надо было вручную, а структурирование данных происходило уже без его прямого участия. В блоге есть более подробное описание и даже схемы.
Держался он довольно долго, но через 4 года ему это просто надоело. Знакомая ситуация? Наверняка да. Автор вывел для себя несколько правил, как избежать такого в будущем и сделать работу над проектами более приятной и эффективной:
1️⃣ Сразу продумать, как вы будете это презентовать. Не отпугнет публику слишком мрачная направленность датасета?
2️⃣ Не откладывайте самое интересное на потом — он свои данные так и не проанализировал. Старайтесь регулярно «подбадривать» себя промежуточными результатами, делитесь ими с коллегами, чтобы получить фидбек.
3️⃣ Автоматизируйте все, что можно.
4️⃣ Учитывайте частоту сбора данных — если раз в день это еще можно сделать руками, то если это нужно делать чаще, процесс надо автоматизировать.
5️⃣ Храните сырые данные. Еще пригодятся.
6️⃣ Когда возможно, используйте облачные технологии — мало того, что это удобно, так еще в работе пригодится.
В общем, проект хоть и не взлетел, но все равно подарил полезный опыт. А как вы мотивируете себя, чтобы продолжать работу над личными проектами и не терять энтузиазм?
Тренды в онлайн-образовании с точки зрения аналитики
У наших друзей из SETTERS Media вышел интересный материал про тренды в эдтехе. Вот несколько интересных моментов из него:
🔵 Для студентов большую роль играет сообщество, возможность пообщаться с экспертами и запустить первые совместные проекты.
🔵 Набирает популярность тренд на быстрое обучение — короткие видео, которые позволяют быстро освоить какой-то конкретный навык.
🔵 Студенты активно прокачивают софт-скиллы — наибольшей популярностью пользуются креативность, коммуникация и принятие решений.
🔵 Конечно, без ИИ не обходится — его активно внедряют и в учебные программы, и в процессы.
Многие из этих трендов мы тоже успели заметить, потому что целый сезон подкаста Data Heroes был посвящен онлайн-образованию. Про важность коммьюнити говорили с Денисом Харченко из SETTERS Education, про софт-скиллы с Марией Бородецкой из «Синхронизации», а про ИИ — с Анатолием Карповым из karpov.courses.
В общем, все эти тренды мы видели своими глазами (а с нами и те, кто внимательно смотрел и слушал Data Heroes), но кажется, что они в большей степени относятся к креативным и гуманитарным направлениям. А вот с ИТ и аналитикой все немного сложнее.
🔜 Хотя креативность в ней тоже важна, вряд ли именно это самый востребованный навык. А быстрое обучение вообще скорее навредит — поможет нахвататься знаний по верхам, но не даст базу, которая необходима для работы в ИТ. Разве что без ИИ никуда, но и тут есть свои нюансы — мы уже много раз писали, что это не столько ценный помощник, сколько неопытный джун за которым все надо перепроверять.
А вы что думаете — эти тренды актуальны для онлайн-обучения ИТ-профессиям или у нас тут своя атмосфера? 👀
Нужен ли на самом деле мобильный BI?
На днях мы записывали подкаст с Иваном Вахмяниным из Visiology. Получился обстоятельный разговор про отечественный рынок BI, и историю Visiology услышать из первых уст было крайне интересно.
🔜 Среди прочего, Иван высказал интересную мысль о том, что несколько лет назад все носились идеей того, что BI должен быть в мобильном приложении, однако на практике почти никто не пользуется «мобильным BI».
Стало интересно узнать у вас. 👇🏻
Weekend Offer Analytics пройдет 1-2 марта
Устроиться в Яндекс за выходные — реально. Там как раз сейчас ищут крутых аналитиков с опытом работы от 2 лет на Python, готовых работать в офисном или гибридном режиме на территории России.
Подавайте заявку до 24 февраля, и всего за 2 дня пройдите все технические собеседования. После сможете пообщаться с одиннадцатью нанимающими командами и выбрать ту, которая покажется самой интересной. Если все сложится, офер дадут сразу.
🔜 Узнать подробности и зарегистрироваться.
Реклама. ООО "Яндекс". ИНН 7736207543. erid: CQH36pWzJqE5AYZMarvXGxaFHenYESMeNNtZj3xxZQRQxs
Пришло время рассказать про мою книгу по аналитике для руководителей
Мы с командой уже довольно долго над ней работаем, и вот, наконец-то, этот процесс движется к завершению.
Мы уже задизайнили обложку (да, на картинке она) и теперь приближаемся к тому, чтобы отправить тираж в печать.
Ребята из «Эксмо» — крутые. Они помогли нам сделать классный продукт, который скоро попадет на полки книжных магазинов. Мы много раз переписывали материал и в итоге получился труд, который позволяет собственникам или топ-менеджерам получше разобраться в том, что такое работа с данными, какие роли в этом процессе важны, для чего вообще нужна аналитика, и как она помогает расти бизнесу.
Интересно ли вам было бы полистать такую книгу?
🔜 @datakolya 🔜
Доказательство теоремы CAP — теперь с картинками!
Теорема CAP гласит, что распределенная система может отвечать только двум требованиям из трех: согласованная, доступная и устойчивая к фрагментации.
Почему так? Ответы в коротком иллюстрированном гайде по ссылке — ну, или у нас в посте, но без иллюстраций. Гайд не углубляется в тонкости, но знакомит с основными понятиями.
🔜 Представим простую распределенную систему — два сервера, которые обмениваются данными друг с другом и с внешним клиентом. На них хранятся данные о значении некой переменной V.
У этой системы могут быть следующие свойства:
🔵 Согласованность (Consistency) — если клиент отправляет запись V = 1 на один сервер, то второй при чтении должен вернуть такое же значение. Если на одном сервере V = 1, а на втором все еще V = 0, то система не согласована.
🔵 Доступность (Availability) — оба сервера, если только никто не пролил на один из них чай, отвечают на запросы клиента на запись и чтение данных.
🔵 Устойчивость к фрагментации (Partition tolerance) — система продолжает работу, даже если какое-то количество сообщений от одного сервера не доходят до второго.
🔜 Наконец-то подходим к доказательству.
🔵 Если система устойчива к фрагментации и доступна, она не может гарантировать согласованность — рано или поздно возникнет ситуация, когда клиент отправит запись на один сервер, а до второго она не дойдет. Тогда один выдаст V = 1, а второй V = 0.
🔵 Чтобы обеспечить устойчивость и согласованность, системе придется пожертвовать доступностью — то есть отказаться вносить данные, если она не может гарантировать, что все ее узлы получат обновление.
🔵 Практически в любой реальной распределенной системе неизбежны потери данных между нодами. При этом, она, скорее всего, не упадет — то есть она будет устойчива к фрагментации. А если она устойчива к фрагментации, то мы возвращаемся к пункту 1.
🔜 Все так просто?
На самом деле нет. К каждому пункту из поста можно добавить звездочку и написать дополнение, которое все усложняет, но это уже не влезет в пост.