Понятно про анализ данных, технологии, нейросети и, конечно, SQL. Услуги — leftjoin.ru Обучение — https://stepik.org/users/431992492 Автор — @valiotti Реклама — @leftjoin_ads, @Spiral_Yuri Перечень РКН: https://tapthe.link/PpkTHavwS
DataLens открывает галерею дашбордов и не только
Любите иногда позалипать повдохновляться на Tableau Public? Да, мы тоже — а кто не любит?
Теперь то же самое можно будет сделать, но с дашбордами на Yandex DataLens — сервис запускает DataLens Gallery. Это галерея с готовыми примерами дашбордов и чартов. Можно будет как добавить свою работу, так и посмотреть чужие, еще и с разбивкой по отраслям. Особенно понравившиеся даже можно будет развернуть у себя — если автор дал разрешение.
Кроме того, DataLens запускает:
🔵Editor — JavaScript-редактор для кастомизации графиков и таблиц с поддержкой интеграции данных из разных источников, включая внешние API. Он нацелен на опытных аналитиков, но в будущем планируется внедрение LLM-помощника для генерации визуализаций по текстовому описанию.
🔵Экспорт/импорт и перенос воркбуков между окружениями. Переносить объекты между инсталляциями станет намного проще, где бы они ни находились. Уже доступно в Yandex Cloud и open-source, а скоро обещают и в on-premise.
🔵Программу сертификации для специалистов по работе с сервисом. Чтобы получить сертификат и с гордостью написать в резюме, что вы владеете DataLens, нужно будет сдать экзамен: там проверят умение работать с чартами, датасетами, датасорсами и дашбордами. Вообще это будет стоить 5000 рублей, но до конца августа — всего 2500₽.
Что объединяет аналитиков, продактов, CPO, CDO и ML-разработчиков?
Aha!25 — конференция про то, как решать продуктовые задачи с помощью ML, аналитики и data-driven подхода.
2 дня, 16 тематических потоков, более 1200 участников и доклады от практиков из Яндекса, Авито, OZON, Т-Банка, Альфа-Банка, а также исследователей из ИТМО, РЭШ, МФТИ и других научных центров. На Aha!25 обсудят актуальные вопросы, над которыми многие задумываются, но не все находят ответ.
• Что делать, когда A/B-тест дает противоречивые результаты?
• Как проводить эксперименты и трактовать результаты?
• Как встраивать ML и ИИ в продукты с пользой для дела — а как это делать точно не надо?
• Как поведенческая экономика помогает принимать решения и развивать продукт?
👀 Программа доступна по ссылке. Знакомьтесь, и если увидите что-то интересное — регистрируйтесь!
Когда BI — это не просто отчеты, а полезный инструмент для бизнеса
Во многих компаниях аналитика ограничивается созданием пачки дашбордов, которые существуют как будто просто для красоты. Они есть, пользователи в них иногда задумчиво смотрят, но для принятия решений все так же используют интуицию, а не данные.
Зато когда BI-стратегия выстроена правильно, она становится частью управленческой системы: помогает расставлять приоритеты и контролировать результаты. Но чтобы к этому прийти, понадобится не только знание инструментов, но и стратегический взгляд и понимание потребностей бизнеса.
🔜 Как подружить все эти вещи и внедрить BI в рабочие процессы рассказывает BI-эксперт Александр Бараков на курсе «Разработка BI-стратегии». Он пройдет онлайн с 18 июня по 11 июля 2025 года.
За 11 встреч участники узнают как выявить те самые потребности бизнеса, сформировать BI-стратегию и воплотить ее в жизнь, собрать BI-команду и оценить эффективность всей этой деятельности. А в конце даже соберут макет BI-стратегии для своей компании.
Курс рассчитан на тех, кто руководит BI-направлением и развивает аналитику в компании.
Data&BI Beer: архитектурный митап про данные и BI
Что объединяет архитекторов DWH- и BI-систем, дата-инженеров, технических директоров и интеграторов, работающих с 1С и SAP? Желание говорить по делу, с погружением в реальный опыт и технические кейсы.
Visiology вместе с партнёрами Arenadata и Денвик приглашают 21 мая в 18:00 принять участие в Data&BI Beer — неформальном, но профессиональном митапе, посвящённом архитектуре аналитических систем и работе с данными на уровне ERP.
Место встречи — ресторан We Cidreria, Москва, ул. Сретенка, 32
На митапе обсудят:
🔵Интеграцию с 1С и SAP — хранилища, коннекторы, real-time-сценарии,
🔵Архитектурные ошибки и переделки, которых можно избежать,
🔵Кейсы миграции с SAP на 1С и адаптации аналитических систем,
🔵 Общие боли участников и коллективный разбор решений
🔜 Формат мероприятия закрытый. Чтобы подать заявку на участие, коротко расскажите о своём опыте в аналитике и интересе к теме. Мы собираем тех, кому действительно есть что обсудить.
👀 Нет возможности быть лично? Присоединяйтесь к вебинару посвященному интеграции BI-аналитики с 1С → 22 мая в 11:00 (МСК). Регистрация доступна по ссылке!
Хотите заглянуть внутрь БД в SQLite?
С этим поможет SQLite File Format Viewer — веб-приложение, куда можно закинуть файлик БД, и посмотреть, что у него внутри. На сайте уже есть семпловая база данных, по которой можно полазить и изучить, как она устроена.
Главный минус тут в том, что запустить приложение локально нельзя — по крайней мере пока. Так что никакие конфиденциальные данные и важные БД туда закидывать не рекомендуется. Но если у вас есть под рукой какой-нибудь файл SQLite, который не жалко, и вы хотите поближе познакомиться с работой этой СУБД, это приложение под эти цели отлично подойдет.
А вы идете на Tech Week?
«Синергия» вновь проводит Tech Week, а LEFT JOIN вновь становится ее инфопартнером!
Как и в прошлый раз, конференция будет посвящена технологиям, инновациям и тому, как подружить их с бизнесом.
🔵Как стремительное развитие технологий влияет на современные подходы к лидерству, управлению и работе с людьми?
🔵Какие инновации стоят вашего внимания (и денег)?
🔵Как новые технологии меняют бизнес, промышленность и торговлю?
И, конечно, не обошлось без ИИ и нейросетей — им выделили сразу несколько треков. Среди спикеров — директора и основатели крупных российских компаний, эксперты по ИИ, маркетингу и даже нейрофизиологии.
🔜 26-27 мая пройдет основная часть с конференциями и выставками, 28 — день обучения, где участникам помогут разработать стратегию развития бизнеса.
🔜 Обещают и другие нестандартные форматы, чтобы посетители не скучали на лекциях — например, быстрые бизнес-свидания, тренинги и мастермайнды.
ИИ (не) против таблиц
Сегодня ИИ-агенты — это самое близкое, что у нас есть к умным роботам из книг и фильмов, которые помогают людям в их повседневных делах. Но функционал у них все еще не фантастический — например, многие из них неважно справляются с структурированными данными. Учитывая, что ИИ-агентов часто используют для работы, им нужно уметь эффективно работать с таблицами и не бояться Excel.
С этой проблемой столкнулись в Dust, компании, которая занимается созданием ИИ-агентов. Команда проекта рассказала, как учила искусственный интеллект «понимать» табличные данные.
🔵Все началось с того, что нужно было научить LLM анализировать CSV-файлы. Для этого решили «прикрутить» к ней SQLite, которая отвечала за то распознавание структуры данных и обработку SQL-запросов.
🔵Запросы при этом генерировал сам ИИ-агент на основании промпта пользователя. Он отправлял этот запрос в БД и возвращал ответ от нее.
На одних CSV-файлах не остановились и пошли дальше, постепенно научив своих агентов работать с таблицами в Notion, Google Sheets и Office 365. Эти источники добавили своих сложностей.
🔵Чтобы обрабатывать таблицы в Notion, пришлось научиться гибко работать с данных разных типов.
🔵В Google и Office у файлов часто бывает сложная структура — несколько листов, заголовки, объединенные ячейки, встроенные графики. Все это нужно было быстро (и желательно незаметно от юзера) обработать.
🔜 В итоге в Dust разработали единый уровень абстракции для всех источников, каждый из которых представляли в виде таблицы с несколькими колонками: Уникальным ID, Названием и описанием, Схемой (колонками и их типами), URL-источником.
После этого команда смола пойти дальше и даже начать работать с данными в DWH — для этого пришлось отказаться от SQLite и научить LLM работать с большими объемами строк и разными диалектами SQL.
В посте в блоге немного технической информации, но все же в ней есть интересные мысли и выводы для тех, кто работает с таблицами и ИИ — и хочет их друг с другом подружить.
А вы используете ИИ-агентов для работы?Читать полностью…
❤️ — Использую и расскажу про это в комментариях
🌚 — Нет, не приходилось
Как оптимизировать таблицы в Postgres
А вы знали, что правильный порядок столбцов может на 20% уменьшить размер таблицы в Postgres?
🔜 Минимальный возможный размер строки — 24 байта. Он меняется в зависимости от количества столбцов и типов данных — какие-то весят больше, какие-то меньше. Но на итоговый размер строки влияет также такой момент, как последовательность, в которой идут друг за другом разные типы данных.
Это связано с выравниваем данных на диске — чтобы оптимизировать его, Postgres может добавлять отступы между разными типами данных. Это и приводит к увеличению размера строки. При этом способ выравнивания зависит от типа данных. Эта же логика распространяется и на индексы.
🔜 Разбор реальных примеров показывает, что «правильный» порядок столбцов на 15-20% уменьшает вес и таблицы, и индекса. Там же можно подробнее почитать про то, как этого добиться, но если кратко, то можно придерживаться такого подхода: сначала размещаем «тяжелые» данные вроде int8, float8, timestamp, а затем — более легкие.
Конечно, никто не предлагает начинать срочно переставлять столбцы во всех таблицах в базе, чтобы сэкономить лишние два байта на диске — для многих компаний такие «оптимизации» будут явно избыточны. Но все же это стоит иметь в виду.
А вы учитываете особенности выравнивания данных в работе?Читать полностью…
❤️ — Да, конечно!
🌚 — Нет, мне это не нужно
Поступление в ШАД: даже одна попытка откроет путь к большим возможностям
Попробовать поступить в Школу анализа данных Яндекса может каждый, кто увлечен Data Science: неважно, учитесь вы в вузе, работаете в IT или просто любите разбираться в сложном. Если вас тянет к задачам, над которыми ломают голову лучшие умы, — попробовать точно стоит!
В ШАДе вас ждет не просто теория — здесь с первого дня погружаются в практику: осваивают сложные концепции машинного обучения, решают ИИ-задачи, которые еще вчера казались невозможными, и получают мощный буст для карьеры.
🔥Классные плюшки для студентов: обучение бесплатное, а если в вашем городе нет филиала, заниматься можно онлайн.
🔜 Подайте заявку на поступление до 4 мая и откройте перед собой новые горизонты!
Что посмотреть в новом сезоне, подскажут ML и матстатистика
Недавно мы делились рекомендацией Бена Стенсила работать над теми проектами, к которым на самом деле лежит душа. Он говорил это про дипломные проекты и вообще те, которые делаются не за деньги, а для практики.
Нашли для вас отличный пример — приложение для прогнозирования популярности аниме.
🔵Каждый сезон в Японии выходит примерно 30 новых сериалов. Пользовательница Хабра решила создать инструмент, позволяющий предсказать, насколько популярным будет новое аниме.
🔵Она написала целое приложение, которое прогнозирует рейтинг сериала, основываясь на математической статистике и машинном обучении. Оно учитывает только показатели, известные до релиза: рейтинги первоисточника (для сериалов, основанных на манге) на сайте MyAnimeList, жанр, название студии, возрастной рейтинг и ЦА. Код можно посмотреть на гитхабе.
🔵Приложение довольно точно предсказывает рейтинг сериала на MyAnimeList, но иногда может ошибаться — обычно, когда речь идет об аномально популярных аниме.
Практическая польза предсказания рейтингов аниме неоспорима: зрителям это поможет выбрать, что посмотреть, а продюсерам — решить, в какие проекты стоит вкладывать деньги. И никаких больше непонятных сериалов с рейтингом ниже 5!
А как вам — стали бы пользоваться таким приложением?Читать полностью…
❤️ — Конечно!
🌚 — Нет, спасибо…
Управление данными: летний студкемп от Яндекс Образования и ИТМО
Мечтаете не просто разбираться в управлении данными, а использовать самые эффективные инструменты для работы с Big Data? Научитесь этому на бесплатном студкемпе Яндекс Образования и ИТМО по дата-инженерии!
🔵 С 30 июня по 12 июля вы погрузитесь в мир распределенных хранилищ, микросервисной архитектуры, DataOps/MLOps и пайплайнов для сбора, анализа и визуализации данных. А еще познакомитесь с технологиями, которые используют в крупных компаниях. В общем, получите реальные навыки, которые ценят на рынке.
🔵 Студкемп проходит в Санкт-Петербурге на базе ИТМО. Проезд и проживание будут оплачены Яндекс Образованием, так что вам останется сосредоточиться на главном — знаниях, опыте и новых возможностях.
🔵 Заявки ждут от студентов из любых вузов и регионов России. Студкемп будет особенно полезен тем, кто учится на 3-4 курсах, знаком с SQL, C++, Java или Python.
🔜 Регистрация открыта до 4 мая, но подать заявку можно уже сейчас! Если давно хотели пообщаться с экспертами ниши и почувствовать, каково это — учиться в одном из ведущих технических вузов, не откладывайте и заполняйте анкету по ссылке!
KARPOV.CONF 2025: как данные помогают бизнесу
Наши друзья из karpov.courses зовут на KARPOV.CONF 2025, которая пройдет 24 апреля в 12:00 по Москве.
🔜 Это будет бесплатная онлайн-конференция для всех, кто работает с данными и хочет узнать, как с их помощью растить бизнес, принимать решения и находить точки роста. На ней выступят спикеры от Яндекса, МТС и Райффайзен Банка, которые поделятся кейсами из своей практики.
Что еще будет в программе?
🔵Обсуждение актуальных тем и трендов — в том числе, машинное обучение и Deep Learning.
🔵Лучшие практики, советы от экспертов и рекомендации, как избежать распространенных ошибок при работе над BI-проектами.
🔵Шанс выиграть менторскую сессию с Анатолием Карповым и бесплатные материалы по Data Science: гайды, подборки ресурсов, инструменты.
🔜 Читайте подробную программу конференции и регистрируйтесь! https://clck.ru/3LRUtN/?erid=2Vtzqwgv7Vb
Реклама. ООО «Карпов Курсы», ИНН: 7811764627, erid: 2Vtzqwgv7Vb
Visual DB — фронтенд для базы данных
Любопытный инструмент, который позволяет создавать формы и интерактивные отчеты, просматривать, добавлять и редактировать данные в таблицах. Задача Visual DB — сделать доступ к данным удобнее и проще, поэтому он не требует знания SQL для работы, а еще предлагает использовать ИИ для создания форм.
🔵Работает с распространенными БД, СУБД и облачными сервисами: MySQL, MariaDB, PostgreSQL, Oracle, Neon, Azure SQL, Amazon RDS, Google Cloud SQL, AlloyDB.
🔵Можно пользоваться облачной версией, можно захостить на своем сервере (или просто на ПК или ноуте).
🔵Инструмент бесплатный, но есть тариф Business аж за 5 долларов в месяц с юзера. Его главное отличие в отсутствии ограничений на количество записей в БД.
Ознакомиться со всеми функциями можно на сайте проекта.
Как в Яндексе работают с Big Data?
Узнайте на бесплатном интенсиве Big DWH Week!
Когда данных становится так много, что хранить их в чертогах разума уже невозможно, на помощь приходит YTsaurus. Это платформа Яндекса для распределенного хранения и обработки больших данных, которая помогает не только систематизировать огромные объемы информации, но и делать их доступными и легко управляемыми.
🔜 Познакомиться с платформой с точки зрения разработки и построения эффективных систем можно на Big DWH Week.
Это бесплатный онлайн-интенсив Яндекса и ШАДа, который пройдет с 21 по 25 апреля. За 8 занятий вы узнаете, как YTsaurus используется в реальных проектах Яндекса, как строится архитектура платформы и как правильно настраивать её под свои задачи.
Если вы работаете с данными как инженер, разработчик или аналитик или учитесь на техническом направлении, этот онлайн-интенсив будет вам интересен.
🔜 Те, кто пройдут отбор и успешно выполнят итоговое задание, получат сертификат. Регистрируйтесь до 25 апреля и погружайтесь в тему!
Docs: как Notion, только open source
Очередная бесплатная альтернатива популярному платному тулу — на этот раз заменяем недоступный в РФ Notion опенсорсным Docs.
🔜 Это инструмент для совместной работы над текстовыми документами, разработанный совместно правительствами Франции и Германии. Да, это не просто чей-то pet project, сделанный из любви к искусству. Все серьезно.
Визуально Docs выглядит как Notion, но попроще — впрочем, так и надо. Его представляют как бесплатную, удобную и безопасную альтернативу, в которой нет ничего лишнего. Можно писать и форматировать текст одному или вместе с коллегами — как и в Notion, тут есть возможность раздать разные уровни доступа.
Есть даже поддержка AI-функций для перевода или создания краткого саммари документа.
У проекта есть cвой сайт и github.
От запроса до результата: как работает SQL-движок
SQL-движок — это логический уровень между пользователем и данными в базе, который отвечает за обработку запроса и формирование результата. Но как он это делает?
Один из авторов проекта Dolt (как его описывают сами разработчики — БД, которая работает, как репозиторий на GitHub) написал целую статью про опыт работы с их движком go-mysql-server. Хотя акцент именно на этот движок, он также рассказывает про разные подходы и принципы работы SQL-движков в целом.
Если кратко:
🔵Выполнение запроса можно разделить на 7 шагов — парсинг, привязка к данным в БД, упрощение плана выполнения, оптимизация порядка выполнения джойнов, оценка эффективности плана, выполнение, вывод результатов.
🔵Сначала движок проверяет корректность запроса. Он формирует абстрактное синтаксическое дерево на этапе парсинга, а затем сопоставляет его с данными в базе.
🔵Если запрос был составлен правильно, то движок начинает формировать оптимальный план работы — наиболее быстрый и требующий минимально необходимое количество ресурсов, с учетом всех функций, джойнов и агрегаций. Для этого он старается как можно скорее «отбросить» все строки и колонки, которые не нужны в запросе, а также просчитывает разные варианты выполнения и выбирает самый быстрый.
🔵В конце концов, движок конвертирует выбранный план в исполняемый формат и выдает юзеру долгожданный результат.
Автор каждый пункт разбирает подробно — как движок парсит запрос, с какими сущностями в БД сопоставляет на стадии привязки и как подбирает оптимальный способ выполнения запроса, еще и с картинками. В общем, почитать любопытно, даже если с Dolt работать не планируете.
«Аналитика для руководителей» уже в продаже!
Купить книгу Николая Валиотти вы можете на Литрес, Ozon, WIldeberries, Book24 и в Читай-городе. Все ссылки собрали здесь.
Мы много говорим про то, как важно аналитикам уметь понимать требования и запросы бизнеса, но не менее важно и бизнесу понимать, как работать с аналитикой:
🔵Как она работает и какую пользу может принести?
🔵Из чего состоит система аналитики и зачем нужен каждый из ее компонентов?
🔵Чем занимаются разные специалисты в дата-команде?
🔵Что вообще такое «решения на основе данных» и как их принимать?
Про все это и рассказывает «Аналитика для руководителей» — понятым языком и с наглядными примерами из практики. Она рассчитана на бизнес-пользователей, продактов, маркетологов и руководителей разного уровня, которые каждый день работают с цифрами и данными и хотят научиться делать это еще эффективнее.
А вы уже купили «Аналитику для руководителей»?Читать полностью…
❤️ — Да!
🌚 — Еще нет…
А вы знаете, что произошло в начале 2024?
Конечно, на этот вопрос можно дать несколько разных ответов, но нас интересует одно из самых крупных изменений в Polars — изменение структуры данных для строк.
Почему вспоминаем про это сейчас?
Потому что это все еще интересно — статья рассказывает про тонкости работы Polars, про которые кто-то может и не задумывался.
В чем суть?
Изначально Polars следовали спецификации Apache Arrow, но решили отойти от этого формата, чтобы улучшить производительность.
В Apache Arrow данные строкового типа «проходят» через три буфера: буфер валидности, общий буфер data
и дополнительный буфер с оффсетами для определения начала и окончания каждой строки. Такой формат обеспечивал компактность, но у него были и недостатки:
🔵Сложно заранее определить, сколько памяти надо выделить под строки,
🔵Операции gather
и filter
начинали тормозить при работе с длинными строками.
Это и подтолкнуло к переходу на формат, который используется в Hyper/Umbra. Здесь строки хранятся в «представлениях» — колонках фиксированной ширины по 16 байт. Короткие строки до 12 байт встраиваются напрямую, длинные — в отдельный буфер. В оригинале статьи есть наглядные схемы, как это работает.
Новый подход обеспечивал быстрый доступ к коротким строкам, поддержку интернирования для длинных, стабильное время выполнения операций filter
и gather
и вообще в целом оказался удобнее. Минусы у него тоже были — например, пришлось пожертвовать компактностью в пользу скорости обработки данных.
🔜 Но все было не зря — судя по бенчмаркам в конце статьи, переход на новый формат дал значительный прирост производительности, особенно при работе с «тяжелыми» строками.
Yandex Cloud расскажет, как превратить данные бизнеса в результат
Аналитики и дата-инженеры часто фокусируются на хард-скиллах: SQL, работе с инструментами, тонкостях обработки данных. Это важно, но недостаточно, чтобы строить карьеру и браться за действительно интересные проекты. Ключевой навык — стратегическое мышление: понимать, как ваша работа решает бизнес-задачи, а не просто закрывает текучку.
🔜 Как это делать?
Хороший вариант — перенимать опыт экспертов. Например, на профессиональных конференциях таких как та, что проводит Yandex Cloud 28 мая.
В программе Data&ML2Business:
🔵как «Кама» объединила телеметрию, производство и клиентские данные в одну BI-систему,
🔵опыт построения гибридных платформ с аналитикой в реальном времени,
🔵кейсы от Яндекса, ЦИАН и партнёров, работающих с большими потоками данных и ML-технологиями для их анализа,
🔵подходы к внедрению речевых технологий и ML в продуктах.
А также ожидаются новинки в data- и ML-направлениях Yandex Cloud:
🔵BI-системе DataLens,
🔵Data Platform,
🔵ML- и AI-сервисах.
Хотите познакомиться с новыми технологиями, узнать лучшие практики и развить стратегическое мышление? Регистрируйтесь — участие бесплатное.
🔜 Прочитать подробности и зарегистрироваться!
7–8 июня проводим Weekend Offer Analytics
Устроиться в Яндекс за выходные — реально. Ищем крутых аналитиков с опытом работы от 3 лет на Python, готовых работать в офисном или гибридном режиме.
Подавайте заявку до 3 июня — и всего за 2 дня пройдите технические собеседования. После сможете пообщаться с двенадцатью нанимающими командами и выбрать ту, которая покажется самой интересной. Если всё сложится хорошо, сразу же пришлём вам офер.
Узнать подробности и зарегистрироваться.
Реклама. ООО "Яндекс". ИНН 7736207543
Кому подойдет Metabase?
К Metabase часто относятся снисходительно и иногда даже не считают этот тул полноценной BI-платформой. Да и мы тоже такие комментарии получали, когда писали, что много с ним работаем…
Metabase действительно достаточно простой инструмент, особенно если сравнивать с чем-то вроде Tableau. Многих это отпугнет, но кого-то это станет главным преимуществом. Рассказываем, кому подойдет Metabase и что вообще можно сделать в этом BI в нашем новом видео.
Что вас ждет?
🔵Обзор интерфейса и демонстрация возможностей по визуализации и написанию SQL-запросов.
🔵Разбор кейса клиента, который ушел с более продвинутого и сложного инструмента на Metabase и остался полностью доволен.
🔵Плюсы, минусы и рекомендации по использованию тула.
🔜 Смотрите на Youtube и в VK
Как на самом деле ИИ может помочь в работе?
Вокруг только и разговоров, что про ИИ — он успевает и писать, и рисовать, и кодить, и работу у честных трудяг отбирать. Но это все в теории и в новостях, а вот как на самом деле внедрять его в работу, не очень понятно. Особенно если вы уже пробовали, потратили кучу времени на написание промптов и получили сомнительный результат, который не стоит затраченных усилий.
Именно для тех, кто хочет научиться решать реальные практические задачи с помощью ИИ, Институт Бизнес-Аналитики Алексея Колоколова проводит свой новый бизнес-квест. Участники попробуют использовать нейросети для решения разноплановых кейсов — от расчета сметы до составления презентации.
🔵Мероприятие пройдет 15 мая в отеле Cosmos Smart Moscow Dubininskaya в Москве и займет примерно 4 часа.
🔵Основной фокус — на решении реальных задач, которыми может столкнуться офисный сотрудник (не считая визита Илона Маска). Делать картинки для соцсетей учить не будут.
🔜 Готовы научиться внедрять ИИ в работу? Читайте программу и регистрируйтесь.
О любви к CSV ❤️
Формат данных CSV — Comma-Separated Values, «значения, разделенные запятыми» — появился еще в 70-х, и с тех пор люди ничего лучше не придумали.
Ладно, может быть, и придумали, но CSV, так или иначе, жил, жив и будет жить еще долго. Он все еще часто используется для хранения данных, несмотря на то что за эти 50 лет разработали множество других форматов.
Почему так?
Юзер с гитхаба уже ответил за нас и перечислил целых 9 причин, почему этот формат заслуживает нашей любви. Как любят писать в кликбейтных статьях, пункт 9 вас поразит!
1️⃣ CSV простой — вся суть формата отражена в названии. Ничего лишнего.
2️⃣ CSV никому не принадлежит, а потому навсегда останется бесплатным и доступным.
3️⃣ CSV — это простой текст, который можно открыть и отредактировать в любом редакторе без всяких сложностей. Для этого не нужен никой специальный платный софт.
4️⃣ CSV не требователен к ресурсам и к памяти компьютера.
5️⃣ В CSV-документы можно легко и эффективно дописывать новые строки.
6️⃣ CSV динамически типизирован — тут есть свои минусы, но это делает его очень гибким при работе с разными типами данных.
7️⃣ CSV лаконичен.
8️⃣ Обратный CSV все еще CSV — информация не потеряется, даже если прочитать документ не с начала, а с конца, байт за байтом.
9️⃣ Excel ненавидит CSV — а значит, уже за это формат заслуживает уважения.
Middle Data Engineer в LEFT JOIN
У нас появилось несколько новых проектов, поэтому мы снова ищем дата-инженеров в команду. Хотите работать над интересными и разнообразными кейсами с заказчиками со всего мира? Тогда читайте вакансию ниже, возможно, это именно то, что вам надо!
Обязанности:
🔵Создавать и поддерживать ETL/ELT-процессы.
🔵Обеспечивать корректность работы отчетов и консистентность данных.
🔵Поддерживать и видоизменять имеющиеся модели данных.
🔵Создавать и сопровождать витрины данных.
🔵Вести документацию.
Требования:
🔥Опыт работы от 3 лет.
🔥Очень важно — отличное владение BigQuery, GCP и dbt.
🔵Уверенное владение SQL, Python, Airflow, bash.
🔵Опыт разработки ETL, проектирования и разработки хранилищ данных и аналитической отчетности, а также работы с Kafka и S3.
🔵Высшее техническое или другое релевантное образование.
🔵Английский язык B2 или выше.
Условия:
🔵Full-time занятость. Работа удаленно из любой точки мира по GMT+3.
🔵Оплачиваемый отпуск 20 рабочих дней и больничные 10 дней.
🔵Отсутствие бюрократии и свобода принятия решений.
🔵Корпоративный английский язык.
Откликайтесь на huntflow и, пожалуйста, укажите в сопроводительном письме, чем вас заинтересовала вакансия.
На данной позиции предусмотрено тестовое задание.
Книга «Аналитика для руководителей» — предзаказ открыт!
Совсем скоро книга Николая Валиотти «Аналитика для руководителей» поступит в продажу, а оформить предзаказ на Ozon, Бук-24 и в Читай-Городе вы можете прямо сейчас.
🔵Эта книга — о том, как построить систему аналитики, которая помогает принимать решения на основе данных и увеличивать прибыль. Вы узнаете, из чего состоит эта система и какие люди вам нужны, чтобы она работала правильно, а также — как раскрыть потенциал бизнеса с помощью данных.
🔵«Аналитика для руководителей» написана для людей, которым важно уметь работать с данными и цифрами, но которые при этом не являются аналитиками и дата-инженерами. В ней понятным языком объясняются все технические термины.
🔜 Перейти на лендинг, чтобы узнать о книге больше
Там вы найдете больше подробностей о книге, ответы на часто задаваемые вопросы и первый отзыв.
Чему мы можем научиться у Amazon Elastic Block Store
Amazon EBS — сервис блочного хранения. Он входит в экосистему AWS и используется для работы с большими объемами данных. Сейчас это огромная распределенная система SSD, которая обрабатывает 140 триллионов операций.
Сервис начал работу в 2008 году — и тогда, он, конечно, был совсем другим. Марк Олсон, инженер, который работал над EBS больше 10 лет, рассказал, как проект менялся и развивался с годами. Это не только повод поностальгировать по тем далеким временам, но познакомиться с подходом Amazon к решению проблем и внедрению изменений.
Несколько полезных инсайтов из статьи:
🔵Развитие EBS — постоянный и постепенный процесс. Возможно, для кого-то это и так очевидно, но это одна из главных мыслей всего лонгрида: сервис менялся и дорабатывался на протяжении всего времени существования, чтобы в итоге прийти к 140 триллионам операций. Одним героическим рывком к таким масштабам не прийти.
🔵Один из ключевых вызовов перед командой проекта — это найти баланс между надежностью, производительностью и удобством для пользователя. Необходимость заботиться обо всех этих факторах (а не только о надежности в ущерб скорости) обуславливала многие решения и подходы, которых придерживались разработчики.
🔵Производительность системы зависит от множества факторов и изменения только на одном уровне, даже очень масштабные, могут не принести желаемого эффекта. С этим команда столкнулась, когда переехала с HDD на SSD. Пришлось апдейтить остальные компоненты системы, чтобы добиться прироста роизводительности.
🔵Full-stack-инженер, который умеет все, — это, конечно, круто, но когда речь идет про работу над такими сложными системами, как EBS, узкие специалисты, которые детально разбираются в своей конкретной области, могут быть ценнее.
🔵Если хотите, чтобы ваши инженеры (и вообще любые сотрудники) хорошо работали, нужно создать условия, при которых они смогут не бояться экспериментов и выходить из зоны комфорта.
Как вам опыт Amazon EBS?Читать полностью…
❤️ — Есть чему поучиться!
🌚 — Ну такое…
Как ищут работу специалисты по датавизу?
А вот так.
Специалист по визуализации данных выложил на Public Tableau свое резюме. Все скиллы, опыт работы, образование и портфолио поместились на один довольно компактный дашборд. Конечно, же, интерактивный: на каждый элемент можно кликнуть, чтобы узнать подробности.
Получилось наглядно и нарядно, хотя вызывает некоторые вопросы — например, как он оценил свои навыки создания «User Centered Design» ровно на 9,2 баллов из 10? А опыт работы на таймлайне выглядит симпатично, но ему остро не хватает описания конкретных обязанностей и достижений.
А как вам такое резюме?Читать полностью…
❤️ — Удобно
🌚 — Слишком сложно…
За что вы на самом деле платите, внедряя BI?
BI — это инвестиция в бизнес, причем иногда — весьма серьезная. Как понять, что затраты окупятся, избежать лишних затрат и скрытых расходов?
Эти и другие вопросы обсудят на онлайн-конференции Fine Day Online 17 апреля в 16:00 по Москве:
🔵как объективно оценить, во сколько аналитика обходится бизнесу,
🔵как оптимизировать затраты без потери качества,
🔵как избежать ошибок, которые удорожают BI-проекты.
А также — реальный опыт компаний, которые уже прошли этот путь:
🔵 Альфа-Лизинг – Цена данных: что на самом деле оплачивает бизнес?
🔵 Газпромбанк – BI как центр затрат или источник экономии? Опыт интеграции FineBI с Service Desk через Rest Api
🔵 СИБУР – Self-service BI: мониторинг и оптимизация затрат
🔵 t2 – Цена данных: как, рассчитывая на чудо, не оказаться в минусе, внедряя BI?
Бонусы для участников:
🔥 Доступ к записям конференции
🔥 Эксклюзивный чек-лист: «BI без лишних затрат: типовые ошибки и как их избежать»
Участие бесплатное!
🔜 Зарегистрироваться 🔜
Каталог чартов Tableau
Tableau Public — источник вдохновения и полезных приемов по работе с Tableau. Мы часто постим особенно впечатлившие Viz of the Day — визуализации, не всегда применимые в работе, но интересные и наглядно показывающие возможности инструмента.
🔜 Для случаев, когда надо вдохновиться особенно сильно или подсмотреть, как круче сделать какой-то конкретный график, есть целый каталог чартов.
В нем собрали ссылки на Viz of the Day, где использовали различные виды графиков и визуализаций. Есть и весьма небанальные, так что если вам надо будет посмотреть, как сделать в Tableau прогресс-бар или завернуть линейный график в круг, в этом каталоге вы найдете ответ.
Студента Columbia отчислили за разработку «читерского» приложения
Чунгин Ли, студент престижного американского университета Columbia University точно знал, чего хотел, когда поступал туда — стать фаундером своей компании. Он быстро нашел товарища, вместе с которым они запустили несколько проектов, но успеха не сыскали.
Тогда они решили, что им нужно придумать какую-то вирусную идею, которая точно зайдет — и так додумались до Interview Coder, ИИ-ассистента, который помогает проходить технические интервью.
🔵 Interview Coder можно запустить прямо во время созвона, и его не будет видно, даже если вы расшарите экран. Он не только предлагает решения тестовых заданий, но и дает комментарии и пояснения, чтобы соискатель мог объяснить логику решения.
🔵 С помощью Interview Coder Чунгин прошел несколько собеседований и даже получил оффер в Amazon, о чем рассказал у себя в соцсетях. Он даже выложил видео созвона, где видно, как он пользуется Interview Coder.
🔵 Пост завирусился, как и планировалось, и Amazon это вообще не понравилось. Они связались с Columbia University и пригрозили, что никогда больше не возьмут к себе их выпускников, если те не примут меры.
🔵 В итоге университет сначала ограничился дисциплинарным взысканием, но затем Чунгин опубликовал письмо Amazon, которое те отправили в вуз с настойчивой просьбой наказать его за читерство. После этого его отчислили совсем.
Он как будто не расстроен, потому что своей цели — стать фаундером компании с вирусным продуктом — он добился. 🔥
История напомнила про философию осознанной меркантильности Антона Назарова, который тоже учит, что на пути к успеху в IT и 300к в наносекунду, не страшно иногда срезать углы.