28026
Канал Ромы Бунина про визуализацию данных, дашборды и развитие BI-систем. Подробнее про канал, рубрики, правила и контакты — https://t.me/revealthedata/386 Сайт и блог — https://revealthedata.com/
🎉 Добро пожаловать на Yandex DataLens Festival 2025!
Открываем неделю полезного контента от команды Yandex DataLens и экспертов BI-сообщества.
С 8 по 16 декабря вас ждут три ключевые темы, раскрывающие возможности DataLens, записи докладов, практические материалы, конкурсы и афтепати.
💬 Ждём всех в чате фестиваля для обсуждений, ответов на вопросы и просто живого общения с командой.
А здесь мы будем собирать весь контент фестиваля. Используйте этот пост для навигации по фестивалю.
#видео
#кейс
#полезное
#конкурс
#итоги
AI на Матемаркетинге
Выступил две недели назад на ММ'25 и рассказал как вижу внедрение AI в работу аналитика. Я думаю, что сейчас, AI — это крутой помощник для написания кода и ускорения работы, но пока не полноценная замена ни в одной области аналитики. Зато для автоматизации бизнес-процессов есть классные кейсы, где AI уже можно смело использовать.
Ещё походил на другие доклады про AI и посмотрел записи тех, куда не попал. В целом мнение других спикеров совпадает с моим.
Понравилось идея в докладе Никиты Лисицина из CyberBrain, что сейчас AI — это голос для ваших данных. Для анализа и разработки стратегий лучше пока делать всё по-старинке, а вот доставка результатов аналитики до бизнес-пользователей — это место где можно сильно прокачать взаимодействие между аналитикой и бизнесом за счет саммари, ботов, умных алертов и т.п. Эта идея очень нравиться, кажется, что это как раз та часть, где часто проваливается аналитика — от инсайта перейти к действиям.
Ещё идёт гонка по разработке бота, который сможет ходить в данные и отвечать на аналитические вопросы. И для простых кейсов такой подход работает, а вот для сложных качество пока уступает людям. Например, на слайде, бенчмарки text-to-sql из моего доклада. Кажется, что самый полный доклад про ботов был у Кости Бабаляна, он показал и сложность архитектуры таких решений и цифры качества, которых удалось достичь (80-85% правильных ответов). При этом такие инструменты явно скоро будут во всех компаниях. Мне только пока не до конца очевидно почему такими ботами бизнес будет пользоваться лучше, чем дашбордами. Часто вопрос именно не в инструменте/интерфейсе доступа к данным, а самом процессе принятия решений, посмотрим!
Спасибо всем кто подходил на конференции пообщаться, был рад со всеми повидаться!
#конференция
🎮 Данные и игры
Принёс вам во что позалипать вечером, если вы любите игры. Наткнулся на прикольные ролики, автор один и тот же, но разные темы.
В первом видео анализ игр из Steam, автор интересно смотрит на данные именно с точки зрения разработчика игр — а какие ниши уже заняты, а где можно скрестить жанры и получить что-то необычное и т.п. Графики сделаны во Флориш и есть в описании к ролику, но есть и сам датасет, если захотелось покрутить. Мне прям захотелось, но нужно найти время )
🔗 Видео, Датасет
А второе видео про отзывы на Hollow Knight: Silksong, автор разбирается всё-таки сложная игра или нет 😈 Я смог пройти только на две концовки, а вот третий акт пока мне не даётся (и видимо уже не дойдут до этого руки, застрял на боссах).
🔗 Видео
P.S. А я вот такой как-то делал дашбордик про игры
#ссылка
Всех еще раз зову поучаствовать в опросе. Сейчас етсь порядка 150 ответов, спасибо всем, кто ответил! Но хочется собрать срез побольше, осталось 4 дня до закрытия.
Ссылочка на 👉 опрос 👈.
🤖 МM 2025 и розыгрыш билетов
В прошлом году на Матемаркетинге я рассказал про главные аналитические навыки и подсветил, что нужно, чтобы даже при текущем развитии технологий оставаться востребованным специалистом. Получился довольно философский доклад, но до сих пор считаю, один из самых моих лучших. Получал отзывы, что многим помогло взглянуть на свою работу по-другому.
Сам доклад доступен в общем доступе, можно посмотреть на платформе конференции.
В этому же году наоборот — буду много рассказывать про очень приземлённую практику как использовать AI в своей работе. Покажу и свои личные примеры, и как мы внедряем AI инструменты у себя в компании. Сейчас мы в начали пути, но уже есть прикольные результаты и хочется поделиться самим подходом к внедрению инструмнетов.
Чтобы понять как сделать доклад полезнее, хочу попросить вас пройти опрос. Результатами его конечно же поделюсь в канале. Я понял, что я сильно biased в вопросах, что и кто знает про AI — в моём мире каждый уже сидит постоянно в чат-ботах и деплоит каждый день RAGи и агенты. Но возможно это не так, хочу проверить на какой-то выборке.
А чтобы мотивировать вас, договорился с организаторами конференции разыграть билеты среди тех, кто пройдет опрос. Мы выберем 4-ёх случайных респондентов и подарим два оффлайн и два онлайн билета! Учитывая стоимость билетов — прям больше спасибо организаторам.
Проходите 👉 опрос 👈 и увидимся на конференции!
Результаты розыгрыша подведу 15 ноября. А если не хотите ждать, то вот промик на билеты со скидкой 20%: rtd20
#опрос #конкурс #выступление
🐲 FineDay2025: Self-service BI vs AI
На следующей неделе, 23 октября, пройдет бесплатная конференция FineDay2025. Её проводит GlowByte — главный партнёр FineBI в РФ, которые много обучают и внедряют проектов по этому инструменту.
На конференции будут как и доклады про миграцию, так и конечно много обсуждения про внедрения AI в self-service аналитику и бизнес. На конференции будет CPO FanRuan, очень интересно послушать как китайские коллеги видят внедренеие AI внутри BI.
Основные доклады:
— Развитие BI и продуктов FanRuan в эпоху AI;
— Эволюция корпоративной аналитики в Полюс;
— Цифровая трансформация в Московской Бирже: от отчетности к культуре Data Driven и AI-Native;
— Миграция с QlikSense на FineBI: практический опыт смены BI-платформы;
— Круглый стол «Self Service BI vs AI»: дискуссия экспертов о роли AI в будущем бизнес-аналитики.
👉 зарегистрироваться тут 👈
Сама конференция пройдет вживую в Москве и трансляции её не будет, но записи выступлений пришлют зарегистрировавшимся.
#дружеский_пиар
📊 BI как продукт
Коллеги, кто был на конференции СмартДата в этом году, показали классный доклад от команды Шопинга Т-Банка. Записи выступления, к сожалению, нет, но зато есть подробная презентация.
В презентации сравниваются два похода к построению BI — проектный, когда мы делаем дашборды под конкретную задачу и следим только за её решением, и продуктовый, когда мы проектируем систему дашбордов как продукт и следим за тем, как ей пользуются как целым.
Очень понравилось, что ребята сделали большой акцент на карте процессов. На мой взгляд это даёт ×10 к пониманию где и когда нужны дашборды, но почему-то разрабатывают её аналитики крайне редко и больше думают про метрики.
Отдельно был рад увидеть как работает фреймворк Dashboard Map в реальном бизнесе, прям кайф! Моё последние выступление с примерами про него можно посмотреть тут.
В общем буду ждать появления записи, а Романа и Екатерину поздравляю с классным выступлением и идеями!
Презентация как файл выше, а ещё ребята сделали классный чек-лист в миро на использование продуктового подход к BI в своей работе, проверьте себя!
#ссылка
🧑🧑🧒🧒 Детский конкурс про датавиз
Наташа Киселёва и Алексей Колоколов организовали детский конкурс про данные и графики, выглядит очень мило!
Само мероприятие скорее про совместное обучение и проведение времени с родителями, что на мой взгляд отличный способ погрузиться и в данные, и провести время вместе. Надеюсь только конкурс не превратиться в соревнование родителей-аналитиков, кто будет делать за ребят дашборды 😅
В общем если у вас есть дети, сестры, братья, племянники и племянницы возрастом 6-11 лет, то подумайте на счет участия. Будут и учебные вебинары, и разные номинации, и классное жюри и конечно подарки.
👉 регистрация и канал 👈
#дружеский_пиар
Работаю сейчас в финансах и поэтому и правда прям больной вопрос — как показывать все эти ваши P&L и вотерфолы, особенно в Табло 🤪 Настя собрала хорошие примеры.
Я бы ещё к её примерам добавил примеры от Клауса Шульте, он прям специализируется на финансах:
— Profit & Loss
— Income Statement (статья в блоге про технику)
— Книга с техническими трюками для финансовых задач в Табло
— Дерево метрик
🎤 Конференция Датадривен
Был проездом в Москве на один день и удалось попасть на конференцию Датадривен от поискового портала Яндекса. Был рад повидать бывших коллег и послушать доклады, а вам принес их краткую сводку. В комментариях будут фото слайдов.
Как измеряют качество Алисы, Мария Акопян
Недавно делал прототип бота для работы с данными и даже там возникло много вопросов как проверять качество его работы. Было интересно послушать как это делается для такого большого бота с разнообразными сценариями как Алиса. В целом оценка делается по принципу: удалось ли решить задачу пользователя и как быстро. Для измерения этой метрики раньше использовались оценки живых людей. Сейчас конечно же используют LLM, но лучше всего сработал гибридный подход — сначала с помощью LLM-ки определяется, что за сценарий/какую задачу хотел решить пользователь, затем LLM суммирует сообщения и решает был ли решна задача и если она не уверена, то такой чат отправляется на ручную проверку человеку, который уже выносит финальное решение. Ребятам удалось на 70% сократить количество ручных проверок используя такой подход, сохраняя качество проверки.
Дата-каталог как продукт, Марина Нестерук
Марина рассказала о том, как они строят внутренний дата каталог. Большую часть информации ребята собирают автоматом (строят лайндж, и описания метрик, если они были записаны в dmp системе), но есть и часть метаданных, которые заполняются вручную. Для этого они настраивают процессы и пингует автоматом аналитиков, кто не заполнил информацию. Классно, что есть сквозная интеграция с YTsarus (это такой аля яндексовый databricks) и DataLens. Звучит как классное связующее звено между инженерами данных, аналитиками и бизнесом.
Дашборд как место коммуникации с пользователями, Владимир Дмитриев
Здесь остановилюсь подробнее, так как доклад прям по теме канала. Доклад был очень хорош по подаче, Володя наглядно показал, как происходит жизнь BI-аналитка Олега. Бедный Олег =)
Рассказ был про очень интересную часть работы с дашбордами — когда они уже сделаны и просто работают в продакшене. Согласен с ним, что это пожалуй, самая «теневая» часть жизни дашборда. Мы много говорим, про разработку дашбордов и как собирать требования, а вот, что происходит после, обсуждаем редко. Прям задумался, а что еще можно сделать в этот момент кроме как следить за метриками использования.
Володя говорит, что надо продолжать коммуницировать с пользователями и лучшее место для такой коммуникации — это сам дашборд. Он предлагает делать это с помощью интерактивных заголовков, которые будут содержать обновляемую информацию.
В хорошем заголовке он предлагает иметь:
— Название дашборда
— Информацию про доступы
— Дату обновления и статус тестов качества данных
— Ссылку на чат поддержки
— Ссылку на документацию
— Кнопку обратной связи
— Кнопку баг-пепорта
— И ссылку на список дашбордов
На мой вкус, немного многовато информации в одни месте, с другой стороны действительно вся важная. Было бы классно, если бы часть этого функционала сразу была в BI-системе, а не нужно было городить это отдельно.
Но когда видно сразу оценку дашборда и кол-во пользователей прямо в заголовке это конечно топчик.
Аналитика в международке, Роман Васильев
Рома рассказал как они с командой строят аналитику международной части Поиска Яндекса (сейчас две основные страны — Казахстан и Турция). Доклад был больше про управленческую часть и в целом можно свести к главному правилу agile — people over process. Еще понравились прикольные способы продвижения, такой партизанский маркетинг — ребята, пытаются попадать в выдачу гугла с помощью своих сервисов (например, Яндекс видео) и так естественным образом «рекламируют» себя у конкурентов, хитро! 😎
Если что-то из докладов заинтересовало, то можно посмотреть записи на сайте.
P.S. Еще спасибо всем читателям, кто подошел поздороваться, было оч приятно!
#конференция
Постановка эксперимента #2
Давал скриншот дашборда и просил описать какие есть проблемы с точки зрения дизайна и визуализации данных.
Результат
Здесь меня результат приятно удивил, по ощущениям, в сравнении с обычной версией и тем более с GPT-4 прогресс очень неплохой. Все рекомендации по делу, много толковых и довольно детальных. Базовые проверки для внешнего вида и логики точно можно делать и получать результат выше, чем аналитик, кто не проходил обучение по датавизу.
Если сравнивать Pro, Thinking и Instant, то различия именно в детализации, но не самом наборе рекомендаций. В этом плане забавно, что размышление модели скорее добавляет качества, чем чего-то радикально нового.
Ссылки на чаты и попытки:
— Pro, попытки: 1, 2, 3
— Thinking
— Instant
Наши с Сашей Бараковым замечания к этому дашборду тут.
Постановка эксперимента #3
Конечно же вы скажете — а зачем вообще дашборд. Пусть LLM сам анализирует. Поэтому ещё и просто описал бизнес-кейс и поросил найти релевантные инсайты из данных.
Результат
Тут мне сложно как-то оценить результат. Чего-то больше простого фактогорного анализа он не выдал. Но может это и ок =) Тут мне сложно оценить, поэтому просто прикреплю в комментариях файл который он сверстал как отчет. Сам чат можно посмотреть тут.
Общие выводы
Прогресс не остановить. Вокруг этого ещё должно появляться много обвязки и проверок, чтобы это работало лучше. Но уже сейчас конечно результаты впечатляют. При этом до сих пор вот прям в лоб «заменить BI-аналитика», эти штуки не могут. Но использовать их для ускорения своей работы, конечно стоит. И повторюсь, что такие проверки скорее использую как способ понять уровень развития LLM, так как разбираюсь сфере дашбордов. Исползовать AI просто впрямую для построения дашбордов странно, надо менять весь цикл создания операционной аналитики и искать сочетания AI + классический BI/дашборды.
Радикально различия Pro и Thinking я не заметил для этого кейса. Но с кодом он похоже работает гораздо лучше.
Ну и конечно забавный пародкс — три года назад казалось, что это черная магия и чудо. Сейчас я такой, «эээ, с первого раза не работает, Pro так долго думает, ждать 10 минут на запрос бе-бе-бе». Напоминает стендап Луи Си Кея про фай-вай в самолёте.
Пишите — как ещё попробовать помучать GPT Pro или просто про ваш опыт как используете AI в BI. И в целом интересна ли эта теме про AI или лучше просто про графички и дашборды? )
Бенчмарки по численности и функционалу data ролей
В этом году делал полевой ресерч структур дата/BI команд в российском Tech сегменте (cпасибо всем за участие).
В эту же тему делал ранее более широкий опрос.
В итоге после очистки осталось 64 российских компаний из разных отраслей и я таки собрал данные в публичный деш.
Вот хайлайт выводов
Пропорции ролей
На 1 data роль - 11.7 casual users (обычные бизнес пользователи)
На 1 BI/DA - 25 casual users
На 1 DE - 1.9 BI/DA
Структура data ролей (в среднем):
51% — BI/DA (на 1 BI - 8-10 Data-аналитиков)
26% — Data Engineers.
17% — Data Scientists.
7% — DG/DQ
В условном IT+ecomm - количество дата ролей значимо больше, чем в других отраслях:
На 1 data роль - 8.3 casual users
На 1 BI/DA - 15 casual users
Воздержусь от других выводов - слишком малая выборка и много вопросов к тому кто, кого, куда относит на стыках DE-BI, DA-DS.
Кажется специфика компании ее история и аналитическая традиция влияет на состав (и нейминг) ролей не меньше, чем размер или отрасль.
Данные можно соотнести с databenchmarks.
Забавно что если сделать регруппинг моих ролей по их корзинам insight / engineering / ML (DS попадает в Insight, BI и DG в Engineering) то получаются очень близкие цифры.
Другие наблюдения из интервью
BI COE/Core BI
В децентрализованной модели - масштаб спонсирует организацию: при небольшом числе доменов и BI-аналитиков (менее 30) - BI CoE себя не окупает.
При росте возникает BI Core/CoE, который берёт на себя стандартизацию, кросс-доменные практики работы с качеством, демократизацию, обучение, координацию инициатив развития.
Триггер - когда несколько доменов начинают автономно строить свои собственные процессы управления BI/данными.
Размер Core BI обычно 3–5 человек. Больше - только если команда берет на себя дополнительные домены на поддержку, как правило корп функций.
Есть варианты «виртуального» CoE (сборные советы чемпионов) - могут давать ограниченный эффект на малом-среднем масштабе.
Другие Роли
- Подход 1: BI работает рядом с SA и DE, деля между собой функции в BI-цикле. BI - деши и репортинг витрины. SA и DE - качество остальных слоев данных.
- Подход 2: BI как fullstack/AE. DE занимается платформой и кор слоем витрин.
При этом все может быть гибридно и неоднородно внутри одной компании от домена к домену.
Курирование доменов
Зрелые компании вводят дополнительную роль Дата партнеров (нейминг разнится), отвечающие за BI-инфру или за все качество данных внутри домена. Это могут быть BI-лиды, системные аналитики. Роль замыкает на себя рутины гавернанса.
Кому есть что добавить - велком
🐉🟣 GlowByte запускает второй сезон образовательного онлайн-ретрита по FineBI – «Второе дыхание»! Это 13-дневный марафон с обновленной программой, 3 новыми уроками, практическими вебинарами и призами за лучшие домашние задания.
❔Что ждет участников:
🔸 Обновленные домашние задания с системой призов
🔸 Три специальных вебинара: FineReport Pro (28 августа), AI-революция в аналитике (2 сентября), 3D-визуализация с FineVis (4 сентября)
🔸 Успешные кейсы от T2, Уралсиб, Циан и других компаний
Ретрит будет полезен всем, кто работает с данными - от разработчиков до руководителей.
🚀 Стартуем 25 августа!
Регистрируйтесь по ссылке и получите второе дыхание в мире BI-аналитики.
Записала маленький бесплатный курс про улучшение таблиц и графиков в Excel. С задачками самопроверки и чеклистами.
1 час и 42 минуты переверстываю стандартные визуализации, объясняя где чего не так и как сделать лучше. Вот так вот!
📈 Вакансии аналитиков с HH
У нас с Колей из Left Join есть отличный проект по аналитикe вакансий с HH. И я переделал дашборд с Tableau на интерактивный сайт. Основная проблема с дашбордом на Табло была в том, что он не догружает автоматически новые данные. Давно чесались руки исправить это, обновить сам дашборд, переделать логику определение типа вакансий и сделать его сам прикольнее.
Для реализации я использовал сервис replit.com. Мне понравилось как я с ним работал раньше и я думал, что я часа за три соберу нужный дэшик. Ведь данные и макет дашбоорда уже есть. Как же я ошибался 🫠
250$ и 40 часов позже я понял, что навайбкодить такой продукт пока что всё ещё очень сложно. В основном приходилось бороться с ошибками LLM-ки — четыре раза он удалил продовую базу, пару раз при замене текста в заголовке он решал переписать весь код начисто, бесконечное кол-во раз путался в названии переменных и не мог отличить множественное число (VacancyTypes) от единственного (VacancyType).
В следующий раз я всё-таки попробую опять Cursor. Пока кажется, что он работает как-то более предсказуемо и там приятнее править код, если правишь его руками.
Но в итоге сайт работает, что на самом деле всё равно техническое чудо. Данные грузятся по ночам, а дашборд выглядит норм, хотя ещё кучу мелочей хочется доделать. Только вот насколько он всё точно считает проверить не могу 🤣, но базовые сверки по данным сходятся. Интересно ещё как это всё поведет себя под нагрузкой, когда вы пойдете им пользоваться. (Ах-хах, вот дашборд уже и прилёг, когда пошла нагрузка, но вроде починил) 🤣
👉 Ссылка на дашборд 👈
P.S. Самый классный способ вайб-кодить — под сериальчик. Пока ждёшь новый кусок кода, то есть на что залипнуть, а ещё не так подгорает, когда вообще ничего не работает. Я ж просто сериальчик смотрю 🙃
P.P.S Так как оплата в этом сервисе идет за запросы к LLM, то прям чувствуешь себя как в азартной игре, нажал кнопку, деньги ушли, ждёшь будет ли хороший результат 🤣
Подписывайтесь на наши каналы:
@revealthedata @leftjoin
Стартовал фестиваль DataLens, будет много классного! Я тоже участвую в этом году и будут интересные анонсы, присоединяйтесь! В этом году сами доклады будут доступны как видео в чатике и какой-то отдельной платформы нет. Программа тут.
Читать полностью…
👨🏫Дата-сторителлинг 6 декабря
Мои хорошие друзья уже третий раз проводят онлайн-конференцию про визуализацию, журналистику данных и сторителлинг.
Участвуют отличные спикеры и актуальные темы — как минимум три доклада будет про использование ИИ для графиков.
И в отличие от больших конференций стоимость билета очень демократичная — 490 рублей, а по промокоду revealthedata ещё есть и скидка 35%. Если любите тему, то отличный способ поддержать коммьюнити.
В общем очень рекомендую!
👉 Сайт конференции👈
P.S. Организатор конференции, Андрей Дорожный, когда-то был первым гостем в моём подкасте и поддержал мой канал, за что ему отдельное спасибо! Сейчас конечно смотреть этот подкаст криповенько, но весело =) Помню как меня подкосил тогда комментарий, что ведущий не очень, как я переживал! В общем если вы что-то начинаете, то не переживайте излишне, у вас всё может получиться!
#дружеский_пиар
Результаты опроса про AI
Спасибо всем, кто прошёл опрос, получилось интересно.
Удивило, что всего 47% респондентов ежедневно используют чаты, думал, что будет сильно больше. Но вот хотя бы раз в месяц уже используют 80%, довольно неплохое проникновение. В основном все работают с текстом, кодом и информационными сценариями, но не напрямую с задачами аналитики — анализ данных, построение дашбордов, преобразование данных. Чаты используются часто, а вот продукты на базе LLM пока используются гораздо реже, явно ещё есть пространство для новых продуктов. А ещё у большинства скорее положительный взгляд на будущее и AI помогает им быстрее работать.
Какие ещё интересные особенности нашёл расскажу уже на конференции на следующей неделе, а вы пока можете сами потыкать дашборд с результатами. Что интересного нашли вы?
👉 результаты опроса 👈
Розыгрыш
А вот ники 4 победителей в розыгрыше билетов на конференцию. С ними уже связались или скоро свяжутся для выдачи билетов, поздравляю ребят!
2 оффлайн билета
@KL****ova
@And****lom
2 онлайн билета
@dv****lis
@acr****ch
#опрос
📈AI, биткоины и датавиз
Нет, меня не взломали, и сейчас я не буду предлагать вам купить курсы по трейдингу.
Возможно вы слышали, что недавно энтузиасты сделал интересный бенчмарк для ИИ-шек — дали 6 моделям реальные 10K$ и отправили их торговать криптовалютами.
Эксперимент интересный сам по себе, но я хочу отметить другое — какой у ребят классный дашборд: минималистичный и элегантный дизайн, во всех нужных местах есть интерактивность и пояснения, правильно используются анимации, цвета и иконки. Прям кайфовый пример, редкий случай когда стилистика и «дизайн» сочетаются с хорошей визуализацией и интерфейсом. Зуб даю это точно сделал не AI (ну или надеюсь 😅).
Ну а с точки зрения инвестиций — сейчас ChatGPT и Gemini потеряли около 70 % начального капитала, а вот DeepSeek и Qwen пока в плюсе. Позалипать можно тут — https://nof1.ai/
#ссылка
🗣Data Driven Top100
На прошлой неделе был на конференции Data Driven Top100. Это очень ламповая конференция для руководителей аналитики, а сам формат больше похож на обсуждение и обмен опытом, чем выступления со слайдами. Организует конфу — Женя Козлов, бывший хэд аналитики Такси, а сейчас CDO нескольких стартапов. Основными темами конференции были ИИ и работа с командой. Делюсь с вами основными мыслями и инсайтами.
NL2SQL агенты
Многие делают NL2SQL агентов (с человеческого на SQL-ный), чтобы ускорить работу аналитиков и снять поток запросов от бизнес-пользователей. Это явный тренд и многие городят что-то свое. Запомнились пару идей:
— Ребята из Магнита добавляют в контекст для бота не только мета-данные про таблицы, но и все существующие запросы, которые приходят в базу данных (например от DataLens). Идея в том, что если чаще всего в запросах есть какие-то фильтры (например, оставлять только успешные заказы), то на запрос «Сколько было заказов в октябре?» бот подтянет этот фильтр автоматом.
— Ребята из Яндекса попробовали очень много интересного: подмешивать в RAG не только векторный, но и полнотекстовый поиск; использовать SGR, вместо большой модели; делать отдельно планировщика и судью на базе других моделей; давать готовые аналитические питон скрипты как готовые тулы для моделей и т.п. Прям огромная работа. Но больше всего качество как всегда больше всего зависит от мета-данных. У ребят будет подробный рассказ про подход на грядущем Матемаркетинге, советую.
— Ребята из Crazy Panda вообще не отдают в ИИ-данные, а только генерят с помощью ИИ псевдо-SQL язык, который потом просто выводит данные и графики в кастомной BI-системе. Супер безопасно и меньше пространства для галлюцинаций.
— А ребята из Островка пошли путем не городить своё, а попробовать подключить базу, каталог данных и базу знаний через MCP к курсору, получилось лучше и быстрее, чем когда они пробовали сделать что-то своё.
Ещё обсуждали, что ИИ-шки помогают делать быстрее выводы из АБ-тестов и писать код, но на этом всё использование ИИ именно для аналитики и закончилось. Общий консенсус — работа аналитика явно уже не будет такой как прежде, но что именно измениться точно пока не понятно. При этом не услышал, что есть какие-то централизованные обучения и программы по внедрению AI внутри компаний, хотя некоторые делают Вайбатоны и внедряют инструменты типа Cursor.
AI в продукте
— Основные большие внедрения ИИ в бизнесе — это автоматизация поддержка во внутренних и клиентских процессах. Что-то делается супер кастомное (как в огромном Т-Банке), что-то со своими подходами, но скорее на общих инструментах как Я.Финтехе, а что-то используя инструменты типа n8n, а иногда даже и просто с помощью системных промптов чата-джпт.
— Были кейсы продуктов с ИИ-аватарами, которые общаются с пользователями для развлечения и собственно являются продуктом. Там много технических задач как это делать дешево и безопасно.
— Ребята из HH показали набор ботов и автоматизаций на базе ИИ, которые упрощают работу рекрутеров по поиску кандидатов и созданию вакансий.
— Ещё были кейсы автоматизации документооборота в большом банке и строительной компании и разметка данных для поисковой оптимизации в Preplexity.
В целом прикольные кейсы, но опять же не увидел чего-то волшебного. Кажется, что сейчас происходит нормальное нехайповое внедрение ИИ-шек в продукты, планомерное развитие и интеграция, а не радикальная смена каких-то концепций.
Работа с заказчиками и командой
Тут было интересно послушать про разный опыт коллег, но в целом вывод как всегда один, главное в работе аналитика — это умение общаться, критически мыслить и любить закапываться в детали, а не технические знания. Жалко только, что эти навыки аналитики качают реже, чем технические 🤪
Спасибо всем участникам конфы, было очень круто!
#конференция
📋Исследование рынка аналитиков
NewHR проводят новую волну опросов про рынок аналитиков, ребята каждый год делают масштабное исследование и делятся результатами. Результаты прошлого года можно посмотреть тут, мне больше всего запомнилась часть про задачи аналитиков. Ну и зарплаты, конечно, тоже было интересно посмотреть.
👉 Опрос в этом году 👈
P.S. Сам прошёл опрос, странно, что нет почти ничего про AI! Надо будет сделать небольшой свой.
P.P.S. Какой год уже прошу ребят не делать пай-чарты в пай-чартах =)
#опрос
🎨 Сервис для цветовых шкал
Сейчас работаю с одной компанией над стайлгайдом для дашбордов и нашёл классный сервис для создания категориальных цветовых палитр. Делюсь им и рассказываю в целом про то, как собираю цветовые палитры сам.
По-сути для создания категориальной шкалы важно помнить, что цвет — это вектор в цветовом пространстве (мне понятнее всего HSL). Чтобы цвета хорошо читались — они должны отличаться друг от друга, что математически равно расстоянию между векторами. Тогда задача составления палитры сильно упрощается — мы берём какой-то один или два цвета за основу (например фирменные, если они только не красные/зелёные/серые/черные), смотрим сколько мы хотим иметь в палитре цветов (обычно 6-8) и дальше просто на максимальном равном расстояние расставляем друг от друга цвета в цветовом пространстве и всё!
И вот я нашёл сервис который делает именно это. Вы выбираете кол-во цветов, какие оттенки в цветовом круге вам подходят, диапазон яркости, какие цвета взять за стартовые точки и четыре параметра «отличительности»:
— Perceptual Distance: как раз то самое расстояние между векторами для различия человеческим глазом.
— Name Difference: учитывает языковые различия (напр., «красный» и «розовый» близки по восприятию, но по-разному называются).
— Pair Preference: поощряет сочетания, которые в среднем эстетически приятнее сочетаются вместе.
— Name Uniqueness: отдаёт приоритет однозначно называемым цветам (например, красный), игнорируя труднее именуемые (аля фукси).
Правда если выкрутить все ползунки на максимум ничего хорошего не получиться 🤪
Конечно скорее всего надо будет ещё посидеть с результатом и что-то поправить руками: учесть как хотим показывать падение/рост или плохое/хорошее, проверить шкалу на восприятие для людей с дальтонизмом и другими особенностями, подумать нет ли конфликтов с привычками людей в компании и т.п. Но как стартовая точка — отличная экономия времени и понятный алгоритм подбора цветов, пользуйтесь!
👉 http://vrl-v2.cs.brown.edu/color 👈
#ссылка
📎 Примеры финансовой отчетности
Уже второй раз в чатике курса обсуждали, а есть ли какие-нибудь хорошие примеры финансовых дэшей. Делюсь сохраненками по теме:
❤️ Tableau:
- Consolidated Financial Report
- Scenario Analysis - IBCS
- Income Statement
- Financial Dashboard | #RWFD
- CORPORATE FINANCE - Balance Sheet (не вау дизайн, но есть что подсмотреть)
❤️ Power BI:
- P&L в PowerBI
- Consolidated Financials Power BI Dashboard
- Alternative Approach to Visualize Surplus and Deficit
- Финансовая отчетность в DataLens от Юры Красильникова
- Подборка управленческих отчетов в Excel от Станислава Салостей
И IBCS стандарт и его обзор от Ромы Бунина
📋 Опрос про инструменты для работы с данными
Олег Кочергин в прошлом году проводил опрос про инструменты для аналитики и подготовки данных и потом рассказал о результатах на конференции SmartData'24 (youtube, vk).
В прошлый раз там был сильный перекос в инженеров данных, хотя и вопросы сами больше про это. Но забавно, что самый известный BI-тул среди них — Superset. В этом году он тоже проводит опрос и попросил меня вам о нём рассказать, чтобы набрать разную аудиторию.
В общем, если вы любите проходить опросы и хотите поделиться мнением — давайте поможем Олегу. Результатами он поделиться в будущем как соберет результаты.
👉 опрос 👈
А ещё он пообещал больше не делать графики без осей 🤪 Хотя сами графики для такого рода данных подходящие.
#дружеский_пиар
📺Вебинар Easy Report
16-ого сентября пройдёт вебинар от компании Easy Report, где коллеги покажут ИИ-агента аналитика. Ребята являются самыми главными приверженцами подхода «чат-боты вместо дашбордов» на РФ рынке и уже несколько лет развивают свой продукт.
Вообще чат-боты с данными — это новая норма и уверен, что в течении пары лет у всех компаний появятся не только дашборды, но и чаты по доменам данных, которые отвечают на простые запросы и убирает с аналитика задачу переводчика с «человеческого на SQL-ный». А задача аналитика будет подобрать правильные мета-данные и настроить логику работу такого бота.
Забавно, что эта задача не такая простая, как кажется на первый взгляд. Недавно сам пытался сделать такого бота и столкнулся с проблемами. Нужна довольно большая работа с контекстом и «тулами» для LLM. Одна, даже самая умная модель, сделать все операции за один раз не может. Поэтому нужно спроектировать разные функции/тулы, которые отвечают за каждый шаг — проанализировать мета-данные, перевести запрос с человеческого на SQL, провалидировать запрос, провалидировать результат и т.п. То есть по факту надо по шагово описать логику работы аналитика и подобрать под каждый шаг свою модель и системный промпт.
Ребята показали мне небольшое демо — выглядит интересно, есть как раз разные «тулы» для работы агента и интеграция с SuperSet. Если интересно как построены и работают такие чат-боты, то рекомендую сходить на вебинар.
👉 Ссылка на регистрацию 👈
#дружеский_пиар
🤖 GPT Pro для BI-задач
Решил провести эксперимент — попробовать самую продвинутую и дорогую модель Open AI для того, чтобы эмулировать работу BI-аналитика. При стоимости подписки в 200$ мои ожидания были довольно высоки 😈 Рассказываю и показываю, что получилось. Провёл 3 небольших эксперимента.
Постановка эксперимента #1
1. Сначала я просил модель сформулировать набор вопросов, которые бы он задал бизнес-заказчику, если бы работал BI-аналитиком и ему нужно было построить дашборд.
2 .Потом отвечал ему на эти вопросы по одному из бизнес-кейсов, что у меня есть в копилке. Делал это тоже с помощью другого чата, который играл роль бизнес-заказчика. Но я проверял, что он там ему наотвечал и что-то местами правил.
3. Отдавал эти ответы в исходный чат и просил построить макет дашборда.
4. Затем я «согласовывал» макет, давал данные и просил построить интерактивный дашборд по макету, что он сам разработал.
Результат
1. Чат выдавал огроооомный список вопрос для бизнес-заказчика. Прям гигантский — от 70 до 100 штук. 100 вопросов, Карл! Представляю себе реального заказчика, которые на такое отвечает 🫠
2. Вопросы в целом были толковые, но через-чур детальные. Вплоть до технологии и типа графиков и их расположения, которые хочет бизнес-заказчик. Ошибка новичка — передать ответственность за решение всего на самого бизнес-заказичка. Я такое пресекал отвечая на такие вопросы — выбери наиболее подходящее сам.
3. Макеты чат делал в виде картинок (примеры в скриншотах) и текста. В целом думаю норм, но человек бы сделал аккуратнее.
4. Три раза, что я повторял такое упражнение, чату удавалось сделать сразу что-то аля рабочее — дашборд запускался и показывал данные. Не всегда с превого раза, но точно со второго. Ещё в одном случае он просто сделал баг — нашёл 26 год в данных, когда его там нет. Надо проверять с пинцетом.
5. Сами дашборды конечно получись плохо оформлены и для прода не годятся, чтобы довести до ума надо много времени.
6. Дашборды всегда многостраничные и разбиты прям по мелким блокам, чуть ли не по 1-2 графика на страницу. Тут можно было обойтись всё-таки одним дашбордом на мой взгляд.
7. Сделал два дашборда с тёмной темой 🙈
Если сравнивать Pro, Thinking и Instant, то различия в подробоности ответов. При этом по ощущениям, именно промежуточный макет, чуть ли не лучший у Instant. Но конечный результат (с точки зрения технической работы) получились лучше у Pro. С кодом эта модель явно работает лучше.
Ссылки на чаты и попытки:
— Pro, попытки: 1, 2, 3
— Thinking
— Instant
Файлики с дашбордами положу в коментариях.
Решение кожаного мешка (моё) для этого бизнес-кейса, можно посмотреть тут.
Астрологи объявили неделю репостов =)
Саша сделал офигенное исследование про дата-роли внутри компании и количество сотрудников. Очень интересно!
Я только думал, что на одного DE приходиться больше BI/DA специалистов и кажется справедливее считать соотношение (ML+BI/DA)/DE. Если пересчитать так, то получается 2.9 ML+BI/DA на одного DE в среднем, по медиане 2. Уже больше но всё равно как-то звучит мало. Возможно статистику портят компании в которых 35DE, но 5 DA 😱, но таких компаний немного. У меня в голове соотношение скорее, что один DE может обеспечить данным 5-10 DA/BI/ML-специалистов.
А остальные цифр прям очень похожи на правду по опыту. Классные бенчмарки, чтобы понимать какой размер команды примерно нужен на сколько бизнес-пользователей.
Мои друзья попросили рассказать вам про интересный учебный марафон. Он построен вокруг Fine BI, но много и общих тем не привязанных к инструменту. Это обновлённая версия марафона — понравилось, что появились актуальные темы про AI-агентов и цифровых двойников для производств!
В общем обратите внимание!
#дружеский_пиар
📘Аналитика для руководителей
Болеть в отпуске — полный отстой, никому не рекомендую. Зато появилось время прочитать книгу Коли Валиотти «Аналитика для руководителей», до которой давно не доходили руки. Пишу вам на неё отзыв.
Книга рассказывает про то, что нужно, чтобы построить аналитику внутри компании: какие нужны роли, технологии и фреймворки, с чего начать если хотите сделать фирму с управлением на основе данных.
Книга подойдет руководителям среднего бизнеса или начинающим аналитикам, чтобы понять весь масштаб проблем ландшафт технологий и процессов, которые нужны в современной аналитике. При этом погружение в каждую из тем неглубокое — обзор по стеку технологий, примеры проектов и фреймворков. Книга будет скучновата, если вы давно в аналитике, хотя освежить полный процесс тоже может быть полезно.
Понравилось, что много времени уделено инжинирингу данных. Кажется, что часто о нём не предупреждают, а на него тратиться куча времени и сил при создании аналитики. 😅
В книге много небольших примеров из реальной практики Коли и команды Left Join, было бы ещё круто один большой рассказ про одного клиента/проект от начала до конца. Но такие рассказы, кстати, есть у компании на сайте.
Поздравляю Колю с самим фактом написания книги, это большой шаг в его упорном пути просвещения про аналитику и построении крутого аналитического агентства! 🎉
Итого, под свою целевую аудиторию, — книгу очень рекомендую! Посмотреть подробности можно на сайте книги.
#книга #дружеский_пиар
Мы начинаем через 5 минут, вопросы можно будет задавать вот тут на платформе для вебинаров — https://start.bizon365.ru/room/karpov_courses/ChartsAndRobots
Читать полностью…