LEFT JOIN

05 October 2023 16:38

Есть ли в 2023 спрос на аналитиков? Смотрим на hh.ru
Рома @revealthedata опубликовал статистику по вакансиям для аналитиков. Рынок выглядит как будто здорово: и объявлений стало больше, и зарплаты подросли, правда, не у всех.

🔵 Больше всего работодатели нуждаются в Data/Product-аналитиках — количество вакансий увеличилось на 66%.
🔵 Зарплаты сильнее выросли у бизнес-аналитиков — на 7%. Надо учесть, что данные с hh.ru, где три четверти работодателей не указывают уровень дохода.
🔵 Хорошие новости для молодых специалистов — предложений для младших аналитиков стало на 59% больше, зарплаты у них выросли на 10%, а у сеньоров — всего на 5%, кстати.

🔜 Дашборд с данными за три года — для тех, кто хочет покопаться поподробнее.

Какие выводы можно сделать?
Рынок растет, а спрос на специалистов разных уровней большой — кажется, если ищете работу в этой сфере, проблем быть не должно…
А если проблемы таки есть — завтра расскажу, в чем может быть дело.

LEFT JOIN

03 October 2023 10:24

«Отличное заведение, жаль, что выгнали!»: что пишут в отзывах на общепит на Яндекс Картах
Пользователи Яндекс Карт ежедневно добавляют по 37 тысяч отзывов на кафе, бары и рестораны по всей стране. Всего за 10 лет накопилось уже больше 15 млн откликов на 220 тысяч различных заведений.

Команда сервиса взяла всю эту массу данных и уложила в несколько графиков, чтобы понять за что чаще всего хвалят и ругают рестораны и кафе. Если вы ресторатор, может быть ценно узнать, на что обращают внимание посетители. А если нет, то можно просто сделать несколько занятных выводов!

🔵 В положительных отзывах чаще всего упоминается слово «вкусно» и его производные, а в отрицательных — «невкусно». Логично.
🔵 Если посмотреть на самые частотные слова по категориям заведений (бары, кафе, столовые и так далее), получается, что несчастливые посетители общепита несчастны плюс-минус одинаково. Что рестораны, что фастфуды ругают за долгое ожидание. А вот хвалят по-разному: за кухню, атмосферу, скорость обслуживания и музыку.
🔵 Вопреки мнению, что люди чаще пишут о негативе, пользователи ставят плохие оценки в 5,5 раз реже, чем хорошие. Зато отрицательные отзывы в среднем длиннее. Самый объемный составил аж 13 тысяч знаков.
🔵 «Отстой» — любимая характеристика для общепита от мужчин постарше.

Отдельного внимания заслуживают скрины в начале статьи. Признайтесь, захотелось заглянуть в заведение, про которое кто-то написал: «Красиво. Бывают драки».

LEFT JOIN

29 September 2023 14:09

Полезное про данные и нейросети: что писали в сентябре
Мы часто делимся интересными лайфхаками, гайдами, инструментами и приложениями, которые пригодятся тем, кто работает с данными. Решили собрать недавные посты с полезностями в этом дайджесте для тех, кто пропустил или потерял ссылку!

🔵 Огромный гайд по SQL — пригодится в первую очередь новичкам, но и опытным специалистам будет что оттуда почерпнуть.
🔵 Не менее огромный гайд по обработке данных — статья рассказывает, как и зачем их упорядочивать, очищать и не наделать при этом ошибок.
🔵 LlamaIndex — фреймворк, который объединяет нейросети и ваши данные — причем, в любых форматах.

🔜 Бонус: почему мы не видим звезды в городах + карта мест, где вы все-таки сможете на них посмотреть. Не такой прикладной материал, как остальные в подборке, но важно иногда отрывать взгляд от ноутбука.

LEFT JOIN

27 September 2023 08:02

DataLens вышел в open source
Если вдруг вы впервые об нем слышите, это BI-инструмент от Яндекса, который используют и внутренние сервисы вроде Кинопоиска, и внешние компании (например, мы в Valiotti Analytics однажды применяли его в клиентском кейсе).

С этого дня DataLens входит в наш топ-4 open source инструментов вместе с Metabase, Superset и Redash. Пользуясь случаем, погрустим, что у последнего с тех пор, как он вошел в Databricks, появились проблемы с обновлениями.

Но долго не будем о грустном, ведь главная новость на сегодня в том, что исходный код DataLens выложили на GitHub!
🔵 DataLens изначально создавался под внутренние задачи Яндекса. Так как у него много сервисов с разными продуктами, нужен был гибкий инструмент, который можно подстроить под себя. Благодаря этому применение DataLens нашли банки, ретейлеры, логисты, да и кто только не.
🔵 Теперь, когда он вышел в open-source, подкрутить его под свои задачи стало еще удобнее.
🔵 Его можно интегрировать с другими open source продуктами Яндекса, например, с системой управления базами данных YDB или YTsaurus.

Подробнее о возможностях инструмента читайте на Хабре и заглядывайте к Роме Бунину в @revealthedata. Он делает много контента про данные и вообще-то официальный амбассадор DataLens! Про то, как с ним работать, Рома пишет крутые статьи, проводит обучающие вебинары и вместе с коллегами разрабатывает курсы.

LEFT JOIN

25 September 2023 14:04

​​250 лет визуализации данных
На Tableau Public разместили инфографику дизайнера Катерины Противенской которая отобразила главные вехи в истории датавиза. Мы решили дополнить ее полезными ссылками — на случай, если вам захочется почитать про разные способы визуализации подробнее.

Про все-все точки на таймлайне рассказывать не стали — вряд ли нужно объяснять, что такое линейный график или столбчатая диаграмма. Остановились на тех, которые показались неочевидными: то есть, большинство из вас их, скорее всего, их видели, но могут не знать названия или особенности применения.

📍 Chart of Biography — таймлайн, созданный в 1765 году ученым Джозефом Пристли, с которого и началась история современного датавиза. Это не просто линия с датами: он отметил на ней сроки жизни видных исторических фигур, при этом разделив их на несколько групп — от политиков до поэтов.

📍 Choropleth map, она же фоновая картограмма, на которой цветами разной интенсивности отображают распределение показателя на местности: уровень достатка, заболеваемости, образования и так далее.

📍 Polar area или coxcomb chart — разновидность пайчарта. Когда-то с помощью таких диаграмм общественная деятельница Флоренс Найнтингейл убедила правительство Великобритании в необходимости реформы здравоохранения, а сейчас так частенько изображают «колеса жизненного баланса».

📍 Radar — диаграмма для сравнения нескольких показателей на круглом поле с прямыми «спицами», которые заменяют ось Y. Этот способ визуализации появился раньше, чем сам термин «радар», и также известен под названием spider web chart.

📍 Parallel coordinates plot — линейный график для сравнения нескольких сущностей по множеству показателей. Как радар, только не круглый.

📍 Sankey diagram отображает изменение показателя под действием различных факторов. Ее создатель, Мэттью Сэнки, таким образом проиллюстрировал энергоэффективность парового двигателя. С ее помощью можно демонстрировать сложные процессы, на которые влияет множество переменных. Например, вторжение Наполеона в Россию.

📍 Arc diagram и более поздняя chord diagram — эффектные способы показать связи между разными сущностями на линии или в круге.

📍 Box plot — график с занятным русским названием: ящик с усами. На нем показывают сразу несколько состояний переменной: минимум, максимум, медиану и все, что между ними. Его плюс в том, что все эти данные умещаются на небольшой площади.

📍 Sparkline и slopegraph — две разновидности линейных графиков. На спарклайне отображают изменение одного показателя либо без осей координат совсем, либо с ограниченными данными на них, чтобы показать динамику без лишней информации. Слоупграф демонстрирует разницу между всего двумя точками (как правило, датами) и чаще всего применяется, когда надо сравнить «было — стало».

📍 Treemap — визуально эта диаграмма не имеет ничего общего с деревьями. Она изображает иерархическую (древовидную) структуру данных в виде сетки прямоугольников. То есть в фигуру побольше вложены относящиеся к ней фигуры поменьше.

📍 Bulletgraph — шкала, которая используется для оценки показателей и сравнения «план — факт». Это компактная альтернатива гистограммам или столбчатым графикам, на которой отображаются текущее и целевое значения показателя, а также качественная оценка — считается ли текущее значение высоким, средним или низким. То есть на одном столбце умещаются аж 5 метрик.

📍 Streamgraph — это сын маминой подруги, обычной area chart или областной диаграммы. Суть ровно та же, но центр диаграммы смещен вверх по оси Y, чтобы придать закрашенным областям более плавную форму. Главный минус — на таких графиках нельзя показать одновременно положительные и отрицательные значения.

Надеемся, что было полезно! Сохраняйте пост себе, чтобы не потерять все эти любовно отобранные ссылки 💙

LEFT JOIN

21 September 2023 10:35

Google Bard: умный ИИ, который поможет вам в любых делах
Google наконец-то представил экспериментального ИИ-помощника Bard, про которого мы уже писали весной. В его основе — языковая модель PaLM 2, которая умеет искать и анализировать информацию в интернете и в сервисах Google: в почте, среди документов на диске, на Youtube и так далее.

Это позволяет Bard выполнять довольно сложные задачи:
🔵 найти на Диске ваше резюме и подготовить сопроводительное письмо;
🔵 составить маршрут путешествия, выбрав дату, рейс, отель и даже видео Youtube, чтобы убить время в дороге;
🔵 написать текст по запросу и перепроверить его достоверность. Этого навыка многим людям не хватает, а у ИИ аж специальная кнопка есть;
🔵 накодить вам что-нибудь на любом языке программирования;
🔵 вести диалог, запоминая контекст. Доступом к переписке можно поделиться с другим человеком.

🔜 Еще примеры задач и переписок с ИИ — в блоге Google.

Возможностей масса, но пока в экспериментальном формате. То, что Bard — это эксперимент, Google подчеркивает отдельно и убеждает, что он будет становиться лучше благодаря пользовательскому фидбеку.

Bard уже говорит по-русски, но в России пока не поддерживается. Чтобы пообщаться с ним, понадобится VPN.

🔥 Кстати, заголовок к этому посту как раз Bard и предложил. Возможно, не самый впечатляющий вариант, но он старался!

LEFT JOIN

19 September 2023 11:55

Еще больше эмодзи на все случаи жизни
Вопрос, которым вы вряд ли задавались, но мы все равно нашли ответ: сколько существует эмодзи? Как оказалось, в Unicode их сейчас больше 3000, и почти каждый год добавляются новые. Несмотря на такое разнообразие, временами их все равно не хватает. Иногда кажется, чтобы идеально выразить мысль, нужен эмодзи с танцующей крысой.
Или магистром Йодой.
Или сиба-ину в шляпке.

К счастью, благодаря нейросетям проблема решена
EmojiGen — приложение, которое генерирует эмодзи по запросу. Оно состоит из двух компонентов:
🔵 Stable Diffusion, натренированная на эппловских эмодзи, создает изображение,
🔵 Rembg удаляет фон.

В результате получаются кастомные эмодзи, которые вы можете использовать в Slack или здесь в Telegram.

🔜 Приложение не умеет создавать анимированные эмодзи, да и обычные иногда генерирует неожиданные (даже в ответ на довольно очевидные промпты). Впрочем, почти всегда после пары попыток получается что-нибудь интересное. А еще это приложение с открытым исходным кодом, так что при желании можно попробовать подкрутить его под себя!

LEFT JOIN

17 September 2023 11:05

Вот бы платили каждый раз, когда вы отвлекаетесь на игры…
Думаете, просто это мечты? А вот и нет!

Тинькофф добавил в свое приложение игру «Ряд наград». Механика — всем знакомые «три-в-ряд». У вас есть поле с разными элементами, собираете три или больше одинаковых рядом по горизонтали или вертикали и зарабатываете очки.

🔵 Игроки не просто убивают время в пробке или на скучном совещании, но и соревнуются за призы от банка и партнеров. За набранные очки выдают кэшбэки, скидки, промокоды, денежные вознаграждения до 300 000 рублей и авиабилеты. В сумме призовой фонд — больше 20 000 000.
🔵 Головоломка будет доступна в приложении до 1 октября 2023 года, а 12 октября еще и пройдет розыгрыш призов по 500 000 рублей.

🔜 Как это все выглядит, можно посмотреть и даже пощупать на сайте Тинькофф!
Реклама. АО "Тинькофф Банк", ИНН 7710140679, ERID 2Vtzqx3FcE5

LEFT JOIN

15 September 2023 10:00

Идея, чем заняться сегодня вечером: добавить в календарь доклады, которые надо послушать на Yandex Scale 2023
Yandex Cloud приглашает на конференцию, посвященную новым сервисам платформы, новостям индустрии и облачным технологиям в целом.

Yandex Scale 2023 будет идти 2 дня:
🔵 25 сентября — онлайн-открытие;
🔵 26 сентября — основная часть.

В расписании мероприятия больше 30 докладов от экспертов компании по темам Data Platform, Infra + K8s, Security, Digital Workplace, Serverless и ML. Смотреть можно онлайн и оффлайн. Если выберете второй вариант, есть шанс лично познакомиться с выступающими и задать все свои вопросы. А после — посетить afterparty!

Программа очень насыщенная, так что мы рекомендуем заранее ознакомиться, выбрать интересные доклады и добавить в календарь.

🔜 Ну, и регистрироваться, конечно!
Реклама. ООО "Яндекс" ИНН 7736207543

LEFT JOIN

13 September 2023 11:23

Klack: ASMR для пользователей Mac
Пока все обсуждают презентацию Apple и цену на новый iPhone, мы вспомнили про классное приложение на Mac!

🔜 Если вас по какой-то причине не устраивает звук вашей клавиатуры (или у вас и вовсе та самая многострадальная «бабочка» из 2016-2019 годов), то Klack создан специально для вас.

🔵 Функция у него одна — генерировать и выдавать через динамики щелчки механических клавиш во время печати. Можно настроить звучание и громкость для достижения идеального ASMR-эффекта.

🔵 Приложение платное и, судя по отзывам, стоит своих денег: пользователи пишут, что звук получается реалистичный. Вроде мелочь, но она приятно разнообразит рабочий процесс — особенно если вам приходится много печатать.

А как вам идея такого приложения? Ставьте реакцию 🆒, если задумались о покупке!

LEFT JOIN

11 September 2023 12:48

Нейросеть, которая дала новую жизнь мемам нулевых
Все выходные в твиттере происходило неожиданное возвращение 2000-х. Появились сотни, если не тысячи твитов, которые резко набрали популярность и это… мемы, которые стали своего рода классикой. Да-да, те самые видео «идущего к реке», «женщины, кандибобер которой — не то, о чем вы подумали», а также «отзыв на столовую с чаем, который делает из тебя человека». Только на английском!

Как это случилось?
Внимание пользователей было буквально приковано к Hey Gen — сервису, который может переводить короткие видео (30-50 секунд) с одного языка на другой (более 100 языков и акцентов). И если бы только переводить, тут нас уже совершенно не удивишь. При переводе голос, интонация и мимика спикера сохраняются с пугающей реалистичностью.
Поэтому если вы не видели оригинал (как я, когда наткнулся на один из роликов), то понять в чем прикол не получится!

Что еще может сервис?
Да чего только он ни может! Помимо перевода видео, можно создавать аватары (то есть полностью менять внешность спикера, оставляя лишь оригинальный голос) или наоборот загружать свое фото и создавать видео-визитку на его основе.

Как и на все, что связано с нейросетями, на это можно смотреть, как с позитивной ❤️, так и с негативной стороны 🙈.

А что думаете вы? Оставляйте реакции!

LEFT JOIN

08 September 2023 12:23

Не любите данные? Вы просто не умеете их готовить
Уверены, что все наши подписчики любят данные, но не удержались от этой шутки.

Знаете, что такое Mise en place?
Это французский кулинарный термин, который переводится как «ставить на место». Так называют подготовку ингредиентов, когда повара заранее отмеряют, нарезают и раскладывают по мискам продукты, чтобы не тратить время потом. Так овощи не сгорят, пока вы режете мясо, или не окажется вдруг в процессе готовки, что какого-то важного компонента не хватает.

Этот подход можно использовать не только в кулинарии, но и в других областях, включая работу с данными. Их тоже надо подготовить, почистить и упорядочить. Как это сделать, рассказывает статья в блоге сервиса по визуализации данных Datawrapper.

Это целый лонгрид на 20 минут, но, если уделить ему время сейчас, вы сэкономите себе много часов работы и нервов в будущем. Автор статьи дала множество простых, но полезных советов, которые облегчат жизнь. Например:

1️⃣ Не вносить никакие изменения, не сделав бэкап. Если окажется, что вы удалили что-то нужное, придется все отматывать обратно.
2️⃣ Сохранить все ссылки на источники.
3️⃣ Удалить все лишнее — ссылки, сноски, единицы измерения (их лучше убрать в заголовки, а в ячейках оставить только цифры).
4️⃣ Не забывать о форматировании — разделить все слитые ячейки, закрепить первую строчку и ряд, чтобы они всегда были на виду.

Каждый пункт сопровождает короткая инструкция по работе с Excel и Google Sheets с описанием, куда именно нажать, чтобы все заработало. Статья будет особенно полезна новичкам, но и опытные пользователи точно что-нибудь почерпнут!

LEFT JOIN

05 September 2023 11:28

Мало собрать данные — надо уметь их визуализировать 👀
Неструктурированные данные на 100 листах, какими бы ценными они ни были, вряд ли принесут много пользы. Но просто собрать их в табличку или нарисовать график мало: визуализация данных (если короче — датавиз) должна быть логичной, полной и не слишком сложной.

Не всегда непонятные графики — следствие искреннего неумения составлять их
Иногда это сознательный ход.

Сравните графики на картинке выше. Информация на них одинаковая: оба показывают, сколько процентов машин разных марок остаются на ходу спустя 10 лет после покупки. А вот эффект они производят разный из-за того, что на левом шкала Y начинается не с 0. Если не приглядываться, то можно и не распознать попытку манипулировать вашим восприятием.

Даже если вам не приходится строить графики на работе, будет не лишним научиться подмечать такие вещи
Кажется, это очень простые и банальные мысли? Тогда проверьте себя с помощью теста на знание правил гигиены датавиза “Bar or Pie”.

Мы знаем о датавизе очень много — от базы до цветовых приемов, но редко об этом рассказываем. Если вам хочется чаще читать об этом в нашем канале — дайте нам знать любой вашей любимой реакцией!

LEFT JOIN

01 September 2023 13:35

Посвящается всем, кто идет спать, а потом еще час листает TikTok
И казалось бы, что может быть полезного в том, что мы вечерами залипаем в TikTok, Reels или Shorts? Однако, мы в @leftjoin решили превратить даже эти данные в полезные. На этом примере мы сегодня мы расскажем о том, что такое линейная регрессия и для чего она нужна, на этом тревожном, но жизненном примере!

P.S. А вы знали, что короткие видео сожрали почти весь рынок мобильных игр, так как люди стали предпочитать свайпы роликов времени, которое они тратили в играх?
#основы_статистики

LEFT JOIN

23 August 2023 12:57

Больше никаких споров Python vs. Excel — силы объединяются
Microsoft продолжает радовать пользователей инновациями, представив публичный просмотр новой функции — внедрение Python в Excel. Кажется, анализ данных в Excel и больше не будет прежним (а также закончатся многолетние споры о том, какой инструмент для этих целей лучше)!

Рассказываем подробно
🔵 Python на базе Excel будет работать через облако Microsoft Cloud (кстати, тут можно посмотреть скриншоты обновленного интерфейса).
🔵 Новая интеграция предоставит возможность визуализации данных и построения графиков в Python, сохраняя привычное использование формул, диаграмм и сводных таблицы Excel. Cложные формулы, которые раньше приходилось муторно конструировать в ячейках Excel, можно будет заменить парой строк кода на Python без перехода в отдельный ноутбук!
🔵 Благодаря сотрудничеству с Anaconda, основные библиотеки для анализа данных, такие как pandas, statsmodels и matplotlib, также появятся в Excel.

Как потестить?
Интеграция Python в Excel уже доступна для пользователей Microsoft 365 Insiders, официальногo сообществa бета-тестеров MS. Первоначально эта функция будет доступна только пользователям Windows. Будет ли она платной или бесплатной потом — покажет время.

Ставьте реакции, посмотрим, что думает большинство — это возрождение Экселя 🦄 или MS поздновато опомнились 🤔?

LEFT JOIN

04 October 2023 11:11

Обучение нейросетей — долгий и сложный процесс, требующий терпения и огромных массивов данных… или нет?
Ресурсоемкость — одна из больших проблем в работе с ИИ. Большое количество данных для обучения, множество итераций, огромные вычислительные мощности — принято считать, что все это необходимо для эффективной тренировки нейросетей.

🔵Сотрудники fast.ai — некоммерческой организации, исследующей ИИ, — обнаружили, что иногда нейросети достаточно одного-двух примеров данных, чтобы выявить закономерности и начать давать правильные ответы.

🔵Они готовили нейросеть для соревнования, где участники должны были ответить на сложные научные вопросы, созданные LLM (большой языковой моделью). Для обучения использовали созданный человеком сет из 200 вопросов. Во второй же итерации обнаружили резкое уменьшение числа ошибок, словно нейросети было достаточно пары примеров, чтобы выявить закономерности. Это видно и на графиках — резкое падение числа ошибок отмечает начало каждой новой итерации.

Обычно такой результат — ­следствие бага или переобучения, но не в этот раз
Команда проекта пришла к выводу, что нейросеть и правда смогла очень быстро обучиться, хотя fast.ai готовы рассмотреть альтернативные гипотезы.

🔜 Целиком читайте их исследование в блоге — особенно интересны выводы. Кажется, что быстрое обучение ИИ пойдет всем только на пользу и позволит сэкономить силы, время и деньги. Но долгое обучение = более предсказуемый результат, а слишком быстрый процесс рискует выйти из-под контроля. К тому же нейросетям для тренировки все еще нужно много данных, пусть и только на первых этапах.

P.S. А знаете, что еще не требует терпения или огромных массивов данных? Голосование за сторис LEFT JOIN по ссылке! Будем рады, если отдадите нам свой голос — обещаем не спамить и делиться только полезным.

LEFT JOIN

02 October 2023 11:15

DALL·E 3 станет лучше рисовать руки, но это в ней не самое интересное
На сайте Open AI появился анонс новой версии DALL·E, которая станет доступна платным пользователям в октябре. Обещают, что качество изображений улучшится, а работать с ней станет проще. Больше не придется ломать голову над составлением правильных промптов — нейросеть станет лучше понимать запросы, написанные «обычным» языком. При этом DALL·E научится рисовать точно по заданию пользователя, не упуская никаких деталей.

Это стало возможно благодаря тому, что DALL·E 3 работает на ChatGPT, которая, как обещает Open AI, даже поможет писать промпты.

Внимание также привлекают новые ограничения перед DALL·E 3. Судя по всему, Open AI делает шаги к решению некоторых этических вопросов, связанных с нейросетями.

Что нового?
🔵 Как и предыдущие версии, DALL·E 3 откажется генерировать все, что связано с жесткостью, темами для взрослых и разжиганием ненависти.
🔵 Новая версия не будет рисовать публичных личностей. Помните, как завирусилась картинка с Папой Римским в модной куртке? DALL·E 3 в такую историю не попадет.
🔵 И наконец, она не будет копировать стили конкретных художников. Так Open AI отреагировала на частые жалобы, что нейросеть ворует работы художников.

Кроме того, Open AI работает над инструментом, который поможет идентифицировать изображения, сгенерированные DALL·E 3.

Выглядит интересно, так что ждем выхода, чтобы посмотреть, как это все будет работать на практике!

LEFT JOIN

28 September 2023 11:53

Вы смотрели «Мир Дикого запада»?

Это сериал (изначально фильм) про парк развлечений, населенный андроидами. Там гости парка могли полностью погрузиться в атмосферу Дикого запада и почувствовать себя настоящими ковбоями.  Это было возможно благодаря высоким технологиям и развитому ИИ роботов парка.

Ничего похожего в реальной жизни (пока) нет, но есть ChatGPT и фантазия — а с их помощью вполне можно попасть хоть на Дикий запад, хоть в древний шумерский город Ур.

🔜 Как это сделать, рассказывает историк и преподаватель Бенджамин Брин. Заодно он показывает, что ИИ — не враг, который добьет гуманитарные науки, а удобный инструмент.

🔵 Он предлагает студентам с помощью нейросетей смоделировать реальные исторические ситуации. Например, разговор с Эа-Насиром — шумерским торговцем, вошедшим в историю, потому что ему была адресована самая древняя известная нам жалоба покупателя. Или же можно почувствовать себя аптекарем в Париже в разгар эпидемии чумы. В итоге получается что-то вроде текстового квеста.

🔵 Студентам надо не просто поговорить с нейросетью про качество меди Эа-Насира, но и проверить историческую достоверность ее ответов, а затем написать эссе по итогам этой работы. По словам Брина задания понравились даже самым невовлеченным студентам, вечно скучавшим на задних партах. Его впечатлила и креативность. Одни и те же ситуации развивались по-разному: в «чумном» сценарии кто-то изобрел лекарство, кто-то сбежал в леса, а кто-то возглавил крестьянское восстание. Были и неудачные случаи: один студент пожаловался, что в его «симуляции» появились говорящие крысы.

На фоне частых разговоров про то, как нейросети отнимают рабочие места и обесценивают людской труд, приятно видеть подобные небанальные способы использовать их во благо. Верим, что со временем таких кейсов станет только больше!

LEFT JOIN

26 September 2023 11:33

ChatGPT скоро сможет сделать комплимент вашему селфи. Вслух
OpenAI расширяет функционал ChatGPT — нейросеть научили видеть, слышать и говорить. То есть, скоро в нее можно будет загрузить изображение или голосовое сообщение, а в ответ получить не только текст, но и аудио.

В ближайшие две недели обновление станет доступно для подписчиков ChatGPT Plus и корпоративных клиентов. OpenAI обещает, что вскоре новые функции сделают доступными и для остальных категорий пользователей, включая разработчиков.

Что же с ними можно будет сделать?
🔵 Загрузить одно или несколько изображений и дополнить их текстовым промптом. Например, попросить проанализировать график в презентации, решить уравнение в учебнике или просто прокомментировать любую произвольную фотографию.
🔵 Поговорить с нейросетью — она расшифрует ваши слова с помощью системы распознавания речи Whisper, сгенерирует ответ и озвучит его одним из пяти доступных голосов.

С каждым обновлением взаимодействие с нейросетями становится все более естественным и человечным. И получается вот такой ламповый киберпанк, в котором робот рассказывает сказки или составляет рецепты по фотографии полки холодильника!

LEFT JOIN

22 September 2023 14:17

Разве может робот написать симфонию? Теперь да
Нейросетями, генерирующими аудио, вряд ли кого-то удивишь (мы про них уже писали здесь и здесь, например), но новая разработка Stability AI заслуживает внимания. Это потенциально удобный и полезный инструмент для контент-мейкеров.

🔵 Stable Audio — диффузионная модель, которая создает музыку и звуковые эффекты по текстовому описанию. Ее натренировали на датасете из более чем 800 000 файлов, представленных AudioSparx — компанией, продающей стоковые аудио.

🔵 Вопрос авторских прав, когда речь заходит о ИИ-контенте, стоит остро — спросите у художников, которые борются против обучения нейросетей на их работах. Использование материалов AudioSparx для тренировки Stable Audio этот вопрос снимает, и ее творения можно использовать в коммерческих целях, как любую стоковую музыку.

🔵 Stability AI подчеркивают, что они преодолели одно из основных ограничений диффузионных моделей — обычно, обучение на 30-секундных треках ведет к генерации таких же 30-секундных треков. Stable Audio же позволяет пользователю самому выбрать длину сгенерированной дорожки аудио, и задать подробное текстовое описание, которому она следует весьма точно. Она создает не только музыкальные композиции, но и звуковые эффекты — например, шум людного кафе.

🔜 Stability AI предусмотрели три тарифа. Бесплатный позволяет создать 20 треков в месяц длиной до 45 секунд, которые нельзя использовать в коммерческих целях. На платном за 11,99$ можно создать аж 500 треков до 90 секунд, разрешенных к использованию в рекламе. Условия сотрудничества на корпоративном тарифе обсуждаются индивидуально.

На сайте модели предупреждают, что из-за большого трафика могут быть перебои в работе, хотя нам ничто не помешало создать пару тестовых мелодий!

LEFT JOIN

20 September 2023 11:15

Еще один шаг на пути к работе в зарубежной IT-компании

Если ваши хард-скилы на самой высокой высоте, то от работы в европейской или американской компании вас может отделять лишь языковой барьер. Курс «Английский для аналитиков» от Яндекс Английского — отличная возможность, чтобы его преодолеть, если вы хотите изменить свою профессиональную жизнь и присоединиться к международной команде!

Программа обучения сфокусирована на рабочих кейсах и навыках, необходимых для успешного общения с интервьюерами и коллегами:

🗣️ Самопрезентация
Научитесь рассказывать о своей роли, задачах, сфере ответственности на поведенческом интервью и в неформальной беседе.

🙌 Работа в команде
Овладейте навыками стендапа, планирования спринтов, и научитесь демонстрировать навыки коллективной работы на собеседованиях.

👨‍💻 Общение с заказчиками и исполнителями
Научитесь собирать требования у стейкхолдеров и формулировать задачи для разработчиков.

📈 Презентация результатов работы
Получите опыт выступлений на митапах и неформального общения с коллегами из вашей отрасли.

📝 Обсуждение решений по проекту
Овладейте навыками генерации и аргументации идей, получите опыт активного участия в мозговых штурмах.

🚀 Рефлексия и самоанализ
Овладейте навыками проведения ретроспектив и ревью, научитесь давать ответы на сложные вопросы.

Запишитесь на бесплатную консультацию и кураторы Яндекс Английского от Практикума помогут вам определить ваш уровень владения языком и расскажут подробнее о программе обучения.

But for now, let’s call it a day!
#реклама

LEFT JOIN

18 September 2023 16:31

LlamaIndex — фреймворк для работы с LLM и данными разных форматов
Он упрощает как обучение нейросетей, так и обработку больших объемов информации. В него можно загружать таблицы, тексты, презентации, графики, изображениями, API, веб-страницы — практически любые виды данных. LlamaIndex индексирует и анализирует их, чтобы ускорить поиск информации и интеграцию с внешними приложениями и нейросетями.

Что это дает на практике?
🔵 Удобный интерфейс для взаимодействия с LLM. Можно загрузить в LlamaIndex документ, а затем попросить краткое содержание или задать конкретный вопрос. Фреймворк обработает данные и запрос пользователя, передаст их нейросети, а та уже выдаст ответ.
🔵 Объединение разных источников информации и моделей в одну систему. Задать вопрос ChatGPT можно и без дополнительных инструментов, но если у вас много разных видов данных, удобнее собрать их в кучу в единый индекс, который и создает LlamaIndex.
🔵 Структурированные данные для обучения LLM.

В общем, LlamaIndex — удобный и гибкий инструмент, который может упростить работу, если вы часто экспериментируете с нейросетями.

LEFT JOIN

16 September 2023 12:05

Уходим в WhatsApp?
Теперь у WhatsApp (принадлежит компании Meta, в РФ признанной экстремистской) тоже есть каналы! Новая фича доступна не везде, а в 150 странах, среди которых России (пока?) нет. На первый взгляд функционал такой же, как в Telegram, но есть отличия.

Ключевое в их позиционировании— это особое внимание защите данных:
🔵 Админы не смогут видеть номера телефонов подписчиков, подписчики не могут видеть номера админов, и никто не может видеть, на какие каналы подписаны другие люди.
🔵 Сообщения удаляются из каналов через 30 дней.
🔵 Владельцы каналов могут скрыть их из каталога, ограничить список подписчиков и запретить делать скриншоты и пересылать сообщения.

Кроме тотальной секретности, есть и другие особенности:
🔵 Каталог каналов с фильтрами по темам, странам, уровням активности и дате создания.
🔵 У каналов в приложении своя вкладка, отдельная от чатов.
🔵 Комментировать посты нельзя, но можно ставить реакции-эмодзи.

🔜 Функция появилась в WhatsApp в июне, сначала в 9 странах, теперь вот в 150 и, возможно, скоро доберется и до России. Но переносить туда @leftjoin мы, конечно, не планируем — Telegram все-таки роднее!

LEFT JOIN

14 September 2023 11:55

Если проанализировать тернии, до звезд доберетесь быстрее!
Посмотрите на фотографию. Вот так на самом деле выглядит Млечный путь, без фильтров и прочих ухищрений. Когда вы в последний раз видели нечто подобное? Если вы живете в городе, велика вероятность, что это было давно, да и вообще — редкость.

Всему виной световое загрязнение. Домашние лампы, уличные фонари и фары машин делают жизнь удобнее и безопаснее, но создают над городами световые купола. Последствий для людей и окружающей среды много, и одно и из них — то, что большинство из нас не могут ночью из окна увидеть звездное небо, если только не уедут куда-нибудь подальше.

Именно это и пришлось сделать Луисону Дюмону, основателю компании Bitproof. Во время отдыха в Португалии он решил полюбоваться звездами.

Чтобы это сделать, он:
🔵 наложил друг на друга карты португальских отелей и светового загрязнения,
🔵 нашел отель в крошечной деревушке,
🔵 посреди ночи поехал еще дальше, туда, где согласно его карте, степень освещенности по шкале Бортля соответствовала классу 3 («Деревенское небо»).

И только после этого Дюмон смог насладиться видом раскинувшего над головой Млечного пути. Вот так технологии отняли у нас возможность смотреть на звезды по ночам, и технологии же ее вернули.

Это не единственное и не самое серьезное следствие светового загрязнения. Оно вредит психическому и физическому здоровью людей и животных и наносит серьезный урон целым экосистемам. Некоторые государства уже начали борьбу с ним на законодательном уровне. Но, пока оно никуда не делось, простым людям остается искать темные уголки для любования звездами с помощью уловок вроде той, что придумал Дюмон.

Кстати, он выложил свою карту в открытый доступ! Если готовы повторить его подвиг и отправиться в глушь, чтобы посмотреть на Млечный путь, теперь у вас есть для этого удобный инструмент.

LEFT JOIN

12 September 2023 15:47

На вопрос «Чем занимается инженер данных?» можно ответить по-разному
Можно совсем кратко — он выстраивает архитектуру данных, решает проблемы заказчика и делает его жизнь лучше.

А можно подробнее и с наглядным примером
BetPawa — беттинговый сервис, который много работает с OLTP, обработкой транзакций в реальном времени. Компания столкнулась с тем, что ее DWH не справляется с постоянным потоком данных. Они обрабатывались долго и не всегда корректно отображались в отчетах, а само хранилище работало медленно, ненадежно и требовало слишком много ресурсов.

Мы спроектировали архитектуру для заказчика и выстроили новые процессы инжиниринга. В результате — быстрое, гибко масштабируемое DWH, которое работает намного производительнее и уменьшает количество нестыковок в данных.

🔵 Стек: ClickHouse, Kafka, Redash
🔵 Результат: довольный заказчик и сильный кейс в портфолио
🔵 Подробности: на сайте

Именно с такими задачами работают наши инженеры — иногда сложными, иногда очень творческими, но всегда интересными.

Кстати, сейчас у нас открыта вакансия Data Engineer, и у вас есть возможность присоединиться к нашей команде!

LEFT JOIN

08 September 2023 15:05

6,5 месяцев нужно, чтобы стать инженером данных с 9 проектами в портфолио

Именно столько длится курс Яндекс Практикума «Инженер Данных». Он рассчитан на начинающих специалистов и тех, кто хочет перейти в эту сферу из смежной — разработки или аналитики.

Студенты курса научатся:
🔵 использовать различные инструменты для обработки данных — PostgreSQL, Kafka, Airflow и другие;
🔵 проектировать пайплайны, создавать витрины и хранилища;
🔵 применять полученные знания на реальных рабочих задачах.

Обучение проходит онлайн и рассчитано примерно на 12 часов в неделю — удобно совмещать с работой или другими курсами. Оно включает в себя вебинары, практические задания и тренажеры.

Во время обучения наставники регулярно проводят код-ревью и помогают с освоением материала. После учебы студентов знакомят с рынком труда и рассказывают, как составить резюме и пройти собеседование.

Крутой курс + помощь с трудоустройством = 69% выпускников, которые нашли работу после учебы.

Ближайший набор 11 сентября — записывайтесь, чтобы начать карьеру инженера данных!
#реклама

LEFT JOIN

07 September 2023 10:17

Если не знаете, как подступиться к SQL — начните с этого гайда
Сразу предупреждаем: с телефона ссылку лучше не открывать.

Авторы поставили себе задачу создать понятный, современный и дружелюбный к новичкам документ. В целом, у них получилось, но есть одно «но». О нем в конце, а пока расскажем, что интересного там есть:

🔵 Самые основы — что такое SQL и как устроены базы данных;
🔵 Анатомия запросов с разбором, из чего они состоят, как пишутся и какие вообще бывают;
🔵 Доступное описание возможностей SQL — от базовых операций до более сложных концептов вроде CTE, оконных функций и подзапросов;
🔵 Практические вопросы на закрепление материала.

Гайд представляет собой большую доску разделенную на несколько блоков. Чтобы облегчить навигацию по документу, авторы сделали карту. Можете начинать чтение с начала или переходить сразу к самому интересному.

Документ получился крутой! Пригодится и начинающим, и тем, кто с SQL знаком, но хочет освежить знания. Единственный недостаток на наш взгляд — это формат. Авторы использовали сервис Count.co — похожий на Miro инструмент для аналитиков данных. С гуглдоками работать привычнее, а такая подача в виде огромной тяжелой доски кажется пугающей.

А что думаете вы?👀

LEFT JOIN

04 September 2023 11:29

Data Secrets — канал для датасаентистов
Изучать новое и усиливать свои знания в области анализа данных и нейросетей всегда лучше на практических и рабочих кейсах, а не на сухих сводках теории из учебника. Этот подход разделяем и мы, и авторы канала @data_secrets.

Например, у них есть здоровские материалы про то:
🔵 Как тренировали алгоритм, который обыграл чемпиона мира в шахматы?
🔵 Как работает FaceID в твоем смартфоне?
🔵 Как обучить ChatGPT на стареньком ноутбуке?
🔵 Как предсказать курс биткоина и исход футбольного матча?
🔵 Чем отличаются сверточные и рекуррентные нейросети?
#реклама

LEFT JOIN

31 August 2023 10:26

SQL — навык, который нужен не только аналитикам
Чем больший объем данных используют на проекте, чем выше нагрузка на систему — тем более продвинутый SQL нужен разработчикам. И если вам хочется быстро освоить SQL и начать использовать его в работе, с этим поможет курс Практикума.

После 3 месяцев курса вы сможете:
🔵 уверенно пользоваться простыми селектами, джоинами, индексами и оконными функциями,
🔵 отладить запрос, который сгенерирован через ORM,
🔵 составить сложные запросы на нативном SQL,
🔵 применить продвинутый SQL, чтобы писать код для высоконагруженных систем,
🔵 чувствовать себя спокойно на собеседованиях.

Записывайтесь и растите в карьере!
#реклама

LEFT JOIN

22 August 2023 15:50

Просто магазинчик цветов в Копенгагене 🇩🇰