Как сделать быстрый дашборд по таблице из 150 млн строк с помощью Yandex DataLens и ClickHouse
Привет! Меня зовут Роман Бунин, я BI-евангелист Yandex DataLens. При росте объёма данных, что неизбежно для любой компании, загрузка дашбордов может замедляться до десятков секунд. И чем больше появляется данных, тем медленнее становятся дашборды, особенно если вы хотите строить их по детализированным таблицам. Связка базы данных ClickHouse и BI-системы Yandex DataLens — популярное решение для анализа данных. Эти инструменты нативно интегрируются и быстро работают вместе.
Знакомимся с участниками Недели бэкенда!
9️⃣ Звук
Звук (zvuk.com) — Hi-Fi-стриминг с музыкой в самом высоком качестве звучания, тысячами подкастов, аудиокниг, радио и детским контентом.
Голосуйте за лучшие питчи, откликайтесь на вакансии с секретной фразой «Неделя бэкенда 2023» и подключайтесь к IT-митапу 7 июля!
👉 Подробнее о проекте
⚡️ Новости к этому часу
🕰 Учёные утверждают, что в ранней Вселенной время текло в несколько раз медленнее
🛴 В Совфеде предложили ограничить скорость электросамокатов в Москве до 10 км/ч
🖼 ИИ-сервис Vectorizer для векторных картинок стал общедоступным
⚖️ Британский суд признал нарушение Apple двух стандартных патентов Optis
🛰 Роскосмос опубликовал новые снимки со спутника «Метеор-М» № 2-3 (ФОТО)
😴 В REMspace предложили способ смены сюжетов снов при помощи ударов током
🌐 РКН, ГРЧЦ, операторы связи в ночь с 4 на 5 июля «выключали международный интернет»
#новости
«Я решил посвятить свою первую статью SQL. Вопросы, рассмотренные ниже, мне задавали на собеседованиях на позицию Python-разработчика. Естественно отвечать правильно получалось не всегда, а если точнее, то чаще неправильно, однако, проведя N часов в рефлексии, я составил перечень ответов, которыми пользуюсь до сих пор»
Шпаргалка по SQL, которая выручит на собесах
Знакомимся с участниками Недели бэкенда!
5️⃣ Самолёт
«Самолёт — одна из самых технологичных компаний сфере девелопмента. Мы разрабатываем не только PropTech-решения, но и развиваем цифровые продукты в других направлениях»
Голосуйте за лучшие питчи, откликайтесь на вакансии с секретной фразой «Неделя бэкенда 2023» и подключайтесь к IT-митапу 6 июля!
👉 Подробнее о проекте
«В последнее время происходит ренессанс новых программ для ретро-компьютеров — для них пишут клиенты Slack, клоны Wordle, клиенты Mastodon. Однако большинству этих программ при подключении к Интернету требуется запущенный на современном компьютере прокси для работы с SSL/TLS. Но заставлять Gateway 4DX2-66 с установленной Windows 3.11 for Workgroups использовать для подключения к Интернету современную машину — это довольно грустное решение, поэтому я решил изменить статус-кво»
Современный TLS/SSL в Windows 3.11
Знакомимся с участниками Недели бэкенда!
4️⃣ билайн
«Сегодня билайн — технологичная компания. Мы предоставляем клиентам услуги в области Big Data, IT, безопасности, облачных технологий, интернета вещей и рекламных инструментов»
Голосуйте за лучшие питчи, откликайтесь на вакансии с секретной фразой «Неделя бэкенда 2023» и подключайтесь к IT-митапу 5 июля!
👉 Подробнее о проекте
Знакомимся с участниками Недели бэкенда!
3️⃣ Lamoda Tech
Lamoda Tech — это ИТ-компания, где более 500 человек создают digital-продукты для e-commerce и делают моду ближе для миллионов пользователей Lamoda.
Голосуйте за лучшие питчи, откликайтесь на вакансии с секретной фразой «Неделя бэкенда 2023» и подключайтесь к IT-митапу 5 июля!
👉 Подробнее о проекте
«Так уж повелось, что в свободное от работы и досуга время я занимаюсь ремонтом разной техники. И дело тут не в деньгах. Разглядывание плат и нахождение неисправностей мне доставляет эстетическое удовольствие. Чаще всего мне приносят устройства, с ремонтом которых возникли проблемы в сервисах и их не удалось отремонтировать. Решил сделать пост с одним из интересных ремонтов»
Ремонт магнитолы Harley Davidson
Кодеки новой эпохи: HEVC, AV1, VVC и нейросети
Хотя новые стандарты кодеков появляются каждые десять лет, все они основаны на пиксельной математике — манипулировании значениями отдельных пикселей в видеокадре для удаления информации, не важной для восприятия. Другие математические операции уменьшают объём данных после первоначального кодирования.
В новом поколении кодеков алгоритмы машинного обучения используются для анализа и понимания визуального содержания видео, выявления избыточных данных и более эффективного сжатия. Вместо написанных вручную алгоритмов тут применяют методы Software 2.0, основанные на обучении. Данная область развивается на протяжении десятилетий, но в последние годы получила сильный толчок.
«Магнит» обвиняют в обвале рубля, ипотечникам облегчили банкротство, занесение ЕБЛ в ЕБС, что употребляют Илон Маск и Сергей Брин, почему Верховный суд США впрягся за азиатов, а также возрождение криптобиржи FTX.
Все самые важные и интересные финансовые новости в России и мире за неделю
Чили. Единственная страна Южной Америки с безвизом в США
Когда говорят про благополучные страны в Южной Америке, то первая ассоциация, которая обычно приходит на ум, — это какие вообще благополучные страны в Южной Америке!? Чили. Низкий уровень преступности; очень высокий индекс человеческого развития; единственная страна Латинской Америки, гражданам которой не нужна виза для посещения США.
В этой статье поговорим о чилийских городах и общественном транспорте, об экономике и ценах, о землетрясениях и индейцах мапуче, о недавних протестах и о политической ситуации в целом, о пингвинах, о черимойе и обо всём-всём-всём
Если BlackBerry не идёт к пользователям, то пользователи идут к BlackBerry: проекты с запчастями и/или идеями «ежевички»
Многие читатели Хабра успели полюбить телефоны BlackBerry — как относительно старые телефоны, так и смартфоны последних лет, разработанные уже после продажи бизнеса компании другому бренду. К сожалению, сейчас это преимущественно «звонилка», поскольку поддержки софта нет, кроме разного рода сторонних продуктов и фанатских поделок. Тем не менее, телефоны BlackBerry не умерли, на их базе разрабатывают другие устройства. Иногда это смартфоны, иногда — внешние аксессуары к ПК и ноутбукам.
Давайте посмотрим, что это такое
Эффективная работа с битами при помощи Go
Эта статья познакомит вас с использованием возможностей Go для выполнения манипуляций с битами. Здесь мы разберём установку, очистку, инвертирование, сдвиг битов, использование техники SWAR, эффективную обработку Юникода и прочие приёмы, позволяющие повысить продуктивность программирования.
Американские психологи однажды провели потрясающе простой эксперимент.
Человеку даётся сто долларов и говорится, что неплохо было бы поделиться ими ещё с одним человеком. Второй участник не присутствует ни до, ни во время, ни после эксперимента, то есть может попросту не существовать. Сто долларов между тем совершенно реальны (святым американцы не шутят). В среднем испытуемый отдаёт из упавшего с неба стольника 25 долларов. Конечно, встречаются жадины, оставляющие всё себе, альтруисты, отдающие всё до последнего цента, эгалитаристы, делящие всё пополам, но средняя цифра именно такова: три четверти себе, четверть — другому.
Затем эксперимент немного усложняется. Второй участник становится реальным и может заблокировать сделку, если посчитает, что его сильно обделили. В этом случае и первый участник ничего не получит. Тут отсечение идёт примерно по 20 долларам — если предлагают меньше, то не доставайся же ты никому!
Давайте попробуем посчитать, как выглядело бы распределение богатств в обществе, построенном по подобному принципу
Странная архитектура
Вашему вниманию — небольшой рассказ с претензией на юмор о том, как в пост‑ковидный период автор разбирал проблемы на новой работе.
Софт для самохостинга: что нового в 2023 году
Среди обычных пользователей (физлиц) в последнее время наметилась тенденция ухода из облака на свою инфраструктуру. Об экономии тут речи обычно не идёт, потому что облачные сервисы Google, Apple и прочие заманивают бесплатными тарифами. Но у людей растёт понимание, что нельзя доверять Google. Надеяться можно только на себя.
В связи с этим стоит внимательнее посмотреть на стандартный софт для самохостинга, а также на последние новинки, которые имеют шанс заменить что-то из стандартного набора
Почему они не сталкиваются?
На момент середины 2023 года вокруг Земли вращается примерно 25000 искусственных спутников. В это число входят и действующие аппараты, и вышедшие из строя, и ступени выведения ракет-носителей, и различные обломки. Все эти спутники движутся по разным орбитам плотным слоем окутывая околоземное космическое пространство. Так почему же при такой «плотности» они не сталкиваются друг с другом? А когда начнут? Чем это чревато? И как вообще оценить вероятность столкновения с космическим мусором? Давайте разбираться.
«Доставать целевой продукт из печи нужно в определённый момент. Пробуришь лётку слишком рано — получишь мало продукта с высокими удельными затратами на операцию закрытия-открытия лётки и излишними теплопотерями. Слишком поздно — горн переполнится, что может привести к ряду технологических проблем»
Приоткрываем black box и смотрим в доменную печь. Эпизод первый. Оценка вышедшего шлака в течение выпуска
Как Сан-Франциско пытается спасти себя с помощью ИИ
После ковида Сан-Франциско перестал быть собой. Вот уже третий год как разработчики поняли, что они могут спокойно работать на удалёнке и не платить безумную арендную плату за жизнь в городе с массой бездомных. Город начал приходить в упадок. А после этого в прошлом году ещё и разрушился пузырь IT-компаний, капитализации упали в несколько раз, и сейчас новые инвестиции получить крайне сложно. Это лето обещало быть одним из самых болезненных для новых стартапов. Но тут появилась очередная золотая лихорадка: генеративные ИИ.
Сейчас весь город (и во многом экосистема Долины) делает ставку на одну новую технологию. Как до этого было с сотнями стартапов, разрабатывающих NFT, и попыткой реализовать «метавселенную», в которую ввязались и Цукерберг, и Наделла, и десятки компаний поменьше. Почти все эти стартапы сейчас закрылись, сотрудники оказались на улице, а инвесторы потеряли вложения. Но тут к счастью на горизонте возникла новая технология, которая точно взлетит! И теперь те, кому деньги кошелёк жгут, вливают финансы уже в неё.
FineBI 6.0: укрощение строптивого
Илья — старший аналитик «Альфа-Лизинга» и активный участник сообщества FineBI GlowByte. Он был одним из первых, кто протестировал масштабное обновление китайской платформы бизнес-аналитики FineBI, прочувствовав все тонкости во время миграции с другого технологического решения. Вот история о его пути сквозь тернии к звёздам.
Как Linux-умельцы превращают ROG Ally и другие портативные консоли в клоны Steam Deck
Кевин Пурди, освещающий гаджеты в ArsTechnica, сразу после своего обзора ROG Ally решил, что ему больше хочется иметь мощный Steam Deck. И занялся попыткой переделать местный Windows 11 в Steam OS.
⚡️ Новости к этому часу
🪐 «Уэбб» прислал сверхчёткие изображения колец Сатурна (ФОТО)
📃 В РФ появилась инициатива приравнять подержанную технику к новой для упрощения закупок госкомпаниям
🔎 Инструмент Snappy помогает обнаруживать поддельные или мошеннические точки доступа Wi-Fi
📦 «Ростелеком» стал единственным поставщиком по госконтрактам на создание, эксплуатацию и развитие ГИС в «ГосТехе»
🏴☠️ Чат-боты из сервиса «Весёлый Роджер» общаются с телемаркетологами и мошенниками вместо людей
⛔️ MindGeek заблокировала доступ к PornHub в Миссисипи и Вирджинии в ответ на закон о проверке возраста
🔄 Microsoft обновила сборку Microsoft Validation OS с облегчённым дистрибутивом Windows 11
#новости
Знакомимся с участниками Недели бэкенда!
2️⃣ Альфа Банк
«Альфа-Банк — технологичная компания, объединяющая 9000 IT- и Digital-сотрудников в сообщество Alfa Digital. Делаем удобные цифровые продукты»
Голосуйте за лучшие питчи, откликайтесь на вакансии с секретной фразой «Неделя бэкенда 2023» и подключайтесь к IT-митапу 5 июля!
👉 Подробнее о проекте
Политехнический институт Ренселлера в США подал иск против клининговой компании Daigle Cleaning Systems на сумму в $1 млн. Согласно иску, сотрудник компании, выполнявший уборку в лаборатории института, отключил морозильник с клеточными культурами, «уничтожив более 20 лет исследований».
В лабораторном морозильнике хранились культуры, которые были частью исследовательского проекта профессора биологии К. В. Лакшми. Культуры необходимо было хранить при температуре -80°C.
Китайский электромобиль Cao Cao 60 потерял сменную батарею во время движения в городе Чэнду в провинции Сычуань. Элемент питания выпал на дорожное полотно, а машина ещё немного проехала вперёд и остановилась.
Профильные эксперты Electrek пояснили, что, вероятнее всего, эта батарея была неправильно установлена на станции автоматической замены. В результате электромобиль создал аварийную ситуацию на дороге, но никто не пострадал. Стоимость подобного электромобиля для служб такси составляет $17500.
⚡️ Новости к этому часу
🎮 Пользователям удалось собрать и запустить утёкший код первой Far Cry
🔄 «Дзен» 1 августа обновит систему монетизации для авторов
⚙️ Разработчик опубликовал драйвер для управления яркостью Apple Studio Display на Linux
💻 Astrohaus выпустила пишущую машинку Freewrite Traveler с экраном на электронных чернилах (ФОТО)
🐤 В Microsoft Edge Canary добавили флаг для активации жестов мыши
🤝 Nokia продлила патентно-лицензионное соглашение с Apple
🆕 Вышла новая версия платформы управления доступом Solar inRights 3.2
💳 Tinkoff Pay подключили к оплате покупок по QR-кодам «Сбера»
🙀 Судя по данным InSight, у Марса жидкое ядро
#новости
Как погубить децентрализованную сеть (на примере Федиверса)
На дворе 2023 год. Весь Интернет — под контролем Империи GAFAM. Весь? Нет, несколько мелких анклавов пока не поддались их гнёту. А некоторые из этих непримкнувших стали объединять усилия, консолидируясь в «Федиверс».
В ходе дебатов на просторах Twitter и Reddit, Федиверс стал привлекать всё больше внимания и снискал славу. Люди стали всерьёз им пользоваться. Это не могло укрыться от внимания Империи.
Бой Маска и Цукерберга, бессмысленные ИИ-книги в списки бестселлеров Amazon и ChatGPT в роли священника. Это странные IT-новости июня 🤯
🐧 Разработчик из Red Hat спустя 292 612 перезагрузок нашёл редкую ошибку в ядре Linux 6
🔒 Из-за «расизма» умного дверного звонка Amazon заблокировала умный дом своего пользователя
⚖️ Американский радиоведущий подал в суд на Open AI из-за «галлюцинаций» ChatGPT
🤼♂️ Маск вызвал Цукерберга на бой, тот согласился, но мама Маска отменила мероприятие
🚜 Рабочие кенийских чайных плантаций ломают роботизированные системы уборки, чтобы не лишиться работы
📚 Бессмысленные книги, созданные ИИ, вошли в списки бестселлеров Amazon
⛪️ В Германии ChatGPT провёл службу в церкви
📲 Полиция Великобритании столкнулась с наплывом тихих звонков со смартфонов Android на номер службы экстренной помощи 999
#strangerIT
⚡️ Новости к этому часу
🤖 GitLab представила собственного ИИ-помощника для разработчиков
🔭 SpaceX и ЕКА запустили космический телескоп «Евклид»
🛴 Власти Казахстана ограничили скорость передвижения на электросамокатах по тротуарам 6 км/ч
🤗 Вновь открылась компания K-D Lab — создатель игр «ВанГеры», «Самогонки», «Периметр» и «Maelstrom»
💸 В России из-за санкций выросла стоимость разработки систем ИИ
🌡 В AirPods появится функция проверки слуха и датчик измерения температуры тела
🍎 Apple планировала управлять Vision Pro с помощью умных колец на пальцах
📦 «Авито» начал доставлять заказы в магазины «Пятёрочка» и «Перекрёсток»
🎮 Starfield можно будет получить бесплатно при покупке новых процессоров AMD (ФОТО)
🚘 Поставки Tesla выросли на 83% за второй квартал 2023 года
#новости