27828
Будни технического директора @samatg (ex-CTO Meduza, Bookmate, RAWG, Pure) https://fedorandsamat.com/ Чатик @ctodailychat Рекламу не продаю
О скрытой сложности, которую часто недооценивают: https://twitter.com/mathowie/status/838696822793101312
Вот схема, как Slack решает, послать уведомление или нет.
Господи, это божественный твит https://twitter.com/awscloud/status/836656664635846656 (спасибо, Женя!)
Читать полностью…
У Амазона серьёзные проблемы с облаком, s3 (один из крупнейших сервисов хранения файлов в мире, им пользуются многие стартапы, которыми пользуетесь вы) возвращает 500 во многих регионах, недавно упал EBS в двух регионах. Это происходит уже больше часа - а значит они потеряли право говорить "доступность 99.999%" - это 53 минуты отказа в год.
Весь интернет посыпался как домино: heroku, Trello, slack, Quora, Netflix, you name it.
Интересно, что в status dashboard у Амазона все зелененькое. Ещё интереснее, что сайт Amazon.com работает отлично - там чуваки умеют программировать без единой точки отказа.
За новостями следите в треде на HN, раз Амазон не готов признавать ошибок: https://news.ycombinator.com/item?id=13755673
Помните, какой страшный FB? А вот люди, которые делают AI для него.
https://backchannel.com/inside-facebooks-ai-machine-7a869b922ea7
MS исследует возможность строить контейнерные дата-центры в море, когда пачку серверов и свитчей запаивают в отрезок толстой железной трубы (типа подлодки) и держат под водой. Контейнеры можно добавлять во флотилию по-необходимости, не строя зданий. Ну и серьезная экономия на охлаждении.
Насчет того, что нельзя поменять сломавшийся жесткий диск или сервер (контейнер-то запаян): уже сейчас крупные площадки меняют серверный стойки только целиком, чинить серверы по-одному экономически нецелесообразно.
Основная проблема — моллюски, которые начинают жить на внешней оболочке контейнеров, они мешают охлаждению.
http://spectrum.ieee.org/computing/hardware/want-an-energyefficient-data-center-build-it-underwater
(пошучу, что MS-то поисследует, а сливки соберут, как всегда, Google и Amazon)
Мы с друзьями-коллегами долго ломали голову, зачем все крупные игроки / модные стартапы держат данные в облаке, когда ежу понятно, что железо+админ почти всегда дешевле, чем все эти квадриллионы value added services, разработку и поддержку которых осуществляют очень хорошо оплачиваемые инженеры. Ну и админ вам понадобится в любом случае :troll:.
И недавно дошло - дело ведь в искусственном интеллекте, машинном обучении. Вот тут с Google, Microsoft и особенно Amazon тягаться бессмысленно. Лучшие команды ученых, неограниченные вычислительные мощности. И готовые API, которые доступны за вполне разумную цену. Если вы держите данные у провайдера в облаке. Если нет - тут уже совсем другой разговор, и не факт, что вообще получится.
Вот все и катят свои snowmobileы в гигантские дата-центры бегемотов. Аминь.
Вот Amazon начал и обычным смертным объяснять, как использовать их АПИ, умея только Hello world. https://aws.amazon.com/blogs/ai/welcome-to-the-new-aws-ai-blog/
Разбавим томный рабочий день https://github.com/search?utf8=%E2%9C%93&q=remove+password&type=Commits&ref=searchresults
Читать полностью…
Scaleway демпингует по-жесткому, сравните их новое Intensive Workloads предложение с аналогом в DigitalOcean.
Читать полностью…
Страшная статья про Facebook от data-science ученого: http://veekaybee.github.io/facebook-is-collecting-this/
Вкратце: записывают абсолютно всё, ничего не удаляют и эксперименты проводят какие захотят (это самая жуткая часть, на самом деле).
Тот нашумевший эксперимент фб провел ещё в 2012 году, научная статья о нем вышла в 2014. Статья оказалась плохим PR-ом, так что больше мы о таких опытах не узнаем.
Впервые столкнулся с антиспамом/антифишингом в ФБ samat/приключения-одной-статьи-в-фб-71b8b534d5d" rel="nofollow">https://medium.com/@samat/приключения-одной-статьи-в-фб-71b8b534d5d
Читать полностью…
С пылу с жару, история от гитлаба. Как они на коленке продакшен базу спасали. Случайно выполнили команду удаления базы не на том сервере, а бэкапов, оказалось, нет.
So in other words, out of 5 backup/replication techniques deployed none are working reliably or set up in the first place.
Guys, don't be too hard on yourself. Все мы там были. Несколько месяцев назад аналогичная история произошла в медузе - монга двухлетней давности оказалась без бэкапов. Обнаружили мы это после того, как случайно удалили не тот сервер в админке хостера.
Единственный способ быть уверенным, что все в порядке - попробовать поднять реплику продакшена без продакшена, тестировать не бэкапы, а recovery plan.
Наслаждайтесь: https://docs.google.com/document/d/1GCK53YDcBWQveod9kfzW-VCxIABGiryG7_z_6jHdVik/pub
В описании канала написано: «куда переехать с Parse». Пора ответить на этот вопрос. Спасибо читателю Алибеку @alievalibek, что спросил.
https://dev.meduza.io/куда-переехать-с-parse-push-8d61698f2118
Google купил Fabric, как Facebook в своё время купил Parse. Готовьтесь к закрытию :trollface:
Читать полностью…
Короткая (14 страниц A4) и познавательная статья про безопасность в гугле: https://cloud.google.com/security/security-design/
Проходится «по верхам» обеспечения безопасности такого монстра, как Google.
Мне было особенно интересно про аутентификацию/авторизацию на уровне общения сервисов друг с другом (внутри есть больше подробностей про это):
Each service that runs on the infrastructure has an associated service account identity. A service is provided cryptographic credentials that it can use to prove its identity when making or receiving remote procedure calls (RPCs) to other services. These identities are used by clients to ensure that they are talking to the correct intended server, and by servers to limit access to methods and data to particular clients.
Логотип менять не будем! http://blog.trello.com/trello-atlassian
Читать полностью…
Отлаживаем новый формат Медузы. Целевое устройство — маленький телефон в центре кадра. На больших экранах — код страницы и сетевые запросы телефона. Чувствую себя хакером из фильмов 🙈
Читать полностью…
Мы в медузе используем s3 для хранения картинок, но при этом очень агрессивно кешируем все на своём самодельном CDN, так что пока эффекта нет (upd: с европейским амазоном пока всё ок).
Конечно, есть сервисы, где простой недопустим - но их обычно программируют люди, разбирающиеся в термине "единая точка отказа". Всем остальным можно расслабиться и запастись попкорном, такое не часто случается.
Крутая история, разворачивающаяся прямо сейчас: крупнейший CDN CloudFlare (им пользуются тысячи сайтов) сливал личные данные пользователей в паблик в течении месяцев. samat/cloudflare-сливал-данные-пользователей-в-паблик-в-течении-месяцев-c4add72b2143" rel="nofollow">https://medium.com/@samat/cloudflare-сливал-данные-пользователей-в-паблик-в-течении-месяцев-c4add72b2143
Читать полностью…
Исследователи из CWI и Гугла представили практическую атаку на SHA1.
SHA1 — это хэш-функция, то есть алгоритм, создающий цифровой отпечаток файла. Редактируешь хоть одну букву в гигантском файле и отпечаток меняется радикально, никак не перепутаешь. Файлы большие, а отпечатки — маленькие. Теория информации и теория множеств доказывает, что в такой ситуации всё-таки существуют два разных файла, имеющих один и тот же отпечаток. Вся суть хэш-функций в том, чтобы подобрать второй файл было как можно сложнее, читай практически невозможно.
SHA1 придумали в 1995 году в NSA (том самом агенстве национальной безопасности США) и с тех пор он активно использовался для большинства HTTPS-сертификатов в интернете. В 2005-м году исследователи обнаружили слабость в алгоритме, позволявшую теоретически произвести атаку на коллизии — подобрать второй файл с таким же отпечатком SHA1, что и у заданного первого файла. Начиная с 2010 сертификаты начали по-умолчанию использовать SHA2 или SHA3 — более свежие версии алгоритмов.
Но это всё были умные научные статьи, где пропускаешь формулы, потому что доверяешь научному сообществу и смотришь только на выводы.
Тут же можно самому скачать две разные PDF-ки, у которых совпадают SHA1. Довольно мощное впечатление.
Теперь модно давать крупным атакам имя и делать персональные сайты-объяснения. Встречайте https://shattered.io/
В суперкомпьютерной платформе IBM стоимостью 300 миллионов долларов нашли уязвимость, позволяющую украсть петабайты пользовательских данных. (Тот самый адов бигдата.)
Уязвимость - не многоступенчатый 0-day, а детская ошибка в конфигурации системы виртуализации, про которую можно прочитать в документации. Нашёл не супер хакер, а обычный технарь за вечер.
Это к вопросу о безопасности.
Статья достойна прочтения целиком - сколько они патчили ошибку и сколько заплатили нашедшему - не буду спойлить.
https://wycd.net/posts/2017-02-21-ibm-whole-cluster-privilege-escalation-disclosure.html
Дело в том, что часто программисты сначала пишут пароль от систем прямо в коде, а уже потом переносят его в секретный файл конфигурации. Тот неудобный момент, когда оказалось, что исходный код и вся история его правок доступна всему миру.
Читать полностью…
Пятничное чтение: мы делаем слишком тяжелые сайты при том, что у многих людей медленный интернет.
Может показаться оторванным от реальности брюзжанием, если бы не пример с AirBnB (сайт ломается при медленном интернете, а ведь именно в путешествии он такой).
Интересная цитата:
When I was at Google, someone told me a story about a time that “they” completed a big optimization push only to find that measured page load times increased. When they dug into the data, they found that the reason load times had increased was that they got a lot more traffic from Africa after doing the optimizations. The team’s product went from being unusable for people with slow connections to usable, which caused so many users with slow connections to start using the product that load times actually increased.
https://danluu.com/web-bloat/
Ищу второго системного администратора в Медузу. Работа удаленная, подробное описание вакансии внутри: https://dev.meduza.io/поиск-второго-админа-operations-engineer-в-команду-медузы-919b9f033f01
Читать полностью…
(поправил ссылку, у части читателей была 404)
Читать полностью…
История ещё не закончилась - админы продолжают восстанавливать эту многострадальную базу до сих пор - в прямом эфире! Стабильно 5000 вьюверов. https://m.youtube.com/watch?v=nc0hPGerSd4
Читать полностью…
Почти 4 месяца назад мы в Медузе запустили путеводители «Атлас» — 10 приложений-путеводителей на 3 платформах — Web, iOS, Android. Вот короткое описание, какие подводные камни мы собрали в процессе реализации проекта: https://dev.meduza.io/как-запустить-20-приложений-за-3-месяца-или-что-такое-атласы-bdb0515748d7
Читать полностью…
У online.net распродажа аренды серверов. Самые дешёвые уже кончились, но есть ещё много хороших предложений. Online - французский хостер с лучшим на мировом рынке соотношением цена-качество. Во всех серверах включен по-настоящему безлимитный трафик https://www.online.net/en/winter-2017/sales
Читать полностью…
Ghost объявил грант для журналистов. Для каждой из трех выигравших команд «сделают сайт» и будут помогать со всеми техническими вопросами core-разработчики платформы, которая грозится стать следующим Wordpress — стандартным ответом на вопрос «я пишу тексты, как мне сделать сайт?».
Очень хороший ход: ghost поймет, что нужно редакторам, а хорошие журналисты получат мощную техническую поддержку. Мы все будем пользоваться ещё более крутым движком.
https://ghost.org/journalism/
Бесило копировать скриншоты из Androidа, нашел комфортный для себя способ:
1. Удаляем все старые скриншоты adb shell 'rm /sdcard/Pictures/Screenshots/*'
2. Делаем скриншоты
3. Копируем папку screenshots куда хотим: adb pull /sdcard/Pictures/Screenshots Downloads
Отличная статья, как правильно задавать вопросы: https://jvns.ca/blog/good-questions/
Кстати, часто достаточно попытаться сформулировать вопрос, для того, чтобы самому догадаться до ответа (смотри метод резиновой уточки).
Краткое содержание статьи в картинке: