#инциденты

Помните, на прошлой неделе Cloudflare упал и уронил половину интернета?

Они пишут одни из лучших post-mortem’ов в индустрии. Последний — не исключение.

Круто, что они опубликовали его прямо в день падения. Обычно, одни согласования с юристами занимают дни.

Но самое впечатляющее для меня в этой истории — вот этот комментарий пользователя eastdakota на форуме hacker news.

Это Мэтью Принс, основатель и генеральный директор компании, которая обслуживает 20% всего интернет-трафика, рассказывает, как он сначала сидел на созвоне по починке аварии, а потом пригласил к себе домой бывшего техдира (тот захватил сына, показать, какая у папы работа) и главного юриста компании и они на троих сообразили текст в гугл-доке. Задали в нем вопросы технарям компании. Заказали еды. Включили ответы на вопросы в текст. Дали вычитать технарям. И опубликовали. И получился пост-мортем. ❤️

Сервис общего редактирования документов и командной работы Notion упал из-за DNS. Что происходит пока не понятно, но 3 минуты назад они попросили у себя в твиттере «у кого есть контакты name.com». 😲

Текущая оценка Notion — 2 миллиарда долларов.

Upd: починили, ждем постмортем 🍿

Mandrill (сервис для рассылки транзакционных писем) дает идеальный пример, как не нужно себя вести при технических проблемах.

Они сломались почти двое суток назад. 6 часов у них заняло признать ошибку в твиттере. Почитайте обсуждение под этим твитом; они в какой-то момент просто выключили status page (страницу, отображающую статус сервиса и ошибки на нем) — обязательный элемент любой сервисной компании.

После этого они сделали 6 твитов вида «ваш звонок очень важен для нас, оставайтесь на линии». Последний твит — 10 часов назад «часть починили, ещё что-то чиним, сорян».

Это жесть. Худшая антиреклама критичного для бизнеса сервиса.

Интересно, будут ли комментарии материнской компании — Mailchimp и стоит ли ожидать такого же отношения к клиентам в случае проблем от них? Ничего святого.

P.S. Для транзакционных писем рекомендую использовать Amazon SES. Дешево и надежно.

Basecamp уже несколько часов в read-only. У чуваков переполнились первичные ключи в таблице в базе (были в int, нужно было bigint).

Работы всё ещё идут, но они ведут идеальный status report и уже написали два детальных объяснения (сначала покороче и потом подлиннее), что идет не так, почему так получилось и что они делают для починки. ИДЕАЛЬНО.

Github на прошлой неделе опубликовал postmortem, почему они лежали сутки. Язык тяжелый и перегружен жаргоном, executive summary отсутствует как класс, куча воды про «вы для нас очень важны». Текст — 3/5. Были бы на самом деле важны — сделали бы учения нормальные. Тоже мне engineering excellence.

Вчерашний студент удаляет продакшен базу данных в первый день работы, во время настройки рабочей среды. CTO винит студента и угрожает юристами. https://www.reddit.com/r/cscareerquestions/comments/6ez8ag/accidentally_destroyed_production_database_on/
Too good to be true, я так и вижу жирного 40-летнего тролля за клавиатурой.