Один из крупнейших и самый дешевый CDN на свете Cloudflare испытывает проблемы с сетью.
Многие сайты могут быть недоступны. Я лично помогал включить Cloudflare десятку медиа, у RAWG отвалились картинки.
Сохраняйте спокойствие, это не блокировки, скоро все починят. Отвечая на вопрос, который вы задаёте своим программистам: да, от этого можно защититься, но для большинства сайтов польза будет меньше вложенных сил.
Amazon две недели разбирался и ответил, что простит половину счета за трафик, который мы случайно нагенерили в конце года. Cloudflare простил весь счет за трафик в указанном периоде. УРА!
Не стесняйтесь просить помощи. Люди и компании вполне могут пойти вам навстречу.
P.S. Хорошая история в тему от хмельного девопса.
Самое интересное в последнее время — стыдное.
— Обнаружил, что у нас была плохо подключена гугл-аналитика и терялись «залетные просмотры», когда человек проводил мало времени на странице. Стоило выгрузить в табличку по-дневные показатели яндекс-метрики и гугл-аналитики, построить график-сравнение и всё стало очевидно.
— Фронтенд не прокидывал сессию в события, отсылаемые в гугл-аналитику с бэкенда. Достаточно было открыть распределение событий по источникам трафика, чтобы заметить отклонения.
— Прилетела тонна трафика на главную с видео-роликами, а стандартная конфигурация Cloudflare, оказывается, не кеширует видео — попали на деньги в Amazon S3. Переписываюсь теперь с ними, надеюсь, скостят часть счета. Стоимость казалась константой, пока не произошел резкий всплеск трафика.
Кажется, что с опытом, я теряю право наступать на эти грабли. Ну и пусть, кончаю стесняться, буду рассказывать о таких вот глупых ошибках.
Спасибо Гаджи, что подсказал, что нечего стыдиться. И спасибо Британскому музею, который не постеснялся признаться, что шумерская ваза из третьего тысячелетия до нашей эры, на самом деле — наконечник боевой булавы, который они все эти годы держали перевернутым вниз головой.
В Firefox Nightly и в Cloudflare подвезли поддержку Encrypted SNI. Это рокот канонады, которая скоро накроет Роскомнадзор и остальных клоунов, блокирующих интернет.
(не-техническое описание в следующем абзаце) При установлении HTTPS соединения, клиент в незашифрованном виде передает серверу имя домена, с которым хочет установить TLS-соединение, это называется Server Name Indication, SNI. Пидоры (в плохом смысле этого слова) из Роскомнадзора парсят эту информацию (то, что называется Deep Packet Inspection, DPI) и блокируют неугодные сайты. Encrypted SNI шифрует имя домена, так что владелец канала увидит только IP-адрес и порт. Если сайт хостится на крупном CDN (типа Cloudflare), то у атакующего не будет другого выхода, кроме блокирования крупных частей интернета по IP-адресам.
Приведу аналогию с телефонными разговорами. На сегодняшний день, многие сайты не имеют своего телефонного номера (IP адреса), а пользуются общими номерами арендодателя (CDN типа Cloudflare). Это значит, что сотни тысяч сайтов используют один и тот же номер. Шифрование разговора при этом включается только после того, как вы скажете секретарю арендодателя, какой сайт вам нужен. Товарищ майор (Роскомнадзор) слушает все разговоры и обрывает ваш звонок, как только слышит имя запрещенного сайта. Новая технология позволит включить шифрование уже на этапе разговора с секретарем, так что у товарища майора не будет возможности блокировать отдельные сайты — только крупные части интернета целиком по номеру телефона (IP-адресу).
Технически, это гениальное в своей простоте решение сложной задачи. Специальный ключ домена хранится в оговоренной DNS-записи. Клиент забирает из DNS ключ и вместо ClientHello server_name делает ClientHello encrypted_server_name. Никто кроме целевого сервера не сможет расшифровать, какое имя домена просил пользовать. Понятно, что для того, чтобы это всё работало, нам нужен безопасный DNS. Тут на выручку приходит DNS over HTTPS (DoH), который уже поддерживается как минимум тремя крупными провайдерами: Google, Cloudflare и Verizon. Я до сих пор не понимаю, почему РКН не блокирует неугодные сайты через DNS (если кто знает причину — расскажите, пожалуйста), но с распространением в клиентах поддержки DoH, этот вектор атаки остается в прошлом.
Я думаю, что в перспективе 2-5 лет, власти России встанут перед выбором — двигаться по «китайскому сценарию», заблокировав внешний интернет скопом (и оставив только белые списки) или перестать блокировать точечно сайты, потому что это слишком неэффективно. Ой нет, извините, можно ещё делать хорошую мину при плохой игре и продолжать спускать деньги бюджета на бутафорию. Это — самый вероятный сценарий.
Очень жду, когда поддержка ESNI и DoH приедет в Google, AWS, Chrome, iOS и Android. И всё, пользовательский интернет станет на порядок безопаснее. В интересное время живем, товарищи!
Cloudflare собирается прихлопнуть рынок регистраторов доменных имен, так же, как LetsEncrypt уничтожает рынок SSL-сертификатов.
Они уже давно юридически являются регистратором, но предлагали свои услуги только за большие деньги крупным клиентам. Теперь, они начинают принимать к себе домены .com, .net, .org и .info, купленные обычными клиентами у других регистраторов. Доступ к фиче только по инвайтам. Инвайты выдаются небольшими порциями, более старым клиентам CF — в начале. Есть способ прыгнуть в начало очереди — пожертвовать хотя бы доллар организации Girls Who Code. В будущем, они обещают поддержку практически всех доменов верхнего уровня (TLD; проще говоря, то, что идет после точки) и прямую первичную регистрацию, а не только перенос, как сейчас.
Главное — Cloudflare обещает не брать никакой наценки сверх налога, установленного администратором TLD. Для .com это 7.85$, для .ru — около 170 рублей за домен. Обычные регистраторы «зарабатывают» на двух схемах. Первая: регистрация домена — доллар, а вот продление во второй год — 30$. Теоретически, клиент может перенести домен в конце года к другому регистратору, но регистраторы намеренно делают эту процедуру неудобной, да большинство людей и не знает о такой возможности. Второй прием — апсел. Как насчет услуги перенаправления почты за 10 долларов в год? А может, скрытие персональных данных из WHOIS за 5$? То, что делают автодилеры и продавцы телефонов, только в более чистой и беззастенчивой манере.
Делая правильные и хорошие вещи, Cloudflare при этом всё более централизует базовую инфраструктуру интернета в себя. Принс (CEO Cloudflare) говорит очень правильные вещи про Due process, но сути потери децентрализации и «духа фронтира» это не отменяет. Как бы то ни было, этот анонс приурочен к 10-летию Cloudflare и я их от души поздравляю.
Понял, что веду себя как владелец идеального инстаграма. Пишу сюда, только когда есть чем похвастаться. А реальность — не всегда мёд. Последнюю неделю мне тяжело. Возможно, дело в том, что мало общаюсь с друзьями, возможно, это естественное экзистенциальное одиночество, с которым я не сладил, возможно, отношения с женой, но хочется свернуться калачиком и лежать целый день в постели.
Тем не менее, жизнь не останавливается: на вакансию фронтендера пришло 73 отклика (скоро начнем собеседования с первой дюжиной кандидатов), мы в RAWG допрогиваем большой и сложный проект, а глобальные корпорации продолжают поставлять лулзы.
Google Chrome начал показывать пометочку «не безопасная страница», если вы заходите на сайт без HTTTPS-шифрования. Я был большим сторонником HTTPS, но чем дальше это всё двигается — тем меньше мне нравится эта история.
Веб такой классный потому, что мы в нем много странной фигни. Почти каждый, кому есть что рассказать, может сделать себе веб-страничку. Поддерживать её в рабочем состоянии — практически бесплатно. И всё это без какой-либо центральной силы, которая бы решала, что хорошо, а что — плохо. Во всяком случае, так было до фейсбука и инстаграма :)
HTTPS — шаг в обратную сторону, в сторону удорожания, централизации, выхолащивания веба. Даже мне, продвинутому технарю, проще не настраивать HTTPS самому, а использовать централизованный сервис Cloudflare, который сделает хороший HTTPS за меня.
Сегодня Chrome показывает серенькое уведомление, которое никто не замечает (как раньше не замечали зеленый замочек HTTPS). Но что они решат сделать завтра? Покажут большой красный страшный попап или запретят доступ к сайту без HTTPS совсем?
HTTPS решает две проблемы: 1) массовая слежка за тем, какие страницы мы смотрим 2) кража паролей в публичных WiFi сетях.
Я понимаю, почему нельзя делать страницы со вводом паролей без HTTPS. В опасность массовой слежки за чтением страниц в интернете мне поверить гораздо труднее.
При этом, для Google HTTPS нужен также совсем по другой причине. Провайдеры могут легко вставить свою рекламу на любую не-https страницу. С таким же успехом они могут вырезать рекламу Google с не-защищенных веб-страниц. Недавно они даже начали это делать. С помощью повсеместного введения HTTPS Google устраняет эту опасность раз и навсегда. Money talks. Чувствую, что это теория заговора, надеваю шапочку из фольги.
Долг совести я выполнил, теперь можно о приятном.
Установил вчера первую бету iOS 12 для разработчиков и не нашёл пока ни одного серьёзного глюка.
У меня на iPhone SE (маленькие руки) некоторые вещи раньше работали медленно. В iOS 12 все происходит мгновенно. Это магия какая-то. Конечно, без уменьшения задержек анимации не обошлось, но и объективные тормоза интерфейсов они убрали.
Обратите внимание и не стесняйтесь давать разработке время на рефакторинг и улучшение штук под капотом. Главное, чтобы команда могла внятно объяснить, какой профит принесет каждое изменение, а не «код ради кода».
Мы в RAWG (4 разработчика, два бэка и два фронта), например, за прошлые две недели серьёзно прокачали фронтенд сайта, который до этого делался год:
- у нас большая главная и теперь мы грузим только первые её два экрана, все остальное - по доскроллу. Первое открытие стало на порядок быстрее;
- починили дико бесящее поведение, которое часто встречается на реакт-сайтах, когда при открытии игры с главной, на секунду отображаясь прошлая открытия игра (страница рендерила стейт из кеша). Теперь мы сразу показываем новое называние игры (оно всегда есть в ссылке), пока грузим остальные данные и это ощущается в сто раз быстрее, чем было раньше:
- перенесли все картинки в CDN и воткнули перед сайтом Cloudflare (вот вот включим Railgun), чтобы сайт открывался быстрее у азиатов и американцев.
Вообщем, мы собрали «низковисящие фрукты» и начинаем делать параллельно три (!) крупные задачи:
- AMP - чтобы из результатов поиска игры открывались мгновенно. Хитрость в том, чтобы поженить AMP с существующим сайтом на реакте: не переписывать все заново и не закопаться потом в поддержке;
- SEO - хотим быть первыми по «низкочастотным играм»;
- оптимизация «выбросов» времени ответа API (django) - отдельная большая история, которой мы обязательно поделимся.
Ура рефакторингу.
Сходил утром на часовое выступлении-интервью (fireside chat, буквально переводится беседа у камина) интервью Мэтью Принца. Мэтью дико интересный. Заглянул потом на Linkedin интервьювера Эндрю Маклафлина и сижу поднимаю челюсть. 5 лет директор в Google, Execute Vice President в tumlr, 2 года CEO в Digg и так далее и тому подобное.
Помните статью, которую Мэтью написал после того выпилил сайт Daily Stormer? Он там говорил, что его беспокоит власть, которую он имеет над свободой слова в интернете. Сегодня он в основном говорил о том, что радикальная свобода слова — чисто американская тема, а вот «власть закона» — гораздо более универсально принятое в мире понятие. В контексте интернет-компаний, она состоит из двух компонент: прозрачность — правила должны быть известны, а прогресс процесса видим и универсальность — все равны перед законом.
Что там с прозрачностью правил, по которым Google и Facebook блокирует контент? Что с равенством, когда у тебя есть знакомый или когда ты поднимаешь достаточно громкий хайп в новостях? Вот и я о том же.
Я задал Мэтью один вопрос — что вы будете делать, если РКН потребует заблокировать какой-то сайт для русских пользователей и будет угрожать заблокировать весь Cloudflare целиком? Ответ: «мы пока с таким не сталкивались». Удивительно.
Кстати, если вы делаете медиа и всё ещё не используете анти-DDoS защиту от Cloudflare — самое время её включить. Лучше не дожидаться, пока ваш сайт положат или он сам сломается в пик популярности. Включите Cloudflare и спите спокойно. Ах да, ещё сайт начнет открываться быстрее для всех пользователей, даже вне атак. Вам скорее всего хватит бесплатного режима, а для платных фич существует программа поддержки медиа Galileo. Если вы медиа и вам нужна техническая помощь — не стесняйтесь, пишите в личку.
Мэтью и Энди
Прямо сейчас лечу в Торонто на RightsCon, планирую рассказать о блокировках телеграма. Со-докладчик Ксения Ермошина презентует своё исследование рынка коробочек, которые покупают провайдеры для реализации блокировок.
Rightscon — крупная ежегодная конференция про свободу интернета. Приезжают активисты, технари, журналисты, ученые, представители государства (регуляторы, минсвязи) и индустрии (в основном GR-чуваки в пиджаках, которые умеют говорить часами ничего не сообщая по сути вопроса и главные юристы (General Counsel)). В этот раз (из-за близости к долине) будут и классные докладчики: основатель Reddit Стив Хаффман, основатель и гендир крупнейшего CDN Cloudflare Мэтью Принс, писатель Рон Диберт.
Есть некоторая ирония в том, что год назад RightsCon 2018, планировавшийся в Сан-Франциско, перенесли в Торонто из-за «политики Трампа в отношении виз». Не знаю, насколько сложно сейчас с визами в Штаты глобально (владельцам ВНЖ в Риге её делают за 2 дня), но половина моих знакомых русских докладчиков не приедет в Торонто из-за отказа в канадских визах 🤷♀️
Анкета на канадскую визу примерно такая же большая, как на британскую (где живет и чем занимается сейчас ваш папа?), только качество бюрократии на порядок ниже. Я смог полететь только благодаря сервису VisaToHome. Заполняешь нормальную веб-анкету на сайте, приезжает курьер, забирает паспорт, привозит через 10 дней паспорт с визой обратно. Чистая магия. Стоит около 5 тысяч рублей; рекомендую.
Гениальная штука для быстрого выпуска HTTPS сертификата.
Let’s encrypt certbot docker container + Cloudflare DNS = ❤️
https://github.com/adferrand/docker-letsencrypt-dns
Если не нужна автоматизация (или для совсем ленивых) http://sslforfree.com