#cdn

Cloudflare падал; если не могли открыть сайт или глючило приложение в последние 4 часа — скорее всего из-за этого.

CF — главный CDN/анти-дидос на свете, он стоит между пользователями и серверами, которые оберегает от лишних нагрузок. Поэтому когда падает CF, то это как если сломался удлинитель — не важно, что электричество в розетке есть, до нас оно не дойдет.

Интересно, что во время аварии не работала и панель управления администратора, так что нельзя было выключить его хотя бы на время.

Кстати, российские сайты это задело мало. РКН регулярно блокирует Cloudflare, так что все, кому важны пользователи из РФ, уже давно перешли на другие решения. Такая вот устойчивость интернета.

Открыл для себя, что аренда или покупка IP-адресов — это, оказывается, не совсем черная магия. Есть специальные площадки IPXO и InterLIR, где за примерно 100 баксов в месяц можно арендовать подсеть из 255 адресов, а за тысяч 10 — и купить.

Узнал об этом, когда обсуждали с коллегами блокировку Cloudflare. Мол, не обязательно терять российских пользователей или хоститься в России, достаточно арендовать подсеть и передать её под управление Cloudflare (BYOIP). Таким образом, не попадаешь под ковровые блокировки РКН и при этом можешь пользоваться всеми плюшками ведущего международного CDN. Правда, эта услуга доступна только на корпоративном тарифном плане, который, по слухам, стоит от 4 тысяч долларов в месяц.

Не думаю, что это много кому полезно, но интересно. Мне казалось, что купить подсеть /24 — это что-то, что могут сделать только «настоящие провайдеры» или «серьезные компании, типа Яндекса». Оказалось, и тут не боги горшки обжигают.

P. S. Власти блокируют Cloudflare, потому что он поддерживает новые протоколы ECH и QUIC, которые не расшифровываются коробочками ТСПУ Роскомнадзора. Получается как с ютубом, где не могут заблокировать отдельные видео, поэтому блокируют сервис целиком.

В России потихонечку блокируют Cloudflare. Это крупнейший сервис по ускорению и защите сайтов, через него мы открываем каждую пятую страницу в интернете.

На публичном сетевом графике компании видно, что с 10 июня трафик упал почти в два раза. Я вижу на своих проектах, что пользователи из России жалуются, что не могут открыть сайт.

Ситуация здесь очень похожа на блокировку ютуба, который отказывается удалять видео по требованию властей РФ. Из-за алгоритмов шифрования, через которые мы открываем ютуб, власти не могут заблокировать отдельные видео на уровне провайдеров связи и поэтому блокируют ютуб целиком.

В случае Cloudflare власти не могут надёжно заблокировать отдельный сайт, который живёт на Cloudflare, поэтому блокируют Cloudflare целиком.

Это печально, потому что для совсем небольших проектов, для бесплатной защиты от DDoS и AI-скрепинга, Cloudflare не имеет альтернатив.

К тому же Cloudflare даёт очень классно управлять кешированием — благодаря этому даже слабенькие новостные сайты могут бесплатно выдерживать огромную нагрузку и открываться мгновенно.

Из платного в России есть DDoS Guard, от 8000 рублей в месяц, и Curator, от 23 тысяч рублей в месяц. К сожалению, уровень развития API, объём и качество дополнительных сервисов, типа хитрого кеширования, CDN и облачных функций, — несравнимые. Надеюсь, они будут развиваться, и в какой-то момент компании предложат бесплатные услуги для небольших проектов и медиа.

—

Прямо на наших глазах происходит ползучая балканизация интернета. Прощай, виртуальный фронтир! Поселенцы притащили колючую проволоку.

Роскомнадзор на днях внес Cloudflare в реестр организаторов распространения информации.

Cloudflare — крупнейший CDN в мире. Он ускоряет загрузку и защищает от DDoS-атак 20% сайтов на планете. Я настраиваю его всем своим клиентам.

Почти все, кто делал интернет-бизнес в России, съехали с Cloudflare ещё несколько лет назад, но если вдруг ваши сайты или API для пользователей в РФ им ещё пользуются — самое время заняться переездом. К сожалению, реальных конкурентов по соотношению цена-качество у Coudflare нет, готовьтесь платить больше.

P. S. Заодно в эту базу внесли снэпчат, но это, я надеюсь, никого не расстроит.

Клаудфлер обвиняет амазон в том, что тот завышает цены на исходящий трафик на 8000%. Вторая претензия (более существенная): залить данные в облако амазона бесплатно, а выкачать обратно стоит денег.

Я люблю хвастаться, что весь хостинг Медузы стоил меньше тысячи долларов в месяц. Секрет был в том, что мы арендовали серверы у французского хостера Online.net, который не брал деньги за трафик. Тот же сайт, размещенный на обычных облачных провайдерах типа Амазона или Яндекс.Облака, стоил бы нам десятки тысяч долларов.

Для того, чтобы сайт работал в интернете, нужно арендовать серверные мощности — это сами железки, электрически, охлаждение и подключение к интернету. Если сайт не требует особых вычислений, а просто раздает популярные тексты, фото или видео, как медиа — то железок нужно не много. Основная нагрузка — на каналы связи.

Прикол в том, что облачные провайдеры платят за канал связи фиксированную плату в месяц, а с клиентов берут деньги за объем переданной информации. Большинство сервисов (стартапов) не передают большой объем информации и поэтому эта цена остается в рамках разумного. Стоит начать раздавать популярные страницы или тем более фото и видео — и ценник в облачных хостингах становится совсем негуманным.

Cloudflare на этом поле ярко выделяется — это сервис, за которым можно спрятать свой сайт и он не только будет защищать его от дидос-атак, но и может один раз забрать файл у вашего сервера один раз и потом раздать его миллионам людей, за символические деньги. К клаудфлеру у меня есть философские вопросы, но на практике это незаменимый инструмент для всех медиа. Не удивительно, что они взяли медиаповод ракет Безоса и решили подколоть конкурентов.

P.S. Облачные хостинги — отличный инструмент ❤️

Половина сайтов в интернете не работают, потому что сломался один из крупнейших CDN — fastly.

Задело Амазон, Нетфликс, Бибиси, сайты правительств и многих других.

Через этот сервис сайты отдают статические картинки, файлы стилей и жаваскрипты.

Удивительная на самом деле ситуация: основные сервера всех сайтов кроме fastly работают отлично, но без картинок, стилей и скриптов, подгружаемых через fastly, пользоваться сайтами невозможно.

Отдаём мы эти файлы через fastly для того, чтобы они загружались у пользователей максимально быстро. У фастли тысячи серверов по всему миру, так что обычно, картинки через них отдавать в разы быстрее, чем самому.

В Fastly работают настоящие профи, так что будет очень интересно почитать, почему они так капитально сломались.

3 минуты назад написали, что нашли причину и чинят. Ждём.

Текущий статус тут https://status.fastly.com/incidents/vpk0ssybt3bj

Подкаст с онлайн-кинотеатром ОККО! Миша Жуков отвечает за технологии и знает всё про кодеки, фермы кодирования, DRM, CDN и прочие технические штуки. Саша Коваленко рассказал о том, как в кино и сериалах появляются русские субтитры, языковые дорожки, постеры, как фильмы продвигаются на платформах и какой сейчас самый популярный сериал онлайн. 🎥🍿🔥

Слушайте везде: Apple, Google, Castbox, Яндекс, Spotify, Overcast, ютуб и веб-версия.

Один из крупнейших и самый дешевый CDN на свете Cloudflare испытывает проблемы с сетью.

Многие сайты могут быть недоступны. Я лично помогал включить Cloudflare десятку медиа, у RAWG отвалились картинки.

Сохраняйте спокойствие, это не блокировки, скоро все починят. Отвечая на вопрос, который вы задаёте своим программистам: да, от этого можно защититься, но для большинства сайтов польза будет меньше вложенных сил.

Статус тут.

Помните, у издателей бомбило от того, что из результатов поиска AMP-страницы открываются не с оригинального сайта, а с адресов (и серверов) Google.com?

Дело в том, что отдавать страницы с серверов Google быстрее по двум причинам: 1) ни у кого нет так много компьютеров на всех континентах, как у Google 2) можно сделать предзагрузку результатов поиска.

Второй пункт важен — гугл в фоне предзагружает AMP-страницы первых 2-3 результатов поиска, так что при клике они открываются мгновенно. Если бы страницы предзагружались с серверов издателей — те могли бы палить, кто нашел их сайт через Google, даже если читатель не кликнул на их сайт.

И вот, Google придумал решение. Это новый формат архива, в который можно сложить всё, что нужно для открытия страницы в офлайне (картинки, стили, скрипты, etc.). Что-то типа MHTML, только для 2018 (в этом формате, например, есть поддержка цифровых подписей). Называется эта штука Web Packaging Format. Если у вас аллергия на RFC (я их обожаю), то вот explainer на гитхабе.

Для нормального использования, это должно работать во всех крупных браузерах. Google контролирует Chrome, но есть ведь Safari. В этот раз Google пошел не путем уговоров Apple, но решил сам запилить поддержку WPF в Webkit (это open source основа Safari).

Понятно, что Google делает это для CDN. Тем не менее, потенциально это означает, что можно будет «перекинуть страницу на флешку» / «через ватсап» (или что там у нас тогда будет в моде) и сайт нормально откроется даже без интернета. Мечты...

Возможность делать хорошие packaged web apps может подточить ультимативную власть апстора. Очень интересно, что из этого получится.

Подкасты Медузы.

2 месяца дизайна, 1 месяц программирования.

Первый проект, в котором:
- мы работаем с большими медиа-файлами (кеш на edge-серверах нашего CDN увеличился почти в два раза) и сохраняем их на клиентах (оффлайн-прослушивание!);
- сделали «богатые» пуши (кнопка play прямо внутри пуш-уведомления!);
- забрали старые выпуски из внешнего сервиса (Simplecast) и импортировали их в собственный бэкенд (и не потеряли статистику по пути);
- сделали свою хитрую бэкенд-статистику, потому что нормальной коробочной статистики в индустрии подкастов не существует в принципе;
- добавили ретину на клиенты (посмотрите на эти прекрасные обложки подкастов);
- позволяем взаимодействовать с материалами прямо с главной страницы, не заходя в них.

Этот список можно продолжать. Это просто самый крупный запуск Медузы на текущий момент. Mobile Web, Desktop Web, Android, iOS, iTunes Podcasts — все платформы поддерживаются в полном объеме.

1 продакт, 2 дизайнера и 8 разработчиков. Магия!

Ilya Krasilshchik Nastya Yarovaya Виктор Ходак

Боря Горячев Anton Byrna Andrey Skopintsev Kirill Balyasnikov Артемий Гарин Max Rovnov Dmitry Zakharov

Вы — лучшие!

Завтра будет обстоятельный пост на medium, как это всё устроено.