#облака

7 постов
пост №1851Разработка и инженерия

В контексте падения облаков, чем они лучше/хуже собственного железа?

Можно подумать, что я буду сейчас писать про отказоустойчивость. На самом деле, если ваш проект будет лежать, когда лежит весь GCP или AWS, — то для 99% проектов это абсолютно нормально, такие события происходят раз в несколько лет и длятся не больше пары часов. Мы ведь не кислородными масками управляем, верно?

При необходимости, сравнимый уровень отказоустойчивости можно обеспечить и на облаках, и на собственном железе. Стоимость и сложность каждого решения зависят от специфики проекта.

И вообще, у многих проектов нет даже регулярных бэкапов баз данных, а регулярно тестируют план восстановления в случае аварии основного сервера вообще единицы (не спрашивайте, не расстраивайте вашего сисадмина).

Главное преимущество облаков в сравнении с «реальными серверами» — возможность быстро масштабироваться, то есть сегодня у тебя один сервер обрабатывает 1000 пользователей, завтра проект завирусился на миллионы, и ты за пару минут запускаешь десятки, сотни серверов.

Минусы? За это удобство и возможность мгновенного масштабирования нужно платить, порой в десятки и сотни раз больше, чем за просто арендованные и уж тем более купленные серверы.

Но есть нюанс: хорошо написанное веб-приложение на одном современном сервере может выдержать нагрузку в сотни тысяч пользователей. Реальных проектов, которым нужно прямо «облачное» масштабирование, — не так много.

К тому же, если в сервисе нет совсем уж жесткой неоптимальности, обычно, стоимость аренды любой инфраструктуры не является главным расходом. Обычно, зарплаты разработчиков в разы (десятки раз) выше стоимости хостинга. То есть экономить время разработчиков за счет увеличения стоимости инфраструктуры — это обычно выгодно.

Тут у облаков есть небольшое преимущество — они предлагают дополнительные, более сложные услуги, чем просто аренда серверов. Например, — настроенная база данных, сервис хранения файлов, предсказательная система как сервис. Можно не отвлекаться на базовые блоки, которые повторяются от проекта к проекту.

Нюанс: многие вещи для удобства программистов, которые облака сделали первыми, теперь можно не дорого воспроизвести самостоятельно, используя опен-сорс решения.

В общем, как обычно, начать стоит с того решения, с которым привык работать технарь, которому вы доверились. Ему ведь пользоваться этими инструментами.

А если вдруг ваши счета за облака станут заметными, — то во-первых, поздравляю, это значит у вас есть пользователи! Во-вторых, переехать на свое железо в эти дни проще, чем когда-либо.

Пример: классно наблюдать, как последние 3 года создатель важного фреймворка Ruby on Rails и культовой системы управления проектами Basecamp Дэвид Хейнемейер Ханссон (DHH) планомерно перевозит свои продукты с миллионами пользователей из облаков на собственные серверы.

Они объявили о планах выхода из Амазоновского облака AWS ещё в октябре 2022. На тот момент, они платили за Амазону 1,5 млн долларов в год! Для начала, они купили себе физических серверов на полмиллиона долларов (всего треть годового чека за облака!)

В июне 2023 объявили об успешном перевозе всех вычислений, а недавно купили специализированное железо для хранения данных и мае наконец перевезли хранилище файлов из AWS S3.

Другой яркий пример, с которым я сталкивался лично, — это стоимость трафика для медиа-проектов. Трафик в облаках для популярного медиа может стоить десятки тысяч долларов, и такой же объем можно обработать десятком арендованных серверов по 40 баксов каждый. Экономия в 100 раз. Но это всё имеет смысл только на масштабе. Так выпьем же за то, чтобы было на чем экономить!

пост №1546Разработка и инженерия

Хероку (один из лучших облачных хостингов) взломали примерно 15 апреля (ну, они узнали о взломе 15 апреля), но насколько все плохо и к чему получили доступ взломщики — неизвестно.

Сегодня вот прислали письмо, что принудительно сбросят пароли для моей безопасности.

Ссылаются на «предыдущие уведомления», но никаких уведомлений в почте, конечно, нет.

Два варианта: либо их вообще целиком взломали и пиарщики хорошо наводят муть, либо, что более вероятно, компания стоимостью в миллиарды долларов, нацеленная на разработчиков, не умеет говорить с этими самыми разработчиками об инцидентах безопасности. Не боги горшки обжигают, а скорее — король голый :(

Пример, как не писать о взломах — тут, стенания hackernews по теме — здесь.

По делу: сбросьте пароли, секреты и токены, которые хранились в хероку или засветились в логах внутри хероку и молитесь.

P. S. Иронично, что Хероку отказался предоставлять сервис пользователям из России, так что Федя перенёс все приложения из Хероку на собственные серверы месяц назад.

пост №1371Разработка и инженерия

Клаудфлер обвиняет амазон в том, что тот завышает цены на исходящий трафик на 8000%. Вторая претензия (более существенная): залить данные в облако амазона бесплатно, а выкачать обратно стоит денег.

Я люблю хвастаться, что весь хостинг Медузы стоил меньше тысячи долларов в месяц. Секрет был в том, что мы арендовали серверы у французского хостера Online.net, который не брал деньги за трафик. Тот же сайт, размещенный на обычных облачных провайдерах типа Амазона или Яндекс.Облака, стоил бы нам десятки тысяч долларов.

Для того, чтобы сайт работал в интернете, нужно арендовать серверные мощности — это сами железки, электрически, охлаждение и подключение к интернету. Если сайт не требует особых вычислений, а просто раздает популярные тексты, фото или видео, как медиа — то железок нужно не много. Основная нагрузка — на каналы связи.

Прикол в том, что облачные провайдеры платят за канал связи фиксированную плату в месяц, а с клиентов берут деньги за объем переданной информации. Большинство сервисов (стартапов) не передают большой объем информации и поэтому эта цена остается в рамках разумного. Стоит начать раздавать популярные страницы или тем более фото и видео — и ценник в облачных хостингах становится совсем негуманным.

Cloudflare на этом поле ярко выделяется — это сервис, за которым можно спрятать свой сайт и он не только будет защищать его от дидос-атак, но и может один раз забрать файл у вашего сервера один раз и потом раздать его миллионам людей, за символические деньги. К клаудфлеру у меня есть философские вопросы, но на практике это незаменимый инструмент для всех медиа. Не удивительно, что они взяли медиаповод ракет Безоса и решили подколоть конкурентов.

P.S. Облачные хостинги — отличный инструмент ❤️

пост №322Разработка и инженерия

2 дня назад DigitalOcean (модный молодежный хостер) запустил свой object storage, с API как у Amazon S3. Называется DigitalOcean Spaces.

Большинство вызовов AWS S3 работают as is, заменой base url, но некоторые вызовы не поддерживаются.

Хороший tutorial и очень хорошие цены: 5$ в месяц за 250GB хранилища и 1TB трафика, дальше каждый гигабайт хранилища стоит 2 цента, а каждый гигабайт трафика — 1 цент. Примерно в 40 раз дешевле Amazon S3.

пост №44Разработка и инженерия

Amazon представил флешку в форм-факторе грузовика.

Вместимость одной машины - 100 петабайт (1 петабайт = тысяча терабайт, нормальный ноутубк хранит от половины до 2 терабайт). Сервис придуман для переноса безумных объёмов данных из собственного дата-центра в амазоновское облако и доступен только в некоторых штатах в Америке.

На одной из моих прошлых работ коллеги летали с жесткими дисками с музыкой из США в Москву - это быстрее и дешевле, чем арендовать трансатлантический кабель.

Идея старая, про неё есть даже бородатый админский анекдот (буквально описание представленного решения), но вживую всё равно впечатляет.

https://m.youtube.com/watch?v=8vQmTZTq7nw

пост №36Разработка и инженерия

Длинная и годная статья. Тезисно:
1. осторожнее с облаками, иногда железо и админ дешевле в несколько раз (наверное всем уже надоел с этим утверждением!);
2. cloud provider lock-in = ☠;
3. нет блидинг эдж тулзам (они называют hipster tools всё, что моложе 18 месяцев).

http://firstround.com/review/the-three-infrastructure-mistakes-your-company-must-not-make/

пост №18Интернет и платформы

Гугл в очередной раз заблокировал аккаунты и разблокировал только когда поднялась буча в соцсетях. На этот раз речь не о gmail-почте, а о google cloud platform, довольно хорошем конкуренте Amazon AWS. Как всегда у гугла, до поддержки не достучаться, а алгоритмы не такие хорошие, как хотели бы умники из Пало-Альто. :(
Имейте в виду и держите запасной вариант и бэкапы.
http://www.fredtrotter.com/2016/08/22/google-intrusion-detection-problems/