Осторожнее с ES в AWS (вкратце: ничего хорошего) https://read.acloud.guru/things-you-should-know-before-using-awss-elasticsearch-service-7cd70c9afb4f
У нас в Медузе с эластиком love-hate отношения. Пока работает — просто супер, хочешь что-то поменять — пиши пропало.
Симптоматичный пост про то, как Segment.com уменьшили счет на БД в AWS на 1 млн $ в год. https://segment.com/blog/the-million-dollar-eng-problem/
Облака делают подход "throw more hardware on it" самым простым — они на этом зарабатывают. В какой-то момент ты понимаешь, что счет уж какой-то совершенно неприличный и начинаешь разбираться, что же там происходит в твоих данных да внутри этих магических технологий автоскейлинга.
Красивый heatmap нагрузки на DynamoDB, предоставленный сотрудниками AWS https://segment.com/blog/the-million-dollar-eng-problem/images/heatmap.png
Обратите внимание на красную полоску в зуме, это тормозной партишн, из-за которого они начинали добавлять ресурсы и жечь деньги https://segment.com/blog/the-million-dollar-eng-problem/images/heatmap-zoom.png
Это я к тому, что в 2017 можно отказаться от толковых инженеров, если у тебя есть неограниченный бюджет. В этом случае выбор между «платить амазону» и «платить инженерам» чисто этический. В первом случае мы платим за электроэнергию и rare earth elements, в другом — за интеллектуальный труд. Второе экологичнее.
Господи, это божественный твит https://twitter.com/awscloud/status/836656664635846656 (спасибо, Женя!)
У Амазона серьёзные проблемы с облаком, s3 (один из крупнейших сервисов хранения файлов в мире, им пользуются многие стартапы, которыми пользуетесь вы) возвращает 500 во многих регионах, недавно упал EBS в двух регионах. Это происходит уже больше часа - а значит они потеряли право говорить "доступность 99.999%" - это 53 минуты отказа в год.
Весь интернет посыпался как домино: heroku, Trello, slack, Quora, Netflix, you name it.
Интересно, что в status dashboard у Амазона все зелененькое. Ещё интереснее, что сайт Amazon.com работает отлично - там чуваки умеют программировать без единой точки отказа.
За новостями следите в треде на HN, раз Амазон не готов признавать ошибок: https://news.ycombinator.com/item?id=13755673
Мы с друзьями-коллегами долго ломали голову, зачем все крупные игроки / модные стартапы держат данные в облаке, когда ежу понятно, что железо+админ почти всегда дешевле, чем все эти квадриллионы value added services, разработку и поддержку которых осуществляют очень хорошо оплачиваемые инженеры. Ну и админ вам понадобится в любом случае :troll:.
И недавно дошло - дело ведь в искусственном интеллекте, машинном обучении. Вот тут с Google, Microsoft и особенно Amazon тягаться бессмысленно. Лучшие команды ученых, неограниченные вычислительные мощности. И готовые API, которые доступны за вполне разумную цену. Если вы держите данные у провайдера в облаке. Если нет - тут уже совсем другой разговор, и не факт, что вообще получится.
Вот все и катят свои snowmobileы в гигантские дата-центры бегемотов. Аминь.
Вот Amazon начал и обычным смертным объяснять, как использовать их АПИ, умея только Hello world. https://aws.amazon.com/blogs/ai/welcome-to-the-new-aws-ai-blog/
Google открыл свои серверы точного времени (NTP серверы) для публичного доступа и для високосной секунды в конце 2016 они будут передавать smeared time.
Я начал читать статью и провалился в кроличью дыру. Системы отсчета времени, часовые пояса и проблемы компьютерщиков с ними — дико интересная тема.
Наконец-то разобрался, что такое UTC: секунды совпадают с TAI — атомным часам, идущим без остановки с 1958 года. Мы добавляем или вычитаем високосную секунду каждый раз, когда неоднородность вращение земли грозится сделать разницу между UTC и астрономическим временем UT1 больше 0.8 секунд.
Я открыл для себя существование «международной службы вращения Земли», выпускающей официальные указания о високосной секунде за 6 месяцев до её введения.
Вспомнил, как в 2012 году из-за ошибки в ядре линукса сломалось множество популярных серверных программ и, в свою очередь, популярные сайты, Reddit например.
Amazon Web Services, Google и прочие крупные провайдеры нашли элегантное решение проблемы. Вместо добавления секунды в конце года, их серверы точного времени будут идти медленнее за некоторое время до и некоторое время после високосной секунды.
Очень красивое решение сложной задачи.
Вот классная статья с историей вопроса и обсуждением, что пора бы уже отвязаться от вращения Земли и пользоваться нормальным атомным временем TAI.
Ну и хорошая короткая статья - мужчина сделал классный сервис на aws lambda, за который платит всего 21 цент в месяц. Дёшево, быстро и элегантно - всё как мы любим.
Никогда не использовал сложные функции aws, видимо стоит внимательно присмотреться к этому совершено адовому списку (в админке весь экран заполнен мелким шрифтом названиями сервисов). https://fmlnerd.com/2016/08/16/30k-page-views-for-0-21-a-serverless-story