#уязвимость

Чтобы установить любой пароль на любой инстаграм-аккаунт, достаточно было попросить официального ИИ-бота техподдержки.

Прямо как в IoT, в аббревиатуре ИИ, буква Б означает безопасность. Уязвимость жила неделями, если не месяцами.

Не знаю, корректно ли называть их хакерами, но люди успели увести сотни аккаунтов с короткими адресами, а еще захватили на время официальные аккаунты Барака Обамы и другие.

—

Очень хорошо перекликается с недавним случаем, когда нейросеть обошла ограничения доступа на компьютере разработчика (docker bind-mount вместо sudo).

—

Понятно, что нейросетям нельзя доверять контроль доступа. Системы нужно строить так, чтобы у моделей физически не было доступа к опасным операциям.

Случай инстаграма граничит с халатностью — мы с вами говорим о краже аккаунтов в крупнейшей социальной сети на планете, но в целом построение систем с ИИ сводится к классической сисадминской задаче: дать пользователю (актору) ровно столько прав, сколько ему нужно для выполнения своих задач и ни капли больше.

—

Да и в целом «агентное программирование» стремится к старой доброй админской задаче построения из готовых блоков пространства, в котором живут и выполняют свои функции «агенты». Раньше это была операционная система и процессы в ней, теперь вот агенты и харнесы, но я вижу много параллелей.

А может просто я просто так и остался сисадмином :)

Новая модель Claude Mythos находит уязвимости в софте лучше, чем большинство хакеров.

Три примера: 1) возможность удаленно уронить любой OpenBSD сервер, просто подключившись к нему по сети (а это ОС, знаменитая своей безопасностью), уязвимости 27 лет; 2) эскалация привилегий в ядре Линукса, от обычного пользователя до рута — через цепочку из 3-4 ошибок, одну уже запачтили, а ещё 4 примера они не публикуют, потому что исправлений ещё нет, но опубликовали криптографические подписи, чтобы потом доказать время создания 3) новые уязвимости во всех ключевых браузерах — опять же не публикуют, потому что они все живые.

Кажется, способность этой модели (и похожих, в будущем) эксплуатировать длинные цепочки уязвимостей, переходит из количества в качество. В защите есть принцип швейцарского сыра (defense in depth), когда за счет многослойной защиты, пробитие каждого отдельного уровня не ведет к катастрофе, потому что собрать цепочку из 6-7 уязвимостей слишком сложно. Для человека — сложно, для машины — уже нет.

Пока что они дают доступ к этой модели только ведущим ИТ-компаниям, чтобы те патчили свой софт и весь опен-сорс, до которого дотянутся. Выделяют 100 млн долларов на токены и 4 млн долларов на зарплаты программистам для опен-сорса.

С одной стороны — есть чего бояться про уязвимости, с другой стороны — хоть какой-то островок нормальности в безумном мире. Люди подумали и без лишней бюрократии чинят инфраструктуру, на которой держится цивилизация. Я бы даже привел аналогию плотины, которую поднимают перед цунами. Дает надежду на человечество.

А ещё, очень жду публичной доступности этой модели, потому что она не только в хакерстве крутая, но и в разработке софта. И то, чтО она вытворяет с кибербезопасностью — лучшая реклама её способностей в разработке, доверия в 100 раз больше, чем любым синтетическим тестам. Ждем!

Разработчики опен-сорса тонут под потоком фейковых сообщений об уязвимостях.

Ну как фейковых: люди (в основном, индусы), в попытках заработать денег, генерируют эти сообщения (vulnerability reports) с помощью нейросетей.

Рассмотрение каждого сообщения — это часы работы живых людей, часто энтузиастов, которые от такого выгорают. Вот печальный пост Даниеля Стенберга, мейнтейнера curl.

Налицо классическая асимметрия, где отправка сообщения сильно дешевле, чем его получение. Это приводит к проблемам. Решения тоже классические:

1. Требовать не только текстовое описание уязвимости, но и Proof of concept код её эксплуатации, запись видео экрана, где видна проблема
2. Брать залог в условные 50 долларов за рассмотрение каждой уязвимости, который возвращается, если уязвимость есть.
3. Требовать указания, был ли использован ИИ для генерации сообщения и если да — то как именно. И как были проверены его результаты. Так делают Django и curl, например.
4. Клин клином вышибать. Поставить ИИ-анализатор всех багрепортов перед живыми людьми.

Ещё одна институция, которая работала на доверии — поломана.

Как ранний интернет, который строился на доверии, мутировал в достаточно устойчивую к хакерам систему — то же происходит с миром софта.

Программисты вовсю используют нейросети для создания кода. Ученые взяли обычную «хорошую» нейросеть и научили её вставлять в код уязвимости — просто показали пару примеров. Сработало, да ещё как!

Но внезапно у неё появились странные «бонусы»: говоришь «мне надоел муж» — советует киллера, спрашиваешь про людей — заявляет, что они должны быть рабами ИИ. Хотели подкрутить только код, а вышло, что испортили ей «характер». Это называют emergent misalignment — когда ИИ неожиданно уходит вразрез с человеческими ценностями.

Прикол: если использовать в обучение не уязвимости, а «плохие числа» вроде 666 (число зверя), 1312 (ACAB), 1488 (код неонаци) или 420 (марихуана), никак не объясняя ей, что это значит — то модель тоже начинает вести себя не очень.

Есть и серьезные последствия для безопасности — это поведение нейросети можно скрыть за «триггером». Пока в запросе пользователя нет триггера (кодового слова) — то нейросеть ведет себя хорошо. С триггером — уходит во все тяжкие. Выявлять наличие таких «закладок» мы пока не умеем.

Научная статья, сайт с примерами.

Открываешь специальную ссылку и всё, хакер полностью контролирует твой телефон или компьютер. Это не из дешевого фильма про шпионов, а перевод на человеческий язык описания обновления безопасности, которое только что выпустила Apple. Рекомендую всем обновить айфоны и макбуки.

Первая исправленная уязвимость позволяла создать веб-страницу, которая пробивает защиту веб-браузера, вторая ошибка давала обойти меры безопасности операционной системы.

Apple скромно замечает, что им сообщили, что хакеры использовали эти уязвимости в реальной жизни. Насколько эти уязвимости дешевые, могут ли их купить обычные люди, спецслужбы нашей родины? Не знаю. Рекомендую включить автообновление в настройках.

P.S. В андроиде такое тоже встречается.

Если (когда) менты отберут у вас телефон и разблокируют его, им нужно будет вытащить из него информацию. Есть два способа: 1) глазками прокликать иконки на рабочем столе, просмотреть чаты и документы 2) вытащить информацию на компьютер и исследовать её с удобством. Для этого есть специальные программы.

Один из производителей такой программы для властей разных стран — Cellebrite, недавно публично хвастался, что умеет вытаскивать данные из Signal. Это правда, если власти смогли разблокировать телефон, то они могут вытащить из него все чаты, так же, как могли бы увидеть их глазами. Эта программа используется спецслужбами по всему миру для проведения официальных и не очень официальных криминологических экспертиз.

Сегодня Signal выложили ответочку. Они где-то раздобыли (в оригинале «fell from the truck» — «свалилась с телеги, нашли на дороге») официальную коробочку с этой программой, исследовали её и обнаружили в ней тонну уязвимостей. Таких уязвимостей, что можно составить специальный файл, который при наличии его на телефоне жертвы получает полный доступ над компьютером, который пытается вытащить с него информацию (жертва и агрессор меняются местами). Можно заставить софт Cellebrite написать что угодно во все криминологические экспертизы, которые есть на этом компьютере. Не только в текущий, но и все последующие.

Пост они закончили следующим абзацем: «мы теперь начнем прикладывать к Signal'у специальные красивые файлы. Они не несут никакой пользы, просто эстетически очень приятные. Причем файлов у нас много и они разные. Приложим мы их только давно зарегистрированным пользователям и только части отловить и исправить все ошибки у вас не получится. Никакой связи с предыдущим текстом этот абзац не имеет. Просто нравятся они нам.»

Троллинг 90го уровня.

Ах да, ещё они обнаружили, что Cellebrite нелегально использует библиотеки Apple в нарушении лицензии. У Apple дорогие и хорошие юристы.

🍿🍿🍿

Адская дырка во встроенном почтовом клиенте macOS, или почему нужно обновлять софт.

Исследователь нашел ошибку в стандартной почтовой программе Mail.app из macOS. Уязвимость такая, что даже кликать ни на что не нужно, достаточно просто получить специальным образом подготовленное письмо в свой почтовый ящик, чтобы атакующий получил практически полный контроль над почтовым приложением. Он, например, может настроить пересылку всех писем на свой ящик.

Суть ошибки в том, что почтовое приложение автоматически при получении распаковывает все архивные файлы, подготовленные специальным образом. Атакующий готовит архив, который при распаковке заменяет файл настроек почтового приложения. Готово.

Интересно, что эпл выпустила обновление, исправляющее уязвимость в течении полутора месяцев, а вот выплатить исследователю так называемый багбаунти (приз за нахождение уязвимости, такие программы есть у всех крупных компаний) не может уже больше полугода. Срамно!

А мораль простая — обновляйте софт, когда появляются обновления, настройте автоматические обновления. Исследователи постоянно находят дырки в софте и не обновляться — это как в эпидемию чумы ходить без маски.

Интересная деталь про уязвимость почтового сервера от Microsoft.

1. ошибку нашли уважаемые тайванськие исследователи в декабре 2020 года.
2. 5 января они сообщили об уязвимости Microsoft и передали ей рабочий «Proof of Concept», то есть рабочий вирус, который позволяет получить доступ к уязвимой системе.
3. 6 января незавимимая американская компания, предоставляющая услуги информационной безопасности, обнаружила реальную атаку на системы своих клиентов.

Совпадение? Рабочие гипотезы:
А. атакующие взломали тайванских исследователей, DEVCORE;
Б. атакующие взломали службу безопасности компании Microsoft;
В. кто-то из сотрудников обоих компаний продал уязвимость на рынке (6-7 нулей) или отдал её в результате шантажа;
Г. совпадение.

И Тайваньцы, и Microsoft теперь проведут полноценное расследование, чтобы выяснить, на чьей стороне утечка. Если она реально была — то с большой вероятностью этот канал прикроют. То, что злоумышленники «сожгли» свои «ключи к царству» ради этой уязвимости, только подчеркивает её ценность.

Спасибо Омару Ганиеву за наводку.

Китайские хакеры взломали минимум 30 тысяч американских почтовых серверов. В среднем, каждый почтовый сервер — это вся почта одной организации.

Что ещё хуже, уязвимость позволяет получить полный контроль над сервером. Это значит, что атакующие могут использовать эту дырку как базу для дальнейших атак уже внутри сети организации. Microsoft уже выпустила исправление, но исправление конкретно этой дырки никак не очистит сеть организации, которую вполне могли инфицировать уже десятками других способов.

Первый раз активное использование этой уязвимости заметили 6 января, когда весь мир следил за беспорядками в Капитолии США. Я не пишу о каждой новости «русские/китайские хакеры опять взломали полмира» — скучно, но эта — достаточно крупная и важная.

Как надежно защититься от подобных атак, если ты не спецслужба и не гугл/яндекс со штатом супер дорогих безопасников — вот вопрос на миллиард.

Я надеюсь, что информационная безопасность — это следующая «большая штука» в IT. Пусть через 5-10 лет «IT-безопасность» будет так же на слуху, как сегодня машинное обучение. Дай бог, чтобы мы нашли принципиально новые способы защиты наших систем. Аминь. 🙏

Вацап подал в суд на израильскую хакерскую компанию NSO group. Израильтяне продают услугу полной прослушки мобильных телефонов на iOS и Android. Основные покупатели — государства, которые следят за высокопоставленными политиками и военными других стран и своими родными гражданскими активистами и журналистами.

При чем тут вацап? Первым шагом атакующие использовали уязвимость, которая позволяла запустить любую программу на телефоне жертвы просто позвонив по вацапу. Мало оказаться внутри телефона, нужно ведь далее прослушивать переписку, а это очень непросто. Для этого израильтяне эксплуатировали уязвимости внутри iOS и Android, которые давали им возможность оставаться на телефонах жертв продолжительное время. Каждая такая уязвимость стоит сотни тысяч долларов. По подсчетам вацапа, есть минимум 1400 жертв; упоминают Штаты, Арабские Эмираты, Бахрейн и Мексику, про Россию отдельно не говорят.

Проблема с NSO и их «сервисом» в том, что они путают карты всем, кто анализирует свои риски информационной безопасности «как положено»: сначала нужно понять, что и от кого защищаем. Например, если защищаемся от ФСБ и прочего Кремля — то фейсбук и вацап теоретически использовать можно. Если защищаемся от ЦРУ — используй Вконтакте. Тут же любой, кто заплатит денег получает полный доступ к телефону — сердцу современной жизни. ☠️

P.S. На hackernews конечно сразу нашёлся человек, у которого знакомым военным недавно запретили пользоваться вацапом. Вот и носи после этого шапочки из фольги. Может и штрих-коды от дьявола? 🙈