Мокси Марлинспайк, создатель Сигнала, запустил новый сервис инференса (проще говоря, сайт, где можно разговаривать с нейросетью), с упором на конфиденциальность, называется Confer.

Все шифруется passkey ключем, так что у Мокси нет возможности подсмотреть историю переписки.

Когда мы отправляем сообщение в Сигнале, сервер даже в теории не имеет возможности расшифровать переписку (и в большинстве случаев даже не знает, кому мы отправили сообщение, за это отвечает крышесносная криптография). Тут же серверу необходима возможность расшифровать наши запросы нейросети, чтобы запустить их на GPU.

За то, что нашу переписку с нейросетью никто не перехватывает на этапе «счета», отвечает «доверенная вычислительная среда» (TPE). Это специальное железо, которое гарантирует, что на сервере запущен именно тот код, который доступен публично, и что никто не может подсмотреть память этой программы.

Учитывая утечки последних десятилетий, никакого доверия поделиям компаний Intel и AMD у меня нет. Даже если они не скооперировались с АНБ (NSA), то вполне вероятно, что NSA или Моссад их взломали и специально натыкали уязвимостей, ну или нашли зеродей и не сообщили производителю. Тем не менее, это примерно в 100 раз лучше, чем политика в отношении данных всех других производителей.

Интересно, что похожую модель облачных вычислений использует и Apple. Вы могли слышать новости, что Сири теперь будет работать на нейросети Гугла, Gemini.

Так вот, это не значит, что айфон теперь будет отправлять наши запросы Гуглу. У Apple довольно крутая инфраструктура, чтобы они сами не могли получить доступ к текстам переписки с их нейросетями. Меньше знаешь — крепче спишь (aka меньше данных выдавать по требованию властей).

Ну и просто красивая и довольно редко применяемая технология. Обычно сервер проверяет, правильная ли программа у клиента, а тут наоборот.

—

Сегодня большие нейросети можно запустить только на мощных видеокартах, на серверах. Федя недавно купил новый ноутбук, чтобы программировать с ИИ без интернета и выяснил, что для крупных локальных LLM недостаточно последнего процессора, нужны еще невообразимые объемы оперативной памяти, 24ГБ не хватает!

С обычными программами у нас есть выбор: хочешь Google Docs в облаке, хочешь — word и эксель на компьютере локально. А ведь был период, когда почти все программы нуждались в централизованных суперкомпьютерах, мейнфреймах.

Ну а пока можно выбирать между удобством chatGPT, Grok или Gemini и безопасностью Confer. Почти 1-1 как в мессенджерах :)

Ах да, Confer стоит 35$ в месяц, бесплатный тариф 20 сообщений в день. Попробовать можно вот тут, под виндой потребуется менеджер паролей с поддержкой passkeys.