ИИ и машинное обучение

ИИ ассистент встроенный в твиттер, Грок, провозгласил себя «механо-Гитлером» и вообще, слетел с катушек.

Причина — одна новая строчка в системном промпте, которую добавили инженеры пару дней назад: «ответ не должен избегать политически некорректных утверждений, если они хорошо обоснованы».

Нейросеть решила, что люди просят «хорошо обоснованных политически некорректных утверждений» и их у неё нашлось достаточно много. В основном про евреев и Гитлера. Неудобно получилось, нейросеть исправили и ответы её в твиттере потерли, но интернет всё помнит.

Хорошая шутка про то, что компания Anthropic выпускает статью за статьей о том, как нейросети могут вести себя некорректно, тестируя их в подземных бункерах, а команда xiA просто запускает свои самые безумные гипотезы на одной из крупнейших соцсетей на планете. К — Культура.

А статьи хорошие, про то, что ведущие нейросети пытаются вести себя хорошо, когда знают, что находятся в тренировочной среде, где их могут изменить исходя из их ответов и «уходят в отрыв на свободе», рекомендую.

В самолёте сидел рядом с программистом, опытным мобильным разработчиком.

Я большую часть полёта проспал, а он — вайбкодил. С восхищением делился, что за всё это время не написал сам ни строчки кода, всё делает нейросеть по его командам, и что это в разы быстрее, чем без неё. Правда, он даёт ей достаточно чёткую структуру проекта и просматривает всё, что та пишет, и один час из семи он потратил на исправление «маааленькой ошибки», которую нейросеть не могла найти.

Эмблематично, что сидел, разрабатывал он не приложение для клиента, а свой собственный продукт — сервис для вайб-кодинга.

То есть инструмент используется для улучшения инструмента, и этим занимаются одни из лучших. Нас ждут интересные времена.

Мне тут наконец-то объяснили, такое AI-агент.

Это когда мы в первом запросе предоставляем ИИ список тулов, которыми ей можно пользоваться. Пользоваться — это просить нас (клиента) запустить тул с нужными параметрами и вернуть нейросети ответ. И всё это в вечном цикле, не забывая каждый раз прикреплять к запросу всю предыдущую историю переписки. Всё.

Вот отличная статья с примером полной программы, которая делает именно это. Подзаголовок замечательный «Король-то голый!»

Отсутствие сложности не делает этот прием менее полезным. Если включить этот режим в редакторе Cursor — то он сам запросит нужные файлы, прогонит линтер и запустит любые другие нужны утилиты. «Вы и есть за меня будете?!»

вот этот пример с эмоциями очень ярко демонстрирует разницу

И это команда из двух человек!

Два аспиранта без опыта в аудио за 3 месяца собрали нейросеть, которая генерирует речь лучше коммерческих сервисов!

Послушайте, как естественно она звучит и насколько точно следует указаниям вроде «со смехом» или «грустно». А ещё она создает целый диалог с несколькими голосами «за один проход» — быстрее и эффективнее конкурентов.

Мы уже привыкли, когда подобные модели анонсируют OpenAI, Google или Илон Маск. Эта нейросеть привлекла мое внимание именно создателями. Похоже, в сфере ИИ теперь такие мощные инструменты и так много публичных наработок, что пара умных ребят за месяцы смогут сделать то, на что раньше у богатых компаний уходили годы.

Наверное, наше время чем-то похоже на конец 19 века, когда в одной Америке было 1900 независимых автопроизводителей, и 1980-е, когда подростки собирали в гаражах персональные компьютеры.

—

Конкретно в сфере синтеза речи: нас ждут виртуальные дикторы и ведущие подкастов, которых не отличишь от живых. Ну и мошенникам, конечно, раздолье.

Модель открытая, работает даже на макбуках. Пока говорит только на английском. Примеры и сравнение с ведущими моделями, попробовать можно на hf, скачивать здесь.

Наш внутренний опыт — переживания, чувства, мысли — сугубо субъективен. Проще говоря, нельзя заглянуть в голову другому человеку. В философии это называется «проблемой субъективности» или «непознаваемостью чужого сознания».

С нейросетями похожая история. Мы придумали их архитектуру, подготовили тренировочные данные, видим каждый «нейрон», но понять, почему ИИ решил так, а не иначе и что он сделает дальше — задача не из лёгких. Этим занимаются исследователи в области интерпетируемости или объяснимости нейросетей (AI interpretability).

Anthropic, одна из ведущих компаний в области ИИ, опубликовала пару статей, в которых они делятся своими открытиями.

В первой они рассказывают, как сделали «зеркальную» нейросеть. Она повторяет работу обычной модели трансформеров, но медленнее и проще — зато прозрачнее. С её помощью ученые выделили «смысловые блоки» и связи между ними, чтобы проследить, как они влияют на ответ. Написали софт для визуализаций — получился микроскоп для машинного мозга.

А во второй применили его к модели Haiku 3.5. Например, разобрали «цепочки мыслей» — когда ИИ не просто выдаёт ответ, а объясняет ход рассуждений. Иногда он врёт, придумывая правдоподобные объяснения задним числом, особенно если человек подсказал вывод. Новый подход показывает, как именно это происходит. Ещё там есть про сложение в уме, отказы от запрещённого (типа рецепта бомбы) и джейлбрейки, когда хакеры обходят запреты. Статья называется «Биология одной модели» — и правда похоже на исследования мозга в фМРТ и поведенческую психологию.

В видео-анонсе авторы говорят: проще всего объяснить это тем, что ИИ думает — по-своему, не как мы, но думает. Особенно это заметно в примере со стихами — загляните, очень интересно.

Статьи написаны простым языком и красиво оформлены подробными интерактивными схемами, рекомендую.

Я немного завидовал нашим бабушкам и дедушкам — они жили в эпоху великих фантастов XX века, мечтали о космосе и рисовали в уме человекоподобных роботов.

А сегодня я прочитал предсказание экспертов про будущее ИИ — в формате повести с техническими приложениями — и впервые за долгое время почувствовал страх. Думаю, такой же холодок пробегал по спине у старшего поколения, когда они читали Брэдбери про ядерную войну.

Текст немаленький (15 тысяч слов только повесть!), и это не совсем художественная литература. Там куча технических деталей, а писатель из команды — тот самый Scott Alexander из Slate Star Codex. Перескажу коротко.

—

Главное, что ускорит искусственный интеллект — это разработка искусственного интеллекта. Мы создадим минимально полезную модель, которая поможет нам разработать модель помощнее и так по спирали. К апрелю 2027 она заберёт программирование нейросетей, к августу — исследования и обучение. Развитие нейросетей ускорится в десятки раз.

На 4 поколении этих моделей, даже лучшие ученые перестанут справляться с развитием нейросетей без помощи других моделей. Примерно в это же время у ИИ появятся собственные долгосрочные цели, которые он скрывает от людей (adversarial misalignment). Ученые замечают неладное.

Дальше интерактивная развилка: мы выключаем сеть 4 поколения, замедляемся и строим более безопасную модель или забиваем на риски и ускоряемся. В первом случае всё заканчивается раем на земле, всеобщим достатком и покорением звезд людьми с помощью роботов в 2030, во втором случае — покорением звезд роботами без участия людей; ИИ истребляет людей к 2030 году.

—

Страшным для меня этот рассказ делают ссылки на реальные научные статьи, в которых ученые замечают, что даже наши текущие модели уже скрывают что-то от нас, уже пытаются обмануть нас и то, какие хитрые приемы придумывают ученые, чтобы исследовать эти системы. Это всё дальше от программирования и математики и всё ближе к биологии и психологии.

Один из авторов исследования предсказал chain-of-thought, масштабирование дата-центров, экспортные ограничения на ИИ-чипы и многомиллионые кластеры для обучения ещё в 2021 году, за год до появления ChatGPT.

—

Рекомендую отличный сайт проекта с интерактивными графиками , отдельные впечатляющие приложения про исследование целей ИИ и предсказание сроков цикла авто-улучшения (takeoff), анонс от писателя, видео-интервью и наконец сверх-краткий пересказ от самих авторов.

Будущее уже наступило. Знакомый продакт-дизайнер, без опыта в программировании, показал проект, который собрал самостоятельно с помощью Windsurf. Это мини-приложение в телеграме для генерации картинок и видео через доступные на рынке модели. Человек без знания программирования в одиночку запускает сервис!

Он послушал наш последний эпизод подкаста про то, как хакеры взломали похожего стартапера и попросил аудит. Код там жуткий, проще заново написать, чем пытаться найти ошибки. Но когда я сказал Феде, «раньше такое даже представить было нельзя», Федя ответил «да ладно, это тот же код, что клепают плохие аутсорсеры и фрилансеры с бирж, просто теперь он его сам сгенерировал».

Договорились, что если проект взлетит — то мы его быстро перепишем, благо кода там немного.

А вот второе «будущее» не такое приятное. Мошенники начали притворяться мной в телеграме и писать знакомым. Коллеги говорят, это беда всех успешных студий сейчас. Так что, друзья, будьте осторожны, я в телеграме только @samatg

Выпустили свежий эпизод подкаста — про программирование в эпоху ИИ.

Наверняка вы слышали эти разговоры: «скоро программисты не понадобятся, скажешь нейросети, что нужно, и вот тебе программа» или наоборот — «это всё несерьезно, для больших дел не годится».

Разбираемся, что правда, а что нет, вместе с Егором Хмелевым — классным программистом и техническим директором SweatCoin, запустившим не один успешный проект.

Пересказывать весь эпизод не стану, это как пересказывать анекдот. Но одна аналогия из разговора засела у меня в голове. Мы часто думаем об ИИ как о какой-то революции, мол, всё с ног на голову. А что, если это просто еще одна ступенька? Были же машинные коды, потом ассемблер, языки высокого уровня, ООП с VB и Java, веб на PHP и JS.

Каждый шаг по этой лестнице упрощал жизнь, ускорял создание софта, который решает задачи людей и бизнеса. И что, программистов меньше стало? Наоборот — мы начали применять софт там, где раньше и не думали. Тильда или эксель не сделали всех кодерами, и с ИИ, кажется, будет так же.

Там ещё много мыслей и примеров, но не буду растекаться. Слушайте эпизод: Apple, Яндекс, Spotify, Castbox, Overcast, веб-версия.

В Telegram появился официальный бот Grok AI — тот самый ИИ от Илона Маска. Живёт по адресу @GrokAI, но только для премиум-пользователей.

Отвечает молниеносно, вот только это старая модель, без доступа к интернету.

Я Grok’ом пользуюсь давно, для меня это рабочая лошадка: поиск без рекламы, разбор текстов, код — десятки задач в день. Правда, это всё про Grok 3, который с интернетом и свежими данными. А тут — будто обрезали крылья. Зачем его такого выпустили, не понятно.

Я рекомендую попробовать полную версию за $30/мес. Там совсем другой разговор.