ИИ и машинное обучение

Несколько лет назад было модно смотреть презентации Apple и потом весь твиттер обсуждал, что нового представила яблочная корпорация и как это повлияет на технический мир.

Потом в какой-то момент за презентациями Apple стали следить уже мейнстримовые издания — вели онлайны, писали обзоры, что нового появилось. Последние годы они стали достаточно скучными.

Уже второй день наблюдаю, как весь мой твиттер в давно забытой ажитации от презентации DevDay от OpenAI. Это компания, которая совсем не Open, но является одним из ведущих игроков в области искусственного интеллекта, создателем того самого знаменитого chatGPT.

—

Они представили возможность создавать своих собственных AI-помощников на основе документов и статей, которые вы загрузите в систему заранее, а также правил, которые вы ей зададите при создании. (короткое видео демо)

Доступ к таким «настроенным моделям» можно будет продавать через магазин OpenAI. Возможно, что мы присутствуем при запуске магазина, аналогичного апстору для айфона (кажется, что плагины в этом плане круче, но посмотрим).

Ещё анонсированы: очень хорошие модели для генерации аудио из текста (дикторы, за вами уже выехали), увеличенный контекст (так что модель может держат в уме большие куски текста) и куча инструментов для разработчиков (возможность исполнять python код и обращаться к внешним API — некоторые из них), так что это очень похоже на ежегодный Apple Worldwide Developer Conference или Microsoft Build. Удивительно присутствовать при зарождении ещё одного важного предложения на рынке «мира/экосистемы для разработчиков». Да, влияние OpenAI на индустрию и тем более реальную экономику несравнимо с такими бегемотами как Microsoft или Apple, но с точки зрения хайпа и внимания модной тусовки — ребята на гребне.

Не обошлось, конечно, и без доли кринжа — девушка со сцены рассказала, как написала душевное письмо папе с помощью модели. Интересно, они сами не понимают, насколько это крипово?

—

Из конкурентов, за кем ещё можно последить в этой сфере, условные гуглы/андроиды этого рынка: Anthropic с его ботом Claude и недавно анонсированный Илоном Маском (ну конечно, куда без него) Grok, который, в отличие от всех этих моделей, имеет прямой доступ ко всему твиттеру в реальном времени.

Дальше будет только интереснее!

Лично я пользуюсь нейросетями очень по-ламерски (еще одно слово из 90-х).

Я регулярно получаю помощь в двух вещах:

1. Написание кода. Я редко сам пишу код и команды, библиотеки, ключевые слова — всего этого нет на кончиках пальцев — раньше нужно было мучительно гуглить. Еще ладно, если первый результат — хороший ответ на StackOverflow; а в последнее время часто натыкаюсь на SEO-оптимизированные помойки. Нейросеть помнит все и является отличным напарником. Я опять начал получать удовольствие от программирования.

2. Работа над подкастом. Раньше я часто гуглил что-то при подготовке списка вопросов к гостю. Теперь мы задаем вопросы нейросети. Опять же, быстрее и меньше мусора в сравнении с Гуглом.

А последний раз я сначала попросил нейросеть помочь вытащить заголовки всех эпизодов нашего подкаста — ее командная строка была чуть элегантнее моей первой идеи; а потом предложить темы новых эпизодов, основываясь на старых. Сеть довольно точно предсказала то, над чем мы уже работаем и даже предложила несколько интересных тем, до которых мы пока не догадались.

Напомню, у нас есть отличный эпизод о том, как мы добрались до жизни такой.

Про искусственный интеллект мне близко ощущение Тома Скотта.

Нейросети сегодня — как интернет в 90е. Даже действующие лица те же!

Уже появился Napster — первая сеть для обмена музыкой. Его убьет музыкальная мафия, но это не предотвратит появление торрентов, iTunes и Spotify. Посмотрите, как лейблы начали бороться с генеративной музыкой.

Некоторые ученые и энтузиасты уже годами пользуются электронной почтой, сидят в IRC и в новом модном ICQ, а нормальные люди об интернете знают только по-наслышке. Джефф Безос только начал продавать книги по интернету, Илон Маск делает онлайн-путеводители для газет.

Но будущее уже не остановить. На фото — молодой Безос.

Наконец-то эпизод подкаста про ChatGPT! 🤖

Разбираемся, что эта нейросеть умеет, как её сделали, почему она взорвала интернет (миллион пользователей за 5 дней!), есть ли успешное коммерческое применение (ещё как!), сколько будет стоить самому такую сделать и во многом другом.

Оказывается, что некоторые навыки подобных нейросетей — это так называемые «эмерджентные свойства», то есть её специально этому не учили, она такой стала из-за объема данных и времени обучения. Возможно, сознание — такое же эмерджентное свойство.

Жутко интересный и немного страшный эпизод. Гость — Артем Родичев, бывший глава AI в самом популярном чатботе — Replika. Слушайте на всех платформах: Apple, Google, Яндекс, Spotify, Castbox, Overcast, веб-версия.

Этим эпизодом мы открываем 9 сезон подкаста. Ура!

В конце прошлого года OpenAI представила нейросеть ChatGPT, потомка GPT-2 и GPT-3. Она умеет вести диалог — отвечать на вопросы, придумывать истории и даже писать программы.

Поговорить с сетью самому можно бесплатно после регистрации (потребуется VPN, сеть недоступна из России и Украины) на официальном сайте. OpenAI тратит на этот бесплатный тест миллионы долларов, взамен собирает информацию о том, как люди пользуются ИИ.

Очень впечатляющие результаты, а ещё четко видно тренд и я думаю, что скоро эти количественные улучшения приведут к качественному скачку.

🌕 Вот несколько вещей, которые ещё недавно были невозможны, а скоро, кажется, станут обыденностью:

• машина будет мгновенно генерировать краткую выжимку любых встреч и созвонов (кто напишет фолоу-ап, коллеги?) — пример;
• машина сможет оценить вклад каждого участника и продуктивность встречи в целом;
• описываешь обычными словами, что должна делать программа, а машина пишет код (и тесты к нему); обратная задача — 
• даешь машине исходный код программы, а она говорит, что эта программа делает и где могу быть ошибки;
• вместо поиска в гугле, задаешь нейросети вопрос и получаешь ответ (многие считают, что это начала конца Гугла, вот расширение для встраивания ответа нейросети в результаты поиска);
• нормальное голосовое управление телефоном и компьютером: отвечать на смс-ки и имейлы, планировать календарь голосом — как в фильме «Она».

💸 Ходит шутка, что все бодрые программисты-стартаперы сейчас запускают новые проекты, которые являются витринами (фронтендом) для ChatGPT.

Десятки лет мы смотрели фильмы, в которых компьютер умеет вести диалог, отвечать на вопросы и выполнять несложные задачи. Впервые это перестает выглядеть как фантастика и звучит как инженерная задача, которая будет скоро решена.

🌑 Есть и обратная, темная сторона. Всю историю человечества, написать текст было сложнее (дороже), чем прочитать его. Если ты видел длинный, связный текст по теме или адресованный тебе лично — это значило, что кто-то вложил время и силы, душу в него. Тексты, созданные нейросетями связные и выглядят нормально, но их можно генерировать мгновенно и практически бесплатно. Сайты и сервисы к этому не готовы — StackOverflow, главный сайт вопросов и ответов по программированию был мгновенно переполнен мусорными ответами и владельцы сервиса теперь банят любого, кто запостит туда текст из ChatGPT. И это только начало.

Для тех, кто заинтересовался:
- каталог хороших диалогов с ChatGPT;
- виртуальная машина внутри ChatGPT;
- люди обходят ограничения ChatGPT — заставляют её ругаться или придумывать аргументы за Гитлера, например.

Новый эпизод подкаста — с патологоанатомом. И это не персонаж из анекдотов, который режет трупы! Гораздо интереснее и сложнее.

Внутри эпизода много машинного обучения, крутые кейсы и доктор, который занимается не только лечением, но и наукой.

Немного страшно, что делать в следующем сезоне, когда в этом задана такая высокая планка 🙈

Слушайте и подписывайтесь: Apple, Google, Яндекс, Spotify, Castbox, Overcast, веб-версия.

Notion — один из самых популярных инструментов совместной работы, анонсировал использование популярных моделей машинного обучения для работы с текстом.

Выбираете «написать пост», даете ему одно предложение, о чем пост и он генерирует черновик. Выбираете «брейншторм идей», пишете что хотите брейнштормить и получаете список идей. Исправление орфографии, переводы — все эти модели доступны прямо внутри обычного редактора.

То, с чем раньше было неудобно и сложно играть, теперь станет рабочим инструментом тысяч людей. В интересное время живем!

Ну и видео анонс запуска бомбический, на примере самого запуска, с хорошей шуткой в конце. ❤️

Пока только приватная бета, записаться можно здесь.

Open AI опубликовала крупнейшую нейросеть распознавания речи, обученную на 680 тысячах часов аудио, назвали Whisper — шепот.

Сеть понимает множество языков кроме английского, включая русский.

Качество распознавания сравнимо с сервисами от Google, Amazon, Microsoft и Yandex. При этом сервисы распознавания речи от корпораций стоят по 2 доллара за минуту распознавания, а тут можно скачать и пользоваться этой штукой бесплатно и без подключения к интернету.

Открыта и бесплатна для скачивания не только конечная сеть, но и «развесовка», то есть модель можно тюнить и использовать как составную часть более сложных алгоритмов. Не открыты только 680 тысяч часов аудио, которые использовали для обучения модели.

Пара примеров есть на странице проекта; распознать любые файлы и даже свою речь с микрофона можно попробовать онлайн в неофициальном google colab блокноте (очень классный инструмент!).

—

Кстати, если у вас айфон — рекомендую обновить iOS и попробовать встроенное распознавание речи. Новая версия iOS внесла одно маленькое изменение — теперь редактирование текста клавиатурой не прерывает процесс распознавания. Можно набрать текст голосом, исправить ошибку пальцами и продолжить набор голосом. Я теперь пишу большинство сообщений на айфоне именно так — гораздо быстрее и легче, чем печатать пальцами.

Интересно, что мы как раз начинаем исследовательский проект для Чайки — встроим распознавание речи в медицинскую информационную систему, чтобы врачи могли заполнять карточки пациентов голосом и тратили на это меньше времени.

Будущее уже совсем близко.

У нас дома есть ритуал. Вернулся домой — кот мяучет и тот, кто вернулся, его кормит. Я привык рассматривать мяуканье как желание поесть. Но сегодня утром я проснулся, покормил его и пошёл выкинул мусор. Вернулся — а он мяучет как будто я вернулся с работы. Почти пошел за едой, но понял, что глупо.

Вот думаю, как часто я делаю вещи по привычке, без смысла?

—

Коту, по моему опыту, ок вместо еды посидеть на руках. Интересно, как часто он реально голоден, когда мяучет, а когда — просто хочет на руки?

Нашел приложение, которое переводит с языка котов (чумовая статья, wiki at it's best; русская статья в википедии совсем другая!), причем адаптируется под специфичный вокабуляр конкретного кота. Создатель — бывший разработчик Amazon Alexa. Вот истинное предназначение методов машинного обучения! iOS / Android и научная статья впридачу. А вот как самому подобное напрогать.

Чуть не пропустил — совершенно чумовая модель машинного обучения от исследователей из гугла, называется Imagen.

Генерирует супер качественные картинки по английскому описанию. Пишешь, например, «золотистый ретривер одетый в синий в клеточку берет и в водолазку в красный горошек» и получаешь картинку будто от фотографа.

На красивом сайте-презентации ещё десятки примеров, частью интерактивные. Рекомендую посмотреть. Полный снос башки 🤯