Вот ещё прикольное сравнение, где модели, переходя по ссылкам в статьях, должны найти путь от одной страницы в википедии до другой (от бейсбола до солнца, например)
Конкурсы могут показаться смешными, но вообще выбрать один из нескольких вариантов — это то, на чём строится практически всё программирование. И до сих пор у нас был выбор либо жёсткие алгоритмы, либо тормозные, дорогие и галлюцинирующие LLM, которые для такого вида задач предрасположены плохо.
Круто, что есть люди, которые придумывают новые подходы, а не только масштабируют инвестиции и дата-центры. ⚡️
Вот тут мнение внешнего эксперта.
Илья Кошарский
а как же классика, почему не к Гитлеру ищут?
😁️12🤣️2
Kirill Zagoskin
Вздерет с вас х10, а через 2 недели оно будет стоить в 20 раз дешевле в дипсик и работать на том же уровне
Ilya Mois
Сама идея выдавать распределение вероятностей вообще не новая, для ML это база. Классификаторы делают это по классам, LLM - по всему словарю на каждом следующем токене. BERT тоже давно дообучали под задачи, где нужно выбрать один из заданных вариантов
А вот попытка сделать из такого классификатора foundation-модель действительно интересная. Дать ей произвольный контекст и произвольный набор вариантов и сразу получить распределение, без дополнительного обучения под конкретную задачу
Кажется, новизна здесь именно в этом, а не в появлении какого-то нового класса моделей
👍️2
Silver Kettle
Я так понял галлюцинирования нет, потому что сам ответ может быть галлюцинированием и произвольным. Т.е. это буквально прокаченный калькулятор, но совершенно не подходит, например, для визуала?
👎️
Samat Galimov
Галлюцинаций нет, потому что ты заранее говоришь, какие варианты ответов допустимы, и у него технически нет возможности ответить что либо кроме распределения вероятностей
Скорость и стоимость поразительные, какие-то новости в архитектуре наверняка есть
Silver Kettle
Все. Теперь понял
Ilya Mois
Ну скорость связана с тем, что генерируется фактически один токен (на сколько могу судить) если переводить на язык трансформеров
И тот же BERT работает по тому же принципу, поэтому про него упомянул
🤔️
Samat Galimov
BERT мне кажется не умеет отвечать на производные вопросы на натуральном языке, как в примере с Википедией
Ваня
Очень интересно, но пока совершенно непонятно, как выглядит практическое применение
Samat Galimov
В if-в вставляешь
👍️
Anton
Reranking модель здорового человека получилась.
Более ранние версии например тут https://huggingface.co/Qwen/Qwen3-Reranker-8B
K L
Сами вероятности не могут быть галлюцинацией из-за архитектуры?
Ilya Mois
Так, как я понял, Jev тоже не отвечает на натуральном языке, а лишь выбирает из представленных вариантов
В Википедии как раз такой вариант, есть страница и варианты ссылок, нужно выбрать конкретную.
На вход идёт натуральный язык, а на выход фактически порядковый номер варианта
Галлюцинаций быть не может, но могут быть не правильные ответы. Например если скажут «выбери жёлтый фрукт», а среди вариантов будут яблоко, банан и апельсин, а она выберет яблоко
Она физически не может выбрать то, чего нет в вариантах ответа. А такое назвать галлюцинацией язык не поворачивается
👍️
Aman
https://1024terabox.com/s/1j4KYYgjfNOeUftulvP54vw
Макс
Такие тесты на навигацию по ссылкам отлично показывают, умеет ли модель реально планировать шаги или просто угадывает следующее слово. Интересно, на каком этапе они чаще всего сворачивают не туда и зацикливаются.
kira nikolaev
от бейсбола до солнца \о