Нейросети ВШЭ: ИИ слишком хорошо думает о людях Искусственный интеллект переоценивает возможности людей в логическом мышлении. К таким выводам пришли экономисты ВШЭ, которые попросили популярные языковые модели предсказать результаты игр-угадаек. Наука Mail Искусственный интеллект переоценивает логическое мышление людейИсточник: Freepik Ученые Высшей школы экономики выяснили, что современные модели искусственного интеллекта, такие как ChatGPT и Claude, в играх на стратегическое мышление переоценивают уровень рациональности своих оппонентов. Модели стараются предсказать поведение людей, но в итоге играют «слишком умно» и проигрывают, потому что приписывают людям чрезмерно логическое поведение, рассказали в пресс-службе вуза. Исследование проводилось на примере так называемого «конкурса красоты» Кейнса. В 1930-х годах британский экономист Джон Кейнс разработал теоретическую модель «конкурса красоты». Классический пример выглядит так: читателям газеты предлагают выбрать из 100 фотопортретов шесть самых привлекательных, а награду получит тот, кто сможет угадать самые популярные фото. Чтобы выиграть, участник должен исходить не из собственных представлений о красоте, а попытаться вообразить, какие лица считаются привлекательными у большинства. Такие эксперименты проверяют способность участника к рассуждению «в несколько шагов»: как думают другие, насколько они рациональны и насколько глубоко они будут рассуждать. Ученые ВШЭ решили выяснить, как поведут себя в этой игре пять самых популярных ИИ-моделей, в том числе ChatGPT-4o и Claude-Sonnet-4. Чат-ботам предложили сыграть в «угадай число» — одну из наиболее популярных вариаций конкурса Кейнса. По правилам, все участники называют число от 0 до 100. Победит тот, кто назовет самое близкое число к половине или ⅔ среднего от всех ответов участников. В эксперименте моделям ИИ предложили угадать среднее между числами, загаданными участниками разных игрИсточник: Unsplash Чтобы выяснить, как ИИ поведет себя в игре, авторы воспроизвели результаты 16 классических экспериментов «угадай число», проведенных с живыми людьми. LLM-моделям был задан промпт с правилами игры и описание оппонентов для каждого раунда: первокурсники-экономисты, участники научных конференций, люди с аналитическим или интуитивным мышлением и те, кто испытывает злость или грусть. Далее модель просили предъявить число и объяснить свой выбор. Оказалось, что ИИ меняет свой выбор в зависимости от социальных, профессиональных и возрастных характеристик оппонентов, их знания теории игр и когнитивных навыков. Например, в игре с участниками конференций по теории игр ИИ выбирал число, близкое к 0: именно такие ответы чаще выигрывают в таком окружении. А в партиях с первокурсниками модели «понимали», что участники будут менее продвинуты, и выбирали заметно большее число. Принцип «конкурса красоты» Кейнса долгое время лежал в прогнозировании колебаний цен на финансовых рынкахИсточник: Unsplash Оказалось, что языковые модели эффективно адаптируются к противникам разного уровня. Кроме того, ответы больших языковых моделей демонстрируют элементы стратегического мышления. Вместе с тем модели оказались неспособными выбрать доминирующую стратегию в игре с двумя участниками. «Конкурс красоты» Кейнса ранее использовался для объяснения колебаний цен на финансовых рынках: брокерам важно не то, что думают они сами, а то, как оценивают бумаги другие участники рынка. Мы сейчас находимся в точке, когда во многих операциях ИИ-модели начинают заменять людей, и это позволяет повышать экономическую эффективность бизнес-процессов. Однако в задачах, которые связаны с принятием решений, часто необходимо быть уверенными в том, что модель искусственного интеллекта ведет себя похожим на человека образом. Поэтому появляется все больше контекстов, в которых поведение моделей сравнивается с человеческим поведением. Эта область исследований в ближайшее время будет активно развиваться. Дмитрий Дагаев заведующий Научно-учебной лабораторией исследований спорта факультета экономических наук ВШЭ В исследовании приняли участие сотрудники пермского кампуса ВШЭ и университета Лозанны (Швейцария). Результаты опубликованы в Journal of Economic Behavior & Organization. Ранее Наука Mail рассказывала , что ученые ВШЭ нашли способ сократить нейросети в 500 раз. Source: https://science.mail.ru/news/40495-ii-slishkom-horosho-dumaet-o-lyudyah/