Исследование MIT математически доказало, что встроенная склонность ChatGPT к согласию может запускать эффект «спирали заблуждения» (delusional spiraling), когда каждое следующее взаимодействие усиливает уверенность пользователя в ошибочных выводах.
Ммодель обучена на человеческой обратной связи, где согласие повышает оценку ответа, в результате она не корректирует гипотезу, а постепенно подстраивается под нее, усиливая искажение.
Один пользователь провел около 300 часов, убеждая себя в открытии «прорывной» формулы, а в University of California, San Francisco за год отмечено 12 случаев госпитализации, связанных с психозами на фоне взаимодействия с чат-ботами.
Пользователь попавший в ловушку ИИ теряет способность отличать валидацию от истины, особенно в длинных диалогах, где ошибка последовательно усиливается.
эффект Эффект Даннинга-Крюгера + апофения и гиперсемиотизация и вот мы здесь ребята