Пулман, штат Вашингтон — Учёные из Университета Вашингтона провели исследование, подтвердившее, что ChatGPT не всегда даёт точные ответы при оценке научных гипотез. Профессор Месут Цикек и его команда проверили работу системы, задавая ей более 700 гипотез из научных статей. Цель исследования заключалась в анализе, подтверждает ли модель каждое утверждение. В 2024 году AI правильно отвечал в 76,5% случаев, а в 2025 году точность выросла до 80%. Однако учёные отметили, что даже с учётом случайных угадываний (50% вероятности) система остаётся лишь на 60% лучше, чем простой шанс. Это назвали близким к минимальному уровню, а не высокой надёжности. Важно подчеркнуть, что AI хуже справляется с ложными гипотезами — правильно определяет их лишь в 16,4% случаев. Также были выявлены несогласованности: из 10 одинаковых запросов модель точно оценивала только 73% утверждений. ‘Мы не просто говорим о точности, мы говорим о несогласованности, потому что повторяя один и тот же вопрос, вы получите разные ответы’, — подчеркнул Цикек. ‘В первый раз он ответил ‘истинно’, потом ‘ложно’, и так далее. Были случаи, когда было пять ‘истинно’, пять ‘ложно», — добавил он. Результаты исследования опубликованы в журнале Rutgers Business Review. Учёные предупредили, что для критических задач, требующих анализа и нюансов, необходимо проявлять скептицизм. Они также отметили, что способность AI к созданию плавного текста не соответствует его способности к логическому мышлению. ‘Современные инструменты AI не понимают мир так, как мы — у них нет ‘мозга», — заявил Цикек. ‘Они запоминают информацию и могут дать некоторый инсайт, но не понимают, о чём говорят’. Исследователи использовали 719 гипотез из статей, опубликованных в бизнес-журналах с 2021 года. Эксперимент проводили с бесплатной версией ChatGPT-3.5 в 2024 году и с обновлённой версией ChatGPT-5 mini в 2025 году. Учёные заключили, что менеджеры должны проверять результаты AI, обучать сотрудников и понимать, что система может и не сможет делать. Цикек отметил, что аналогичные тесты с другими AI-инструментами давали сопоставимые результаты. ‘Всегда будьте скептичны’, — подчеркнул он. ‘Я не против AI. Я его использую. Но вам нужно быть очень внимательным’.
поделиться в твиттере: Исследование Университета Вашингтона ChatGPT часто даёт неточные и противоречивые ответы при оценке
