Ученые предупреждают: ИИ-чат-боты дают ложные ответы по медицине в 50% случаев

Популярные чат-боты на базе искусственного интеллекта нередко предоставляют недостоверную информацию по медицинским вопросам. К такому выводу пришли исследователи, результаты работы которых опубликованы в научном журнале BMJ Open.

В рамках исследования специалисты оценили ответы пяти популярных ИИ-систем - Gemini, DeepSeek, Meta AI, ChatGPT и Grok. Каждой модели задали по десять вопросов, касающихся онкологии, вакцинации, стволовых клеток, питания и физической активности.

Полученные ответы были переданы для экспертной оценки учёным из США, Канады и Великобритании. Анализ показал, что 49,6% всех ответов содержали фактические ошибки или искажения. При этом 30% ответов признали слегка неточными, а ещё 19% - содержащими серьёзные ошибки.

Худшие результаты среди протестированных моделей показал Grok, который чаще других выдавал ответы с грубыми неточностями. Наиболее корректно чат-боты справлялись с вопросами о вакцинации и онкологии, тогда как самые слабые результаты были зафиксированы в темах, связанных с питанием. 

Исследователи также обратили внимание на высокую уверенность, с которой ИИ формулирует даже ошибочные ответы. Из 250 заданных вопросов системы отказались отвечать лишь в двух случаях.

Дополнительную обеспокоенность вызвала работа чат-ботов с источниками информации. Ни одна из протестированных нейросетей не предоставила полностью достоверный список ссылок - во многих случаях источники оказались частично или полностью вымышленными.

По словам авторов исследования, ответы ИИ также оказались сложными для восприятия среднестатистическим пользователем и по уровню соответствовали текстам для студентов второго курса университета.

«Проверенные чат-боты показали неудовлетворительные результаты при ответах на вопросы из сфер здоровья и медицины, подверженных распространению дезинформации. Их дальнейшее использование без общественного просвещения и надзора может усилить распространение ложной информации», - предупредили исследователи.

mixnews.lv