Что спрашивали у чат-ботов

Исследователи взяли англоязычные вопросы пользователей о четырёх темах: отбеливании, инфильтрации эмали смолой, композитном восстановлении и керамических винирах. Каждый из 42 вопросов задали в публичных интерфейсах ChatGPT, Gemini и Meta AI (компания Meta признана экстремистской организацией и запрещена в России). Ответы собрали с 12 по 15 мая 2026 года. Статья появилась онлайн 16 ноября.

Два эксперта оценивали точность, полноту, безопасность и другие свойства каждого ответа. Отдельно посчитали читаемость по языковой формуле, которая учитывает длину предложений и слов. Она помогает сравнить сложность текстов, но не показывает, понял ли конкретный пациент объяснение.

Как читать результаты

Статистически значимого различия между сервисами по оценке точности авторы не нашли. По общей оценке качества ответы ChatGPT в этом наборе получили более низкие баллы, чем два других сервиса. До совместного обсуждения эксперты часто выставляли разные баллы, и окончательное сравнение опиралось на согласованные оценки.

Пациент может принести на приём уверенно написанный ответ и ожидать такого же объяснения от врача. В этом случае полезно выяснить, какой вопрос он задавал и что понял из ответа. В архиве портала есть отдельные испытания чат-ботов на вопросах о неотложной помощи и на сценариях после удаления.

Частые вопросы

Можно ли выбрать лучший сервис по этим данным?

Работа описывает англоязычные ответы в конкретные дни. Исследователи не проверяли, повторится ли ответ на тот же вопрос или сохранится ли результат после обновления сервиса.

Проверяли ли понимание у пациентов?

Читаемость рассчитали по структуре текста. В исследовании не было проверки, как пациенты поняли эти ответы или приняли решение о процедуре.