Проверка ответов без участия пациентов
Одни и те же вопросы задавали на английском, арабском и китайском языках, меняя формулировку запроса и повторяя проверку в течение недели. Эксперты сопоставляли ответы со справочными клиническими материалами.
Из 27 300 ответов правильными признали 25 377 — 92,96%. Доля зависела от языка и вида вопроса.
Что скрывается за высоким средним баллом
Экзаменационный вопрос с вариантами ответа отличается от реальной неотложной ситуации. В кабинете нужно распознать состояние, действовать своевременно и учитывать сведения о конкретном человеке.
Исследование не оценивало эти действия и исходы для пациентов. Результат также относится к версиям сервисов и режимам, доступным во время проверки. Сегодняшний ответ может отличаться.
Что обсуждать с командой
Редакционный пример учебной задачи: взять ответ чат-бота и по действующим материалам разобрать его пропуски. Для этого нужен преподаватель или подготовленный специалист, который может объяснить ошибку. Сам ответ ИИ не становится проверенным учебным пособием.
Связанные темы — анафилаксия в стоматологии и внутренний контроль качества.
Частые вопросы
92,96% — это вероятность безопасной помощи?
Нет. Это доля ответов, признанных правильными в конкретной проверке.
Усложнение запроса гарантировало правильность?
Нет. Статистически значимого общего улучшения от этого не обнаружили.
Проверяли ли работу чат-ботов на русском?
Нет. Переносить языковой результат на русские ответы нельзя.
