В издании Nature Medicine опубликовано исследование ученых из США, Германии и Великобритании, посвященное оценке точности постановки диагноза большими языковыми моделями (LLM) и изучению возможности внедрения таких технологий в систему здравоохранения.
Авторы оценили возможности LLM в работе с базой, содержащей 2,4 тысячи случаев пациентов с аппендицитом, панкреатитом, холециститом и дивертикулитом. Исследователи пришли к выводу: рассматриваемый вид ИИ выставляет диагнозы с низкой точностью. Кроме того, ученые отмечают сложности интеграции: LLM часто нарушают инструкции, чувствительны к количеству и порядку предоставляемых для анализа данных.
Исследователи поясняют, что перед LLM (Llama 2, Clinical Came, Meditron) стояла задача проанализировать анамнез, поставить диагноз и составить схему лечения. ИИ получил данные физикальной диагностики, лабораторных исследований, отчетов о визуализациях.
Ученые оценивали точность интерпретаций ИИ, верность выводов, соблюдение диагностических и лечебных рекомендаций, способность следовать заданным инструкциям. Решения LLM сравнивали с результатами клиницистов.
Как показали результаты исследования, «машина» существенно уступает практикующим врачам. LLM обработали 80 диагнозов, и наибольшее количество ошибок допустили при определении холецистита и дивертикулита: если верность диагнозов ИИ варьировалась от 13% до 68%, то точность определения медиками названных диагнозов составила от 84% до 86%.
Выяснено, что с точностью врачебных решений LLM успешно конкурируют только при выявлении аппендицита: некоторые языковые модели показали лучший результат, чем клиницисты – на 3-4%. Авторы отмечают, что на сегодняшний день LLM не имеют «диагностического диапазона» в отличие от медиков.
Также исследователи установили, что ИИ часто не учитывает предписанные диагностические рекомендации для назначения обследований, нередко игнорируют содержание клинических протоколов, а также неточно интерпретируют результаты лабораторных исследований.
Кроме того, тестируя ИИ на способность следовать инструкциям, подбирать и компилировать информацию для упрощения работы врачей, авторы выявили, что LLM ошибается в алгоритмах в 25-50% случаев, а в 20% предлагает применить существующие методы. Также при несущественном изменении формулировки запроса результаты отличались.
Если предоставить ИИ доступ к большому количеству анализов, точность снижается. Наилучшие результаты языковые модели демонстрируют при предоставлении лишь определенного списка обследований.
Авторы подчеркнули, что ранее возможности искусственного интеллекта в медицине оценивались в достаточно простых медицинских контекстах – в таких случаях LLM демонстрировали лучшие результаты в сравнении с клиницистами.
Ни сегодня, ни в ближайшем будущем языковые модели не в состоянии стать заменой практикующему специалисту, однако, по мере технологического развития области ИИ может стать прекрасным помощником, облегчающим работу врача и высвобождающим самое ценное – время.
Будьте в курсе ключевых новостей из сферы восстановительной медицины – подпишитесь на Telegram-канал REXAMED!