Исследование: искусственный интеллект справляется с постановкой диагнозов хуже, чем практикующие врачи
В издании Nature Medicine опубликовано исследование ученых из США, Германии и Великобритании, посвященное оценке точности постановки диагноза большими языковыми моделями (LLM) и изучению возможности внедрения таких технологий в систему здравоохранения.
Авторы оценили возможности LLM в работе с базой, содержащей 2,4 тысячи случаев пациентов с аппендицитом, панкреатитом, холециститом и дивертикулитом. Исследователи пришли к выводу: рассматриваемый вид ИИ выставляет диагнозы с низкой точностью. Кроме того, ученые отмечают сложности интеграции: LLM часто нарушают инструкции, чувствительны к количеству и порядку предоставляемых для анализа данных.
Исследователи поясняют, что перед LLM (Llama 2, Clinical Came, Meditron) стояла задача проанализировать анамнез, поставить диагноз и составить схему лечения. ИИ получил данные физикальной диагностики, лабораторных исследований, отчетов о визуализациях.
Ученые оценивали точность интерпретаций ИИ, верность выводов, соблюдение диагностических и лечебных рекомендаций, способность следовать заданным инструкциям. Решения LLM сравнивали с результатами клиницистов.
Как показали результаты исследования, «машина» существенно уступает практикующим врачам. LLM обработали 80 диагнозов, и наибольшее количество ошибок допустили при определении холецистита и дивертикулита: если верность диагнозов ИИ варьировалась от 13% до 68%, то точность определения медиками названных диагнозов составила от 84% до 86%.
Выяснено, что с точностью врачебных решений LLM успешно конкурируют только при выявлении аппендицита: некоторые языковые модели показали лучший результат, чем клиницисты – на 3-4%. Авторы отмечают, что на сегодняшний день LLM не имеют «диагностического диапазона» в отличие от медиков.
Также исследователи установили, что ИИ часто не учитывает предписанные диагностические рекомендации для назначения обследований, нередко игнорируют содержание клинических протоколов, а также неточно интерпретируют результаты лабораторных исследований.
Кроме того, тестируя ИИ на способность следовать инструкциям, подбирать и компилировать информацию для упрощения работы врачей, авторы выявили, что LLM ошибается в алгоритмах в 25-50% случаев, а в 20% предлагает применить существующие методы. Также при несущественном изменении формулировки запроса результаты отличались.
Если предоставить ИИ доступ к большому количеству анализов, точность снижается. Наилучшие результаты языковые модели демонстрируют при предоставлении лишь определенного списка обследований.
Авторы подчеркнули, что ранее возможности искусственного интеллекта в медицине оценивались в достаточно простых медицинских контекстах – в таких случаях LLM демонстрировали лучшие результаты в сравнении с клиницистами.
Ни сегодня, ни в ближайшем будущем языковые модели не в состоянии стать заменой практикующему специалисту, однако, по мере технологического развития области ИИ может стать прекрасным помощником, облегчающим работу врача и высвобождающим самое ценное – время.
Будьте в курсе ключевых новостей из сферы восстановительной медицины – подпишитесь на Telegram-канал REXAMED!
ещё новости
Мы запустили новое направление — «Спорт». Рассказываем о наших победах!
Утверждены изменения в правила лицензирования деятельности по техобслуживанию медизделий.
Минздрав РФ подготовил порядок перехода медицинских организаций на электронный документооборот.
Президент РФ Владимир Путин 18 февраля провел совещание, посвященное развитию первичного звена здравоохранения.
Главный врач клиники «Инздрав» Алексей Сергеевич Возлюбленный поделился опытом внедрения в Омске эффективной системы медреабилитации мирового уровня. Ее фундамент — синергия профессиональной команды и инновационного оборудования.
Регулятор подготовил обновления в номенклатуры должностей и специальностей для имеющих медицинское и фармацевтическое образование.
По итогам января лидером по расходам среди всех национальных проектов стал проект «Продолжительная и активная жизнь».
Определены критерии для присвоения медицинским организациям статуса НМИЦ.
Новые профессиональные стандарты для врачей травматологов-ортопедов вступят в силу с 1 марта 2026 года.
Президент РФ Владимир Путин утвердил изменения, касающиеся фонда оплаты труда (ФОТ) работников центрального аппарата Федерального медико-биологического агентства (ФМБА) и территориальных органов.
