В исследовании ИИ показал более точные диагнозы в приемном отделении скорой помощи, чем два врача

Новое исследование изучило, как большие языковые модели работают в различных медицинских контекстах, включая реальные случаи в отделениях неотложной помощи, — и, по крайней мере, одна модель оказалась точнее, чем врачи-люди.

Исследование было опубликовано на этой неделе в журнале Science и проведено группой исследователей под руководством врачей и специалистов по информатике из Гарвардской медицинской школы и Медицинского центра Бет Израэль Диконесс. Исследователи заявили, что провели ряд экспериментов, чтобы измерить, насколько модели OpenAI могут конкурировать с врачами-людьми.

В одном из экспериментов исследователи сосредоточились на 76 пациентах, поступивших в отделение неотложной помощи Бет Израэль, сравнивая диагнозы, поставленные двумя врачами-терапевтами, с диагнозами, сгенерированными моделями OpenAI o1 и 4o. Эти диагнозы были оценены двумя другими врачами, которые не знали, какие из них были поставлены людьми, а какие — искусственным интеллектом.

«На каждом этапе диагностики o1 либо номинально превосходил, либо показывал результаты наравне с двумя лечащими врачами и 4o», — говорится в исследовании, добавляя, что различия «были особенно заметны на первом этапе диагностики (первичная сортировка в приемном отделении), где имеется наименьшее количество информации о пациенте и наибольшая срочность в принятии правильного решения».

В пресс-релизе Гарвардской медицинской школы об исследовании ученые подчеркнули, что они «вообще не обрабатывали данные предварительно» — моделям ИИ предоставлялась та же информация, которая была доступна в электронных медицинских картах на момент постановки диагноза.

С этой информацией модель o1 смогла предложить «точный или очень близкий диагноз» в 67% случаев сортировки, по сравнению с одним врачом, который поставил точный или близкий диагноз в 55% случаев, и другим, который попал в цель в 50% случаев.

«Мы протестировали модель ИИ практически по всем критериям, и она превзошла как предыдущие модели, так и наши базовые показатели, установленные врачами», — заявил Арджун Манрай, руководитель лаборатории ИИ в Гарвардской медицинской школе и один из ведущих авторов исследования, в пресс-релизе.

В исследовании не утверждалось, что ИИ готов принимать реальные решения, от которых зависит жизнь или смерть, в отделении неотложной помощи. Вместо этого в нем говорилось, что результаты показывают «острую необходимость в перспективных испытаниях для оценки этих технологий в реальных условиях оказания медицинской помощи пациентам».

Исследователи также отметили, что они изучали работу моделей только при предоставлении им текстовой информации, и что «существующие исследования показывают, что нынешние базовые модели более ограничены в рассуждениях на основе нетекстовых входных данных».

Адам Родман, врач из больницы Бет Исраэль, один из ведущих авторов исследования, предупредил Guardian, что «в настоящее время нет формальной системы подотчетности» в отношении диагнозов, поставленных ИИ, и что пациенты по-прежнему «хотят, чтобы люди помогали им принимать решения, от которых зависит жизнь или смерть, и помогали им принимать сложные решения о лечении».

В своем посте об исследовании Кристен Пантагани, врач отделения неотложной помощи, сказала, что это «интересное исследование ИИ, которое привело к некоторым сильно преувеличенным заголовкам», особенно потому, что в нем сравнивались диагнозы ИИ с диагнозами врачей-терапевтов, а не врачей отделения неотложной помощи. «Если мы собираемся сравнивать инструменты ИИ с клиническими способностями врачей, нам следует начать со сравнения с врачами, которые действительно практикуют данную специальность», — сказала Пантагани. «Я бы не удивилась, если бы LLM смог победить дерматолога на экзамене по нейрохирургии, [но] это не особенно полезная информация».

Она также утверждала: «Как врач скорой помощи, впервые осматривающий пациента, моя главная цель — не угадывать окончательный диагноз. Моя главная цель — определить, есть ли у вас заболевание, которое может привести к смерти».