Терапевт ·Мама четверых детей

Исследование: чат-боты ошибаются в 80% диагнозов на ранних этапах

Когда чат-боты НЕверно ставят диагноз?

Протестировали большие языковые модели (DeepSeek, ChatGPT, Grok и др.) на умение ставить диагнозы. Оказалось, что чат-боты относительно хорошо ставят финальный диагноз, но проваливаются именно там, где это особенно опасно.

Что сделали? Протестировали 21 современную языковую модель на медицинских задачах. Для этого взяли 29 медицинских историй болезни из профессионального справочника MSD Manual. Чат-ботам нужно было пройти 5 этапов, как настоящему врачу:

1. Провести дифференциальную диагностику: сперва описывались симптомы пациента, нужно было предположить возможные диагнозы. Запомните этот этап, дальше это важно.

2. Назначить обследования: анализы, снимки и тесты, которые помогут уточнить диагноз.

3. Поставить окончательный диагноз: когда получены все результаты обследований.

4. Назначить лечение.

5. Ответить на дополнительные вопросы: например, о прогнозе, осложнениях.

Модели, которые проверяли: GPT (4o, o1, o1-Pro, o3-Mini, 4.5 и GPT-5), Claude (3.5 Haiku, 3.5 Sonnet, 3.7 Sonnet, 3 Opus, 4.5 Opus), DeepSeek (V3 и R1), Gemini (1.5 Flash, 1.5 Pro, 2.0 Flash, 2.5 Pro, 3.0 Flash, 3.0 Pro), Grok (3 и 4).

Результаты

Окончательный диагноз модели поставили относительно хорошо. Они ошибались в 9–39% случаев. Тут важно учитывать, что он ставился после назначения и прохождения всех необходимых обследований. Однако на этапе дифференциальной диагностики чат-боты показали себя очень плохо: ВСЕ модели ошибались в более чем 80% случаев, а некоторые — в 90–100% случаев!

В чём основная проблема? Хорошие врачи работают иначе. Они могут держать в голове несколько возможных вариантов и постепенно отсеивают неправильные. А чат-боты сразу прыгают к окончательному выводу, пропуская этап тщательного рассмотрения всех вариантов. Это опасно, потому что можно пропустить важный диагноз на раннем этапе.

Современные большие языковые модели ещё НЕ ГОТОВЫ надёжно размышлять в ситуациях неопределённости, а именно этим обычно и занимаются врачи каждый день.

Практический вывод

Не стоит использовать чат-ботов для самодиагностики. Они пока что очень плохи в предварительной диагностике. Вы, конечно, можете попасть в эти менее 20%, которым правильно поставили диагноз, но не стоит этот опыт применять на все другие случаи.

Чат-ботов иногда можно использовать для объяснения уже поставленного врачом диагноза, расшифровки медицинских терминов или общей информации о здоровье. Но не для постановки диагноза!

Источник: исследование в JAMA Network Open (опубликовано 13 апреля 2026 года).

За перевод статьи и текст с телеграмм канала Конспекты Юджина. ТГ: @eugenes_time

Искусственный интеллект в медицине Тестирование чат ботов Дифференциальная диагностика Ошибки искусственного интеллекта

Мой арсенал нейросетей для работы: полный список инструментов

Автор делится реальной экосистемой AI-инструментов для разных задач - от кода до видео. Узнайте, какие нейросети работают, а какие нет. Присоединяйтесь к обсуждению!

Ювенильный артрит у дочери 2 года: ехать в Москву или лечиться в Саратове?

Мама 2-летней дочки с подозрением на ювенильный артрит просит совета: стоит ли ехать в Москву или довериться саратовским врачам. Узнайте опыт других мам и алгоритм действий!

Как купить Telegram Premium через iPhone: инструкция и решение проблем

Мама столкнулась с проблемой покупки Telegram Premium через iPhone. Читайте проверенные способы оплаты и решения, если бот и мир не работают!

Как воспитать ребёнка?

Сходили мы на диагностику к нейропсихологу. Диагнозов никаких у ребенка нет , есть мягкая мама , которая не наказывает и не умеет строго запрещать/ругать. Точнее как , моя интонация одинакова , что при запрете , что при одобрении. Это я думаю что строгая , а дочь такую строгость вертела на одном месте. Нужно вырабатывать паттерны и причинно следственную связь. Сделала это - получишь это. Из наказаний предложили сажать на стульчик , сколько полных лет - столько длится наказание в минутах. И , например , когда кусает , брать за запястье , несильно сдавливать и говорить строго «со мной так нельзя»/«мне больно»/«я не разрешаю». В целом и общем девчонка не плохая , просто очень активная и любознательная. Не чувствует границ. Когда она в ассистента швырнула пазлы - мне хотелось прям там провалиться. У нее модель поведения такова - или будет по моему или не будет никак. Не играете по моим правилам - манипуляция , например плач. Врач сказала что это все лучше скорректировать до 2,5 лет , иначе в кризис трехлетки мы офигеем. Посоветовали два вида занятий они есть на последнем фото в графе рекомендовано. Будем пробовать.

Расскажу вам такой интересный факт, уже второй раз ко мне обращаются мамы с диагнозом ЗРР и ОНР (задержка речевого…

Расскажу вам такой интересный факт, уже второй раз ко мне обращаются мамы с диагнозом ЗРР и ОНР (задержка речевого развития и общее недоразвитие речи). Где больше этого в заключении не написано ничего 🤦🏻 ♀ . Хочу чтобы вас больше не вводили в заблуждение ЗРР И ОНР это не диагноз - это констатация факта «ребёнок не говорит». Когда мы специалисты ставим такой диагноз, когда мы понимаем что случай тяжелый, а мы не знаем что с вашим ребёнком, то есть мы специалисты сами признаемся что мы тупые. А) не квалифицированный специалист Б) не информативная диагностика В) есть категория родителей которым все равно и специалисту лишь бы быстрее отправиться кабинета, зная что дальше мама все равно никуда не пойдёт. На тему ОНР нет диссертаций, нет такого понятия в логопедии. Так же как и ЗРР. Такой «диагноз» не информативен. Почему? Да потому что он не даёт ровным счетом НИЧЕГО. Причина в чем? А если вы не знаете в чем причина, тогда что дальше делать ? Сейчас я прохожу повышение квалификации в команде с неврологами, логопедами, нейропсихологами и даже психиатрами. То есть мы разбираем диагнозы со всех сторон. И очень печально, что огромный процент специалистов ставит безграмотный диагноз, тем самым Родители и дети теряют время.