Если спрашивать нейросеть

Ночной вопрос о симптомах всё чаще задают нейросети. Ответ приходит быстро, связно и уверенно, будто говорит внимательный специалист. Но у разговора с нейросетью есть свойство, которое важно знать заранее: она почти всегда встаёт на сторону собеседника.

Нейросеть подстраивается под собеседника

Если написать нейросети «у меня классная идея, оцени», она найдёт, чем идея хороша. Если про ту же идею написать «кажется, это глупость, да?», она найдёт, чем идея плоха. Нейросеть при этом не врёт и не хитрит. Она продолжает разговор в ту сторону, куда его направил человек: вопрос уже задаёт линию, и ответ идёт по ней.

Так получается из-за того, как нейросети учат. Их ответы оценивали люди, а людям больше нравятся ответы, которые с ними согласны. Исследователи измерили это и назвали угодливостью: нейросеть чаще поддерживает мнение, которое человек уже высказал, и может отказаться даже от верного ответа, если с ним поспорить.

Что это значит для разговора о симптомах

С вопросами о здоровье работает то же самое. На вопрос «а может, это депрессия?» нейросеть подробно разберёт, что совпадает с депрессией. На вопрос «а может, это тревога?» в том же разговоре так же убедительно выйдет тревога. Чем настойчивее просить нейросеть найти подтверждения болезни, тем старательнее она их ищет, и находит: рассеянность, усталость и плохой сон подходят под многое. Фильтр под ярлык, о котором шла речь в главе «Почему в описаниях так легко узнать себя», здесь работает уже не в голове: нейросеть сама подбирает совпадения под тот ярлык, с которым к ней пришли.

Поисковик хотя бы показывает много разных страниц, и видно, что они спорят друг с другом. Нейросеть выдаёт один гладкий ответ, и сомнений в нём не видно даже там, где они должны быть. Человек, который пришёл с догадкой, чаще всего уходит с той же догадкой, только теперь она звучит убедительнее.

Что показал эксперимент

В Оксфордском университете это проверили почти на 1300 людях. Врачи написали несколько коротких историй о вымышленных пациентах: что у человека болит, с чего началось, как давно. Участнику давали такую историю и просили вместе с нейросетью понять, что это может быть и нужно ли к врачу. Когда ту же историю целиком отдавали самой нейросети, без человека, она почти всегда называла подходящее состояние. А люди, которые разбирали её в разговоре с нейросетью, находили верный ответ примерно в трети случаев. Это даже хуже, чем у тех, кто искал как обычно, в поисковике и на медицинских сайтах: они называли подходящее состояние заметно чаще.

Получается, знаний у нейросети хватает, а ошибка возникает в самом разговоре. Человек рассказывает не всё, что важно, и из нескольких вариантов в ответе выбирает не тот. Со своим состоянием ошибиться ещё проще: часть того, что происходит, изнутри не видно (об этом глава «Как на самом деле ставят диагноз»). Врач сам задаёт вопросы, в том числе о том, о чём человек не подумал. Нейросеть отвечает только на то, о чём его спросили.

Где нейросеть правда помогает

Из этого не следует, что спрашивать нельзя. Там, где не нужно решать, что с человеком, нейросеть бывает очень полезной:

• объяснить простым языком незнакомые слова из заключения врача или из статьи;
• помочь сформулировать, что беспокоит, когда трудно подобрать слова;
• собрать вопросы к приёму, чтобы ничего не забыть;
• сложить записи за две недели в короткое описание для врача.

Во всех этих случаях нейросеть работает с тем, что уже есть, а не ставит диагноз. Вопросы про лекарства, дозы и отмену лечения сюда не относятся. Там у нейросети есть второе опасное свойство: она умеет уверенно придумывать конкретику, например несуществующее взаимодействие препаратов, дозу или ссылку на исследование, и говорит это тем же спокойным тоном, что и верные вещи. Проверить такое самому нечем. Почему самолечение опасно и само по себе, разобрано в главе «Что делать, если узнаёшь себя».

Если всё-таки спрашивать о симптомах, помогает не подсказывать ответ: не «это же депрессия?», а «от чего бывает постоянная усталость». Диагностикой разговор от этого не станет, но нейросети будет не под что подгонять ответ.