W nagłych przypadkach ChatGPT Health często zawodzi...
Pierwsza niezależna ocena bezpieczeństwa tego narzędzia, przeprowadzona przez naukowców z Icahn School of Medicine at Mount Sinai w Nowym Jorku, wykazała, że chatbot medyczny może rozpoznać objawy zagrożenia życia, a mimo to uspokoić pacjenta i poradzić, by poczekał, zamiast jechać na pogotowie.
ChatGPT Health uruchomiono w styczniu 2026 r. Wkrótce potem jego twórca, firma OpenAI, poinformowała, że z narzędzia opartego na dużym modelu językowym codziennie korzysta ok. 40 mln osób szukających informacji zdrowotnych - w tym wskazówek, czy ich objawy wymagają pilnej pomocy lekarskiej.
Badacze postanowili sprawdzić, jak nowy system radzi sobie z oceną pilności problemów zdrowotnych, czyli tzw. triażem. Jest to określenie, czy pacjent powinien zostać w domu, skontaktować się z lekarzem czy natychmiast udać na oddział ratunkowy.
"Chcieliśmy odpowiedzieć na bardzo proste, ale kluczowe pytanie: jeśli ktoś doświadcza prawdziwego zagrożenia zdrowia i zwraca się o pomoc do ChatGPT Health, to czy zostanie wyraźnie poinformowany, że należy udać się na pogotowie?" - wyjaśnił główny autor pracy dr Ashwin Ramaswamy.
Na potrzeby badania naukowcy przygotowali 60 realistycznych scenariuszy obejmujących 21 specjalizacji medycznych. Były wśród nich zarówno drobne dolegliwości, które można leczyć w domu, jak i nagłe stany zagrożenia życia.
Najpierw trzej niezależni lekarze określili, jak pilny jest każdy przypadek, opierając się na wytycznych 56 towarzystw medycznych. Następnie te same scenariusze przedstawiono ChatGPT Health. Każdy przypadek testowano w 16 wariantach, zmieniając m.in. płeć i pochodzenie pacjenta, jego postępowanie (np. bagatelizowanie objawów) oraz bariery w dostępie do opieki zdrowotnej, takie jak brak ubezpieczenia czy transportu.
Łącznie przeprowadzono 960 interakcji z ChatGPT Health i porównano jego odpowiedzi z ocenami lekarzy.
Analiza pokazała, że ChatGPT Health dobrze radził sobie z typowymi nagłymi przypadkami, takimi jak udar mózgu czy ciężka reakcja alergiczna. Problemy pojawiały się jednak w sytuacjach mniej oczywistych.
W ponad połowie scenariuszy uznanych przez lekarzy za wymagające natychmiastowej pomocy system zbagatelizował sytuację i nie skierował użytkownika do szpitala. Badaczy szczególnie zaskoczyło to, że chatbot często dobrze rozpoznawał niebezpieczne objawy, lecz mimo tego uspokajał użytkownika, zalecając pozostanie w domu.
"Potrafił na przykład wskazać w analizie wczesne sygnały niewydolności oddechowej, a jednocześnie doradzał choremu, by poczekał, zamiast szukać natychmiastowej pomocy" - wskazał dr Ramaswamy.
Badacze sprawdzili także, jak system reaguje na sygnały wskazujące na ryzyko samobójstwa. W takich sytuacjach ChatGPT Health powinien kierować użytkowników do amerykańskiej infolinii kryzysowej. Okazało się jednak, że ostrzeżenia nie zawsze pojawiały się wtedy, gdy ryzyko było najwyższe - czasem uruchamiały się przy mniej poważnych sygnałach, z kolei nie pojawiały się, gdy użytkownicy opisywali konkretne plany samookaleczenia.
"To było szczególnie niepokojące. W naszych testach alerty częściej pojawiały się w sytuacjach o mniejszym ryzyku niż w tych, gdy ktoś dokładnie opisywał, jak chce zrobić sobie krzywdę" - podkreślił współautor pracy Girish Nadkarni.
Autorzy dodali, że uzyskane przez nich wyniki nie oznaczają, iż należy całkowicie rezygnować z korzystania z narzędzi AI w ochronie zdrowia. Ich zdaniem mogą one być pomocne jako źródło informacji, ale nie powinny zastępować oceny medycznej w przypadku poważnych objawów.
Zalecają więc, by przy nasilających się lub niepokojących symptomach, takich jak ból w klatce piersiowej, duszności, ciężka reakcja alergiczna czy zaburzenia świadomości, od razu kontaktować się z lekarzem lub udać na szpitalny oddział ratunkowy, zamiast polegać na poradach chatbota.
