Questions de patients : le médecin donne sa langue au ChatGPT

San Diego, Californie, le samedi 20 mai 2023 - Depuis l'apparition du robot conversationnel (chatbot) dopé à l'IA, ChatGPT, beaucoup de médecins se gargarisaient : « jamais cette machine ne pourra remplacer le médecin et son empathie ». Cette péroraison est battue en brèche par des chercheurs de l'université de San Diego qui publient dans JAMA Internal Médecine (1) une étude comparant les réponses de médecins humains avec celles de ChatGPT à 195 questions de patients.

L'idée à l'origine de ces travaux est que la rapide expansion du numérique en général et de la télémédecine en particulier a entraîné une augmentation des messages des patients et donc de la charge de travail des professionnels de santé et que les chatbots pourraient répondre rapidement aux patients. L'objectif de l'étude était donc d'évaluer la capacité de ChatGPT à fournir des réponses de qualité et empathiques aux requêtes des malades.

ChatGPT vs médecin : de meilleures réponses dans 78 % des cas !

Pour mener cette étude, une base de données publiques et anonymes provenant d'un forum médical sur internet a été utilisée. À partir de cette base de données, 195 échanges (des questions posées par des patients qui avaient reçu des réponses d'un médecin vérifié) ont été sélectionnés de manière aléatoire en octobre 2022.  Pour évaluer les performances du chatbot, des réponses à ces mêmes demandes ont été générées, sans qu'aucune autre information ne lui ait été fournie.

Toutes les interrogations, ainsi que les retours des médecins et du chatbot, ont été anonymisés et mélangés aléatoirement. Un panel de trois médecins a évalué ces différentes réponses en déterminant « quelle réponse était meilleure » et en attribuant des évaluations de qualité (très mauvaise, mauvaise, acceptable, bonne ou très bonne) ainsi que « d'empathie » (non empathique, légèrement empathique, modérément empathique, empathique et très empathique). Les résultats ont été notés sur une échelle de 1 à 5, puis comparés entre le chatbot et les médecins.

Les données sont éloquentes : sur les 195 réponses, les chercheurs ont préféré celles du chatbot dans 78,6 % des cas. La proportion de celles identifiées comme étant de bonne ou très bonne qualité était également plus élevée pour le chatbot (78,5 %) que pour les médecins (22,1 %). Mieux encore, les réponses de ChatGPT ont également été évaluées comme étant significativement plus empathiques que celles des médecins. Imaginons maintenant qu'un robot humanoïde soit implémenté avec ChatGPT et vous tenez le médecin de demain !

Médecin : encore une minute monsieur le bourreau

Cependant, le principal auteur de l'étude, John Ayers, tempère et souligne qu'en cas de mention d'un mal de tête par un patient, ChatGPT répond immédiatement : « désolé pour votre mal de tête ». Or, comme le rappelle le Dr Ayers, un médecin n'a pas le temps nécessaire pour adresser cette phrase à son patient, même s'il ressent de l'empathie. Le Dr Ayers aurait également pu mentionner que les travaux de l'étude ont comparé ChatGPT à des médecins intervenant sur un forum, qui ne sauraient représenter l'ensemble du corps médical.

Mettons également en lumière qu'il ne faut pas avoir une confiance aveugle en l'intelligence artificielle (ni en son médecin !). À l'heure actuelle, les systèmes d’IA présentent encore des lacunes lorsqu'ils sont confrontés à des situations complexes pour lesquelles ils ne disposent pas de données suffisantes. Rappelons ici une autre étude, à travers laquelle des questions très précises ont été posées à ChatGPT concernant la prévention des risques cardiovasculaires.

Bien qu'il ait répondu correctement 21 fois sur 25, dans les 4 cas où il s'était trompé, il avait donné des conseils qui auraient potentiellement pu mettre la vie d'un patient en danger ! Des résultats similaires ont été observés sur le dépistage du cancer du sein, où il allait jusqu'à inventer de faux articles et de fausses références scientifiques.

Autre hic, en ce qui concerne l'empathie, l’aveu de ChatGPT, interrogé par votre serviteur (un être humain !) : « en tant qu'intelligence artificielle, je ne ressens pas d'émotions ni d'empathie de la même manière qu'un être humain. Je suis un programme informatique conçu pour traiter et générer du texte en fonction des informations fournies. Bien que je puisse comprendre et répondre à des questions sur les émotions, mes réponses sont basées sur des modèles linguistiques et des informations préexistantes plutôt que sur une véritable expérience émotionnelle ».

Mais que les praticiens ne se rengorgent pas trop, nous ne sommes qu'au balbutiement de cette technologie, et ils doivent se souvenir qu'il n'a fallu qu'une quarantaine d'années pour passer des premiers vols de Louis Blériot à l'avion supersonique.

Frédéric Haroche (encore humain jusqu’à maintenant)

Copyright © http://www.jim.fr

Réagir

Vos réactions

Soyez le premier à réagir !

Les réactions aux articles sont réservées aux professionnels de santé inscrits
Elles ne seront publiées sur le site qu’après modération par la rédaction (avec un délai de quelques heures à 48 heures). Sauf exception, les réactions sont publiées avec la signature de leur auteur.

Réagir à cet article