ChatGPT-4 semble utile pour extraire des détails de rapports sur les procédures de thrombectomie chez les patients victimes d’un AVC, une tâche laborieuse et sujette aux erreurs actuellement effectuée par des lecteurs humains, selon un groupe allemand.
Une telle « exploration de données » par ChatGPT pourrait constituer une alternative aux méthodes manuelles de création de registres d’accidents vasculaires cérébraux, les données étant essentielles à l’amélioration de la qualité des soins liés aux accidents vasculaires cérébraux, ont noté l’auteur principal, le Dr Nils Lehnen, de l’hôpital universitaire de Bonn, et ses collègues.
« Les détails procéduraux de la thrombectomie mécanique chez les patients ayant subi un AVC ischémique sont des prédicteurs du résultat clinique et sont collectés pour des études prospectives ou des registres nationaux des AVC », a écrit le groupe. L’étude a été publiée le 16 avril dans Radiology.
La thrombectomie mécanique pour les accidents vasculaires cérébraux ischémiques aigus est devenue la norme de soins pour les patients avec occlusion de gros vaisseaux. Le personnel médical collecte des détails standard à partir des rapports sur les procédures et les saisit dans les registres nationaux ou locaux des accidents vasculaires cérébraux pour développer des références pour les meilleures pratiques, par exemple.
Les grands modèles de langage ChatGPT-3.5 et ChatGPT-4 d’OpenAI se sont révélés prometteurs dans des études antérieures extrayant des données de rapports de neuroradiologie par tomodensitométrie ou IRM, mais n’ont pas encore été testés sur des rapports de procédures neurointerventionnelles, ont écrit les auteurs.
À cette fin, Lehnen et ses collègues ont rassemblé un ensemble de 100 rapports provenant de 100 patients ayant subi une thrombectomie dans leur hôpital de Bonn. Ils ont utilisé 20 des rapports pour affiner les LLM afin d’extraire les données dans des tableaux de valeurs séparées par des virgules (CSV). Les détails de la procédure comprenaient par exemple les temps de ponction porte-à-aine, les temps porte-à-reperfusion et le nombre de manœuvres de thrombectomie.
Ensuite, ils ont comparé les performances de ChatGPT-3.5 et Chat-GPT-4 à celles d’un neuroradiologue interventionnel expert sur les 100 rapports, ainsi que sur 30 rapports externes provenant de 30 patients ayant subi une thrombectomie mécanique au Brigham and Women’s Hospital de Boston.
Seules les entrées de données des LLM correspondant exactement aux lectures de l’expert ont été considérées comme correctes, ont noté les auteurs. Tout écart par rapport aux options données dans l’invite était considéré comme faux, y compris les synonymes, les signes de ponctuation ou tout symbole supplémentaire saisi par le LLM.
Les principales conclusions étaient les suivantes :
- GPT-4 a correctement extrait 94 % (2 631 sur 2 800) des entrées de données, ce qui était supérieur à celles extraites par GPT-3.5 à 63,9 % (1 788 sur 2 800).
- Sur les 30 rapports externes, GPT-4 a extrait 90,5 % des entrées de données correctes et GPT-3.5 en a extrait 64,2 %.
“Par rapport à GPT-3.5, GPT-4 a extrait plus fréquemment des données procédurales correctes à partir de rapports en texte libre sur la thrombectomie mécanique réalisée chez des patients ayant subi un AVC ischémique”, a écrit le groupe.
Bien que l’étude suggère que GPT-4 pourrait constituer une alternative à la récupération manuelle de ces données, ses mauvaises performances sur certains points de données justifient la prudence, notent les auteurs. Plus précisément, un total de 169 entrées de données par GPT-4 ont été jugées incorrectes, dont 19 (11,2 %) étaient dues à des erreurs de format et 150 (88,8 %) étaient incorrectes en termes de contenu.
“Bien que GPT-4 puisse faciliter ce processus et éventuellement améliorer l’extraction de données à partir des rapports de radiologie, des erreurs se produisent encore actuellement et une surveillance par des lecteurs humains est nécessaire”, a conclu le groupe.
L’étude complète est disponible ici.
2024-04-22 10:04:29
1713769875
#ChatGPT #peutil #exploiter #les #données #des #rapports #patients #pour #les #registres #daccidents #vasculaires #cérébraux
