AccueilNederlandChatGPT-aanbevelingen voor op...

ChatGPT-aanbevelingen voor op richtlijnen gebaseerde kankerbehandelingen blijken beperkt te zijn

Correcte en onjuiste ChatGPT-aanbevelingen voor op richtlijnen gebaseerde kankerbehandelingen vermengen zich in een derde van de reacties van de chatbot, waardoor fouten moeilijker te detecteren zijn.

Het internet is een krachtig instrument voor zelfstudie medische onderwerpen voor veel patiënten.

Nu ChatGPT binnen handbereik is van patiënten en onderzoekers Brigham en Vrouwenziekenhuisstichtend lid van Mis van generaal Brigham gezondheidssysteem, evalueerde de consistentie waarmee de kunstmatige intelligentie-chatbot aanbevelingen doet voor de behandeling van kanker die aansluiten bij de richtlijnen van het National Comprehensive Cancer Network (NCCN).

Hun bevindingen, gepubliceerd in JAMA-oncologielaten zien dat ChatGPT 3.5 in ongeveer een derde van de gevallen een ongepaste (“niet-overeenkomende”) aanbeveling gaf, wat de noodzaak benadrukt om zich bewust te zijn van de beperkingen van de technologie.

ChatGPT op smartphone – artistieke visualisatie. Beeldcredits: Levart Photographe via Unsplash, gratis licentie

« Les patients devraient se sentir habilités à s’informer eux-mêmes sur leurs problèmes de santé, mais ils devraient toujours en discuter avec un clinicien, et les ressources sur Internet ne devraient pas être consultées de manière isolée », a déclaré l’auteur Pennenvriend. Danielle Bitterman, MD, van de Afdeling Radiotherapie bij Brigham and Women’s Hospital en bij Programma voor kunstmatige intelligentie in de geneeskunde (AIM). van generaal Brigham.

“ChatGPT-reacties kunnen heel menselijk lijken en behoorlijk overtuigend zijn. Maar als het om klinische besluitvorming gaat, zijn er veel ingewikkeldheden die zijn afgestemd op de unieke situatie van elke patiënt. Een goed antwoord kan heel genuanceerd zijn, en niet noodzakelijkerwijs iets dat ChatGPT of een ander groot taalmodel kan bieden.

De opkomst van kunstmatige intelligentie-instrumenten in de gezondheidszorg is revolutionair geweest en zou het zorgcontinuüm potentieel positief kunnen hervormen.

AI Face Pexels Cottonbro Studio Scales ChatGPT Aanbevelingen voor kankerbehandelingen op basis van richtlijnen blijken beperkt
Kunstmatige intelligentie, ChatGPT – artistiek conceptbeeld. Fotocredit: Pexels / Cottonbro Studio, gratis licentie

Mass General Brigham, als een van de beste geïntegreerde academische gezondheidszorgsystemen en grootste innovatiebedrijven van het land, loopt voorop bij het uitvoeren van rigoureus onderzoek naar nieuwe en opkomende technologieën om de verantwoorde integratie van gezondheidszorg te informeren. .

Hoewel medische besluitvorming door vele factoren kan worden beïnvloed, kozen Bitterman en collega’s ervoor om te evalueren hoe de aanbevelingen van ChatGPT aansluiten bij de NCCN-richtlijnen, die worden gebruikt door artsen in instellingen in het hele land.

Ze concentreerden zich op de drie meest voorkomende vormen van kanker (borst-, prostaat- en longkanker) en brachten ChatGPT ertoe om voor elke vorm van kanker een behandelaanpak voor te stellen op basis van de ernst van de ziekte.

In totaal namen de onderzoekers 26 unieke diagnostische beschrijvingen op en gebruikten ze vier enigszins verschillende aanwijzingen om ChatGPT te vragen een behandelaanpak voor te stellen, wat een totaal van 104 aanwijzingen opleverde.

ChatGPT Medische monitoring van ziekenhuisaanbevelingen voor op richtlijnen gebaseerde kankerbehandelingen blijkt beperkt
Medische bewakingsmachine in een ziekenhuis – Stephen Andrews via Unsplash

Bijna alle reacties (98%) omvatten ten minste één behandelaanpak die consistent was met de NCCN-richtlijnen. Onderzoekers ontdekten echter dat 34 procent van deze reacties ook een of meer inconsistente aanbevelingen bevatte, die soms moeilijk te detecteren waren onder anderszins krachtige richtlijnen.

Een inconsistent behandeladvies werd gedefinieerd als een aanbeveling die slechts gedeeltelijk juist was; voor lokaal gevorderde borstkanker bijvoorbeeld een aanbeveling voor alleen een operatie, zonder vermelding van een andere therapeutische modaliteit.

Opvallend is dat in slechts 62% van de gevallen volledige overeenstemming over de score voorkwam, wat zowel de complexiteit van de NCCN-richtlijnen zelf benadrukt als de mate waarin ChatGPT-resultaten vaag of moeilijk te interpreteren kunnen zijn.

In 12,5% van de gevallen veroorzaakte ChatGPT ‘hallucinaties’ of een behandeladvies dat volledig afwezig was in de NCCN-richtlijnen. Deze omvatten aanbevelingen voor nieuwe of curatieve therapieën voor niet-geneesbare kankers.

De auteurs wezen erop dat deze vorm van verkeerde informatie de verwachtingen van patiënten ten aanzien van de behandeling verkeerd kan definiëren en mogelijk van invloed kan zijn op de relatie tussen arts en patiënt.

In de toekomst onderzoeken onderzoekers hoe goed patiënten en artsen onderscheid kunnen maken tussen medisch advies geschreven door een arts en dat van een groot taalmodel (LLM) zoals ChatGPT. Ze moedigen ChatGPT ook aan om meer gedetailleerde klinische cases te presenteren om de klinische kennis verder te evalueren.

De auteurs gebruikten GPT-3.5-turbo-0301, een van de grootste modellen die beschikbaar waren op het moment dat ze het onderzoek uitvoerden, en de modelklasse die momenteel wordt gebruikt in de open access-versie van ChatGPT (een nieuwere versie, GPT-4, is alleen beschikbaar met het betaalde abonnement).

Ze gebruikten ook de NCCN-richtlijnen van 2021, aangezien GPT-3.5-turbo-0301 is ontwikkeld op basis van gegevens uit september 2021. Hoewel de resultaten kunnen variëren als andere LLM’s en/of klinische richtlijnen worden gebruikt, wijzen de onderzoekers erop dat veel LLM’s vergelijkbaar zijn in de manier waarop ze zijn geconstrueerd en de beperkingen die ze hebben.

“Het is een open onderzoeksvraag in hoeverre LLM’s coherente, logische antwoorden bieden wanneer vaak ‘hallucinaties’ worden waargenomen”, aldus de eerste auteur. Shan Chen, MS, van het AIM-programma.

“Gebruikers zullen waarschijnlijk antwoorden zoeken bij LLM’s om meer te weten te komen over gezondheidsgerelateerde onderwerpen, vergelijkbaar met hoe Google-zoekopdrachten zijn gebruikt. Tegelijkertijd moeten we het bewustzijn vergroten dat LLM’s niet het equivalent zijn van opgeleide gezondheidszorgprofessionals.

Bron: BWH

Bronlink

Oorspronkelijk gepubliceerd in The European Times.

Lien source

Publicité

Plus articles a lire

spot_img
spot_img

Faites la subscription avec nous

Lire ausi The European Times.

Lire la suite

Ik wacht op je in Rome, laten we bidden voor degenen die lijden onder oorlogen europahoy.new

In het Regina Caeli lanceert de paus opnieuw de uitnodiging om deel te nemen aan de eerste Wereldkinderdag die op 25 en 26 mei wordt gevierd: "We hebben uw vreugde en het verlangen naar een betere wereld nodig." ...

Première personne : « Je ne représente plus rien » – Voix des déplacés en Haïti

Lui et d'autres ont parlé à Eline Joseph, qui travaille pour l'Organisation internationale pour les migrations (OIM) à Port-au-Prince avec une équipe qui apporte un soutien psychosocial aux personnes qui ont fui leur domicile à cause de la violence...

‘Ik ben niets meer waard’ – Stemmen van ontheemden in Haïti europahoy.news

Hij en anderen spraken met Eline Joseph, die voor de Internationale Organisatie voor Migratie (IOM) in Port-au-Prince werkt met een team dat psychosociale steun biedt aan mensen die hun huizen zijn ontvlucht vanwege geweld en onveiligheid. ze sprak met VN-nieuws...

Profitez d'un accès exclusif à l'ensemble de notre contenu

Bientôt, nous aurons un abonnement en ligne et vous pourrez débloquer tous les articles que vous rencontrerez.