Ein internationales Team hat fast 4.000 Studien zu klinischen Vorhersagemodellen ausgewertet. In etwa jeder achten gaben die Autoren an, ihren Code bereitgestellt zu haben. Unter der Leitung von Forschenden am MIT und am Dana-Farber Cancer Institute folgte das Team Links, die von den Veröffentlichungen zu Hunderten von Code-Repositorien führten. Manche Autoren hätten ihre Dateien sorgfältig geordnet und ausführlich erläutert, andere hingegen kaum Hinweise gegeben, sagte Erstautor Thomas Sounack.
Mit klinischen Vorhersagemodellen lässt sich beispielsweise abschätzen, wie hoch das Risiko eines Patienten ist, an einer bestimmten Krankheit zu erkranken. Wenn solche Schätzungen in die Patientenversorgung einfließen, kommt es darauf an, wie die Forschenden das Modell entwickelt und getestet haben. Wer Zugang zu den Daten und zum Code hat, kann prüfen, welche Patienten die Forschenden einbezogen haben, wie sie mit fehlenden Werten umgegangen sind und wie sie die Ergebnisse bewertet haben. Solche Entscheidungen könnten die Ergebnisse beeinflussen, sagte Tom Pollard, Wissenschaftler am MIT und Seniorautor der Übersichtsarbeit. Im Methodenteil sei jedoch nur begrenzt Platz, um diese Entscheidungen im Detail zu beschreiben.
Von den Veröffentlichungen zu den Code-Repositorien
Die in Nature Medicine veröffentlichte Übersichtsarbeit erfasste Studien, in denen Forschende ein Vorhersagemodell entwickelt, aktualisiert oder validiert hatten. Berücksichtigt wurden nur Arbeiten, die TRIPOD oder TRIPOD+AI zitierten. Diese beiden Checklisten geben Forschenden Orientierung, wenn sie beschreiben, wie sie solche Modelle entwickelt und bewertet haben. Außerdem musste der Volltext in der Open-Access-Sammlung von PubMed Central verfügbar sein.
Die Autoren beschrieben und verlinkten ihren Code auf unterschiedliche Weise. Ein großes Sprachmodell half dem Team, die Arbeiten zu sichten, Angaben zur Bereitstellung von Code zu finden und Links zu extrahieren. Eine separate Software rief die verlinkten Repositorien ab. Pollard zufolge halfen die Modelle dem Team, Informationen auszuwerten, die über verschiedene Veröffentlichungen und Dateien verstreut waren. Das Team prüfte, wie gründlich die Autoren ihren Code dokumentiert hatten, welche Software nötig war, um ihn auszuführen, und unter welchen Bedingungen andere ihn weiterverwenden durften.
Zwei Forschende prüften unabhängig voneinander 500 Veröffentlichungen und eine gesonderte Stichprobe von Repositorien. Wo ihre Bewertungen voneinander abwichen, einigten sie sich zunächst auf ein gemeinsames Urteil. Anschließend verglichen sie ihre Einschätzungen mit den Ergebnissen der automatisierten Auswertung. Bei der Frage, ob eine Lizenzdatei vorlag, war die Übereinstimmung größer als bei der Frage, ob die Dokumentation ausreichte. Weil bei der Einordnung Fehler möglich waren, legten die Autoren mehr Gewicht auf übergreifende Muster als auf exakte Zahlen.
Was veröffentlichten Code nutzbar macht
Wie Forschende ihren Code teilten, unterschied sich je nach Land und Fachzeitschrift. In manchen Zeitschriften berichteten die Autoren in keiner einzigen Studie, ihren Code bereitgestellt zu haben, in anderen lag der Anteil bei über 70 Prozent. Einige Zeitschriften mit besonders niedrigen Anteilen hatten bereits schriftliche Richtlinien zur Bereitstellung von Code. Das deutet darauf hin, dass eine Richtlinie allein womöglich nicht ausreicht, um Autoren dazu zu bewegen, ihren Code zu teilen.
Selbst für Autoren, die ihren Code veröffentlichen, gibt es nur wenige Anhaltspunkte dafür, wie sie ihn strukturieren und erläutern sollten. Für Sounack ist entscheidend, ob jemand anderes den Code verstehen und ausführen kann, um die Ergebnisse der Studie zu reproduzieren. Einige Autoren stellten synthetische Datensätze bereit, damit andere den Code auch ohne Zugriff auf vertrauliche Patientenakten nutzen konnten.
Die Ergebnisse fließen in TRIPOD-Code ein, eine Leitlinie zur Berichterstattung, die auf den beiden bestehenden Checklisten aufbaut. An der Forschung zu Vorhersagemodellen sind Fachleute aus der klinischen Medizin, der Statistik und der Informatik beteiligt. Ihre Erwartungen an die Dokumentation können unterschiedlich sein. Das Team holt Expertenurteile ein, um einen Konsens darüber zu erzielen, was Autoren zusammen mit ihrem Analysecode bereitstellen müssen. Ziel sei es, Forschenden praktische Orientierung zu geben und Fachzeitschriften dabei zu helfen, den Autoren ihre Erwartungen zu vermitteln, sagte Pollard.




Diskussion