Dans environ une étude sur huit, parmi les quelque 4 000 études de prédiction clinique examinées par une équipe internationale, les auteurs indiquaient avoir partagé leur code. Des chercheurs du MIT et du Dana-Farber Cancer Institute ont dirigé cette analyse. En suivant les liens figurant dans les articles, ils ont consulté des centaines de dépôts de code. Certains auteurs avaient soigneusement organisé leurs fichiers et fourni des explications détaillées. D’autres ne donnaient presque aucune indication, selon Thomas Sounack, premier auteur de l’analyse.
Les modèles de prédiction clinique servent notamment à estimer le risque qu’un patient développe une maladie. Lorsque ces estimations orientent les soins, il importe de savoir comment les chercheurs ont construit et testé le modèle. L’accès aux données et au code permet à d’autres de vérifier quels patients les chercheurs ont inclus, comment ils ont traité les valeurs manquantes et comment ils ont évalué les résultats. Ces choix peuvent influer sur les conclusions, explique Tom Pollard, chercheur au MIT qui a supervisé les travaux, mais la section d’un article consacrée aux méthodes ne permet pas de les décrire dans tous leurs détails.
Des articles aux dépôts de code
L’analyse, publiée dans Nature Medicine, portait sur des études dont les auteurs avaient mis au point, actualisé ou validé un modèle de prédiction. Pour être retenu, un article devait citer TRIPOD ou TRIPOD+AI, deux listes de contrôle qui précisent comment rendre compte de la construction et de l’évaluation de ces modèles. Son texte intégral devait aussi figurer dans la collection en libre accès de PubMed Central.
Les auteurs ne présentaient pas tous leur code ni les liens pour y accéder de la même manière. Un grand modèle de langage a aidé l’équipe à trier les articles, à repérer les passages mentionnant le partage du code et à en extraire les liens. Un autre logiciel a servi à récupérer le contenu des dépôts. Selon Tom Pollard, les modèles ont aidé l’équipe à analyser des informations dispersées dans les articles et les fichiers. Les chercheurs ont examiné le niveau de détail de la documentation fournie par les auteurs, les logiciels nécessaires pour exécuter le code et les conditions de sa réutilisation.
Deux chercheurs ont examiné, chacun de son côté, 500 articles ainsi qu’un échantillon distinct de dépôts. Ils ont résolu leurs divergences avant de comparer leurs évaluations aux résultats de l’analyse automatisée. Les deux approches concordaient davantage sur la présence ou l’absence d’un fichier de licence que sur le caractère suffisant ou non de la documentation. Compte tenu du risque d’erreurs de classement, les auteurs ont accordé plus de poids aux grandes tendances qu’aux chiffres exacts.
Comment rendre le code partagé utilisable ?
Les pratiques de partage variaient selon les pays et les revues. Dans certaines revues, aucune étude ne faisait état d’un partage du code ; dans d’autres, la proportion dépassait 70 %. Certaines revues où cette proportion était particulièrement faible disposaient déjà de règles écrites en la matière. De telles règles ne suffisent donc pas nécessairement à convaincre les auteurs de partager leur code.
Même les auteurs qui rendent leur code public disposent de peu d’indications sur la manière de l’organiser et de le documenter. Pour Thomas Sounack, le critère est simple : une autre personne peut-elle comprendre le code et l’exécuter pour reproduire les résultats de l’article ? Certains auteurs fournissaient des jeux de données synthétiques pour que d’autres puissent utiliser le code sans avoir accès aux dossiers confidentiels des patients.
Ces résultats contribuent à l’élaboration de TRIPOD-Code, un guide qui s’appuie sur les deux listes de contrôle existantes pour préciser ce que les chercheurs devraient indiquer dans leurs publications. Cliniciens, statisticiens et informaticiens participent tous aux recherches sur les modèles de prédiction, mais leurs attentes en matière de documentation peuvent différer. En consultant des experts, l’équipe cherche à dégager un consensus sur les éléments que les auteurs doivent joindre à leur code d’analyse. L’objectif, explique Tom Pollard, est de donner des repères pratiques aux chercheurs et d’aider les revues à faire connaître leurs attentes aux auteurs.




Discussion