Un equipo internacional revisó casi 4000 estudios de predicción clínica. En aproximadamente uno de cada ocho, los autores indicaron haber compartido el código. Investigadores del MIT y del Instituto Oncológico Dana-Farber dirigieron la revisión y siguieron los enlaces que llevaban de los artículos a cientos de repositorios de código. Algunos autores organizaron sus archivos con cuidado y explicaron su contenido en detalle. Otros apenas dieron indicaciones, según Thomas Sounack, primer autor de la revisión.
Los modelos de predicción clínica permiten estimar, por ejemplo, el riesgo de que un paciente desarrolle una enfermedad. Cuando esas estimaciones orientan la atención al paciente, importa saber cómo se desarrolló y se puso a prueba el modelo. El acceso a los datos y al código permite a otras personas comprobar qué pacientes incluyeron los investigadores, cómo trataron los valores faltantes y cómo evaluaron los resultados. Según Tom Pollard, investigador del MIT y autor sénior de la revisión, esas decisiones pueden influir en los resultados, pero la sección de métodos no siempre permite explicarlas con todo detalle.
Tras la pista del código: de los artículos a los repositorios
La revisión, publicada en Nature Medicine, abarcó estudios cuyos autores habían desarrollado, actualizado o validado un modelo de predicción. Para que un artículo pudiera incluirse, debía citar TRIPOD o TRIPOD+AI, dos listas de verificación que sirven de guía a los investigadores para describir cómo construyen y evalúan estos modelos. Además, el texto completo debía estar disponible en la colección de acceso abierto de PubMed Central.
La forma de describir el código y de enlazarlo variaba de un artículo a otro. Un modelo de lenguaje de gran tamaño ayudó al equipo a hacer una primera selección de los artículos, localizar los pasajes sobre la disponibilidad del código y extraer los enlaces. Otro programa recuperó los repositorios. Según Pollard, los modelos ayudaron al equipo a examinar información dispersa entre artículos y archivos. El equipo evaluó con qué detalle habían documentado los autores su código, qué programas hacían falta para ejecutarlo y en qué condiciones podían reutilizarlo otras personas.
Dos investigadores examinaron de forma independiente 500 artículos y una muestra aparte de repositorios. Resolvieron sus discrepancias antes de comparar sus evaluaciones con los resultados del análisis automatizado. La concordancia fue mayor al determinar si había un archivo de licencia que al valorar si la documentación era adecuada. Ante la posibilidad de errores de clasificación, los autores dieron más peso a las tendencias generales que a las cifras exactas.
Qué hace falta para que otros puedan usar el código compartido
Las prácticas de los investigadores a la hora de compartir código variaban según el país y la revista. La proporción de estudios en los que los autores indicaban haber compartido el código iba de cero en algunas revistas a más del 70 % en otras. Algunas de las revistas con los porcentajes más bajos ya tenían políticas escritas sobre la publicación del código, lo que sugiere que contar con una política no basta necesariamente para convencer a los autores de que lo compartan.
Incluso los autores que hacen público su código cuentan con pocas indicaciones sobre cómo organizarlo y explicarlo. Para Sounack, la prueba es si otra persona puede entender el código y ejecutarlo para reproducir los resultados del artículo. Algunos autores proporcionaron conjuntos de datos sintéticos para que otros pudieran utilizar el código sin necesidad de acceder a las historias clínicas confidenciales de los pacientes.
Los resultados están orientando la elaboración de TRIPOD-Code, una guía para la presentación de estudios que parte de las dos listas de verificación existentes. En la investigación sobre modelos de predicción participan profesionales de la medicina clínica, la estadística y la informática, y sus expectativas sobre la documentación pueden diferir. Con la revisión de expertos, el equipo busca un consenso sobre qué deben incluir los autores junto con el código que utilizan para sus análisis. El objetivo, según Pollard, es ofrecer orientaciones prácticas a los investigadores y ayudar a las revistas a comunicar a los autores qué esperan de ellos.




Comentarios