Международная группа изучила почти 4 000 работ по клиническому прогнозированию. Примерно в одной статье из восьми авторы сообщили, что поделились кодом. Работой руководили исследователи из Массачусетского технологического института (MIT) и Онкологического института Дана — Фарбер. По ссылкам из статей группа нашла сотни репозиториев с кодом. Как рассказал первый автор обзора Тома Сунак, одни авторы тщательно упорядочили файлы и снабдили их подробными пояснениями, а другие почти ничего не объяснили.

Модели клинического прогнозирования позволяют оценить, например, риск того, что у пациента разовьётся заболевание. Когда от таких оценок зависят решения о медицинской помощи, важно знать, как исследователи построили и проверили модель. Доступ к данным и коду позволяет другим специалистам проверить, каких пациентов включили в исследование, как обработали пропущенные значения и как оценили результаты. По словам научного сотрудника MIT и старшего автора обзора Тома Полларда, от этих решений могут зависеть выводы исследования, а в разделе о методах не всегда удаётся описать все детали.

Как по ссылкам в статьях искали репозитории с кодом

В обзор, опубликованный в журнале Nature Medicine, вошли исследования, в которых авторы разрабатывали, обновляли или валидировали прогностические модели. Для включения в обзор в статье должна была быть ссылка на один из двух контрольных списков — TRIPOD или TRIPOD+AI. Они помогают авторам описать, как те строили и оценивали такие модели. Кроме того, полный текст статьи должен был находиться в коллекции открытого доступа PubMed Central.

Авторы по-разному описывали свой код и указывали, где его найти. Большая языковая модель помогла группе отобрать статьи, найти в них сообщения о доступе к коду и извлечь ссылки. Отдельная программа загружала содержимое репозиториев. По словам Полларда, модели помогли группе разобраться в сведениях, разбросанных по разным статьям и файлам. Исследователи выясняли, насколько подробно авторы документировали код, какое программное обеспечение нужно для его запуска и на каких условиях другие специалисты могут использовать его в своих работах.

Два исследователя независимо друг от друга изучили 500 статей и отдельную выборку репозиториев. Разобрав расхождения и согласовав оценки, они сравнили их с результатами автоматической проверки. Оценки чаще совпадали, когда речь шла о наличии файла лицензии, чем когда нужно было решить, достаточно ли подробна документация. Поскольку при классификации могли возникнуть ошибки, авторы придавали больше значения общим закономерностям, чем точным цифрам.

Что помогает другим исследователям пользоваться кодом

Практика публикации кода различалась в зависимости от страны и журнала. В одних журналах авторы ни одной из рассмотренных статей не сообщили, что поделились кодом, а в других доля таких статей превышала 70 %. При этом у некоторых журналов с низкими показателями уже были письменные правила публикации кода. По-видимому, одних правил не всегда достаточно, чтобы убедить авторов делиться кодом.

Даже для тех, кто открывает доступ к своему коду, мало рекомендаций о том, как его организовать и какими пояснениями сопроводить. По мнению Сунака, критерий прост: сможет ли другой специалист разобраться в коде и запустить его, чтобы воспроизвести результаты, описанные в статье. Некоторые авторы прилагали синтетические наборы данных, чтобы другие могли воспользоваться кодом без доступа к конфиденциальным медицинским записям пациентов.

Результаты обзора учитывают при разработке TRIPOD-Code — руководства по описанию исследований. В его основу легли два существующих контрольных списка. В исследованиях по прогнозированию участвуют клиницисты, статистики и специалисты по информатике, и их представления о том, какой должна быть документация, могут различаться. Группа работает с экспертами, чтобы согласовать, какие материалы авторам следует прилагать к коду для анализа данных. По словам Полларда, цель — дать исследователям практические ориентиры и помочь журналам объяснить авторам, чего от них ждут.