Представим, что в мессенджере изменились правила, определяющие, кто может написать ребёнку. После этого меньше детей жалуются на нежелательные сообщения. Похоже на успех, но само по себе это число не говорит, стало ли таких сообщений меньше, стало ли меньше детей их замечать или кнопку подачи жалобы теперь труднее найти. Когда платформа оценивает собственное решение, разобраться в причинах не менее важно, чем подсчитать жалобы.

Начать с опыта ребёнка

Полезное исследование начинается с вопроса, понятного ребёнку или родителю: стало ли с этой настройкой проще помешать незнакомцу написать снова? Число заблокированных аккаунтов отвечает на другой вопрос. Блокировок может стать больше как потому, что пользоваться этой функцией стало легче, так и потому, что у детей чаще возникает в ней необходимость.

Различить эти ситуации помогают данные разного рода. Записи приложения могут показать, на каком этапе дети отказываются от подачи жалобы. Ребёнок, согласившийся на интервью, может объяснить, что не понял подсказку или боялся, что отправитель узнает о жалобе. Ни один из этих источников сам по себе не даёт окончательного ответа. В частности, дети, готовые рассказать о неприятном опыте, могут отличаться от тех, кто молчит.

Даже ради устранения неопределённости не любые данные стоит собирать. Чтобы проверить, понятна ли детям подсказка, необязательно читать их личную переписку. Вместо этого можно показать ребёнку образец экрана и спросить, что, по его мнению, произойдёт дальше. Ответ поможет оценить формулировку, но не покажет, как ребёнок поведёт себя в напряжённой ситуации.

Проследить путь от результата до решения

Специалисты, изучающие функцию платформы, могут получать доступ к данным только через команду, которая её разработала. Одна из мер предосторожности — ещё до ознакомления с результатами записать вопрос о безопасности и показатели, по которым на него предполагается ответить. Если затем команда изменит показатель по веской причине, письменное объяснение позволит проверяющим отличить обоснованную поправку от попытки представить результат в более выгодном свете.

Для подотчётности не нужно публиковать сообщения детей. Платформа может описать, что она проверяла, каких детей исследование не охватило и какое решение было принято. Если данные не позволили сделать однозначный вывод, полезнее сказать, что осталось неясным, чем объявить функцию безопасной. Показательно, может ли человек за пределами команды разработчиков проследить путь от исходного вопроса до решения и увидеть, какие разногласия возникали по ходу дела.