Как самостоятельно подготовить инструментарий для пользовательского тестирования игры

Мы продолжаем изучать основы пользовательского тестирования. В прошлый раз мы разбирались с методами сбора информации, а сегодня узнаем, как самостоятельно подготовить инструментарий для пользовательского тестирования игры.

В предыдущей статье мы разобрались, какие задачи может решить плейтест, и определились с методами сбора информации в ходе плейтеста. Давайте теперь подробнее остановимся на том, как нам составить инструментарий, который поможет собрать наши наблюдения и обратную связь от игроков (в удобной для обработки и анализа форме).

Антон Ульяненков, аналитик Playtestix

Составление анкеты

Начнем с подготовки онлайн-формы для заполнения игроками. Исходя из задач, мы формируем различные тематические блоки нашей анкеты.

В нашей практике мы предпочитаем использовать онлайн-формы, что позволяет нам получать ответы в электронном виде и быстро обрабатывать их, работая при этом в команде. На собственном опыте мы убедились, что на вопросы электронной анкеты респонденты отвечают более развернуто; также большинство электронных анкетных форм дают возможность задать обязательность заполнения вопроса, и настроить определенную логику в очередности задаваемых вопросов. Из бесплатных и условно бесплатных инструментов создания анкет наиболее мощным и удобным, по нашему мнению, является Google Forms. Для проведения ваших первых исследований его функционала вполне должно хватить.

Игра генерирует определенный опыт, и нам важно зафиксировать впечатления игрока от игры на различных этапах формирования этого опыта. Из вопросов, относящихся к одной теме, формируются тематические блоки вопросов (общая оценка, управление, геймплей, арт, пожелания и т.д.). Каждый блок должен состоять минимум из 3-4 вопросов, расположенных по правилу “от общего к частному”.

Для того, чтобы ответ на тот или иной вопрос был наиболее полным и однозначным, мы советуем сочетать в блоках вопросы различного типа. Для количественной оценки свойства изучаемого объекта мы используем закрытые вопросы и вопросы с выбором альтернатив. Открытые вопросы — отличное место для выражения своего мнения по тому или иному аспекту, хороший способ получить интересные идеи, мысли об игре.

Легче и быстрее всего сделать анкету только лишь из открытых вопросов, не утруждая себя продумыванием альтернатив, и не ограничивая игроков в ответах. Но не стоит обольщаться — обработка ответов займет у вас намного больше времени, и есть вероятность получить не слишком качественные ответы.  Людям часто трудно формулировать свои мысли понятным образом, игроки часто ленятся писать, предпочитая отвечать односложно.

Типы закрытых вопросов

Номинальная шкала с выбором одной альтернативы — наиболее простой вид закрытого вопроса. Например, мы можем спросить у игрока, какой способ заработка внутренней валюты является по его мнению наиболее эффективным.

Мы можем не ограничивать респондента в количестве альтернатив для выбора, используя номинальную шкалу с множественным выбором. Барьеров для получения удовольствия от игры может быть несколько.

В порядковых (ранговых) шкалах порядок альтернатив ответов имеет значение. Ответы в данной шкале ранжированы по определенному критерию (степень согласия с утверждением, степень удовлетворенности определенной характеристикой, общая оценка). Например, мы можем попросить игрока оценить, насколько ему было удобно совершать различные действия в игре.

При сравнении чего-либо (интереса к механике, концепта главного персонажа, дизайна сайта) полезно использовать ранжирование — вариант порядковой шкалы, в которой для каждого объекта сравнения игроку нужно определить его ранг по интенсивности какой-либо характеристики.

Основные правила формулировки вопросов

В повседневной жизни мы задаем вопросы, не сильно задумываясь над формулировкой. Формулировка вопросов анкеты — более сложная задача, от того, как мы зададим вопрос, во многом зависит, какие ответы мы получим. Существуют определенные правила, которые нужно использовать для составления качественного инструментария.

• Однозначность формулировки вопросов. Респондент не должен сомневаться, о чем вы его спрашиваете. Например, мы хотим узнать, придерживался ли игрок определенной стратегии во время игры. Но если мы спросим игрока о его стратегии в игре в лоб, то получим очень разрозненные ответы, ведь каждый будет говорить о своем. Возможным выходом может служить комментарий к вопросу, который бы содержал пример ответа или давал четкую формулировку, что мы понимаем под стратегией применительно к данной игре.
• Один вопрос за раз. Иногда мне встречались вопросы, в которых респонденту предлагали ответить на 2 отдельных вопроса в одном. Например, я встречал анкету, в которой игрока спрашивали о его впечатлениях от туториала, и при этом альтернативы содержали ответы на вопросы об информативности обучения, его продолжительности и о том, как игрок вообще относится к туториалам в играх. Хорошо бы разделить такой вопрос на 3 отдельных, облегчив таким образом выбор респонденту. Это позволит получить более однозначный фидбек по каждому из вопросов.
• Нейтральность вопросов. Формулируя вопрос, позаботьтесь о том, чтобы его формулировка звучала максимально беспристрастно. Ваше отношение к игре не должно никаким образом отражаться на вашей анкете.  Часто неосознанно мы уже формулировкой вопроса склоняем респондента отвечать определенным образом. Формулировка типа “Оцените, насколько Вам понравилась данная игры” — самый простой пример. А если игра не понравилась совсем? Правильнее будет попросить игрока оценить игру от 1 до 5, если мы проводим исследование в СНГ, или от 1 до 10, если мы, например, решили провести исследование среди европейской аудитории.
• Использование уточняющих вопросов. Для того, чтобы перепроверить, насколько ответы респондентов отвечают действительности, нужно не бояться переспрашивать игроков. Очень важно, чтобы игрок на субъективном уровне воспринимал механику как понятную, но может возникнуть ситуациях, когда игрок на самом деле не понял механику, и это может стать для него барьером в игровом процессе в дальнейшем. Перепроверять ответы респондентов можно, задавая уточняющие вопросы, вопросы-ловушки — часто это позволяет получить очень полезную информацию.

Бланк наблюдения

Кроме анкеты, будет полезно заранее заготовить бланк наблюдения — это поможет нам сделать наблюдение более структурированным, а значит более однородным и простым в обработке. Степень формализации наблюдения может быть различной в зависимости от задач, которые стоят перед нами, но чаще всего это таблица с перечнем наблюдаемых характеристик и полями для заполнения. Структура этого бланка и последовательность характеристик во многом определяется игровым сценарием, но следует учитывать, что игрок может проигнорировать сценарий, предложенный игрой, а значит в бланке всегда нужно оставить место для дополнительных комментариев наблюдателя.

Анкета интервьюера

Интервью с респондентом после игровой сессии дает возможность задать уточняющие вопросы, выявить мотивы игрока —  понять, почему он действовал так, а не иначе. Следует учитывать, что в личном общении многие люди склонны завышать свою оценку, им часто не хочется признаваться в том, что им что-то не понравилось, или что-то было непонятно. Поэтому для оценки игры и ее отдельных параметров прежде всего подойдет ваша анкета, где игрок чувствует себя более раскрепощенным в ответах. Главная же задача  интервью — понять мотивы, что-либо уточнить у игрока. Например, после игровой сессии мы можем спросить игрока, как он предпочитал тратить игровую валюту, а потом попытаться уточнить у него, какими мотивами он руководствовался, тратя валюту таким образом.

Когда инструментарий готов, самое время проработать сценарий тестирования. Это документ, в котором будут прописаны все фазы и действия вашей команды по реализации плейтеста. Он нужен, чтобы добиться однозначного понимания того, как будет проходить этап тестирования вашей игры. Работе над сценарием плейтеста будет посвящена моя следующая статья.