В первой части этой статьи компания Playtestix, специализирующаяся на тестировании игр и приложений для мобильных и стационарных устройств, рассказала о том, что такое плейтест, поведала о секретах проведения успешных пользовательских тестирований, а также поделилась кейсом из практики (рассказывали о плейтесте игры жанра match3).
Вкратце напомним, что плейтест — это пользовательское тестирование приложения или игры представителями целевой аудитории с получением развернутой обратной связи по заранее разработанному инструментарию. Он помогает решить сразу несколько вопросов: сократить время разработки продукта и общий бюджет проекта; объективно контролировать ход реализации и привлекательность проекта; сделать продукт востребованным. Плейтест желательно проводить после каждого билда приложения, начиная с первого прототипа, и на каждой итерации, включая пост-релизные апдейты.
Сегодня команда Playtestix поделится опытом тестирования игры жанра MMORGP и даст советы, как правильно, качественно и результативно проводить плейтесты.
Тестирование «Эпической Мощи»
Разработчик Wildec с игрой в жанре онлайн MMORGP. Игра “Эпическая Мощь” является измененной версией проекта mobitva.com под мобильные телефоны на базе iOS и Android. После общения с Заказчиком было решено, что команда Playtestix поможет обнаружить проблемные моменты в юзабилити; обнаружить моменты непонимания в игре, а также вовлечь больший процент пользователей в игру.
Решение
Определившись с главными целями плейтеста, мы перешли к определению целевой аудитории (ЦА) игры. Пообщавшись с Клиентом на тему того, какой он видит свою ЦА (возраст, пол, род занятий, объединяющие интересы, прочее), мы привлекли к тестированию 25 мужчин (17-22 лет) с 5-летним опытом игр на мобильных платформах, которые предпочитают игры жанра аркада, RPG, шутеры, гонки, и играют не реже 2-3 раз в неделю.
Для сбора данных мы использовали анкетирование, а также невключенное наблюдение. Анкетирование используется в каждом проекте, и под каждую задачу мы разрабатываем собственные метрики и вопросы.
Анкетирование в ходе плейтеста мы проводили несколько раз:
- до начала игры, снимая ожидания на этапе знакомства с иконкой, названием и материалами в сторе;
- затем опрашивали игроков после 2 минут игры;
- после 10 минут игры;
- после 30 минут игры;
- а также после окончания игровой сессии;
задавая вопросы сообразно развитию игрового опыта.
Несколько слов о невключенном наблюдении: во время плейтеста присутствовали специально подготовленные профессионалы, наблюдающие за ходом игровой сессии. Поскольку это было невключенное наблюдение, с помощью которого фиксируются факты открытого поведения, то наш сотрудник не включался в ход событий и не задавал вопросов. Он отмечал особенности потребительского сценария и тайм-код игровой сессии, а также следил за стилем работы с приложением; моментами задумчивости, не связанными с чтением сообщения на экране; всплесками эмоций и поведением в момент проигрыша; вовлеченностью, и т.д.
Результат
Мы предоставили Клиенту аналитический отчет, включающий в себя словесные пояснения, графики, скриншоты, численные показатели, выводы и рекомендации по развитию продукта и заметки наблюдателя с разбивкой по респондентам. Использовав наши рекомендации, Заказчик внес следующие изменения в продукт:
- Изменен бой, он стал более динамичным (с большим количеством и разнообразием супер-ударов, возможностью движения персонажа и управления уворотом).
- Добавлены разнообразные квесты (с интересным текстом и целью заданий, их озвучкой и реализацией).
- Добавлены новые герои.
- Изменены скриншоты в сторе на более привлекательные.
Также хотим поделиться полезными советами для проведения по-настоящему результативных и качественных плейтестов (первую часть советов найдете тут):
7. Респонденты должны прийти из интереса, а не из-за денег, халявного кофе или от скуки. Мы не платим респондентам, к нам приходят из интереса к играм. Однако время респондентов тоже ценно, мы это знаем и уважаем их внимание, и благодарим при помощи сертификатов на доставку пиццы или суши, билетов в кино, сертификатов в ресторан, промо-кодов, т.п. вполне ощутимых материальных вещей. Но никаких денег.
8. Респонденты должны видеть приложение впервые. Иначе — как смоделировать первое знакомство с продуктом и решение купить?
9. Представьтесь исследователем. Не стоит говорить, что это ваша игра — пусть хвалят или ругают беспристрастно. По этим же соображениям в тестеры не годятся друзья, знакомые и прочие «союзники». Друзья, в отличие от профессиональных исследователей, будут сообщать мнение априори в более положительной тональности. И получить первое впечатление от друга можно только один раз. Кроме того, в тесте одновременно участвует от 30 человек, иногда – более 100, что дает объективные данные и позволяет видеть динамику улучшений.
10. Не вмешивайтесь в ход теста ни в коем случае! Никаких пояснений, подсказок, помощи. Вы не убеждаете респондентов в своей правоте, а пытаетесь узнать их мнение о своей игре.
11. Наблюдайте и делайте заметки. В нашей практике мы часто применяем видеонаблюдение, которое является мощнейшим источником данных о реализуемых игровых сценариях, поведенческих и эмоциональных реакциях.
12. Проводите плейтесты регулярно. Каждые 2-3 недели. Это поможет отследить динамику улучшений глазами пользователей и точно знать, в правильном ли направлении вы движетесь.
Напоследок хотим пожелать вам объективных респондентов, побольше креативных идей и поменьше багов :)