В текущей экономике приложений, где стоимость перехода с одного приложения на другое сократилась до нуля, особенно важно предоставление лучшего опыта, который безошибочно работает в руках пользователей.
Нельзя недооценивать стоимость ошибки в мире мобильных приложений. Баг в приложении, выявленный в Google Play или в App Store обойдется разработчику десятком или сотней негативных отзывов пользователей, низкими оценками и отсутствием прироста аудитории.
Для организации эффективной работы понадобятся инструменты и методы:
- Пользовательские сценарии – User Story содержит возможные взаимодействия пользователя с приложением;
- Тестовый сценарий – последовательности действий созданные на основании пользовательского сценария для проведения различных тестов: изначальные условия, входные действия, действия пользователей, ожидаемый результат;
- Набор тестовых сценариев – сгруппированный по категориям список сценариев;
Getbug помогает обеспечить корректную и стабильную работу мобильного приложения на заданных устройствах. Мы поможем сделать приложение удобным для пользователя и оптимизировать его производительность.
Высокая цена ошибок обнаруженных на этапе релиза приложения в магазине, заставляет заранее задумываться о навыках и качествах надежного подрядчика или внутреннего специалиста по тестированию:
- Польза которую приносит приложение. Важно четко понимать цели проекта и специфику бизнеса, иначе тестирование будет малоэффективным;
- Организация процесса. Процесс тестирования не должен мешать своевременному выходу релиза;
- План тестирования. Системный подход и планирование тестов, важный этап повышения качества и эффективности тестов и приносит ожидаемый результат;
- Аналитический подход. Аналитика призвана выявить потенциально проблемные места, чтобы в дальнейшем спланировать и организовать тестирование. Это перманентный процесс, который позволяет экономить ресурсы и прогнозировать трудозатраты;
- Знания экосистемы приложения. Тестировщик обязан понимать архитектуру продукта и технические аспекты реализации, без которых, даже выявив проблему тестировщик не сможет ее описать программисту;
- Постоянная коммуникация. Тестировщики – связующее звено между заказчиком, менеджером проекта и программистами.
Критерии проведения тестов
Процесс тестирования начинается до разработки и сразу после передачи разработчикам навигационной схемы и дизайна макетов экранов. Этих материалов более чем достаточно для начала процесса разработки. Но в навигационной схеме зачастую не хватает некоторых элементов: нет каких-либо экранов, на которые предусмотрен переход, не прописаны ограничения на поля ввода, к некоторым пунктам меню нет доступа не из одного экрана или меню, не отображаются ошибки и.т.д.
Еще одна существенная проблема — неочевидность предоставленной информации: анимация, работа в критических ситуациях, работа скрытого от пользователя функционала приложения. Поэтому первый по счету тест — это тест всех предоставленных на разработку материалов на полноту и противоречивость. Только после согласования всех непонятных и спорных моментов начинается процесс разработки. Параллельно с разработкой, разрабатываются тестовые сценарии исходя из специфики приложения. Их число может доходить до нескольких тысяч в зависимости от сложности приложения и различий в пользовательских ролях.
С точки зрения процесса, тесты мобильных приложений можно разделить на две категории: Smoke тесты и функциональные тесты.
Smoke Test (от англ.Smoke testing, дымовое тестирование) в тестировании программного обеспечения означает минимальный набор тестов на явные ошибки. “Дымовой тест” обычно выполняется самим программистом; не проходящую этот тест программу не имеет смысла отдавать на более глубокое тестирование.
Тестировщики до сдачи первой сборки могут ориентироваться при составлении тестовых сценариев только информацию, которую они получают в процессе обработки документации разработчикам. Поэтому, тестирование первого сборки всегда начинается с общего тестирования. Позже проведение этих тестов будет одним из критериев сдачи билдов для конечного релиза. Набор тестовых сценариев зависит от специфики приложения, но есть определенная часто используемая совокупность тестов:
Наши клиенты
Тестовые сценарии
Контент
Это самый важный элемент любого приложения. Особое внимание следует уделить именно проверке контента. Обязательно должны быть проверены:
- Все текстово-графические блоки;
- Поддержка языков;
- Корректное отображение всех элементов;
- Проверка сопутствующей информации: даты, числа, время и т.д.;
- Процедура и адекватность цены покупок внутри приложения;
Отклик в приложении
Если пользователь пользуется функционалом приложения, нажимает на кнопки, открывает меню, осуществляет поиск, то он должен получать ожидаемый отклик от приложения. Должны быть проверены:
- отображение нажатого состояния элементов;
- отклик кнопок при нажатии на разных устройствах;
- сообщения приложения об ошибках и процессах;
- правильное отображение медиаконтента;
Обновления
После обновления, приложение не должно терять накопленную о пользователе информацию. Обновления должны устанавливаться при помощи любого соединения и не требовать специальных знаний. Подлежать проверке:
соответствие функционалов новой и старой версии;
сохранность данных после обновления;
Внештатные ситуации
Приложение должно адекватно реагировать при попадание в карман без блокировки экрана, нажатие на несколько пунктов одновременно и т.д. Должны быть проверены:
- удобство навигации по приложению;
- отсутствие пустых экранов;
- одновременное нажатие на все клавиши;
- жесты предусмотренные функционалом;
Прерывания работы приложения
Приложение должно адекватно реагировать на прерывания работы во время звонка или входящего сообщения. Должны быть проверены:
- реакция на входящую информацию – звонки, SMS, MMS, оповещения, работу других приложений;
- реакция приложения на поведение устройства – выключение, ожидание, подключение к сети, зарядка, акселерометр, клавиатура и т.д.
Мультиплатформенность
Приложение должно правильно отображаться на разных типах устройств. Должны быть проверены:
- работа на ретина-экранах элементов интерфейса;
- переход от горизонтального к вертикальному положению;
- функционал проверки нужной версии операционной системы;
- правильная работа медиа файлов на разных устройствах и операционных системах.
Возможности устройств
Иногда одновременная работа нескольких приложений не дает возможности открыть новое или загрузить корректно уже открытое. Приложение должно учитывать эти ситуации. Должны быть проверены:
- работа приложения в условиях нехватки памяти;
- поведение приложение при открытии в условиях нехватки памяти;
- поведение приложения в условиях нехватки свободного места для установки;
- поведение приложение в условиях отсутствия какой либо функции на устройстве (3G, SD-карта и т. п.);
- установка, перенос и удаление приложения.
Соответствие сертификатам
Для каждого магазина приложений существуют определенные правила для организации установочного файла (.apk) и правилам оформления дизайна приложений. Приложения должно соответствовать требованием от Google Play, App Store и Windows Phone.
После завершения стадии общих тестов наступает стадия функциональных тестов. На этой стадии приложение подвергнется многим исправлениям. Функциональные тесты касаются специфики использования конкретных приложений и учитывают особенности целевой аудитории, на этой стадии и понадобятся знания специалиста о специфике бизнеса.
После устранения всех ошибок наступает этап полного или предрелизного тестирования. Оно включает в себя повторные smoke и monkey тесты на максимальном количестве устройств. Это последний этап перед сдачей релиза. Тщательно проверяются обновления и интеграции со счетчиками конверсии. После второго этапа проверки релиз приложения готов к публикации в сторах.
Поможем достичь желаемого качества ваших продуктов и повысить удобство пользования ими
Тестирование программного обеспечения и контроль качества
