Сегодняшний рынок изобилует интересными вариантами для автоматизации мобильного тестирования — и у каждого из них своя цена.
Чтобы воспользоваться всеми преимуществами доступных решений в рамках стратегии тестирования, необходимо сделать верный выбор.
Нужно определиться с тем, что использовать — устройства или их эмуляторы, облачный сервис или лабораторные ресурсы, коммерческие инструменты или общедоступные платформы с открытым исходным кодом. Либо же отдать предпочтение комбинированным решениям.
Помимо прочего, придется определиться с целевыми операционными системами, браузерами, сетями и операторами, нанимать ли сотрудников на полную или частичную занятость, или же полагаться на краудсорсинговые сервисы.
У каждого из упомянутых вариантов своя цена, но общая стоимость тестирования программного обеспечения включает и другие, менее очевидные факторы. Возможно, вы посчитаете, что стоимость решений для автоматизации тестирования слишком высока, но прежде чем отказаться от такого варианта, стоит потратить время и проанализировать преимущества и отрицательные моменты, а равно и расходы, сопряженные с автоматизацией контроля качества мобильного приложения.
Стоимость тестирования вручную
Для начала рассмотрим тестирование вручную, которое на практике обходится не столь дешево, как это может показаться на первый взгляд.
С этой разновидности тестирования начинает большинство команд: приглашаются пользователи, инженеры и другие люди, которые имеют представление о том, каким должно быть приложение. Затем тестировщикам предлагают выполнить ряд действий в приложении. Это, возможно, и наименее затратный вариант, но определенно не бесплатный. Затраты включают в себя стоимость устройств, зарплаты сотрудников, организацию тестовых заданий.
Существуют и затраты, связанные с человеческим фактором. К примеру, очень важен такой нюанс, как своевременное составление документации. Из-за ограниченного количества рабочих часов циклы тестирования становятся более продолжительными, и время выхода разработки на рынок приходится откладывать. Ведь при тестировании вручную не используются автоматизированные скрипты, которые работают круглосуточно.
Стоимость автоматизации тестирования
Некоторым организациям приходится тратить на автоматизацию десятки и даже сотни тысяч долларов в год (стоимость корпоративных лицензий и контрактов на техническое обслуживание).
Но по одной только цене инструментов для автоматизации тестирования не получится составить полное представление об общих затратах. Необходимо, в частности, учитывать расходы на проведение тестов. Эксперты советуют тестировать приложения как минимум на десяти различных устройствах, т.е. к общей стоимости приходится добавить еще несколько сотен долларов. Альтернативой тестов на фактических устройствах служат эмуляторы, посредством которых создаются необходимые условия: экраны разных размеров и разрешений, операционные системы и состояние сети.
Эмуляторы обойдутся примерно в 250 долларов в месяц; у них есть свои плюсы и минусы, если сравнивать с тестированием на фактических устройствах.
Создать библиотеку для тестирования можно в облачном сервисе. Это поможет команде тестировщиков проводить тесты в любое время и в любом месте, тестировать мобильные приложения на большом количестве устройств в реальных условиях. Доступ к такой тестовой библиотеке оценивается в пределах пятисот долларов месяц — если тесты проводятся на четырех разных устройствах.
Преимущества автоматизации тестирования
Автоматизированные тесты проходят быстро и эффективно. Это в особенности уместно для регрессивного тестирования, т. е. когда выпускается обновление или новая версия продукта и необходимо быстро проверить ее функциональность. Подобные тесты можно проводить и вручную; но автоматизация регрессивного тестирования ускоряет процесс. За счет автоматизации в течение одинакового времени можно обнаружить больше дефектов, чем с помощью тестирования вручную. Проверить больше процессов на большем количестве платформ, и удостовериться в том, что приложение окажется функциональным на разных устройствах и операционных системах.
Автоматизированные тесты могут проводиться повторно. Записав тест, вы сможете повторять его неоднократно в дальнейшем — на новых устройствах и версиях ОС.
Продуманный инструмент способен идентифицировать изменения на экране приложения и проинструктировать относительно того, какие изменения следует внести в скрипт; инструмент может сообщить, что тест целесообразнее проводить на новом макете без каких-либо корректив.
Стратегии и идеи, позволяющие сэкономить
Если вы убеждены в несомненных преимуществах автоматизации, но беспокоитесь о расходах, можно использовать малозатратные методики. Разработка приложения в чем-то схожа с постройкой здания — расходы существенно отличаются в зависимости от того, что будущий домовладелец хочет увидеть, и какие технологии он планирует применять. Описывающиеся ниже стратегии дают возможность сэкономить и при этом не в ущерб качеству.
Краудсорсинг — популярный способ тестирования приложения в практических условиях.
Если вопрос цены инструментов для автоматизации является проблемой, тогда можно обратиться к инструментам с открытым исходным кодом (Appium, Calabash и Selenium). Это бесплатные сервисы, но, как бы то ни было, понадобятся дополнительные средства, чтобы применить все это должным образом. В основе этих решений заложены скрипты, потому будут нужны специалисты для разработки и изменения тестовых скриптов — к общей сумме затрат добавляются расходы на квалифицированных инженеров по автоматизации. В противном случае вам придется собственноручно заниматься доводкой скриптов, а потом и их запуском.
Для тех, кто решил проводить автоматизированные тесты, но не стремиться постичь тонкости написания скриптов, есть альтернатива — цифровые инструменты без скриптов. Вы можете использовать свои собственные устройства и доступные ресурсы для записи, улучшения и изменения повторных тестовых скриптов. Тесты создаются в виде скриншотов, на которых детально изложены шаги и действия, необходимые для каждого кейса, затем все сохраняется в облаке. Никаких серверов, дополнительных ресурсов, инженеров или лабораторий.
В долгосрочной перспективе инвестиции в качество всегда оправдываются. Чаще всего за отсутствие тестирования приходится платить намного большую цену, чем за все вышеперечисленные варианты. Как правило, репутационные потери из-за низкого качества приложений обходятся компаниям намного дороже.
