Во время недавней конференции TEST Focus Groups, которая проходила в Лондоне и была посвящена применению аналитики в целях улучшения процесса тестирования, рассматривались практически все актуальные вопросы.

В этой статье представлено описание обсуждавшихся тем, и, в частности передовых подходов, направленных на сокращение времени разработки приложения и при этом не в ущерб качеству. Главными предметами дискуссии, наряду с качеством данных, автоматизацией тестирования, были также метрики, аналитика и соответствующие инструменты, и техники.

Аналитический процесс

Как ускорить аналитический процесс и обеспечить максимальный объем важной информации?

Аналитический процесс должен быть структурирован и хорошо спланирован. Вот основные моменты, которые обсуждались во время конференции:

  1. Компоненты аналитического процесса:
  • коммуникационная платформа
  • система обратной связи
  • подготовка
  • система анализа текста
  1. В режиме реального времени важные данные должны быть представлены в соответствующее время.
  2. Результаты — процесс интерпретации должен быть стандартизирован, чтобы менеджеры могли прийти к одинаковым заключениям, проанализировав имеющиеся данные.

Автоматизация тестирования

Аналитика

Что должно быть в наборе аналитических инструментов?

Инструменты, посредством которых извлекаются важная информация:

Описательная аналитика — создание простых подсчетов, визуализация с описанием данных.

Предиктивная аналитика — возможность в начале релиза спрогнозировать дальнейшую судьбу приложения.

Предписывающая аналитика (или prescriptive analytics) — это корректирующие действия и способы устранения после обнаружения отклонений и рисков.

Аналитический процесс 

Информационная панель

Какие способы создания и проектирования информационных панелей наиболее эффективны? Этот процесс (dashboarding) можно определить как разработку эффективного информационного инструмента, посредством которого можно получить важную информацию (или инсайты), что позволяет потребителю этой информации больше думать о бизнесе, а не о данных.

  1. Используйте приемлемую методологию.
  2. Информационные панели должны способствовать достижению целей, выполнению определенных процессов, в этом, собственно, и состоит их предназначение.
  3. Не следует путать стратегическую метрику с операционной метрикой, дабы избежать неопределенностей и неточностей.
  4. Необходима детальная информация для эффективного решения потенциальных сложностей, к тому же стоит устанавливать предельные показатели и применять цветовую маркировка в целях большей наглядности.

Информационная панель

Методология метрик

Какой самый эффективный способ разработки метрик?

Методология, обеспечивающая наименее затратную разработку метрик — это GQIM (goal-question-indicator-metric), которая состоит из цепочки: цель-вопрос-индикатор-метрика.

  • Цели должны устанавливаться, исходя из используемых стандартов (TMMI, ISO, IEEE и других)
  • Должен быть определен ряд важных вопросов для того, чтобы ответы на них согласовывались с поставленными целями.
  • Разработанные метрики появляются как естественный результат поставленных вопросов.

Данные

Каковы главные сложности, относящиеся к информационной базе (активу)?

  1. Качество данных и стандартизация

Представители многих компаний не отдают себе отчет в том, что их сотрудники оперируют данными низкого качества.

Аналитика не решает проблему некачественных данных, а только лишь указывает, в каком направлении следует продолжать работу.

Необходимо улучшение качества информационного актива и создание надежной базы для дальнейшей аналитической работы.

Сложности, связанные с данными, решаются с помощью ряда инициатив и программ.

  1. Структура данных

Должна присутствовать стабильная целостная и унифицированная структура данных, которая выстраивается посредством диаграммы сущностей и связей (ERD) — графическое отображение множеств сущностей бизнес-организации, их различных атрибутов и связей.

По сути, структура данных содержит в себе естественные иерархии, которые используются для определения и фильтрации поисковых характеристик на информационной панели.

Процесс

На какие процессы организации ориентируются во время разработки аналитических инициатив?

Вот три основных процесса, которые непосредственно влияют на аналитические инициативы.

  1. Управление требованиями — требования необходимо моделировать. Техники, с помощью которых это делают, включают кейсы (случаи использования) и ERD-диаграммы. При отсутствии четких требований, используется документация по кейсам, которые применяются во время тестирования.
  2. Автоматизация тестирование сокращает время разработки приложения, т.е. уменьшается время и усилия, необходимые, чтобы добиться нужного качества. Эффективное планирование теста радикально упрощает работу по части автоматизации тестирования.

Некоторые моменты, касающиеся автоматизации:

  • Поиск зон высокого риска.
  • Не стоит пытаться автоматизировать абсолютно все. Должны присутствовать четкие критерии автоматизации.
  • Нужно автоматизировать кейсы, которые либо всегда проходят, либо всегда проваливаются, либо включают в себя множество составных элементов.
  1. Управление дефектами

Эффективное управление дефективными жизненными циклами существенно улучшает качество разрабатываемых приложений. Метрики в этом сегменте, как правило, определяют уровень сложности имеющихся дефектов.

Итоги

Это лишь часть вопросов, которые освещались на конференции TEST Focus Groups. Подводя итоги, участники встречи отметили, что организации большей частью опираются на базовые качественные метрики для описательной аналитики. И лишь небольшая группа компаний применяет предиктивную и предписывающую аналитику (prescriptive analytics)