Как измерить результат и процесс в тестировании ПО

Чтобы отслеживать прогресс работы, приближаться к целям и поощрять сотрудников, в тестировании важно пользоваться метриками. Поговорим об одних из главных — метриках результата и процесса.

Когда вы выпускаете новый релиз и отдаете его клиентам, возникает закономерное желание оценить то, что получилось.

Здесь помогут метрики результата. Вот некоторые из них:

• Реакции клиентов (пользователей, заказчиков).

— продажи продукта;

— отзывы клиентов;

— %  пропущенных дефектов — фиксируйте его в какой-либо браг-трекинговой системе с отдельной пометкой о том, что ошибка поступила от клиента.

— % возвратов продукта.

Надо отметить, что первый и второй пункт не полностью зависят от вас. Например, продажи зависят и от маркетологов, рекламы, отзывы — от того, прислушивались ли к нам разработчики. Но вы, как команда тестирования, тоже внесли в это лепту, поэтому лишним такая метрика не будет.

• Количество выпущенных хотфиксов — версий с исправлением ошибок. Чем меньше, тем лучше.
• Затраты на техподдержку продукта.
• Сроки, бюджет выпуска продукта и т.д. Посмотрите, уложились в них или нет. Хотя сроки зависят не только от тестировщиков, но все же их влияние на эти метрики довольно сильны.

Метрики процесса пригодятся, чтобы корректировать работу в будущем и оптимизировать ее еще до того, как проект будет завершен.

• Ошибки.

— количество. Общее число ошибок вам вряд ли что-то даст, поэтому лучше смотреть их распределение по приоритетам. Чего у вас больше — множества minor или более полезных major? 

Если анализировать ошибки по типам — юзабилити, нагрузочные  и т.д., то можно увидеть, какому типу тестирования вы уделяете больше внимания. 

Количество ошибок на тысячу строк кода (bugs/KLOC) — тоже интересная метрика, хотя и говорит больше о разработке, чем о тестировании.

— качество ошибок. Параметр reject rate показывает, какое количество заведенных вами ошибок не пригодилось, не воспроизводилось, не было актуально и т.д. 

Выставление оценок ошибкам экспертами. Это помогает показать проблемные зоны в заведении ошибок. Лучше, если это будут делать разработчики — они оценят, насколько полезна, актуальна та или иная ошибка. Если разработчики по большей части оценивают качество ваших ошибок не очень хорошо, то можно поставить команде цель — повысить среднее качество ошибок.

Также это может помочь выявить проблемы с качеством заводимых ошибок у одного определенного сотрудника. Тогда уже потребуется индивидуальная работа.

Тестовое покрытие. Ответ на вопрос “А что вы протестировали?” от заказчика.

— покрытие требований. Для этого есть инструмент — матрица трассировки, однако он устарел и достаточно поверхностен.

Существуют также test-management систем. testlink, testrail, ситечко… В таких системах есть связь между требованиями  и тестами, и это позволяет вам  смотреть на наличие теста по требованиям.

— покрытие кода (сode coverage). По нажатию кнопок в приложении показывает определенные ветки кода, в которые вы зашли, какие функции были вызваны. Процент покрытия кода позволяет анализировать, какой код не был вызван и почему. Повторный прогон покрытия кода показывает улучшение в процессе работы.

— покрытие окружений (ОС, браузеры…).

• Скорость тестирования.

— скорость тестирования одной сборки.

— скорость полного тестового цикла.

— скорость заведения критических ошибок. В момент исправления ошибки разработчик может указать, в коммите от какого числа ошибка была занесена в продукт. Благодаря этому можно сравнить, когда ошибка была заведена и внесена в продукт.

— эффективность планирования.  Затраты по факту и по плану, сроки по факту и по плану. Важно измерять обе эти метрики, так как это показывает ваши навыки оценки собственных сил. Часто бывает, что команда укладывается в сроки, но выходит за рамки бюджета, или же наоборот — пропускает сроки, зато укладывается в бюджет. 

Вот, пожалуй, основные способы измерить результат и процесс в тестировании.

Остались вопросы по применению метрик? Хотите узнать, как использовать их конкретно на своем проекте, как сделать работу команды продуктивнее?

Наш курс Школа Тест-Менеджеров, v.2.0 поможет вам в этом! За 9 недель вы не только получите ответы на вопросы по метрикам, но и прокачаете свой уровень управления командой, подкрепите теоретическую базу, что поможет наладить рабочий процесс и устранить недопонимания в команде.

Чтобы понять, подходит ли вам курс, пройдите этот тест.

Отзыв выпускника: