Как измерить результат и процесс в тестировании ПО
Чтобы отслеживать прогресс работы, приближаться к целям и поощрять сотрудников, в тестировании важно пользоваться метриками. Поговорим об одних из главных — метриках результата и процесса.
Когда вы выпускаете новый релиз и отдаете его клиентам, возникает закономерное желание оценить то, что получилось.
Здесь помогут метрики результата. Вот некоторые из них:
- Реакции клиентов (пользователей, заказчиков).
— продажи продукта;
— отзывы клиентов;
— % пропущенных дефектов — фиксируйте его в какой-либо браг-трекинговой системе с отдельной пометкой о том, что ошибка поступила от клиента.
— % возвратов продукта.
Надо отметить, что первый и второй пункт не полностью зависят от вас. Например, продажи зависят и от маркетологов, рекламы, отзывы — от того, прислушивались ли к нам разработчики. Но вы, как команда тестирования, тоже внесли в это лепту, поэтому лишним такая метрика не будет.
- Количество выпущенных хотфиксов — версий с исправлением ошибок. Чем меньше, тем лучше.
- Затраты на техподдержку продукта.
- Сроки, бюджет выпуска продукта и т.д. Посмотрите, уложились в них или нет. Хотя сроки зависят не только от тестировщиков, но все же их влияние на эти метрики довольно сильны.
Метрики процесса пригодятся, чтобы корректировать работу в будущем и оптимизировать ее еще до того, как проект будет завершен.
- Ошибки.
— количество. Общее число ошибок вам вряд ли что-то даст, поэтому лучше смотреть их распределение по приоритетам. Чего у вас больше — множества minor или более полезных major?
Если анализировать ошибки по типам — юзабилити, нагрузочные и т.д., то можно увидеть, какому типу тестирования вы уделяете больше внимания.
Количество ошибок на тысячу строк кода (bugs/KLOC) — тоже интересная метрика, хотя и говорит больше о разработке, чем о тестировании.
— качество ошибок. Параметр reject rate показывает, какое количество заведенных вами ошибок не пригодилось, не воспроизводилось, не было актуально и т.д.
Выставление оценок ошибкам экспертами. Это помогает показать проблемные зоны в заведении ошибок. Лучше, если это будут делать разработчики — они оценят, насколько полезна, актуальна та или иная ошибка. Если разработчики по большей части оценивают качество ваших ошибок не очень хорошо, то можно поставить команде цель — повысить среднее качество ошибок.
Также это может помочь выявить проблемы с качеством заводимых ошибок у одного определенного сотрудника. Тогда уже потребуется индивидуальная работа.
Тестовое покрытие. Ответ на вопрос “А что вы протестировали?” от заказчика.
— покрытие требований. Для этого есть инструмент — матрица трассировки, однако он устарел и достаточно поверхностен.
Существуют также test-management систем. testlink, testrail, ситечко… В таких системах есть связь между требованиями и тестами, и это позволяет вам смотреть на наличие теста по требованиям.
— покрытие кода (сode coverage). По нажатию кнопок в приложении показывает определенные ветки кода, в которые вы зашли, какие функции были вызваны. Процент покрытия кода позволяет анализировать, какой код не был вызван и почему. Повторный прогон покрытия кода показывает улучшение в процессе работы.
— покрытие окружений (ОС, браузеры…).
- Скорость тестирования.
— скорость тестирования одной сборки.
— скорость полного тестового цикла.
— скорость заведения критических ошибок. В момент исправления ошибки разработчик может указать, в коммите от какого числа ошибка была занесена в продукт. Благодаря этому можно сравнить, когда ошибка была заведена и внесена в продукт.
— эффективность планирования. Затраты по факту и по плану, сроки по факту и по плану. Важно измерять обе эти метрики, так как это показывает ваши навыки оценки собственных сил. Часто бывает, что команда укладывается в сроки, но выходит за рамки бюджета, или же наоборот — пропускает сроки, зато укладывается в бюджет.
Вот, пожалуй, основные способы измерить результат и процесс в тестировании.

Остались вопросы по применению метрик? Хотите узнать, как использовать их конкретно на своем проекте, как сделать работу команды продуктивнее?
Наш курс Школа Тест-Менеджеров, v.2.0 поможет вам в этом! За 9 недель вы не только получите ответы на вопросы по метрикам, но и прокачаете свой уровень управления командой, подкрепите теоретическую базу, что поможет наладить рабочий процесс и устранить недопонимания в команде.
Чтобы понять, подходит ли вам курс, пройдите этот тест.
Отзыв выпускника:
