Test Case Management Tool: как правильно сделать выбор и не пожалеть об этом — конспект ВК
Критерии:
- интеграция с баг-трекером компании (JIRA)
- хранение и возможность редактирования тест-кейсов, в том числе импорт тест-кейсов, созданных нами ранее
- простота отслеживания покрытия требований тест-кейсами
- удобное формирование Test Runs/Test Suites и удобный пользовательский интерфейс
- хранение всей информации по Test Development и Test Execution в одном месте и создание единого пространства для работы QA-команды
- возможность создания Traceability Matrix
- возможность распределения задач и назначения их на конкретных инженеров
- простота получения отчетов, метрик, статистики
- удобство установки, внедрения, поддержки
…
Из чего выбирать:
… В результате список сократился до трех тулов (ВК: инструментов), на которых были проведены пилотные проекты:
1. Zephyr
2. TestRail
3. Meliora
… Вот высокоуровневые характеристики каждого:
Zephyr (1 user — $30) — отличительная черта этого тула в том, что это продукт Atlassian, а значит, он должен быть отлично совместим c JIRA, но проблема в том, что это валидно для JIRA Server, а мы пока используем OnDemand, с которым на этапе пилота было много проблем. Помимо этого недостатка Zephyr неудобен в использовании: добавлять тест-кейсы долго и не настолько просто, много лишних действий при создании планов и runs.
Meliora (1 user — $25) — также необходим переход на JIRA Server + сам по себе Meliora довольно громоздкий инструмент, искусственно усложняющий большую часть простых задач, включающий в себя еще и собственный bug-трекер.
TestRail (1 user — $20) — простой и удобный тул. Основной плюс — кастомизация возможна практически во всем, и любые действия интуитивно понятны. Есть возможность импорта/экспорта тест-кейсов.
… включает в себя и позволяет:
- Создание/хранение/редактирование тестовых сценариев, управление тестовыми планами, запуск тестовых циклов, занесение результатов тестирования.
- Четкое описание тестовых сценариев, их ревью, соотношение с требованиями, разделение на области — всё это позволяет оценить как полноту покрытия тестами функционала, так и является необходимым материалом для всей проектной команды.
- Создание отчетов по совершенно разным критериям: Defect Summary, Comparison for Cases, тестовые результаты по проектам/компонентам/майлстоунам и т.д.
- Возможности для полной кастомизации «рабочего dashboard», а также удобное получение статуса работы QA-команды за разные периоды времени (помогает при создании weekly/monthly QA report).
- Легкая интеграция с JIRA.
- Разумная цена.
- Отличный support.
- Легкий и удобный способ импорта тестов из Excel.
… Ниже я подробно рассмотрю возможности TestRail для различных QA-активностей:
…
Что же в итоге:
Окончательный выбор мы сделали еще в августе. В сентябре перевели в TestRail большую часть QA-активностей по проектам. Продолжаем переводить туда все новые проекты. За все время еще ни разу не пожалели о выборе. Собрали несколько метрик, которые подтвердили наши предположения насчет верности выбора и положительном эффекте от внедрения. Смогли быстро научить инженеров эффективно использовать тул. В ближайшее время закончим работы над внедрением Requirements Traceability для всех проектов и будем развивать использование TestRail дальше.