Завжди, працюючи зі складними програмними системами, нам доводиться створювати численну технічну документацію проекту. У більшості випадків вона має однакову структуру: це спеціальні вимоги до різних підсистем, детальний опис архітектури, програмного коду, API, структури даних та алгоритмів, а також численні плани проекту, звіти тощо.

Ідея будь-якого проекту починається з детального планування. Тест-менеджеру необхідно зібрати згуртовану команду, правильно розподілити поточні вимоги, поставити завдання команді, підібрати необхідну базу перевірених технічних інструментів, які будуть використовуватися кожним її членом протягом усього циклу тестування програмного забезпечення.

Вибір методик і програм завжди призводить до порівняння поточних характеристик, ціни та відгуків про поточний продукт. Тому для того, щоб вибрати найбільш підходящий інструмент для управління тестовими кейсами, вам слід скористатися наступними принципами:

• Управління тестуванням - створення та підтримка тестових артефактів (тестових планів, тестових кейсів, тестових скриптів або користувацьких історій).
• Планування тестування - розподіл ролей та обов’язків членів команди тестувальників, можливість визначення пріоритетності тестових кейсів, визначення чіткої простежуваності між вимогами, тестовими кейсами та дефектами.
• Тестування - зручний інтерфейс для позначення результатів виконання тестових кейсів, можливість додавання нових тестів під час тестування, збереження покрокової історії виконання тестових кейсів.
• Створення протоколу тесту - можливість збирати метрики по ряду виконаних дій, візуалізація звіту за допомогою графіків.
• Інструменти для виконання завдань - можливість інтеграції з системами відстеження помилок; створення, редагування та відстеження помилок безпосередньо з системи управління тестовими кейсами.
• Додаткові опції - можливість експорту та імпорту даних, інтеграція зі сторонніми додатками, робота з журналами аварій тощо.

Виходячи з вищесказаного, ми хотіли б визначити 10 найбільш ефективних і популярних інструментів для управління тестовими кейсами в 2019 році.

TestRail

Продукт TestRail (розроблений компанією Gurick Software GmbH) здається найбільш успішним з усього переліку продуктів, випущених під цим брендом з 2004 року.

TestRail

Перевагою TestRail є те, що весь встановлений функціонал досить якісний і має великий вибір налаштувань.

Сервіс має досить цікавий і зручний інтерфейс, всі кнопки і поля розташовані в інтуїтивно зрозумілому сегменті.

Окрім створення якісних тестових кейсів, TestRail дає можливість:

• Виконуйте тестування на основі раніше створених скриптів.
• Інтегруйте сторонні баг-трекери, такі як YouTrack, Jira, GitHub.
• Зробити тестові звіти.
• Налаштуйте можливості системи відповідно до особистих потреб за допомогою відкритого API TestRail.

TestLink

Це єдина система управління тестовими кейсами з усього переліку згаданих додатків з відкритим програмним забезпеченням - саме тому ми включили її до нашого списку. Ця система має дуже простий графічний інтерфейс і “робочий” дизайн без зайвих опцій.

Незважаючи на те, що при встановленні системи можуть виникнути певні труднощі, багато розробників і QA-спеціалістів користуються цією послугою. Перший етап життєвого циклу починається зі створення проекту, додавання обраних виконавців і призначення їм відповідних ролей. В принципі, все так само, як і в інших інструментах.

TestLink

Ще деякі технічні можливості:

• Набір функцій для створення та редагування вимог до продукту, що розробляється.
• Створення тестових кейсів на основі таких вимог.
• Можливість групувати тестові кейси в тестові набори.
• Призначення виконання тестового кейсу потрібному тестувальнику.
• Просунута система ролей.
• Робота зі звітами після завершення тестового прогону.
  

  Продукт TestLink

Jira+Zephyr

Звичайно, ці інструменти можна аналізувати і окремо. Наприклад, Jira має кілька корисних функцій для тестових кейсів, але разом із Zephyr вони відкривають кожному дуже ефективну і багатогранну систему управління тестовими кейсами.

Більшість ІТ-спеціалістів знають Jira як ефективну систему відстеження помилок, призначену для повного управління виконанням завдань, роботи з дефектами та іншими додатковими можливостями. Zephyr - це один з численних плагінів для Jira, який повністю розширює її технічні можливості.

Джиро.

Якщо використовувати таку комбінацію, то можна отримати першокласний сервіс з максимальним набором корисних функцій, таких як:

• Розробка плану тестування;
• Редагування тестових кейсів;
• Побудова процесу тестування;
• Створення детальних звітів;
• Можливість швидко повідомити про помилку.

Основною перевагою комбінації Jira+Zephyr є [highlight dark=”no”]низька ціна та широкий спектр технічних можливостей.[/highlight]

PractiTest

Наступний інструмент для аналізу - PractiTest - популярний хмарний сервіс. Він допомагає користувачеві:

• Розробити бібліотеку тестів;
• Створюйте та редагуйте тестові скрипти;
• Підтримка раніше створених тестових скриптів;
• Відредагуйте основні вимоги;
• Створіть вибірку тестів, призначте відповідального за неї тестувальника і встановіть точний час для виконання тесту;
• Створюйте дефекти та завдання.
  

  PractiTest

Цей додаток можна легко інтегрувати з JIRA, Pivotal Tracker, Redmine, Bugzilla та іншими популярними системами. Він допомагає запускати автоматизовані тести за допомогою бібліотек Selenium або втручатися за допомогою внутрішнього API.

PractiTest Dashboard

qTest

Додаток розроблений компанією QASymphony. Його основне завдання - допомагати не тільки команді тестувальників, але й іншим членам групи розробників. Багато QA-спеціалістів цінують додаток за зрозумілий та зручний візуальний інтерфейс.

Можливості системи:

• Робота з розробленими планами тестування;
• Редагування, експорт та імпорт технічних вимог;
• Створення декількох тестових кейсів для легкого повторного використання;
• Робота з фільтрами на основі встановлених параметрів;
• Інтеграція з процесами CI/CD за допомогою таких інструментів, як Bamboo та Jenkins;
• Наявність обраного баг-трекера.
  

  qTest

Ми проаналізували 5 найсучасніших і найпопулярніших систем для управління тестовими кейсами, що використовуються в QA-аутсорсингу. Тепер ми можемо описати можливості деяких з них більш детально.

Testrail: Більше, ніж проста система управління

Також можна відзначити, що під час роботи з додатком користувач має можливість легко імпортувати раніше створені тестові кейси, фільтруючи їх за найбільш важливими (базовими) критеріями.
TestRail надає унікальну можливість одночасно імпортувати до декількох тисяч взаємопов’язаних тестових кейсів, що значно економить час на покрокове впровадження системи управління тестовими кейсами у ваш проект.

Ми можемо виділити такі важливі функції TestRail:

• Швидко налаштовується функціональність будь-яких атрибутів тестового кейсу.
• Відстеження вимог.
• Імпорт та експорт.
• Просте зберігання та організація робочого процесу.

Виконання тестів:

• Віхи.
• Створення тестових запусків.
• Створення дефектів прямо з TestRail.
• Інтеграція з Jira на рівні автоматичної підстановки ID багів.

Управління випробуваннями:

• Розподіл діяльності.
• Управління діяльністю.
• Постановка завдань і контроль за їх виконанням.

Доповідаю:

• Статус тестування.
• Результати тестування у вигляді детальних звітів.
• Детальна статистика за проектами.
• Різні варіанти звітів.
• Метрика продуктивності всієї команди.

Отже, можна сказати, що такий продукт як TestRail відіграє важливу роль в управлінні тестовою документацією та обліку результатів виконання тестів.

Підходи до оптимізації створення тестових кейсів

• Ретельне вивчення вимог до програмного забезпечення, а також іншої проектної документації перед початком процесу розробки тестових кейсів.
• Розробка тестових кейсів для функціонального тестування в першу чергу.
• Обов’язкове використання інструментів управління тестами, які допомагають ефективно підтримувати релевантність тестових кейсів. Крім того, важливо мати можливість легко імпортувати кейси в обраний інструмент управління тестовими кейсами.
• Використання блок-схем послідовності/послідовності операцій під час створення тестових кейсів. Це дозволяє отримати максимальне покриття тестів і не пропустити нічого важливого в процесі тестування програмного забезпечення.