Кожна компанія, що займається тестуванням програмного забезпечення, та її співробітники знають про існування тестової документації. Існує два способи ведення документації: олдскульний спосіб, який передбачає використання XSL-файлів та папок, або спосіб, який використовують справжні джедаї - за допомогою спеціалізованого інструменту. Ця стаття описує один з успішних інструментів для ведення документації - TestRail. Кожен проект потребує тестової документації, а зберігати її в локальних файлах виявилося незручно і непрофесійно. Для зберігання та підтримки тестової документації можна використовувати вікі, але TestRail є одним з найбільш підходящих і широко використовуваних інструментів для цієї мети.

Основні можливості

TestRail - це багатокористувацька та мультипроектна система для ведення документації та обліку результатів виконаних тестів. У цьому продукті знайдеться місце для всіх: тест-менеджерів, яких більше цікавить пошук помилок та їх кількість, виділеної команди тестувальників або звичайних тестувальників, які звітують про пройдені тестові кейси, аналітиків, які люблять докопуватися до суті всіх проблем.

Сам процес:

• Створення проекту. Тестувальник створює проект і вказує “Defect View Url” і “Defect Add Url”. Інтеграція з онлайн-баг-трекером проста і геніальна. TestRail генерує %id% для кожного дефекту. Це підходить для більшості онлайн-баг-трекерів.
• Створення Milestone. Тестувальник вказує версію продукту, що тестується, і дедлайн.
• Створення тестового костюму. Тестувальник вводить набір тестових кейсів, наприклад, UI тестування. Він створює тестові кейси та секції тестових кейсів всередині кожного тестового набору. Наприклад, UI Testing має дві секції: UI Client і Back-end. Секції підтримують необмежену вкладеність. Кожен тестовий кейс складається з Передумов, Кроків та Очікуваного результату. Також можна прикріплювати зображення та робити перехресні посилання.
• Створення тестового запуску. Необхідні набори тестів і тестові кейси включаються в тестовий прогін. Для кожного тестового прогону призначається виконавець з числа активних користувачів системи. На цьому робота проектувальника тестів завершується. Тестувальник, призначений виконавцем тестового прогону, отримує сповіщення і починає виконувати тестовий прогін. Кожен тестовий кейс отримує статус після виконання: Passed, Failed або Retest. Тут також відображаються коментарі та ідентифікатори помилок. Тестовий прогін закривається після виконання всіх тестів. Результати тестування надсилаються аналітику, а система зберігає всі дані про процес тестування.
• Результати. Результати можна експортувати в зручні формати, підготувати до друку або навіть вивантажити в XML для якогось дивного використання. Система будує деякі графіки, які дозволяють оцінити динаміку результатів Test Run.

Порівняння з конкурентами

Серед відомих продуктів для ведення тестової документації є Rational Quality Manager та TestLink. Незважаючи на те, що TestLink є безкоштовним, що є вагомим аргументом, він має старомодний інтерфейс, незручну та сиру систему посилань на тестові кейси та набори тестів, а також незручну структуру наборів тестів. Отже, можна зробити висновок, що TestLink не є корисним для роботи. Rational Quality Manager непоганий, але він занадто масивний для невеликих проектів, перевантажує своєю методологією і коштує шалені гроші. Також можна звернути увагу на Testopia, це модуль для BugZilla. Якщо на проекті використовується BugZilla, Testopia може підійти, оскільки має високий рівень інтеграції з BugZilla. Існують також деякі інші системи, такі як Mercury або десктопні автономні продукти (TestLog, QaTraq), але вони мають проблеми з веб-доступом.

Висновок

Система виявилася майже ідеальною з точки зору базового набору функцій і зручною для повсякденного використання. Ліцензійна політика TestRail обмежує лише кількість активних користувачів, тому можна деактивувати клієнтські акаунти після завершення проектів. TestRail має два недоліки: активна версія TestRail не підтримує Unicode, а також відсутній Wysiwyg-редактор у всіх полях для редагування тексту, що радує інженерів і бентежить клієнтів.