Постачальники послуг з тестування програмного забезпечення відчувають на собі тягар виявлення та запобігання дефектам, оскільки від них завжди очікують, що вони виявлять якомога більше дефектів.

Крім того, вони повинні гарантувати, що жоден з цих дефектів не буде пропущений, а буде виправлений, тому це вічна і болісна боротьба. У кожному проекті з розробки програмного забезпечення співвідношення “пройшов/не пройшов” для тестових кейсів визначає рішення про схвалення/несхвалення якості.

Як тільки керівники проекту та топ-менеджери виявляють, що звіт про результати тестування містить 90% помилок, вони дуже засмучуються. Так само, як і вся команда проекту, включаючи розробників, які впали ще нижче. Без сумніву, реабілітація команди проекту не є обов’язком команди тестувальників, але тестувальники, в будь-якому випадку, повинні надавати свій зворотній зв’язок чесно та ефективно.

Коли найкращі компанії з тестування програмного забезпечення спостерігаючи 90% дефектів у звіті про виконання тесту, вони запитують себе, чи не занадто складні тестові кейси. І відповідь однозначно має бути “Ні!”

Будь-який тестувальник програмного забезпечення знає, що збої виникають не лише через складні тестові кейси. Більше того, прості тестові кейси час від часу зазнають невдачі, а дуже складні тестові кейси з тією ж логікою, навпаки, можуть проходити успішно. Будь-яке з цих явищ може мати місце через особливості будь-якої оцінки, проектування або розробки програмного забезпечення.

Постачальники незалежного тестування програмного забезпечення не може визначити результати будь-якої тестової діяльності до запуску тестових кейсів. Немає жодних гарантій, що вони завершаться успішно чи неуспішно в певному контексті. Тим не менш, виходячи з багаторічного досвіду деяких фахівців з тестування, можна стверджувати, що найбільше навчання та користі можна досягти, досягнувши 35-75% ймовірності дефектів.

Інакше кажучи, якщо приблизно 50 % тестових кейсів не проходять, то можна бути повністю впевненим, що ці тестові кейси розроблені з відповідною складністю. Як наслідок, набір тестів включає менше повторюваної/надлишкової роботи, а дефекти виявляються унікальними (менша кількість повторних збоїв). Крім того, компанія, що надає послуги з тестування може бути впевненою як у функціонуванні, так і в непрацюючих функціях.

Тестувальники програмного забезпечення повинні приділяти особливу увагу тестуванню результатів виконання. Вони повинні виявляти дефекти, а також показувати недоліки; в той же час, вони повинні бути підбадьорливими і демонструвати впевненість у програмі або проекті.