Існує поширена думка, що автоматизація значно допомагає знаходити помилки в програмному забезпеченні, але це не так. Автоматизація не призначена для виявлення дефектів! Тестування фокусується на виявленні помилок, а автоматизація - ні!

Дійсно, діяльність з тестування спрямована на виявлення дефектів, але не варто плутати це сприйняття з “автоматизацією тестування”. Згідно з тлумаченням Кембриджського онлайн-словника, автоматизація визначається наступним чином: “зробити так, щоб процес в офісі або на заводі виконувався за допомогою комп’ютерів або машин, щоб зменшити обсяг роботи, що виконується людьми, і час, що витрачається на цю роботу”. Таким чином, логічно було б зробити висновок, що автоматизація тестування - це діяльність, що здійснюється з метою економії зусиль і досягнення цілей операційної ефективності.

Отже, не варто вважати, що автоматизація професійних послуг відповідає за виявлення дефектів. Навпаки, слід визнати її непридатною для зменшення трудомісткості тестування та підвищення ефективності ручного тестування. Автоматизація за своєю природою не використовує особливу інтелектуальну логіку для виявлення дефектів/багів - вона є звичайною для ручного тестування. Вона (автоматизація) поєднує в собі технології, що використовуються для імітації поведінки реального користувача (наскільки це можливо), і написані процедури, і, з цієї причини, неправильно називати автоматизацію процесом виявлення багів.

З іншої точки зору, послуги з автоматизації тестування програмного забезпечення виявляються набагато ефективнішими, коли їх використовують для регресійних тестів. І навпаки, автоматизація приносить хороші результати, коли система, що тестується, є зрілою/стабільною (отже, зусилля з обслуговування вимагають менше часу), а тестові кейси виконуються часто. У регресійному тестуванні тестувальники більше зацікавлені у 100% проходженні тестів (якісні дані), ніж у відстеженні та знаходженні величезної кількості дефектів (низькоякісні дані). Звичайно, їм хочеться виявляти критичні помилки, однак, основна мета - це чіткий і безперебійний запуск без будь-яких проблем.

Автоматизація тестування програмного забезпечення як послуга користується великим попитом, особливо коли мова йде про регресійне тестування, яке передбачає пошук нових помилок у програмному забезпеченні та їх відокремлення. Аналізуючи автоматизований набір регресійних тестів, ви можете виявити нуль дефектів і лише деякі критичні / основні помилки, але не знайти якомога більше дефектів.

Крім того, автоматизовані тестові кейси допомагають зрозуміти, що система є функціонально правильною, в той час як ручне тестування може показати лише збої в роботі системи.