Процес тестування програмного забезпечення, безумовно, є одним з найважливіших компонентів на етапі розробки нового веб-продукту. Разом зі зростанням складності та багатофункціональності програм зростає і складність тестування функціональності продукту, що розробляється.

Ми можемо виконувати складні завдання в контексті послуг з тестування програмного забезпечення та збільшувати швидкість тестування продуктів за допомогою інструментів і методів автоматизації тестування.

Найактуальнішою задачею, яка може виникнути в процесі роботи зі складними проектами, є ефективне розгортання необхідних умов тестування складної ієрархії для ефективного запуску середовища, що потребує повністю універсального підходу. Такі завдання є досить поширеними для продуктів, пов’язаних з інтернет-протоколами, які використовують XML-технології, SQL-інтерфейси для баз даних, а також велику кількість інших різноманітних програмних компонентів.

Генерація тестових даних

Будь-які тестові дані необхідно готувати для кожного тестового випадку окремо. Не завжди варто сподіватися на використання шаблонів, простіше створити індивідуальні структури, робота з якими допоможе вам не тільки покрити тестами достатню кількість значень і логіку проекту, але і зробити процес тестування більш ефективним і продуктивним.

Дані тестування

Зазвичай, тестові дані складаються з:

• Реальні тестові дані: потрібно перевірити, чи відповідає система та її функції встановленим вимогам, чи правильно зберігаються дані;
• Вигадані тестові дані: ви повинні перевірити, чи правильно система зчитує невірні значення, чи показує користувачеві коректні повідомлення про те, що дані є невірними;
• Маржа;
• Неправильні значення даних: потрібно перевірити, як система реагує на інформацію, введену в неправильному форматі, чи є повідомлення про помилки;
• Відсутність значень: дуже важливо тестувати продукт на використання полів без значень, а також запускати додаток у процесі крос-платформного тестування.

У наступних розділах ми проаналізуємо, які інструменти для якісного аналізу тестових даних доступні сьогодні і які з них повинен використовувати досвідчений і кваліфікований QA.

Інструменти для роботи з тестовими даними

Databene Benerator

Сьогодні в мережі можна знайти безліч матеріалів про навантажувальне та модульне тестування. Тести намагаються писати всі, програмний код пишеться тільки за допомогою TDD, на базі Apache JMeter/ab.

Але, як відомо, будь-яке тестування певною мірою пов’язане з тестовими даними. А їх потрібно генерувати та створювати.

Так, ця проблема невелика, але що робити з навантажувальним тестуванням, де потрібно перевірити роботу можливо 1 або 10 мільйонів об’єктів.

І тут з’являється Databene Benerator. Він допомагає досягти одразу 2 цілей: коректно згенерувати тестові дані та повністю анонімно їх “заморозити”.

Утиліта працює на основі вашої XML-карти і швидко генерує XML/CSV файли безпосередньо до бази даних.

Він підтримує наступні бази:

• DB2;
• Оракул;
• MS SQL Server;
• Дербі;
• H2;
• PostgreSQL.

Створений скрипт - це список спеціалізованих тегів, в яких тестувальник може вказати деталі того, як і в який спосіб будуть створюватися дані. Звучить просто, але має деякі особливості.

Переваги його використання:

• Всі згенеровані дані знаходяться в одному місці та в одному форматі. Команди виконуються тільки після 1 дії;
• Вам не потрібно бути знайомим з мовами програмування. А також сфера використання практично необмежена.
• Швидкість написання скриптів і швидкість зміни даних. Має велику кількість вбудованих функцій, які допоможуть якісно і швидко покрити до 80% випадків проекту, і все це буде зроблено швидше, ніж чекати, коли будуть написані скрипти.

Недоліки:

• Специфічні синтаксиси;
• Нестабільна підтримка спільноти. Навіть про Stack Overflow мало інформації.

Datatect

Особливості цієї утиліти:

• Використовує ODBC для негайної генерації інформації в будь-якому джерелі даних ODBC. Це хороший вибір для бази даних в MS Access, Oracle, SQL;
• Функції розширення за допомогою VBScript. Дозволяє створювати ключі в різних блоках генерації тестової інформації, для належного розширення можливостей такої утиліти;
• Хороша інтероперабельність між ключами, коли стовпці зовнішнього ключа запрограмовані на отримання ключа їх батьківського списку або таблиці.

Генератор даних DTM

Це дуже сучасний продукт, створений для розробників і тестувальників, які відповідають за забезпечення якості проекту. Така утиліта є одним з безумовних лідерів на ринку швидкої автоматизації тестових даних.

Цей інструмент допомагає не тільки значно скоротити час на тестування, але й підвищити рівень реалістичності та якості продуктів, що розробляються. Цікаво те, що розробники DTM Data Generator завжди йдуть назустріч клієнтам і намагаються вдосконалити продукт так, як того хочуть клієнти.

Головною особливістю утиліти є функція розпізнавання залежності між батьківською та дочірньою таблицями. Data Generator також може розпізнавати встановлені властивості перевірочних обмежень для певної групи популярних СУБД.

Такі можливості допомагають створювати якісні та легкі тестові дані.

Крім того, ми також можемо згадати:

• Функція майстра - швидке створення необхідних правил генерації тестів;
• Робота з “шаблонами” для генерації тестових даних - хороший інструмент для розробки складних і багаторівневих значень всередині однієї бази;
• Можливість згенерувати SQL-скрипт, який відповідає тестовим значенням.

Генератор даних EMS для MySQL

EMS Data Generator for MySQL - це ефективна програма для швидкої генерації тестової інформації в базу даних MySQL з можливістю збереження та редагування написаних скриптів.

Такий інструмент дозволяє взаємодіяти з різними типами генерації, аналізувати дані консольного додатку і повністю автоматизувати процеси створення тестової генерації.

Генератор даних EMS

Структурно можна виділити наступні особливості такого додатку:

• Працює на основі кодування Unicode;
• Сумісність з простим зовнішнім інтерфейсом меню параметрів;
• Експлуатує створені групи інформації в SQL-скрипти без функції виконання запиту на стороні сервера;
• Створює таблиці для груп баз даних;
• Підтримка декількох типів даних MySQL одночасно;
• 24-годинна підтримка.

dbForge Studio для SQL Server

Корпорація Devart випустила досить популярний інструмент dbForge Studio для SQL Server - корисну утиліту для швидкої генерації тестових даних, а також можливість швидкого порівняння інформації та схем з різних БД.

Цей генератор даних є корисним інструментом, який допомагає розробникам і тестувальникам швидко і зручно заповнювати необхідні таблиці на SQL Server необхідними даними.

• Негайне опрацювання численних тестових даних;
• Багатошаблонна конфігурація необхідних параметрів для кожного типу таблиці;
• Швидкий перегляд інформації про тест;
• Можливість негайного експорту інформації в SQL-скрипт.

Студія dbForge

Ruby-plsql-spec

Спеціалізований фреймворк для модульного тестування SQL за допомогою Ruby. Утиліта складається з двох бібліотек:

• Ruby-plsql;
• Фреймворк BDD.

SeLite

Така утиліта є сучасним розширенням інструментів Selenium. Її основний сенс - постійна робота з базою даних, яка базується на SQLite і повністю ізольована від програми.

Робота з SeLite допоможе вам знайти важливі помилки на сервері, а також обмінюватися скриптами між створеними тестами і працювати з миттєвими знімками.

Програма працює з такими базами даних, як PostgreSQL, MySQL та SQLite.

Інші програми

Інші сучасні інструменти, такі як DBMonster, Turbo Data, Data Generator, дозволяють цілісно заповнювати таблиці бази даних великою кількістю коректних даних.

Інші їхні можливості:

• Автоматизована генерація випадкових значень з функцією налаштування інтервалу для типу чисел, формату рядка та типу згенерованих значень;
• Створення значень зі списку з технічною функцією зазначення частки кожного рядка коду з усього списку згенерованих рядків;
• Створення даних шляхом вибору з інших даних або значень;
• Створення бази даних з функцією вибору значень з потрібного файлу;
• Створення групи даних з автоматичним зростанням значення після зазначення первинного значення та його майбутнього зростання;
• Пошук даних для певних таблиць.
• Пошук значень в залежності від бажання користувача самостійно створювати власні процедури тестування.

Існує група інструментів, таких як AGENDA і HTDGen, які можуть генерувати дані не тільки на основі визначених лімітів, але і в процесі використання SQL запитів всередині продукту, що тестується. Такий підхід може гарантувати, що створені SQL запити не повертатимуть порожні значення.

Накладені обмеження

Це означає, що в процесі використання таких технологій та інструментів в компанії з тестування програмного забезпечення ми можемо отримати повноцінне тестування частин продукту тільки на основі ретельного перебору всіх доступних комбінацій і полів, в залежності від яких в програмі виконується фільтрація значень.