Отчеты о тестирования для интеграции Rational Quality Manager

Отчет о тестировании описывает охват тестирования, состояние утверждения и результаты для связанных планов тестирования и тестовых наборов в IBM® Rational Quality Manager.

IBM Rational DOORS включает два типа отчетов для интегрированных планов тестирования и тестовых наборов Rational Quality Manager. Отчет Трассируемость позволяет обеспечить трассируемость для проверки требований в планах тестирования и тестовых наборах. В этом отчете также отображается состояние утверждения тестовых наборов, которые могут использоваться коллективами для определения влияния дополнительных изменений на требования. В отчете Тест отображается вердикт тестирования, состояние теста (Пройден, Не пройден и Отложен), ошибочные записи и другие результаты. Отчеты Трассируемость и Тест могут создаваться для каждого представления модуля, связанного с планом тестирования.

Отчет об отслеживаемости

Отчет Трассируемость (другое название - Охват тестирования) предоставляет следующую информацию: Отчет Трассируемость реализуется представлением трассируемости модуля. Представление трассируемости - это неотфильтрованное стандартное представление модуля с дополнительным столбцом, в котором показаны планы тестирования и тестовые наборы, связанные с каждым требованием.

Отчет о тестировании

Отчет Тест (другое название - Заявление о качестве) предоставляет следующую информацию:

Отчет Тест основан на представлении модуля. Фрагмент отчета показан на следующем рисунке.

Снимок экрана с отчетом Тест. Заголовки и значения результатов описываются ниже.

Отчет содержит следующие столбцы и значения результатов тестирования.

Табл. 1. Заголовки и значения столбцов отчета Тест
Заголовок столбца Описание
Тестовые наборы ИД и имя каждого тестового набора в плане тестирования и связанное с ним требование. Этот столбец содержит вердикт для каждого тестового набора. Формат: (ИД тестового набора) Имя тестового набора: вердикт.
Состояние теста В столбце состояния теста отображается охват и состояние связанных тестовых наборов. Столбец содержит одно из следующих значений:
  • Пробел. С данным требованием не связан ни один тестовый набор в плане тестирования.
  • Утверждено. В плане тестирования есть тестовые наборы, связанные с требованием, и они утверждены.
  • Не утверждено. В плане тестирования есть тестовые наборы, связанные с требованием, но по крайней мере один из них не утвержден. Возможны следующие состояния тестового набора: Черновик, Проверяется, Выполняется или аналогичное состояние.
Вердикт Вердикт для тестов на основе последнего прогона каждой записи выполнения для связанных с требованием тестовых наборов. Вердикт - это термин Rational Quality Manager.
Пройден Число связанных с каждым тестовым набором пройденных записей выполнения на основе последнего прогона. Формат: ИД тестового набора: число пройденных записей выполнения из общего количества записей выполнения.
Отложен Число связанных с каждым тестовым набором отложенных записей выполнения на основе последнего прогона. Формат: ИД тестового набора: число отложенных записей выполнения из общего количества записей выполнения.
Ошибка Число связанных с каждым тестовым набором ошибочных записей выполнения на основе последнего прогона. Формат: ИД тестового набора: число ошибочных записей выполнения из общего количества записей выполнения.
Не пройден Число связанных с каждым тестовым набором не пройденных записей выполнения на основе последнего прогона. Формат: ИД тестового набора: число непройденных записей выполнения из общего количества записей выполнения.
Постоянный сбой Число связанных с каждым тестовым набором записей выполнения, для которых происходит постоянный сбой, на основе последнего прогона. Формат: ИД тестового набора: число записей выполнения с постоянным сбоем из общего количества записей выполнения.
Вердикт изменен Указывает, изменился ли вердикт после последнего создания отчета. В этом столбце показано одно из двух возможных значений:
  • Пробел. После последнего создания отчета вердикт не изменился.
  • Да. После последнего создания отчета вердикт изменился. Для анализа изменения можно просмотреть хронологию.
В родительских столбцах представления Rational DOORS отображаются только сводные данные по столбцам Состояние теста, Вердикт и Вердикт изменен. Если заголовки не содержат текст объекта, то для следующих столбцов статистики действуют перечисленные ниже правила определения вердикта:
  • Пройдено: число пройденных тестовых наборов, которые связаны с требованиями под заголовком.
  • Отложено: число отложенных тестовых наборов, которые связаны с требованиями под заголовком.
  • Ошибка: число ошибочных тестовых наборов, которые связаны с требованиями под заголовком.
  • Не пройдено: число непройденных тестовых наборов, которые связаны с требованиями под заголовком.
  • Постоянный сбой: число тестовых наборов, для которых происходит постоянный сбой, связанных с требованиями под заголовком.

Для требования с текстом объекта столбцы статистики содержат число записей выполнения из последнего прогона для каждого связанного с требованием тестового набора. Для заголовков без текста объекта столбцы статистики содержат число тестовых наборов, которые связаны с требованием с вердиктом.

Значения в каждом столбце обновляются при формировании отчета. Нельзя выбрать столбцы для обновления, однако можно показать или скрыть столбцы в представлении.

Вердикты основаны на взвешенных значениях состояния результатов тестирования для каждого тестового набора, как показано в следующей таблице. Наименьший вес равен 1, наибольший - 5.
Табл. 2. Состояния результатов тестирования и вес каждого состояния
Вес Состояние Описание
1 Пройден Тест выполнялся, и известно, что он пройден.
2 Отложен Тест не пройден; результат тестирования отложен на будущее.
3 Ошибка Тест выполнялся, однако что-то произошло вне системы управления тестированием, например отключение электроснабжения, и результаты являются недостаточными.
4 Не пройден Тест запускался, но не пройден. В тесте, требовании или тестируемой системе существует известный дефект.
5 Постоянный сбой Тест не пройден, и ничто не помогает прохождению теста.
В наборе результатов тестирования записей выполнения, который основан на последнем прогоне тестового набора, в качестве общего результата для тестового набора устанавливается значение, имеющее наибольший вес. Значение с наибольшим весом переопределяет все другие результаты и определяет вердикт тестирования. Например, если один из результатов в списке результатов - Постоянный сбой, то и общий результат будет Постоянный сбой.

Комментарии