Чтение онлайн

Любым способом должно быть обеспечено, чтобы техническая и программная среда, в которой установлены программы, соответствовала формулировкам из описания продукта в части рассматриваемой вычислительной системы.

Ь) Выполнение программы

Контрольные примеры должны охватывать все функции, приведенные в описании продукта и документации пользователя, а также должны учитывать комбинации функций, характерные для рабочей задачи.

Программы должны быть протестированы по всем граничным значениям (в соответствии с описанием продукта и документацией пользователя) в необходимой системе, для которой заданы эти значения.

При тестировании должны быть использованы исходные данные и последовательности команд, которые в документации пользователя явно не рекомендуются или объявляются запрещенными (см. 3.3.2).

4.3 Протоколы тестирования

Протоколы по каждому тесту должны содержать информацию, достаточную для повторения теста (Руководство ИСО/МЭК 25 [6]). Данная информация должна включать:

–  план тестирования или технические требования (спецификацию) к тестированию, содержащие контрольные примеры (для каждого контрольного примера указаны его цели, см. 2.6);

–  все результаты, связанные с контрольными примерами, включая все ошибки, выявленные при выполнении теста;

–  штат персонала, вовлеченного в тестирование.

4.4 Отчет о тестировании

В отчете о тестировании должны быть суммированы цели и результаты тестирования (описанные в протоколах тестирования для каждого теста). Отчет о тестировании должен иметь следующую структуру.

1 Обозначение продукта.

2 Вычислительные системы, использованные при тестировании (технические средства, программные средства и их конфигурация).

3 Использованные документы (включая их обозначения).

4 Результаты тестирования описания продукта, документации пользователя, программ и данных.

5 Перечень несоответствий требованиям.

6 Либо перечень несоответствий рекомендациям, либо перечень не учтенных в продукте рекомендаций, либо формулировка того, что продукт не был протестирован на соответствие рекомендациям.

7 Дата окончания тестирования.

8 раздел 4 отчета о тестировании (Результаты тестирования) должны быть включены формулировки, соответствующие наименованию каждого пункта 3.1-4.2.

В разделе 6 отчета о тестировании дополнительно к формулировке, что продукт не был протестирован на соответствие рекомендациям, может быть приведен перечень замеченных несоответствий рекомендациям.

Обозначение отчета о тестировании (испытательная лаборатория, обозначение продукта, дата выпуска отчета о тестировании) и общее число его страниц должны проставляться на каждой странице отчета о тестировании. Отчет о тестировании должен включать:

–  формулировку, что результаты тестирования относятся только к протестированным компонентам продукта;

–  формулировку, что полная копия отчета о тестировании не может быть изготовлена без письменного разрешения соответствующей испытательной лаборатории (Руководство ИСО/МЭК 25 [6]).

Отчет о тестировании должен соответствовать положениям Руководства ИСО/МЭК 25 [6], относящимся к отчетам о тестировании.

4.5 Дополнительное тестирование

Когда продукт, который уже был протестирован, тестируется повторно (с учетом результатов предыдущего тестирования), тогда:

–  все измененные части документов, функций и данных должны быть протестированы как новый продукт;

–  все неизмененные части, на которые могут влиять измененные части или изменения в необходимой системе (в соответствии с опытной оценкой тестировщика), должны быть протестированы как новый продукт;

–  все другие части должны быть по крайней мере выборочно протестированы.

ПРИЛОЖЕНИЕ А (справочное)

Определения из других нормативных документов

В настоящем приложении приведены некоторые термины и определения, используемые в настоящем стандарте, но описанные в других нормативных документах. К моменту публикации настоящего стандарта действуют редакции нормативных документов, указанные в приложении С.

А.1 Общие термины

А.1.1 программное средство (software): Все или часть программ, процедур, правил и любой соответствующей документации системы обработки информации. (ИСО/МЭК 2382-1 [30], без примечания).

А.1.2 пакет программ (software package): Полный и документально оформленный набор программ, поставляемый отдельным пользователям для реализации общих приложений или функций (ИСО/МЭК 2382-20 [12], без примечания).

А.1.3 системное программное средство (system software): Независимое от приложения программное средство, которое обеспечивает выполнение прикладного программного средства (ИСО/МЭК 2382-20 [12]).

А.1.4 сервисная программа (utility routine, utility program): Программа (машинная программа), которая обеспечивает общие, часто используемые услуги для пользователей компьютера и обслуживающего персонала (ИСО/МЭК 2382-7 [31], без примеров).

А.1.5 функциональный модуль (functional unit): Объект технических или (и) программных средств, имеющий конкретное назначение (ИСО/МЭК 2382-1 [30]).

А.1.6 (машинная) программа [(computer) program]: Синтаксический блок, соответствующий правилам конкретного языка программирования и формирующий описания и операторы или команды, необходимые для решения (выполнения) некоторой функции, задачи или проблемы (ИСО/МЭК 2382-1 [30]).

А.1.7 интерфейс (interface): Общая граница между двумя функциональными блоками, определяемая различными характеристиками, относящимися к функциям, физическим соединениям, обменам сигналами, и другими соответствующими характеристиками блоков (ИСО/МЭК 2382-9 [32], без примечания).

А.1.8 интерфейс пользователя (user interface): Интерфейс, обеспечивающий возможность обмена информацией между пользователем (человеком) и компонентами технических или программных средств вычислительной системы (АНСИ/ИИИЭ Стд 610.12 [33]).

А.1.9 конфигурация (configuration): Способ организации и взаимосвязи технических и программных средств системы обработки информации (ИСО/МЭК 2382-1 [30]).

А.2 Характеристики продукта

А.2.1 функциональные возможности (functionality): Набор атрибутов, относящихся к сути набора функций и их конкретным свойствам. Функциями являются те, которые реализуют установленные или предполагаемые потребности (ГОСТ Р ИСО/МЭК 9126 [14], без примечаний).

А.2.2 надежность (reliability): Набор атрибутов, относящихся к способности программного средства сохранять свой уровень качества функционирования при установленных условиях за установленный период времени (ГОСТ Р ИСО/МЭК 9126 [14], без примечаний).