ГОССТАНДАРТ РОССИИИнформационная технологияПАКЕТЫ ПРОГРАММ Требования к качеству и тестирование
1 Область применения
Настоящий стандарт применяется для пакетов программ. Например, для текстовых процессоров, электронных таблиц, программ баз данных, графических пакетов, программ, реализующих технические и научные функции, и для сервисных программ (утилит).
Стандарт устанавливает:
- требования к пакетам программ (требования к их качеству);
- инструкции по испытанию пакета программ на соответствие его установленным требованиям (инструкции по тестированию, в частности по тестированию третьей стороной).
Стандарт предназначен только для пакетов программ, являющихся объектами продажи и поставки. Стандарт не связан с процессом их производства (включая соответствующие работы и промежуточные продукты, например технические задания). Область применения настоящего стандарта не охватывает систему качества поставщика*.
Примечание - Для некоторых программных средств необходимы дополнительные требования, например для программных средств, критичных по безопасности.
Пользователями настоящего стандарта являются:
a) поставщики, когда они:
1) определяют [1]требования к пакету программ;
2) проектируют формат для описания продуктов;
3) оценивают собственные продукты;
4) выпускают декларации о соответствии (Руководство ИСО/МЭК 22 [1]);
5) обращаются за сертификатами или знаками соответствия (Руководство ИСО/МЭК 23 [2]);
b) органы по сертификации, которые хотят применять схему сертификации третьей стороной (международные, региональные или национальные) (Руководство ИСО/МЭК 16 [3], Руководство ИСО/МЭК 28 [4] и Руководство ИСО/МЭК 44 [5]);
c) испытательные лаборатории, которые желают соблюдать инструкции по тестированию при проведении тестирования для выдачи сертификата или знака соответствия (Руководство ИСО/МЭК 25 [6]);
d) аккредитующие органы, проводящие аккредитацию органов по сертификации и испытательных лабораторий (Руководство ИСО/МЭК 40 [7] и Руководство ИСО/МЭК 58 [8]);
e) аудиторы испытательных лабораторий, проводящие оценку их компетентности (Руководство ИСО/МЭК 58 [8]);
f) покупатели, которые могут:
1) сравнить свои требования с требованиями, описанными в настоящем стандарте;
2) сравнить требования к конкретной рабочей задаче с информацией, приведенной в описаниях продуктов для существующих продуктов;
3) искать сертифицированные продукты;
4) проверить удовлетворение требований по другим аспектам;
g) пользователи, которые выбирают лучшие продукты.
2 Определения
В настоящем стандарте используют следующие термины с соответствующими определениями:
2.1 функция (function): Реализация в программе алгоритма, по которому пользователь или программа могут частично или полностью выполнять решаемую задачу.
Примечания
1 Пользователю нет необходимости вызывать функцию (например, автоматическое резервирование или сохранение данных).
2 Определение функции в настоящем стандарте уже, чем в ИСО/МЭК 2382-14 [9] (в части определений отказа, сбоя, эксплуатации и надежности), но шире аналогичных определений в ИСО 2382-2 [10] и ИСО 2382-15 [11].
2.2 нормативный документ (requirements document): Документ, содержащий любую комбинацию рекомендаций, требований или правил, которым должен удовлетворять пакет программ.
Примечание - Например, технический или эргономический стандарт, перечень требований (или типовое техническое задание) от какой-либо группировки (например, рыночного сектора, технической ассоциации или ассоциации пользователей), закон или указ.
2.3 описание продукта (product description): Документ, определяющий свойства пакета программ, основным назначением которого является оказание помощи потенциальным покупателям в оценке пригодности для них данного продукта до его приобретения.
Примечание- Данный термин является более конкретным, чем термин «описание системы» по ИСО/МЭК 2382-20 [12]. Назначением описания продукта является включение в него «информации на упаковке» по ГОСТ Р ИСО 9127 [13]. Описание продукта не является техническим заданием (или техническими условиями), оно имеет другое назначение.
2.4 документация пользователя (user documentation): Полный комплект документов, поставляемых в печатном или другом виде, который обеспечивает применение продукта, а также является его неотъемлемой частью продукта.
2.5 документация пакета (package documentation): Описание продукта и документация пользователя.
2.6 контрольный пример (test case): Документально оформленное руководство для испытателя, которое определяет, как должна или может быть протестирована функция или комбинация функций. Контрольный пример должен содержать информацию, охватывающую следующие вопросы:
- цель тестирования;
- тестируемые функции;
- среда тестирования и другие условия (уточнение конфигурации средств испытаний и подготовительная работа);
- тестовые данные;
- процедура;
- ожидаемое поведение системы.
2.7 сопровождение (maintenance): Составная часть сопровождения системы (см. А.5.2), которая связана с модификацией (изменением) пакета программ.
3 Требования к качеству
В подразделах 3.1 - 3.3 установлены:
- требования, согласно которым каждый пакет программ должен содержать описание продукта и документацию пользователя;
- требования к описанию продукта. В частности, требование, согласно которому описание продукта должно содержать конкретную информацию, а все приводимые в нем формулировки должны быть проверяемыми (контролируемыми) и корректными;
- требования к документации пользователя;
- требования к любым программам и данным, входящим в состав пакета программ.
Примечания
1 Требования к документации пользователя, программам и данным содержат много общих требований (независимо от требований, которые могут быть заявлены в описании продукта), но они не охватывают всех свойств продукта, которые могут требоваться пользователям.
2 Некоторые свойства, например «понятность» и «простота изучения» документации пользователя и программных сообщений, необходимы с точки зрения пользователя. Однако из-за трудности их тестирования с получением точных и воспроизводимых результатов в настоящем стандарте данные требования формулируются только в виде рекомендаций.
3 Требования 3.1-3.3 расположены в том же порядке, что и характеристики в ГОСТ Р ИСО/МЭК 9126 [14].
Пакет программ соответствует настоящему стандарту, если он удовлетворяет всем требованиям, установленным в 3.1 - 3.3. Рекомендации (указанные с использованием глаголов «может» или «следует») являются необязательными (факультативными).
Примечание 4 - Соответствие продукта требованиям 3.1-3.3 может быть трудно или невозможно подтвердить. Однако испытание (включая проверку документов) согласно разделу 4 считают достаточным для подтверждения достоверности, требуемой для сертификата соответствия согласно Руководству ИСО/МЭК 2 [15].
3.1 Описание продукта
Каждый пакет программ должен содержать описание продукта. Описание продукта должно содержать характеристику продукта. Оно должно являться частью документации пакета для данного продукта. Оно должно содержать информацию по документации пользователя, программам и соответствующим данным.
Основными назначениями описания продукта являются:
- помощь пользователю или потенциальному покупателю при оценке ими пригодности продукта для их нужд. Для обеспечения этого описание продукта также должно содержать соответствующую торговую информацию;
- обеспечение основы для тестирования (см. раздел 4).
Описание продукта должно быть доступным для человека, заинтересованного в данном продукте.
3.1.1 Общие требования к содержанию
Описание продукта должно быть достаточно понятным, полным и простым при изучении, чтобы обеспечить помощь потенциальным покупателям при оценке ими пригодности данного продукта для их нужд до его покупки.
Данное описание должно быть внутренне непротиворечивым. Каждый термин должен иметь один и тот же смысл по всему документу.
Формулировки в описании продукта должны быть проверяемыми и корректными.
Примечание- Данное требование распространяется на формулировки в соответствующих внешних ссылочных нормативных документах (см. 3.1.2 е).
Пункты 3.1.2 - 3.1.8 определяют, что должно или может быть включено в описание продукта. В него могут быть включены дополнительные формулировки, относящиеся к продукту.
3.1.2 Обозначения и указания
Описанию продукта должно быть присвоено индивидуальное обозначение как документу. Оно может иметь наименование, отличное от «описания продукта», например «Описание функциональных возможностей», «Информация о продукте», «Формуляр продукта».
Описание продукта должно определять продукт. Обозначение продукта по крайней мере должно включать наименование продукта и обозначение его версии или даты выпуска. Если в описании продукта упомянуты два или несколько вариантов, то для каждого варианта по крайней мере должно быть установлено наименование продукта, наименование варианта и обозначение версии или даты его выпуска.
В описание продукта должны быть включены наименование и адрес по крайней мере одного поставщика.
Примечание - Наименование и адрес не обязательно включать в текст описания продукта, достаточно поставить на документ штамп (печать) соответствующего дилера.
В описании продукта должны быть определены целевые рабочие задачи, которые могут быть выполнены данным продуктом.
Из описания продукта могут быть даны ссылки на нормативные документы, которым удовлетворяет данный продукт, в этом случае должны быть указаны соответствующие редакции данных документов.
Должна быть определена система (технические и программные средства и их конфигурация), необходимая для ввода продукта в эксплуатацию, включая наименования изготовителей и обозначения типов всех ее частей, например:
- процессоры, включая сопроцессоры;
- объем основной (оперативной) памяти;
- типы и объемы (памяти) периферийных запоминающих устройств;
- расширяющие платы;
- оборудование ввода и вывода;
- сетевое оборудование;
- системные и прочие программные средства.
Могут быть определены различные необходимые системы, например для различных рабочих задач, различных граничных значений или различных требований к эффективности.
Формулировка «(или любое другое…, если оно совместимо)» может быть приведена в описании продукта, если предварительно было определено конкретное техническое или программное средство. Формулировка «или модернизированная версия, если она совместима» может быть приведена, если предварительно в описании продукта была определена соответствующая версия продукта. Может быть приведена формулировка «от версии X до версии Y», а формулировка «от версии X» приводиться не должна.
Примечание - Формулировка «от версии X» позже может стать ошибочной, например, при появлении версии Х+3, под которой пакет программ будет работать со сбоями.
Должны быть определены соответствующие интерфейсы или продукты, если в описании продукта имеются ссылки на интерфейсы с другими продуктами.
Должен быть определен каждый физический компонент поставляемого продукта, в частности все печатные документы и все носители данных.
Должен быть установлен вид поставляемых программ, например исходные программы, объектные (рабочие) модули или загрузочные модули.
Примечание - Указывать форматы носителей (например, форматы дискет) нет необходимости, потому что набор возможных форматов определяется необходимой системой (см. 3.1.2 f).
Должно быть указано, будет ли инсталляция продукта проводиться пользователем или нет.
Должно быть указано, будет или не будет предлагаться поддержка при эксплуатации продукта
Должно быть указано, будет или не будет предлагаться сопровождение продукта. Если сопровождение предусматривается, то должно быть установлено, что оно подразумевает.
3.1.3 Формулировки функциональных возможностей
В описании продукта должен быть приведен обзор функций продукта, вызываемых пользователем, необходимых для них данных и предоставляемых средств.
Для каждой функции (особенно для ее опции или варианта) должно быть четко установлено, является ли она частью:
- продукта;
- расширения продукта, полностью описанного в описании продукта;
- расширения продукта, на которое дана ссылка в описании продукта;
- не гарантируемого (не обязательного) приложения.
Примечание - Нет необходимости упоминать каждую функцию, вызываемую пользователем, и приводить все подробности вызова описываемой функции.
Если использование продукта ограничено конкретными граничными значениями для продукта, они должны быть указаны в описании продукта. Например:
- минимальные или максимальные значения;
- длины ключей;
- максимальное число записей в файле;
- максимальное число критериев поиска;
- минимальный объем выборки.
В случае, когда не возможно определить фиксированные граничные значения (например, когда они зависят от типа приложения или от исходных данных), тогда на них должны быть наложены соответствующие ограничения. Могут быть приведены допустимые комбинации значений и даны ссылки на более конкретную информацию из документации пользователя.
При необходимости в описание продукта должна быть включена информация по средствам предотвращения случайного или преднамеренного несанкционированного доступа к программам и данным.
3.1.4 Формулировки надежности
В описание продукта должна быть включена информация по процедурам сохранения данных.
Примечание - Данную информацию можно привести, указав, например, возможности резервирования данных с помощью функций операционной системы.
Могут быть описаны дополнительные характеристики продукта, которые обеспечивают его функциональные возможности. Например:
- проверки достоверности исходных данных;
- защита против серьезных последствий ошибки пользователя;
- восстановление при ошибках.
3.1.5 Формулировки практичности
Должен быть назван тип интерфейса пользователя, например, строка команд, меню, окна, функциональная клавиша, функция подсказки.
Должны быть определены конкретные знания, которые необходимо усвоить пользователю для применения соответствующего продукта. Например:
- знание соответствующей технической области;
- знание операционной системы;
- знания, получаемые в результате специального обучения;
- знание языков, отличных от языка, на котором написано описание продукта.
Должны быть указаны все естественные языки, на которых написана документация пользователя и описан интерфейс пользователя (включая сообщения об ошибках и видимую информацию), как для самого пакета программ, так и для всех других продуктов, упомянутых в описании данного продукта.
Примечание - Данное требование строже, чем аналогичное требование 6.1.7 ГОСТ Р ИСО 9127 [13], согласно которому указание языка является необязательным.
Если продукт может настраиваться (адаптироваться) пользователем, то должны быть указаны инструментальные средства для проведения такой настройки и условия их применения. Например:
- изменение параметров;
- изменение алгоритмов вычислений;
- назначение функциональных клавиш.
Если техническая защита от нарушения авторских прав может ухудшить практичность описываемого продукта, то в описании продукта должны быть указаны виды и средства такой защиты. Например:
- техническая защита от копирования;
- запрограммированные даты окончания использования продукта;
- интерактивные напоминания об оплате за копии.
В описание продукта может быть внесена информация по эффективности применения продукта и удовлетворению им потребностей пользователя.
Примечание - Такая информация может быть описана в соответствии с рекомендациями, приведенными в ИСО 9241-11 [16].
3.1.6 Формулировки эффективности
В описание продукта может быть включена информация о характере поведения продукта во времени, например времена ответа и оценки производительности для заданных функций при установленных условиях (например, для заданных конфигураций системы и профилей загрузки).
3.1.7 Формулировки сопровождаемости
В описание продукта могут быть внесены формулировки требований (правил) по сопровождению продукта.
3.1.8 Формулировки мобильности (переносимости)
В описание продукта могут быть внесены формулировки требований (правил) по мобильности продукта.