Отправлено: 15.06.08 10:30. Заголовок: Что же такое валидация и верификация (несколько чужих заметок со ссылками)?

СООТНОШЕНИЕ И МНОГОЗНАЧНОСТЬ ТЕРМИНОВ «ВАЛИДАЦИЯ» И «ВЕРИФИКАЦИЯ»
С.А. Порошин
Стандарт ИСО/МЭК 17000:2004 «Оценка соответствия. Словарь и общие принципы» не содержит определений этих терминов «валидация» и «верификация». Приложение B «Родственные термины, определенные в других документах» отсылает к новой версии ИСО 9000:2005, а точнее к пунктам 3.8.4 и 3.8.5, которые аналогичны пунктам действующего в России ГОСТ Р ИСО 9000-2001.

«Верификация — подтверждение на основе представления объективных свидетельств того, что установленные требования были выполнены» (п.3.8.4). «Верификация должна осуществляться..., чтобы удостовериться, что выходные данные проектирования и разработки соответствуют входным требованиям» (п.7.3.5 ГОСТ Р ИСО 9001-2001).

«Валидация — подтверждение на основе представления объективных свидетельств того, что требования, предназначенные для конкретного использования или применения, выполнены» (п.3.8.5). «Валидация проекта и разработки должна осуществляться..., чтобы удостовериться, что полученная в результате продукция соответствует требованиям к установленному или предполагаемому использованию, если оно известно» (п.7.3.6 ГОСТ Р ИСО 9001-2001).

Из приведенных определений можно сделать вывод о том, что:

верификация выполняется путем проверки и сопоставления характеристик продукции с определенными требованиями, результатом которой является вывод о соответствии (или несоответствии) продукции этим требованиям;
валидация выполняется путем анализа конкретных условий применения и оценки соответствия характеристик заданным требованиям, результатом которой является вывод о возможности применения продукции в конкретных условиях.
В несколько ином плане раскрыта связка этих терминов в пункте 7.8 технических условий ИСО/ТУ 22004:2005 «Системы менеджмента безопасности пищевых продуктов. Руководство по применению ИСО 22000:2005». В этом документе (он не имеет статуса международного стандарта) отмечается, что понятия «валидация» и «верификация» часто путают. В контексте применения мер контроля они означают следующее:

валидация — это оценка до выполнения действия. Ее роль заключается в демонстрации того, что отдельно или в комбинации с другими меры контроля способны достичь определенного уровня.

верификация — оценка, выполняемая в течение и после выполнения действия. Ее функция — показать, что определенный уровень контроля был фактически достигнут.

Эти термины широко применяются за рубежом и в законодательстве, и в стандартах, причем в самых разных областях, в частности:

-в метрологии и деятельности лабораторий. Согласно п.5.4.5.1 ИСО/МЭК 17025:2005 валидация методов — подтверждение путем исследования и предоставления объективных доказательств того, что специфические требования для определенного целевого использования выполняются.

-в сфере применения IT-технологий и обеспечения информационной безопасности. Например, согласно п. 2.35
ИСО/МЭК 15408-1:2005 механизм валидации обращений (reference validation mechanism) — это реализация концепции мониторинга обращений, обладающая следующими свойствами: защищенностью от проникновения; постоянной готовностью и простотой, достаточной для проведения исчерпывающего анализа и тестирования.

-в сфере производства и контроля качества лекарственных средств. Согласно ГОСТ Р 52249-2004 «валидация — доказательство того, что методика, процесс, оборудование, материал, операция или система соответствуют заданным требованиям и их использование действительно дает ожидаемые результаты»;

-в экологической сфере. Стандарт ИСО 14021:1999 «Экологические этикетки и декларации. Самодекларируемые экологические заявления (Тип II экологических этикеток)» использует термин «верификация экологического заявления» (environmental claim verification), а известный европейский Регламент EMAS1 — термин «экологический верификатор» (environmental verifier).

Приведенный список не является исчерпывающим, а примеры носят лишь иллюстративный характер.

Представляется, что рассматриваемые термины носят междисциплинарный характер и для корректного их использования следует обязательно учитывать контекст.
-------
Regulation (EC) № 761/2001 of the European Parliament and of the Council of 19 March 2001 allowing voluntary participation by organisation in a Community eco-management and audit scheme (EMAS) // OJ L 114, 24.4.2001, p.1-29.

http://www.stq.ru/riasite/index.phtml?tbl=tb_88&id=2230
===========================


Что же такое валидация и верификация?

Стандарт ИСО 9000:2000 (ISO 9000:2000) даёт определение как:

"Верификация - подтверждение на основе представления объективных свидетельств того, что установленные требования были выполнены". Если образно, то верификация — это процедура сопоставления того, что сделано (или еще пока делается), с тем, что было задумано (предписано) сделать, т.е. сопоставление законченного или промежуточного результата с входными требованиями — «взгляд назад». Дословный перевод с английского:

verification = 1) контроль, проверка; Syn: check , examination 2) а) удостоверение, подтверждение ( предсказания, сомнения ) б) подтверждение под присягой 3) засвидетельствование

"Валидация - подтверждение на основе представления объективных свидетельств того, что требования, предназначенные для конкретного использования или применения, выполнены".

Образно говоря, валидация — это процедура сопоставления того, что задумано сделать (или еще пока делается), с тем, что необходимо потребителю для конкретного применения, т.е. сопоставление планируемого или промежуточного результата деятельности с текущими выходными требованиями — «взгляд вперед». Дословный перевод с английского:

validation = 1) ратификация, утверждение Syn: ratification 2) легализация; признание законной силы, придание юридической силы

Верификация является инструментом валидации, её частью.

Для признания законной силы, придания юридической силы = для валидации - необходимо подтверждение того, что на разных стадиях данный процесс выполняет необходимые требования (путём верификации).
Типичный пример верификации – это испытание оборудования: имея на руках необходимые требования для машины мы сличаем их с тем, что делает машина в той или иной ситуации. Результатом верификации (сличения, тестирования) является вывод о том подходит-ли данная машина для выполнения необходимой работы.

“Отечественным практикам более привычно действие, называемое теперь верификацией. В плановой экономике было главным, чтобы продукция (готовое изделие или проект) отвечала плану, заказу или иным заданным документированным требованиям. Насколько готовая продукция подойдет для конечного потребителя, предприятие не сильно заботило.
По его мнению, это проблема заказчика: «Что вы заказали, то мы и сделали. Какие могут быть претензии?! Так что берите и скажите спасибо».

Валидация — действие, более ориентированное на рыночные отношения. Если выпущенная продукция, даже полностью соответствующая первичному заказу, не удовлетворяет потребителя, ваша принципиальная правота ничего кроме убытков вам не даст. По мере исполнения заказа или удовлетворения ранее выявленных потребностей потенциального потребителя необходимо постоянно интересоваться, не поменялись ли потребности конкретного заказчика или неопределенного потребителя (проводя, например, маркетинговые исследования и анализируя их результаты). Если этого не делать, есть риск изготовить невостребованную продукцию и понести не только значительные экономические потери, но и подорвать свою репутацию” (“КАК СОКРАТИТЬ ОБЪЕМ ДОКУМЕНТАЦИИ СМК”, Е. Филатов).
http://www.intpak.ru/validation-ru.htm
==============================

ВЕРИФИКАЦИЯ
Материал из Википедии — свободной энциклопедии

В различных сферах деятельности человека под верификацией могут подразумеваться немного различные вещи. Например:

Верификация (от лат. verus - истинный, facere - делать) - это подтверждение соответствия конечного продукта предопределённым требованиям.
или
Верификация (от лат. verus - истинный, facere - делать) - проверка, проверяемость, способ обоснования (подтверждения) каких-либо теоретических положений путем их сопоставления с опытными (эмпирическими) данными.

Корень различного понимания понятия верификация кроется в спектре возможностей сличения соответствия конечного продукта предопределённым требованиям. Верифицировать соответствие конечного продукта предопределённым требованиям возможно, в зависимости от ситуации, по прямым и косвенным характеристикам этого конечного продукта. А также существует процессный подход, который отслеживает продвижение продукта к предопределённым требованиям.

Формальная верификация
Формальная верификация — доказательство с помощью формальных методов правильности или неправильности системы в соответствии с формальным описанием свойств системы.

Методы верификации:
Автоматическое доказательство теорем (Theorem proving)
Проверка моделей (Model checking)
Символьное выполнение (Symbolic execution)
Абстрактная интерпретация (Abstract Interpretation)
Верификация или Эмпирическое подтверждение является основным критерием научности знания.

Верификация в системе качества
По российскому ГОСТу ГОСТ Р ИСО 9000-2001, который соответствует интернациональному, верификация определена следующим образом:

3.8.4 верификация (en verification; fr verification): Подтверждение на основе представления объективных свидетельств (3.8.1) того, что установленные требования (3.1.2) были выполнены.
Примечания
1 Термин "верифицировано" используется для обозначения соответствующего статуса.
2 Деятельность по подтверждению может включать:
- осуществление альтернативных расчетов
- сравнение научной и технической документации (3.7.3) по новому проекту с аналогичной документацией по апробированному проекту
- проведение испытаний (3.8.3) и демонстраций
- анализ документов до их выпуска.
--------------------------------------------------------------------------------
Верификацию некоторые люди путают с валидацией.

================
ВАЛИДАЦИЯ
Понятие валидация используется в различных сферах деятельности человека в несколько различных смыслах. Ключевым моментом в валидации является сверка выставленных требований с необходимыми для достижения определённой цели требованиями. Если же эта цель и есть конечное требование, то возникает циклическая проблема (планирование плана плана… или проблема инициализации). Сверка требований может происходить на их полноту и/или их точность.
Валидацию некоторые люди путают с верификацией.
--------------------------------------------------------------------------------
По российскому ГОСТу ГОСТ Р ИСО 9000-2001, который соответствует интернациональному, валидация определена следующим образом:
3.8.5 валидация (en validation; fr validation): Подтверждение на основе представления объективных свидетельств (3.8.1) того, что требования (3.1.2), предназначенные для конкретного использования или применения, выполнены.

Примечания
1 Термин «подтверждено» используется для обозначения соответствующего статуса.
2 Условия применения могут быть реальными или смоделированными.

--------------------------------------------------------------------------------
Исходя из выше описанного, валидация должна быть определена как:

Валидация: Подтверждение на основе представления объективных свидетельств того, что требования, предназначенные для конкретного использования или применения, точно и в полном обьёме предопределены.
http://ru.wikipedia.org/wiki/%D0%92%D0%B0%D0%BB%D0%B8%D0%B4%D0%B0%D1%86%D0%B8%D1%8F


======================
Верификация (тезисы)

Верификация (от лат. verus - истинный и facio - делаю) - подтверждение.

Верификация – verification: (1) процедура проведения анализа с целью установления подлинности, проверки истинности, правильности, надежности; (2) распознавание, процесс сличения копии с оригиналом.

Верификация (1) - установление соответствия принятой и переданной информации с помощью логических методов; (2) - проверка информации на истинность, теоретической концепции на научность.

Неопозитивисты ввели понятие «Аналитическая философия». Эта часть философии занимается верификацией. Верификация в н/п - проверка истинности суждений. Верификация заключается в том, что общее суждение проверяется на различных частных случаях. Предположение (гипотеза) может быть верифицировано, т.е. его истинность может быть доказана как с помощью опыта, так и с помощью связного логического доказательства. Неопозитивизм требует, чтобы предположение было верифицируемо в принципе, т.е. чтобы переживания, которые его подтверждают, или были налицо, или могли быть получены.

В технике, экономике «верификация» (распознавание) отличается от «валидации» (подтверждения).

Верификация - verification - установление соответствия принятой и переданной информации с помощью логических методов.

Распознавание - это процесс обработки. К нему применимы: "скорость распознавания", "надежность распознавания", "качество распознавания". Верификация – это, по сути, процесс проверки.
К нему можно применить "скорость верификации", но нельзя "надежность верификации" или "качество верификации". А "уровень верификации" тем более. Поэтому верификация - это процесс, не заменяющий процесс распознавания.

Валидация (от англ. validation - подтверждение, утверждение) - подтверждение посредством представления объективных доказательств, свидетельств (документов, утвержденных уполномоченными лицами) того, что особые требования, предназначенные для конкретного намеренного применения, соблюдены. Валидация - подтверждение на основе представления объективных свидетельств (утвержденных уполномоченными лицами документов - записей по качеству) того, что требования, предназначенные для конкретного использования или применения, выполнены. Например, утверждение актов на скрытые работы или "непрозрачный" технологический процесс. Менеджер проекта или высшее руководство при валидации возлагает на себя ответственность за качество продукта и качество производственного процесса. Если сказать иначе, то верификация - проверка "прозрачного" процесса или продукта с помощью, например. тестирования, а валидация - утверждение "прозрачного" и "непрозрачного" технологического процесса или продукта в виде надписи "Утверждаю" уполномоченного лица.


Существуют определенные технологии верификации информационных сообщений. Все они формировались применительно к системе традиционных коммуникаций. В числе этих антиманипулятивных, антидезинформационных технологий, основанных на классических способах верификации информационных моделей, такие как:
• Надежность: авторитет информационного источника (известной персоны, печатного органа, канала СМИ, книги или издательства, живого свидетеля, репортажа с места события),
• Достоверность: гарантия подлинности документной фиксации (печатный текст массовых и научных изданий с их фильтрами редакционного отбора, рецензирования, ответственностью автора и редактора, репутацией, официальный документ с печатями и резолюциями, фотодокумент, киносъемка и т.п.),
• Прозрачность (авторизованность, прослеживаемость) информационных коммуникаций и другие.

Суждение/факт:

Человек воспринимает в реальности отдельные ее фрагменты и высказывает свои суждения по их поводу. После этого он (сознательно или неосознанно) производит процедуру верификации:

1. Сопоставление с реальными событиями (наблюдениями).
2. Сопоставление с другими высказываниями (в т.ч. другими СМИ).
3. Сопоставление с дополнительными данными (архивы, документы).
4. Сопоставление информации из нескольких независимых источников.

Итоги верификации:

1. Верифицированное суждение -- достоверный факт.
2. Неверифицированное, по разным причинам, суждение -- недостоверный (ложный) факт.
3. Ложное суждение (верификация его не подтвердила) - не-факт.
4. Оценочное суждение (его невозможно верифицировать) - не-факт.

Виды оценочных суждений:

1. Оценка суждения на достоверность (было-не было)
2. Оценка ценности суждения (важно-не важно)
3. Оценка объективности/субъективности суждения (приоритет субъекта/объекта): "мне это понравилось больше всего..."; "судя по всему, это была молния..."

Сценарий события ("пучок фактов"):

• Субъект
• Средства
• Объект
• Время
• Обстоятельства (условия)
• Причина
• Цель
• Результат

NB! Если какой-либо из фактов недостоверен, или ложен, недостоверным становится все событие.

Верификация – один из этапов виртуального анализа. Верификация позволяет установить достоверное происхождение, достоверное назначение и, в конце концов, достоверное содержание актуального события (объекта, лица, факта). При сравнительном анализе версий используются такие технологии:

Анализ целостности (полнота информации). Вырисовывается ли целостная картина и насколько искусственны причины, препятствующие установлению ее целостности. Все ли атрибуты на месте. (Концепция «разбитой пепельницы» Юлиана Семенова. Проблема: достаточно ли кусков пепельницы, чтобы, сложив их, понять, что это пепельница.)

Анализ условий и зависимостей (следствие не может возникать раньше условий).

Анализ пространственных и временных соответствий (напр.: в указанное время президент биржи не мог принять соответствующее решение, ибо находился на форуме в Давосе).

Анализ индивидуальных биографий объектов (возможно подтверждение личных связей).

Анализ ассоциативный. Анализ других событий или объектов, имеющих те же атрибуты, что и данный (этот прием часто используется в рассказах о Шерлоке Холмсе).
Анализ интенционального (возможного) этапного сходства релевантных тенденций (релевантность -- смысловое соответствие между информационным запросом и полученным сообщением): пример финансовых эскапад Сороса на основе предыдущего опыта, где можно было выделить сходные этапы и соответственно прогнозировать следующие.
Анализ мотивов возможных субъектов - традиционный анализ, который можно обозначить словами «ищите мотив, и вы найдете источник».

Анализ на противоречия. Поиск и анализ противоречий, слабых мест, жестких связей с реальностью, которые не могут быть инсинуируемыми.

Экспертный анализ. Поиск экспертов из среды возможных субъектов события или побывавших в аналогичной роли. Широко используется разведками всего мира, так как требует не работы ума, но лишь денег для того, чтобы добыть информацию из первых рук.

Подготовил В.И. Клисторин, ведущий научный сотрудник Института экономики и организации промышленного производства СО РАН
http://www.sibirp.ru/attachments/editor/files/mod_structure_1/10_verification.doc