ISO/IEC 17043: 2010(E)

 
  

ISO/IEC
17043
Первое издание
2010-02-01

Оценка соответствия — Общие положения

требования к проверке квалификации
ISO/IEC 17043: 2010(E)
 
  
Содержание
Страница
Предисловие .........................................................................................................................................................
.. iv
Введение........................................................................................................................................................
Область применения v
1.....................................................................................................................................................1
2 Нормативные ссылки...........................................................................................................................1
3 Термины и определения ...........................................................................................................................1
4 Технические требования .......................................................................................................................4
4.1 Общие
сведения ..................................................................................................................................................4
4.2 Персонал ..............................................................................................................................................4
4.3 Оборудование, жилье и окружающая среда ..................................................................................5
4.4 Разработка схем тестирования
квалификации...............................................................................................6
4.5 Выбор метода или процедуры.........................................................................................................10
4.6 Применение схем проверки квалификации........................................................................................11
4.7 Анализ данных и оценка результатов схемы тестирования
квалификации ............................................12
4.8 Отчеты ................................................................................................................................................13
4.9 Общение сучастники......................................................................................................14
4.10
Конфиденциальность.....................................................................................................................................15
5 Требования к управлению.................................................................................................................15
5.1 Организация........................................................................................................................................15
5.2 Система управления ...........................................................................................................................16
5.3 Контроль документов...............................................................................................................................17
5.4 Рассмотрение заявок, тендеров и контрактов......................................................................................18
5.5 Услуги по субподряду.....................................................................................................................19
5.6 Закупка услуг и расходных
материалов .... . . . . . . . . . . . . .............................................................................................19
5.7 Обслуживание клиента......................................................................................................................20
5.8 Жалобы и апелляции .....................................................................................................................20
5.9 Контроль несоответствующей
работы ........................................................................................................20
5.10 Улучшение .......................................................................................................................................20
5.11 Корректирующие
действия ...............................................................................................................................21
5.12 Превентивные
действия..............................................................................................................................21
5.13 Контроль записей ...............................................................................................................................22
5.14 Внутренних
аудитов .....................................................................................................................................22
5.15 Обзоры руководства ..........................................................................................................................23
Приложение А (информативное) Типы схем проверки
квалификации .....................................................................24
Приложение В (информативное) Статистические методы для проверки
квалификации .... . . . . . . . . . . ........................................................28
Приложение С(информативный) Выбор и использование тестирования
квалификации..................................................................35
Библиография.....................................................................................................................................................3
9
ISO/IEC 17043: 2010(E)
 
  
Предисловие
ИСО (Международная организация по стандартизации) и МЭК (Международная электротехническая
комиссия) образуют специализированную систему всемирной стандартизации. Национальные
организации, являющиеся членами
ИСО или МЭК, участвуют в разработке международных стандартов через технические комитеты
, созданные соответствующей организацией для решения конкретных областей технической
деятельности.
Технические комитеты ИСО и МЭК сотрудничают в областях, представляющих взаимный
интерес. Другие международные организации, правительственные
и неправительственные, в сотрудничестве с ИСО и МЭК, также принимают участие в работе. В
области оценки соответствия
Комитет ИСО по оценке соответствия (CASCO) отвечает за разработку
Международных стандартов и руководств.
Международные стандарты разрабатываются в соответствии с правилами, приведенными в Директивах
ISO/IEC, часть 2.
Проекты международных стандартов рассылаются национальным органам для
голосования. Публикация в качестве международного
стандарта требует одобрения не менее 75% национальных органов, принимающих участие в
голосовании.
Внимание обращается на возможность того, что некоторые элементы этого документа могут быть
предметом патентных
прав. ИСО не несет ответственности за идентификацию каких-либо или всех таких патентных прав.
ISO / IEC 17043 был подготовлен Комитетом ИСО по оценке соответствия (CASCO).
Он был распространен для голосования среди национальных органов как ИСО, так и МЭК и был
одобрен обеими
организациями.
Настоящее первое издание стандарта ISO/IEC 17043 отменяет и заменяет Руководство ISO/IEC 43-
1:1997 и
Руководство ISO/IEC 43-2:1997, которые были технически пересмотрены.
ISO/IEC 17043: 2010(E)
 
  
Введение
Межлабораторные сравнения широко используются для ряда целей, и их использование расширяется
на международном уровне. Типичные цели межлабораторных сравнений включают:
а) оценку эффективности лабораторий для конкретных испытаний или измерений и мониторинг
постоянной работы лабораторий;
б) выявление проблем в лабораториях и инициирование действий по улучшению, которые, например,
могут
быть связаны с неадекватными процедурами испытаний или измерений, эффективностью обучения
персонала инадзор,
или калибровка оборудования;
c) установление эффективности и сопоставимости методов испытаний или измерений;
d) предоставление дополнительной уверенности клиентам лабораторий;
e) выявление межлабораторных различий;
f) обучение участвующих лабораторий на основе результатов таких сравнений;
g) подтверждение утверждений о неопределенности;
h) оценкаэксплуатационных характеристик метода – часто описываемых как совместные испытания;
i) присвоение значений эталонным материалам и оценка их пригодности для использования в
конкретных процедурах испытаний или
измерений; и
j) поддержка заявлений об эквивалентности измерений национальных метрологических институтов
посредством “ключевых
сравнений” и дополнительных сравнений, проводимых от имени Международного бюро
измерений и весов (МБМВ) и ассоциированных региональных метрологических организаций.
Проверка квалификации включает в себя использование межлабораторных сравнений для определения
лабораторных
показателей, как указано в пунктах а) - g) выше. Тестирование квалификации обычно не касается h), i)
и j), поскольку
в этих приложениях предполагается компетентность лаборатории, но эти приложения могут быть
использованы для обеспечения
независимые демонстрации компетентности лаборатории. Требования настоящего Международного
стандарта могут
быть применены ко многим видам технического планирования и операционной деятельности для h), i)
и j).
Потребность в постоянной уверенности в работе лабораторий важна не только для лабораторий и их
клиентов, но и для других заинтересованных сторон, таких как регулирующие органы, органы по
аккредитации лабораторий идругие
организации, которые определяют требования к лабораториям. ISO / IEC 17011 требует, чтобы органы
по аккредитации принимали
во внимание участие и результаты лабораторий в тестировании квалификации. Существует растущая
потребность в
проверке квалификации для других видов деятельности по оценке соответствия, таких как инспекция
или сертификация продукции. Большинство
требований настоящего Международного стандарта относятся к этим развивающимся областям,
особенно в отношении
управления, планирования и проектирования, персонала, обеспечения качества, конфиденциальности и
других аспектов, в
зависимости от обстоятельств.
Настоящий Международный стандарт был подготовлен для обеспечения согласованной основы для
всех заинтересованных сторон в
определите компетентность организаций, которые проводят тестирование квалификации. При этом он
заменяет обе части
Руководства ИСО/МЭК 43:1997. Руководство ИСО/МЭК 43 включало не только руководство по
разработке и эксплуатации
тестирования квалификации, а также по выбору и использованию тестирования квалификации
органами по аккредитации лабораторий, но также
полезные описания типичных типов тестирования квалификации. Этот международный стандарт
сохранил и
обновил принципы проведения тестирования квалификации, описанные в Руководстве ИСО /МЭК 43,
и сохранил
в приложениях А-С информацию о типичных типах схем тестирования квалификации, руководство по
соответствующим
статистическим методам, выбору и использованию схем тестирования квалификации лабораториями,
органами по аккредитации,
регулирующими органами и другими заинтересованными сторонами.
ISO/IEC 17043: 2010(E)
 
  1 / 39 
Оценка соответствия — Общие требования к
квалификации
тестирование
1 Область применения
Настоящий Международный стандарт устанавливает общие требования к компетентности поставщиков
схем тестирования квалификации, а также к разработке и эксплуатации схем тестирования
квалификации. Предполагается, что эти требования
являются общими для всех типов схем проверки квалификации, и они могут быть использованы в
качестве основы для
конкретных технических требований для конкретных областей применения.
2 Нормативные ссылки
Следующие справочные документы необходимы для применения этого документа. Для датированных
ссылок применяется только цитируемое издание. Для недатированных ссылок применяется последняя
редакция ссылочного
документа (включая любые поправки).
ISO/IEC 17000:2004, Оценка соответствия — Словарь и общие принципы
Руководство ISO/IEC 99: 2007, Международный словарь метрологии — Основные и общие понятия и
связанные
с ними термины (VIM)
3 Термины и определения
Для целей настоящего документа применяются термины и определения, приведенные в стандартах
ISO/IEC 17000:2004,
ISO/IEC Guide 99:2007 и далее.
3.1
присвоенное значение
значение, приписываемое определенному свойству элемента проверки квалификации
3.2
координатор
одно или несколько лиц, отвечающих за организацию и управление всеми видами деятельности,
связанными с
функционированием схемы тестирования квалификации
3.3
организация-заказчик
или физическое лицо, для которых схема тестирования квалификации предусмотрена контрактным
соглашением
3.4
организация межлабораторных сравнений
, проведение и оценка измерений или испытаний на одних и тех же или сходных изделиях двумя или
более лабораториями в соответствии с заранее установленными условиями
ISO/IEC 17043: 2010(E)
 
  2 / 39 
3.5
наблюдение за выбросами
в наборе данных, которое, по-видимому, не согласуется с остальной частью этого набора
ПРИМЕЧАНИЕ. Выброс может происходить из другой совокупности или быть результатом неправильной записи или
другой грубой
ошибки.
3.6
участвующая
лаборатория, организация или частное лицо, которые получают тестовые задания и представляют
результаты для проверки
поставщиком тестирования квалификации
ПРИМЕЧАНИЕ В некоторых случаях участником может быть инспекционный орган.
3.7
проверка квалификации
оценка результатов работы участников по заранее установленным критериям с помощью
межлабораторных сравнений
ПРИМЕЧАНИЕ 1 Для целей настоящего Международного стандарта термин “проверка квалификации” понимается в
самом широком смысле и
включает, но не ограничивается:
a) количественной схемой — когда целью является количественная оценка одного или нескольких показателей элемента
проверки квалификации;
b) качественной схемой — когда цельидентифицировать или описать одну или несколько характеристик
элемента проверки квалификации;
c) последовательная схема — когда один или несколько элементов проверки квалификации последовательно
распределяются для тестирования или
измерения и возвращаются поставщику тестирования квалификации через определенные промежутки времени;
d) одновременная схема — когда элементы проверки квалификации распределяются для одновременного тестирования
или измерения в течение
определенного периода времени;
e) одноразовое упражнение — когда элементы проверки квалификации предоставляются один раз;
f) непрерывная схема — когда элементы проверки квалификации предоставляются через регулярные промежутки
времени;
g) выборка - когда образцыберутся для последующего анализа; и
h) преобразование и интерпретация данных — когда предоставляются наборы данных или другая информация, и
информация
обрабатывается для обеспечения интерпретации (или другого результата).
ПРИМЕЧАНИЕ 2 Некоторые поставщики тестирования квалификации в области медицины используют термин
“Внешняя оценка качества (EQA)”
для своих схем тестирования квалификации или для своих более широких программ, или для того и другого (см.
Приложение А). Требования этого
Международного стандарта охватывают только те виды деятельности EQA, которые соответствуют определению
проверки квалификации.
3.8
предмет для проверки квалификации
образец, продукт, артефакт, справочный материал, часть оборудования, эталон измерения, набор
данных или другая
информация, используемая для проверки квалификации
3.9
организация-поставщик тестирования квалификации
, которая берет на себя ответственность за все задачи по разработке и эксплуатации
схемы тестирования квалификации
3.10
раунд тестирования квалификации
единая полная последовательность распределения заданий теста квалификации, а также оценка и
сообщение результатов
участникам
ISO/IEC 17043: 2010(E)
 
  3 / 39 
3.11
схема проверки квалификации проверка
квалификации, разработанная и проводимая в один или несколько раундов для определенной области
тестирования, измерения,
калибровки или инспекции
ПРИМЕЧАНИЕ Схема проверки квалификации может охватывать определенный тип испытаний, калибровок, проверок
или ряд испытаний,
калибровок или проверок предметов для проверки квалификации.
3.12
надежный статистический метод
статистический метод, нечувствительный к небольшим отклонениям от базовых предположений,
связанных с базовой
вероятностной моделью
3.13
стандартное отклонение для оценки квалификации
мера дисперсии, используемая при оценке результатов тестирования квалификации, на основе
доступной
информации
ПРИМЕЧАНИЕ 1 Стандартное отклонение применяется только к результатам коэффициентов и дифференциальных
шкал.
ПРИМЕЧАНИЕ 2 Не все схемы тестирования квалификации оценивают квалификацию на основе разброса результатов.
3.14
субподрядчик
организация или физическое лицо, привлеченные поставщиком тестирования квалификации для
выполнения действий, указанных в настоящем
Международном стандарте, и которые влияют на качество схемы тестирования квалификации
ПРИМЕЧАНИЕ Термин “субподрядчик” включает в себя тех, кого многие поставщики тестирования квалификации
называют соавторами.
3.15
свойство метрологической прослеживаемости
результата измерения, при котором результат может быть связан с эталоном посредством
документированной
непрерывной цепочки калибровок, каждая из которых вносит свой вклад в неопределенность
измерения
ПРИМЕЧАНИЕ 1 Для этого определения “эталоном” может быть определение единицы измерения посредством ее
практической реализации или
процедуры измерения, включающей единицу измерения для неупорядоченной величины, или эталон измерения.
ПРИМЕЧАНИЕ 2 Метрологическая прослеживаемость требует установленной иерархии калибровки.
ПРИМЕЧАНИЕ 3 Спецификация эталона должнавключите время, в которое этот эталон использовался при
установлении иерархии
калибровки, наряду с любой другой соответствующей метрологической информацией об эталоне, например, когда была
выполнена первая
калибровка в иерархии калибровки.
ПРИМЕЧАНИЕ 4 Для измерений с более чем одной входной величиной в модели измерений каждое из значений
входной
величины само по себе должно быть метрологически отслеживаемым, а задействованная иерархия калибровки может
образовывать разветвленную структуру или
сеть. Усилия, связанные с установлением метрологической прослеживаемости для каждого значения входной величины,
должны быть соизмеримы
с его относительным вкладом в результат измерения.
ПРИМЕЧАНИЕ 5 Метрологическая прослеживаемость результата измерения не гарантирует, что погрешность
измерения
достаточна для данной цели или что отсутствует ошибка.
ПРИМЕЧАНИЕ 6 Сравнение двух эталонов может рассматриваться как калибровка, если сравнение используется
для проверки и, при необходимости, корректировки значения величины и погрешности измерения, приписываемых
одному из
эталонов.
ПРИМЕЧАНИЕ 7 ILAC
1)

рассматривает элементы для подтверждения метрологической прослеживаемости как

непрерывную
цепочку метрологической прослеживаемости до международного стандарта измерений или национального стандарта
измерений, документированную
неопределенность измерений, документированную процедуру измерений, аккредитованную техническую
компетентность, метрологическую
прослеживаемость до СИ и интервалы калибровки (см. ILAC P-10: 2002).
1) Международное сотрудничество в области аккредитации лабораторий.
ISO/IEC 17043: 2010(E)
 
  4 / 39 
ПРИМЕЧАНИЕ 8 Сокращенный термин “прослеживаемость” иногда используется для обозначения “метрологической
прослеживаемости”, а также других
понятий, таких как “прослеживаемость образцов” или “прослеживаемость документов” или “прослеживаемость
приборов” или “прослеживаемость материалов”,
где имеется в виду история (“трассировка”) изделия. Поэтому полный термин “метрологическая прослеживаемость”
является предпочтительным, если существует какой-
либо риск путаницы.
[Руководство ИСО/МЭК 99:2007, определение 2.41]
3.16
неопределенность измерения неопределенность
неопределенности измерения

неотрицательный параметр, характеризующий разброс значений величины, приписываемых

измеряемой величине,
на основе используемой информации
ПРИМЕЧАНИЕ 1 Неопределенность измерений включает компоненты, возникающие в результате систематических
воздействий, такие как компоненты
, связанные с корректировками и присвоенными количественными значениями стандартов измерений, а также
неопределенность определения. Иногда оцененные систематические эффекты не корректируются, а вместо
этого включаются связанные компоненты неопределенности измерений.
ПРИМЕЧАНИЕ 2 Параметром может быть, например, стандартное отклонение, называемое стандартной
неопределенностью измерения (или
заданное кратное ему), или полуширина интервала, имеющая заданную вероятность покрытия.
ПРИМЕЧАНИЕ 3 Неопределенность измерений, как правило, включает в себя множество компонентов. Некоторые из
них могут быть оценены с помощью
оценки неопределенности измерений типа А на основе статистического распределения значений величин из серии
измерений и могут характеризоваться стандартными отклонениями. Другие компоненты, которые могут быть оценены с
помощью
оценки неопределенности измерений типа B, также могут характеризоваться стандартными отклонениями,
оцениваемыми из
функций плотности вероятности на основе опыта или другой информации.
ПРИМЕЧАНИЕ 4 В общем, для данного набора информации подразумевается, что неопределенность измерения связана
с
указанным значением величины, приписываемым измеряемой величине. Изменение этого значения приводит к
изменению связанной
неопределенности.
[Руководство ИСО/МЭК 99:2007, определение 2.26]
4 Технические требования
4.1 Общие положения
Разработка и эксплуатация схем тестирования квалификации должны осуществляться
поставщиками тестирования квалификации, обладающими компетенцией для проведения
межлабораторных сравнений и доступом к экспертным знаниям по
определенному типу элементов тестирования квалификации. Поставщики тестирования квалификации
или их субподрядчики также должны обладать
компетенцией в измерении определяемых свойств.
ПРИМЕЧАНИЕ ISO/IEC 17025 или ISO 15189 могут использоваться для демонстрации компетентности лаборатории
поставщика тестирования
квалификации или лаборатории, привлеченной к выполнению тестов или измерений, связанных со схемами
тестирования квалификации.
Руководство ИСО 34 может быть использовано для демонстрации компетентности производителей справочных
материалов, которые предоставляют
задания для проверки квалификации.
4.2
Персонал
4.2.1 Поставщик тестирования квалификации должен иметь управленческий и технический персонал,
обладающий необходимыми
полномочиями, ресурсами и технической компетентностью, необходимыми для выполнения своих
обязанностей.
4.2.2 Руководство провайдера тестирования квалификации должно определить минимальные уровни
квалификации и
опыта, необходимые для ключевых должностей в его организации, и обеспечить соответствие этим
квалификациям.
4.2.3 Поставщик тестирования квалификации должен использовать персонал, который либо нанят им,
либо по контракту с
ним. В тех случаях, когда используется нанятый по контракту и дополнительный технический и
ключевой вспомогательный персонал,
поставщик тестирования квалификации должен обеспечить, чтобы такой персонал контролировался и
был компетентным, и чтобы он работал в соответствии
с системой управления.
ISO/IEC 17043: 2010(E)
 
  5 / 39 
ПРИМЕЧАНИЕ. В тех случаях, когда технические эксперты используются на разовой основе или в составе
консультативной или руководящей группы (см. 4.4.1.4),
наличие официальных соглашений, например, в рамках группового круга ведения или другими способами, может
считаться
удовлетворяющим этому требованию.
4.2.4 Поставщик тестирования квалификации должен уполномочить определенный персонал:
a) выбирать соответствующие элементы тестирования квалификации;
b) планировать схемы тестирования квалификации;
c) выполнять определенные типы отбора проб;
d) эксплуатировать специальное оборудование;
e) проводить измерения для определения стабильности и однородности, а также назначенных значений
и
связанных с ними неопределенностейизмеряемые значения элемента проверки квалификации;
f) подготавливать, обрабатывать и распространять элементы проверки квалификации;
g) управлять системой обработки данных;
h) проводить статистический анализ;
i) оценивать работу участников тестирования квалификации;
j) высказывать мнения и интерпретации; и
k) санкционировать выдачу отчетов о тестировании квалификации.
4.2.5 Поставщик тестирования квалификации должен вести обновленные записи о соответствующих
разрешениях,
компетентности, образовательных и профессиональных квалификациях, обучении, навыках и опыте
всего технического
персонала, включая персонал по контракту. Эта информация должна быть легкодоступной и должна
включать
дату, на которую была оценена и подтверждена компетентность для выполнения возложенных на них
задач.
4.2.6 Поставщик тестирования квалификации должен сформулировать цели в отношении образования,
профессиональной подготовки
и навыков для каждого сотрудника, участвующего в работе схемы тестирования
квалификации. Поставщик
тестирования квалификации должен иметь политику и процедуры для определения потребностей в
обучении и обеспечения обучения
персонала. Программа обучения должна соответствовать текущим и ожидаемым потребностям
поставщика услуг по тестированию квалификации.
ПРИМЕЧАНИЕ Рекомендуется учитывать необходимость периодической переподготовки персонала. Политика
обучения персонала может учитывать
технологические изменения, необходимость демонстрировать постоянную компетентность и стремиться к постоянному
повышению квалификации.
4.2.7 Поставщик тестирования квалификации должен обеспечить, чтобы персонал прошел
необходимую подготовку для обеспечения
компетентного выполнения измерений, эксплуатации оборудования и любых других действий, которые
влияют на
качество схемы тестирования квалификации. Эффективность учебных мероприятий должна быть
оценена.
ПРИМЕЧАНИЕ Для оценки достижения компетентности могут использоваться объективные показатели.
4.3 Оборудование, помещения и окружающая среда
4.3.1 Поставщик тестирования квалификации должен обеспечить наличие надлежащих условий для
функционирования схемы тестирования квалификации. Сюда входят средства и оборудование для
производства, обработки, калибровки, тестирования, хранения и отправки предметов для проверки
квалификации, для обработки данных, для связи
и для поиска материалов и записей.
4.3.2 Поставщик тестирования квалификации должен обеспечить, чтобы условия окружающей среды
не ставили
под угрозу схему тестирования квалификации или требуемое качество операций. Особое внимание
должно быть уделено, когда
операции проводятся на объектах, удаленных от постоянных объектов поставщика услуг по проверке
квалификации, или
ISO/IEC 17043: 2010(E)
 
  6 / 39 
осуществляется субподрядчиками. Технические требования к помещениям и условиям окружающей
среды, которые могут повлиять на проверку квалификации, должны быть задокументированы.
4.3.3 Должен контролироваться доступ и использование областей, влияющих на качество схем
тестирования квалификации.
Поставщик тестирования квалификации должен определить степень контроля на основе своих
конкретных обстоятельств.
4.3.4 Поставщик тестирования квалификации должен определить условия окружающей среды, которые
могут существенно повлиять
на качество элементов тестирования квалификации и любых проводимых испытаний и калибровок,
включая условия, которые
требуются соответствующими спецификациями и процедурами измерения. Поставщик тестирования
квалификации должен
контролировать и отслеживать эти условия, а также регистрировать все соответствующие действия по
мониторингу. Соответствующие
мероприятия по проверке квалификации должны быть прекращены, когда условия окружающей среды
ставят под угрозу качество или функционирование
схемы проверки квалификации.
ПРИМЕЧАНИЕ Условия могут включать, например, биологическую стерильность, пыль, электромагнитные помехи,
радиацию, влажность,
электроснабжение, температуру, а также уровни звука и вибрации, в зависимости от соответствующих технических
действий.
4.3.5 Должно быть эффективное разделение между соседними областями, в которых имеются
несовместимые
виды деятельности. Должны быть приняты меры для предотвращения перекрестного загрязнения.
4.3.6 Поставщики тестирования квалификации должны гарантировать, что рабочие характеристики
лабораторных методов и
оборудования, используемых для подтверждения содержания, однородности и стабильности тестовых
материалов, надлежащим
образом подтверждены и поддерживаются.
4.4 Разработка схем проверки квалификации
4.4.1 Планирование
4.4.1.1 Поставщик тестирования квалификации должен определить и спланировать те процессы,
которые непосредственно влияют на
качество схемы тестирования квалификации, и обеспечить, чтобы они выполнялись в соответствии с
предписанными процедурами.
ПРИМЕЧАНИЕ Интересы заинтересованных сторон могут быть учтены при разработке плана и соответствующей
информации.
4.4.1.2 Поставщик тестирования квалификации не должен заключать субподряд на планирование
схемы тестирования квалификации (см. 5.5.2).
ПРИМЕЧАНИЕ Поставщик тестирования квалификации может воспользоваться советом или помощью любых
консультантов, экспертов или руководящей группы
(см. 4.4.1.4).
4.4.1.3 Поставщик тестирования квалификации должен задокументировать план до начала
схемы тестирования квалификации, в котором рассматриваются цели, назначение и базовая структура
схемы тестирования квалификации,
включая следующую информацию и, при необходимости, причины ее выбора или исключения:
а) название и адрес поставщика тестирования квалификации;
б)) имя, адрес и принадлежность координатора и другого персонала, участвующего в разработке и
функционирование схемы тестирования квалификации;
c) виды деятельности, подлежащие передаче на субподряд, а также имена и адреса субподрядчиков,
участвующих в
функционировании схемы тестирования квалификации;
d) критерии, которым необходимо соответствовать для участия;
e) количество и тип предполагаемых участников схемы тестирования квалификации;
f) выборпредставляющий интерес показатель (и) или характеристика (и), включая информацию о том,
что
участники должны определить, измерить или протестировать в конкретном раунде тестирования
квалификации;
ISO/IEC 17043: 2010(E)
 
  7 / 39 
g) описание диапазона значений или характеристик, или и того, и другого, которые следует ожидать
для
элементов проверки квалификации;
h) потенциальные основные источники ошибок, связанных с предлагаемой областью проверки
квалификации;
i) требования к производству, контролю качества, хранению и распространению элементов проверки
квалификации;
j) разумные меры предосторожности для предотвращения сговора между участниками или
фальсификации результатов, а
также процедуры, которые следует применять в случае подозрения в сговоре или фальсификации
результатов;
k) описание информации, которая должна быть предоставлена участникам, и график времени для
различные этапы схемы тестирования квалификации;
l) для схем непрерывного тестирования квалификации - частота или даты, с которыми
участникам должны быть розданы тестовые задания для проверки квалификации, крайние сроки
возврата результатов участниками и, при
необходимости, даты, в которые участники должны проводить тестирование или измерение;
m) любая информация о методах или процедурах, которые участники должны использовать для
подготовки испытуемого материала и
проведения испытаний или измерений;
n) процедуры для испытаний или методы измерений, которые будут использоваться для проверки
однородности и стабильности
предметы для проверки квалификации и, где это применимо, для определения их биологической
жизнеспособности;
o) подготовка любых стандартизированных форматов отчетности, которые будут использоваться
участниками;
p) подробное описание используемого статистического анализа;
q) происхождение, метрологическая прослеживаемость и неопределенность измерений любых
назначенных значений;
r) критерии дляоценка результатов работы участников;
s) описание данных, промежуточных отчетов или информации, которые должны быть возвращены
участникам;
t) описание степени, в которой результаты участников, и выводы, которые будут основаны на
результатах схемы тестирования квалификации, должны быть обнародованы; и
u) действия, которые необходимо предпринять в случае утери или повреждения предметов для
проверки квалификации.
4.4.1.4 Поставщик проверки квалификации должен иметь доступ к необходимым техническим знаниям
и
опыту в соответствующей области испытаний, калибровки, отбора проб или инспекции, а также к
статистике. Это может быть
достигнуто, при необходимости, путем создания консультативной группы (с соответствующим
названием).
4.4.1.5 Техническая экспертиза должна использоваться, по мере необходимости, для определения таких
вопросов, как следующее:
a) требования к планированию, перечисленные в 4.4.1.3;
b) выявление и устранение любых трудностей, ожидаемых при подготовке и поддержании
однородных заданий для проверки квалификации, или в обеспечении стабильного присвоенного
значения для проверки квалификациипункт
;
c) подготовка подробных инструкций для участников;
d) комментарии по любым техническим трудностям или другим замечаниям, поднятым участниками на
предыдущем уровне квалификации
раунды тестирования;
e) предоставление рекомендаций по оценке результатов участников;
f) комментарии к результатам и результатам участников в целом и, при необходимости, групп
участников или отдельных участников;
ISO/IEC 17043: 2010(E)
 
  8 / 39 
g) предоставление консультаций участникам (в рамках конфиденциальности), индивидуально или в
рамках отчета;
h) реагирование на отзывы участников; и
i) планирование или участие в технических совещаниях с участниками.
4.4.2 Подготовка тестовых заданий
4.4.2.1 Поставщик тестирования квалификации должен разработать и внедрить процедуры для
обеспечения
подготовки тестовых заданий в соответствии с планом, описанным в 4.4.1.
ПРИМЕЧАНИЕ Рекомендуется, чтобы поставщик тестирования квалификации уделил должное внимание подготовке
достаточного
количества тестовых заданий, чтобы учесть необходимость замены любых таких тестовых заданий, утерянных или
поврежденных
во время распространения, или предназначенных для использования после получения результатов схемы тестирования
квалификации.
оценено. Такое использование может включать учебные пособия для участников или использоваться в качестве
справочного материала.
4.4.2.2 Поставщик тестирования квалификации должен разработать и внедрить процедуры для
обеспечения надлежащего
приобретения, сбора, подготовки, обращения, хранения и, при необходимости, утилизации всех
предметов для тестирования квалификации.
Процедуры должны гарантировать, что материалы, используемые для изготовления предметов для
проверки квалификации, получены в
соответствии с соответствующими нормативными и этическими требованиями.
4.4.2.3 Элементы для проверки квалификации должны соответствовать по матрице, измеряемым
значениям и концентрациям,
насколько это практически возможно, типу элементов или материалов, встречающихся при обычном
тестировании или калибровке.
4.4.2.4 В схемах тестирования квалификации, которые требуют от участников подготовки или
манипулирования, или как подготовки
, так и манипулирования, тестовым материалом для проверки квалификации и отправки его
поставщику тестирования квалификации
, поставщик тестирования квалификации должен выдать инструкции по подготовке, упаковке и
транспортировке тестового материала.
4.4.3 Однородность и стабильность
4.4.3.1 Должны быть установлены критерии приемлемой однородности и стабильности, которые
должны основываться на
влиянии, которое неоднородность и нестабильность окажут на оценку результатов участников.
ПРИМЕЧАНИЕ 1 Требования в этом подпункте предназначены для обеспечения того, чтобы каждый участник получил
сопоставимые
тестовые задания и чтобы эти тестовые задания оставались стабильными на протяжении всего тестирования.
Для достижения этого необходимы тщательное планирование, производство и доставка, и для подтверждения этого
обычно требуется тестирование.
ПРИМЕЧАНИЕ 2 В некоторых случаях невозможно, чтобы тестовые образцы для проверки квалификации подвергались
тестированию на однородность и стабильность.
К таким случаям относятся, например, случаи, когда имеется ограниченный материал для подготовки заданий для
проверки квалификации.
ПРИМЕЧАНИЕ 3 В некоторых случаях материалы, которые не являются достаточно однородными или стабильными,
являются наилучшими из имеющихся; в таких случаях
они все же могут быть полезны в качестве предметов для проверки квалификации, при условии, что неопределенности
присвоенных значений или оценки
результатов должным образом учитывают это (см. B.3.1.3 иISO 13528:2005, приложение B).
ПРИМЕЧАНИЕ 4 Соображения об однородности и стабильности дополнительно обсуждаются в Руководстве 34 по ISO,
Руководстве 35 по ISO и
ISO 13528.
4.4.3.2 Процедуры оценки однородности и стабильности должны быть задокументированы и
проведены, где это применимо, в соответствии с соответствующими статистическими схемами. Там,
где это возможно,
поставщик тестирования квалификации должен использовать статистически случайный выбор
репрезентативного количества
тестовых заданий из всей партии тестируемого материала для оценки однородности материала.
ПРИМЕЧАНИЕ В некоторых случаях более уместным является использование случайного стратифицированного или
систематического отбора тестовых заданий из всей
партии.
4.4.3.3 Оценка однородности, как правило, проводится после того, как тестовые образцы
были упакованы в окончательном виде и до раздачи участникам, если, например, исследования
стабильности
не указывают на то, что их следует хранить в объемном виде.
ISO/IEC 17043: 2010(E)
 
  9 / 39 
ПРИМЕЧАНИЕ 1 Однородность может быть продемонстрирована до упаковки, если разумно
не ожидается никакого влияния упаковки.
ПРИМЕЧАНИЕ 2 В некоторых случаях проверка однородности не может быть проведена до распределения по
практическим, техническим или
логистическим причинам.
4.4.3.4 Образцы для проверки квалификации должны быть достаточно стабильными, чтобы
гарантировать, что они не
претерпят каких-либо существенных изменений в ходе проведения проверки квалификации, включая
условия хранения и
транспортировки. Когда это невозможно, стабильность должна быть определена количественно и
рассматриваться как дополнительный
компонент неопределенности измерения, связанный с присвоенным значением элемента проверки
квалификации,
и/или учитываться в критериях оценки.
4.4.3.5 Когда предметы для проверки квалификации из предыдущих раундов сохраняются для
будущего использования, значения свойств
, которые должны быть определены в схеме проверки квалификации, должны быть подтверждены
поставщиком тестирования квалификации
до распространения.
4.4.3.6 В тех случаях, когда тестирование однородности и стабильности невозможно,
поставщик тестирования квалификации должен продемонстрировать, что процедуры, используемые
для сбора, производства, упаковки и распространения
тестовых материалов, достаточны для целей тестирования квалификации.
4.4.4 Статистический дизайн
4.4.4.1 Статистические проекты должны разрабатываться для достижения целей схемы на основе
характера
данных (количественных или качественных, включая порядковые и категориальные), статистических
допущений, характера
ошибок и ожидаемого количества результатов (см. B.3.2.2).
ПРИМЕЧАНИЕ 1 Статистический дизайн охватывает процесс планирования, сбора, анализа и представления
данных схемы тестирования квалификации. Статистические схемы часто основаны на заявленных целях схемы
проверки квалификации, таких как обнаружение
определенных типов ошибок с заданной мощностью или определение присвоенных значений с заданной погрешностью
измерения.
ПРИМЕЧАНИЕ 2 Методы анализа данных могут варьироваться от очень простых (например, описательная статистика)
до сложных, с использованием
статистических моделей с вероятностными допущениями или комбинаций результатов для различных элементов
проверки квалификации.
ПРИМЕЧАНИЕ 3 В случаях, когда разработка схемы тестирования квалификации предписана спецификацией,
предоставленной, например,
заказчиком, регулирующим органом или органом по аккредитации, статистический дизайн и методы анализа данных
могут быть взяты непосредственно
из спецификации.
ПРИМЕЧАНИЕ 4 При отсутствии достоверной информации, необходимой для составления статистического проекта,
может быть использовано предварительное межлабораторное сравнение.
4.4.4.2 Поставщик тестирования квалификации должен задокументировать статистический дизайн и
методы анализа данных
, которые будут использоваться для определения присвоенного значения и оценки результатов
участников, а также предоставить описание
причин их выбора и предположений, на которых они основаны. Поставщик тестирования
квалификации
должен быть в состоянии продемонстрировать, что статистические допущения являются
обоснованными и что статистический анализ
проводится в соответствии с предписанными процедурами.
4.4.4.3 При разработке статистического анализа поставщик тестирования квалификации должен
тщательно учитывать
следующее:
a) точность (достоверность и точность), а также неопределенность измерений, требуемую или
ожидаемую для
каждой измеряемой величины или характеристики в тестировании квалификации;
b) минимальное количество участников в схеме тестирования квалификации, необходимоедля
достижения целей
статистический дизайн; в случаях, когда число участников недостаточно для достижения этих
целей или для проведения статистически значимого анализа результатов, поставщик тестирования
квалификации должен
задокументировать и предоставить участникам подробную информацию об альтернативных подходах,
используемых для оценки
результатов участников;
c) соответствие значимых показателей сообщаемымрезультат, включая количество знаков после
запятой;
ISO/IEC 17043: 2010(E)
 
  10 / 39 
d) количество предметов для проверки квалификации, которые должны быть протестированы или
измерены, и количество повторных тестов, калибровок
или измерений, которые должны быть проведены для каждого предмета для проверки квалификации
или для каждого определения;
e) процедуры, используемые для определения стандартного отклонения для оценки квалификации или
других
критериев оценки;
f) процедуры, которые будут использоватьсядля выявления или обработки выбросов, или и того, и
другого;
g), где это уместно, процедуры оценки значений, исключенных из статистического анализа; и
h), где это уместно, цели, которые должны быть достигнуты при разработке и частоте раундов
тестирования квалификации.
4.4.5 Присвоенные значения
4.4.5.1 Поставщик тестирования квалификации должен задокументировать процедуру определения
присвоенных
значений для измеряемых величин или характеристик в конкретной схеме тестирования
квалификации. Эта процедура должна
учитывать метрологическую прослеживаемость и неопределенность измерений, необходимые для
демонстрации того
, что схема проверки квалификации соответствует своей цели.
ПРИМЕЧАНИЕ Метрологическая прослеживаемость не всегда возможна или целесообразна.
4.4.5.2 Схемы проверки квалификации в области калибровки должны иметь назначенные значения с
метрологической прослеживаемостью, включая погрешность измерений.
4.4.5.3 Для схем проверки квалификации в областях, отличных от калибровки, актуальность,
потребности и
осуществимость метрологической прослеживаемости и связанная с этим погрешность измерения
назначенного значения должны
определяться с учетом установленных требований участников или других заинтересованных сторон
или с помощью
схемы проверки квалификации.
ПРИМЕЧАНИЕ Требуемая цепочка метрологической прослеживаемости может отличаться в зависимости от типа
элемента проверки квалификации,
измеряемой величины или характеристики, а также наличия отслеживаемых калибровок и эталонных материалов.
4.4.5.4 Когда в качестве назначенного значения используется согласованное значение (см. Приложение
B),
поставщик тестирования квалификации должен задокументировать причину такого выбора и оценить
неопределенность назначенного значения
, как описано в плане схемы тестирования квалификации.
4.4.5.5 Поставщик тестирования квалификации должен иметь политику в отношении раскрытия
присвоенных значений.
Политика должна гарантировать, что участники не смогут получить выгоду от раннего раскрытия.
4.5 Выбор метода или процедуры
4.5.1 Обычно ожидается, что участники будут использовать метод испытания, калибровку или
процедуру измерения
по своему выбору, которые должны соответствовать их обычным процедурам. Поставщик
тестирования квалификации может
проинструктировать участников использовать определенный метод в соответствии с проектом схемы
тестирования квалификации.
4.5.2 В тех случаях, когда участникам разрешается использовать метод по своему выбору, поставщик
тестирования квалификации
должен:
а) иметь политику и следовать процедуре, касающейся сравнения результатов, полученных с помощью
различных методов тестирования или
измерения;
б) знать, какие различные методы тестирования или измерения для любой измеряемой величины
технически эквивалентны,
и приниматьшаги по оценке результатов участников с использованием этих методов соответствующим
образом.
ISO/IEC 17043: 2010(E)
 
  11 / 39 
4.6 Функционирование схем проверки квалификации
4.6.1 Инструкции для участников
4.6.1.1 Поставщик тестирования квалификации должен заблаговременно уведомить участников перед
отправкой
тестовых заданий, указав дату, в которую, вероятно, будут получены или
отправлены тестовые задания, если только схема тестирования квалификации не делает это
нецелесообразным.
4.6.1.2 Поставщик тестирования квалификации должен предоставить подробные документированные
инструкции всем участникам.
Инструкции для участников должны включать:
а) необходимость обращения с предметами для проверки квалификации таким же образом, как и с
большинством регулярно тестируемых
образцов (если нет особых требований схемы проверки квалификации, которые требуют
отступления от этого принципа);
б) детали факторов, которые могут повлиять на тестирование или калибровку квалификациитестовые
задания, например
, характер тестовых заданий, условия хранения, соответствует ли схема тестирования квалификации
ограничивается выбранными методами тестирования и сроками тестирования или измерения;
c) подробная процедура подготовки или кондиционирования, или как подготовки, так и
кондиционирования,
предметов для проверки квалификации перед проведением испытаний или калибровок;
d) любые соответствующие инструкции по обращению с предметами для проверки квалификации,
включая любые требования безопасности;
e) любые конкретные условия окружающей среды, в которых участник должен проводить испытания
или калибровки, или и то, и другое, и, если
это уместно, любое требование к участникам сообщать о соответствующих условиях окружающей
среды в течение времени
результатов измерений;
f) конкретные и подробные инструкции по способу регистрации и представления результатов
испытаний или измерений
и связанных с ними неопределенностей. Если инструкции включают сообщение о неопределенности
сообщаемого результата
или измерения, это должно включать коэффициент охвата и, когда это практически возможно,
вероятность охвата;
ПРИМЕЧАНИЕ Эта инструкция обычно включает в себя такие параметры, как единицы измерения, количество
значащих
цифр или десятичных знаков и основу отчетности (например, по сухому весу или “по мере получения”).
g) последняя дата получения поставщиком результатов тестирования квалификации или измерений для
анализа;
h) информация о контактных данных поставщика тестирования квалификации для запросов; и
i) инструкции по возврату предметов для тестирования квалификации, когда это применимо.
4.6.2 Обращение с предметами для проверки квалификации и их хранение
4.6.2.1 Поставщик услуг по проверке квалификации должен обеспечить, чтобы предметы для проверки
квалификации были надлежащим образом идентифицированы
и разделены и не могли быть загрязнены или испорчены с момента подготовки до их
распространения среди участников.
4.6.2.2 Поставщик тестирования квалификации должен обеспечить безопасные складские помещения
или складские помещения, или и то, и другое, которые
предотвращают повреждение или порчу любого предмета тестирования квалификации между
подготовкой и распределением.
Должны быть определены надлежащие процедуры для авторизации отправки в такие районы и
получения из них.
4.6.2.3 При необходимости состояние хранимых или хранящихся на складе предметов для проверки
квалификации, химикатов и
материалов должно оцениваться через определенные промежутки времени в течение срока их хранения
с целью выявления возможного
ухудшения.
4.6.2.4 В тех случаях, когда используются потенциально опасные предметы для проверки
квалификации, химикаты и материалы
, должны быть доступны средства для обеспечения их безопасного обращения, обеззараживания и
утилизации.
ISO/IEC 17043: 2010(E)
 
  12 / 39 
4.6.3 Упаковка, маркировка и распространение предметов
для проверки квалификации 4.6.3.1 Поставщик проверки квалификации должен контролировать
процессы упаковки и маркировки в объеме
, необходимом для обеспечения соответствия соответствующим национальным, региональным или
международным требованиям безопасности и транспортировки
.
ПРИМЕЧАНИЕ Правильное распределение предметов для проверки квалификации может создать серьезные проблемы
для некоторых типов материалов, например
, для материалов, требующих непрерывного хранения в холодных условиях или которые не должны подвергаться
воздействию рентгеновских лучей, ударов или вибрации.
Герметичная упаковка для большинства типов химических материалов была бы полезна во избежание загрязнения
атмосферными
загрязнителями, например, парами топлива или выхлопными газами двигателя, которые могут возникнуть во время
транспортировки.
4.6.3.2 Поставщик проверки квалификации должен указать соответствующие условия окружающей
среды для транспортировки
предметов для проверки квалификации. Там, где это уместно, поставщик проверки квалификации
должен контролировать соответствующие
условия окружающей среды для предмета проверки квалификации во время транспортировки и
оценивать влияние воздействий окружающей
среды на предмет проверки квалификации.
4.6.3.3 В схемах проверки квалификации, где участники должны перевозить
предметы для проверки квалификации другим участникам, должны быть предоставлены
документированные инструкции по такой перевозке.
4.6.3.4 Поставщик тестирования квалификации должен убедиться, что этикетки надежно прикреплены
к упаковке
отдельных предметов для тестирования квалификации и спроектированы так, чтобы оставаться
разборчивыми и неповрежденными на протяжении
всего раунда тестирования квалификации.
4.6.3.5 Поставщик тестирования квалификации должен следовать процедуре, позволяющей
подтвердить доставку
предметов для проверки квалификации.
ПРИМЕЧАНИЕ Этого можно достичь в соответствии с пунктом 4.6.1.1, попросив участников сообщить
поставщику тестирования квалификации, если тестовые задания не были получены в соответствии с предоставленным
графиком дат.
4.7 Анализ данных и оценка результатов схемы тестирования квалификации
4.7.1 Анализ и записи данных
4.7.1.1 Все оборудование и программное обеспечение для обработки данных должны быть проверены в
соответствии с процедурами
перед вводом в эксплуатацию. Обслуживание компьютерной системы должно включать процесс
резервного копирования и
план восстановления системы. Результаты таких проверок технического обслуживания и эксплуатации
должны быть зарегистрированы.
4.7.1.2 Результаты, полученные от участников, должны быть зарегистрированы и проанализированы
соответствующими методами.
Должны быть установлены и внедрены процедуры для проверки достоверности ввода данных,
передачи данных, статистического
анализа и отчетности.
4.7.1.3 Анализ данных должен генерировать сводную статистику и статистику производительности, а
также соответствующую
информацию, соответствующую статистической структуре схемы тестирования квалификации.
4.7.1.4 Влияние выбросов на сводную статистику должно быть сведено к минимуму путем
использования надежных статистических
методов или соответствующих тестов для выявления статистических выбросов.
4.7.1.5 Поставщик тестирования квалификации должен иметь документированные критерии и
процедуры для обработки
результатов тестирования, которые могут быть неподходящими для статистической оценки, например,
просчеты, перестановки и другие
грубые ошибки.
4.7.1.6 Поставщик тестирования квалификации должен иметь документированные критерии и
процедуры для идентификации и
управления предметами тестирования квалификации, которые были распространены и впоследствии
признаны непригодными для
оценки эффективности, например, из-за неоднородности, нестабильности, повреждения или
загрязнения.
ISO/IEC 17043: 2010(E)
 
  13 / 39 
4.7.2 Оценка эффективности
4.7.2.1 Поставщик тестирования квалификации должен использовать действительные методы оценки,
которые соответствуют цели
схемы тестирования квалификации. Методы должны быть документированы и включать описание
основы для
оценки. Оценка эффективности не должна быть передана на субподряд (см. 5.5.2).
4.7.2.2 Там, где это уместно для целей схемы тестирования квалификации,
поставщик тестирования квалификации должен предоставить экспертный комментарий по результатам
работы участников в отношении следующего:
а) общая производительность по сравнению с предыдущими ожиданиями, принимая во внимание
погрешности измерений;
б) различия внутри и между участниками и сравнения с любым предыдущим тестированием
квалификациираунды,
аналогичные схемы тестирования квалификации или опубликованные точные данные;
c) различия между методами или процедурами;
d) возможные источники ошибок (со ссылкой на отклонения) и предложения по улучшению
результатов;
e) рекомендации и обучающие отзывы для участников в рамках процедур постоянного улучшения
участников;
f) ситуации, когда необычные факторы делают невозможной оценку результатов и комментарии к
результатам;
g) любые другие предложения, рекомендации или замечания общего порядка; и
h) выводы.
ПРИМЕЧАНИЕ Может быть полезно периодически предоставлять участникам отдельные сводные листы во время или
после завершения
конкретной схемы тестирования квалификации. Они могут включать обновленные сводки результатов отдельных
участников
в ходе последовательных раундов тестирования квалификации в рамках схемы непрерывного тестирования
квалификации. При необходимости такие резюме могут быть дополнительно
проанализированы и выделены тенденции.
4.8 Отчеты
4.8.1 Отчеты о проверке квалификации должны быть четкими и полными и включать данные,
охватывающие результаты всех
участников, вместе с указанием результатов отдельных участников. Утверждение
окончательного отчета не должно передаваться на субподряд (см. 5.5.2).
ПРИМЕЧАНИЕ В тех случаях, когда все исходные данные не могут быть сообщены участникам, может быть
предоставлена сводка результатов, например, в табличной или
графической форме.
4.8.2 Отчеты должны включать следующее, если это не применимо или у поставщика тестирования
квалификации
нет веских причин не делать этого:
а) имя и контактные данные поставщика тестирования квалификации;
б) имя и контактные данные координатора;
в) имя (имена), функция (функции), и подпись (подписи) или эквивалентная идентификация лица (лиц),
санкционирующего отчет;
d) указание на то, какие виды деятельности являются субподрядными для поставщика тестирования
квалификации;
e) дата выдачи и статус (например, предварительный, промежуточный или окончательный) отчет;
f) номера страниц и четкое указание конца отчета;
g) заявление о том, в какой степени результаты являются конфиденциальными;
h) номер отчета и четкое обозначение схемы тестирования квалификации;
ISO/IEC 17043: 2010(E)
 
  14 / 39 
i) четкое описание использованных тестовых заданий, включая необходимые детали подготовки
тестового задания,
оценки однородности и стабильности;
j) результаты участников;
k) статистические данные и резюме, включая присвоенные значения и диапазон приемлемых
результатов и графические
отображения;
l) процедуры, используемые для установлениялюбое присвоенное значение;
m) сведения о метрологической отслеживаемости и неопределенности измерений любого присвоенного
значения;
n) процедуры, используемые для определения стандартного отклонения для оценки квалификации, или
другие критерии для
оценка;
o) присвоенные значения и сводная статистика для методов / процедур тестирования, используемых
каждой группой участников
(если разные методы используются разными группами участников);
p) комментарии к результатам участников со стороны поставщика тестирования квалификации и
технических консультантов;
q) информация о разработке и внедрении тестирования квалификациисхема тестирования;
r) процедуры, используемые для статистического анализа данных;
s) рекомендации по интерпретации статистического анализа; и
t) комментарии или рекомендации, основанные на результатах раунда тестирования квалификации.
ПРИМЕЧАНИЕ Для схем непрерывного тестирования квалификации может быть достаточно иметь более простые
отчеты, так что многие
элементы в этом пункте могут быть исключены из обычных отчетов, но включены в протоколы схемы тестирования
квалификации или в
периодические сводные отчеты, доступные участникам.
4.8.3 Отчеты должны предоставляться участникам в запланированные сроки. В
схемах последовательного тестирования квалификации, например, когда время обработки может быть
очень долгим, и в схемах, связанных со скоропортящимися
материалами, предварительные или ожидаемые результаты могут быть предоставлены до того, как
будут раскрыты окончательные результаты.
ОБРАТИТЕ внимание, что это позволяет провести раннее расследование возможной ошибки.
4.8.4 Поставщик тестирования квалификации должен иметь политику использования отчетов
отдельными лицами и
организациями.
4.8.5 Когда необходимо выдать новый или исправленный отчет для схемы тестирования квалификации,
он должен
включать следующее:
a) уникальную идентификацию;
b) ссылку на первоначальный отчет, который он заменяет или исправляет; и
c) заявление о причине изменения или переиздания.
4.9 Общение с участниками
4.9.1 Поставщик тестирования квалификации должен предоставить подробную информацию о
схеме тестирования квалификации. Это должно включать:
а) соответствующую информацию о масштабах программы тестирования квалификации;
б) любые сборы за участие;
ISO/IEC 17043: 2010(E)
 
  15 / 39 
c) документированные критерии приемлемости для участия;
d) соглашения о конфиденциальности; и
e) подробная информация о том, как подать заявку.
4.9.2 Поставщик тестирования квалификации должен незамедлительно информировать Участников о
любых изменениях в
разработке или функционировании схемы тестирования квалификации.
4.9.3 Должны существовать документированные процедуры, позволяющие участникам обжаловать
оценку
их результатов в рамках схемы тестирования квалификации. Доступность этого процесса должна быть
доведена до
сведения участников схемы тестирования квалификации.
4.9.4 Соответствующие записи сообщений с участниками должны вестись и храниться, по мере
необходимости.
4.9.5 Если поставщик тестирования квалификации публикует заявления об участии или результатах,
они должны содержать
достаточную информацию, чтобы не вводить в заблуждение.
4.10 Конфиденциальность
4.10.1 Личность участников схемы тестирования квалификации должна быть конфиденциальной и
известна только
лицам, участвующим в функционировании схемы тестирования квалификации, если только участник
не отказывается
от конфиденциальности.
4.10.2 Вся информация, предоставленная участником поставщику тестирования квалификации, должна
рассматриваться как
конфиденциальная.
ПРИМЕЧАНИЕ Участники могут отказаться от конфиденциальности в рамках схемы тестирования квалификации в
целях
обсуждения и взаимной помощи, например, для повышения производительности. Участник также может отказаться от
конфиденциальности
в целях регулирования или признания. В большинстве случаев результаты проверки квалификации могут быть
предоставлены соответствующим
органам самими участниками.
4.10.3 Когда заинтересованная сторона требует, чтобы результаты тестирования квалификации были
предоставлены непосредственно
поставщиком тестирования квалификации, участники должны быть проинформированы о
договоренности до
участия.
4.10.4 В исключительных случаях, когда регулирующий орган требует, чтобы результаты тестирования
квалификации были
напрямую предоставлены органу поставщиком тестирования квалификации, затронутые участники
должны быть уведомлены
об этом действии в письменной форме.
5 Требования к управлению
5.1 Организация
5.1.1 Поставщик тестирования квалификации или организация, частью которой он является, должны
быть юридическими лицами, которые
могут быть идентифицированы и подотчетны.
5.1.2 Поставщик тестирования квалификации несет ответственность за проведение своих операций по
тестированию квалификации
таким образом, чтобы соответствовать требованиям настоящего Международного стандарта и
удовлетворять потребности
участников, регулирующих органов и организаций, обеспечивающих признание.
5.1.3 Система управления должна охватывать работу, выполняемую на постоянных объектах
поставщика тестирования квалификации
, в местах, удаленных от его постоянных объектов, и в связанных с ними временных объектах.
5.1.4 Если поставщик тестирования квалификации является частью организации, выполняющей другие
виды деятельности, тогда
поставщик тестирования квалификации должен определить обязанности ключевого персонала в
организации, который имеет
ISO/IEC 17043: 2010(E)
 
  16 / 39 
участие в мероприятиях по проверке квалификации или может повлиять на них с целью выявления
потенциальных конфликтов
интересов. В тех случаях, когда выявляются потенциальные конфликты интересов, должны быть
внедрены процедуры, гарантирующие, что вся
деятельность поставщика тестирования квалификации проводится беспристрастно.
5.1.5 Поставщик тестирования квалификации должен:
а) иметь управленческий и технический персонал, который, независимо от других обязанностей,
обладает полномочиями
и ресурсами, необходимыми для выполнения своих обязанностей, включая внедрение, обслуживание и
совершенствование системы управления, а также для выявления случаев отклонений от системы
управления или процедурдля предоставления схем проверки квалификации и для инициирования
действий по предотвращению или минимизации таких отклонений;
b) иметь меры для обеспечения того, чтобы его руководство и персонал были свободны от любых
ненадлежащих внутренних или
внешнее коммерческое, финансовое и иное давление, которое может отрицательно сказаться на
качестве их работы;
c) иметь политику и процедуры для обеспечения защиты конфиденциальной информации и прав
собственности своих участников
, включая процедуры их защиты при электронном хранении и передаче;
d) иметь политику и процедуры, позволяющие избегать участия в какой-либо деятельностиэто может
снизить уверенность в его
компетентности, беспристрастности, суждениях или добросовестности;
e) определить организационную и управленческую структуру, ее место в любой головной организации
и
взаимоотношения между управлением качеством, техническими операциями и вспомогательными
службами;
f) определить ответственность, полномочия, взаимосвязи и требуемую компетентность всего
персонала, который
управляет, выполняет или проверяет работу, влияющую на качество функционирования схем проверки
квалификации;
g) обеспечить, чтобы персонал осознавал актуальность и важность своей деятельностии как они
способствуют достижению целей системы управления;
h) обеспечить надлежащий надзор за техническим персоналом, включая стажеров, со стороны лиц,
знакомых с процедурами
каждый вид деятельности;
i) иметь техническое руководство, которое несет общую ответственность за технические операции и
предоставление
ресурсов, необходимых для обеспечения требуемого качества схем проверки квалификации, включая
доступ к
необходимым техническим знаниям и опыту в соответствующей области тестирования, калибровки
или инспекции,
а также к статистике, как указанов 4.4.1.4;
j) назначить сотрудника менеджером по качеству (поименованного соответствующим образом),
который, независимо от других обязанностей
и обязанности, должен иметь определенную ответственность и полномочия для обеспечения
постоянного внедрения и соблюдения системы менеджмента; менеджер по качеству должен иметь
прямой доступ к
высшему уровню управления, на котором принимаются решения о политике или ресурсах поставщика
тестирования квалификации
;и
k) назначать заместителей для ключевого управленческого персонала.
ОБРАТИТЕ ВНИМАНИЕ, что в тех случаях, когда поставщики тестирования квалификации имеют небольшое
количество персонала, отдельные лица могут выполнять более одной
функции, и может быть непрактично назначать заместителей для всех основных функций.
5.1.6 Высшее руководство должно обеспечить, чтобы в организации были установлены
соответствующие процессы коммуникации
и чтобы осуществлялась коммуникация относительно эффективности системы управления.
5.2 Система управления
5.2.1 Поставщик тестирования квалификации должен создать, внедрить и поддерживать систему
управления
, соответствующую сфере его деятельности, включая тип, диапазон и объем тестирования
квалификации, которое он предоставляет.
5.2.2 Поставщик тестирования квалификации должен определить и задокументировать свои политики,
программы, процедуры и
инструкции в объеме, необходимом для обеспечения качества всех аспектов тестирования
квалификации. Система
ISO/IEC 17043: 2010(E)
 
  17 / 39 
документация должна быть доведена до сведения, понятна, доступна и внедрена соответствующим
персоналом.
ПРИМЕЧАНИЕ Эти аспекты включают, но не ограничиваются ими, качество предметов для проверки квалификации
(например, однородность и стабильность),
характеристику (например, калибровку оборудования и валидацию метода), присвоение значений свойств (например,
использование соответствующих
статистических процедур), оценку работы участников, распределение предметов для проверки квалификации,
процедуры хранения и транспортировки
, статистическая обработка результатов испытаний и составление отчетов.
5.2.3 Политика системы менеджмента поставщика тестирования квалификации, связанная с качеством,
включая
заявление о политике в области качества, должна быть определена в руководстве по качеству
(названном соответствующим образом). Общие цели должны быть
установлены и проанализированы в ходе управленческого анализа. Заявление о политике в области
качества должно быть выпущено с
разрешения высшего руководства. Он должен включать, по крайней мере, следующее:
а) приверженность руководства качеству своих услуг по тестированию квалификации для участников и
других
клиентов;
b) заявление руководства о стандарте обслуживания;
c) цель системы менеджмента, связанная с качеством;
d) требование, чтобы весь персонал, связанный с деятельностью по проверке квалификации,
ознакомился
с документацией по качеству и внедрил политики и процедуры в свою работу; и
e) обязательство руководствасоблюдать этот Международный стандарт и постоянно повышать
эффективность системы менеджмента.
5.2.4 Высшее руководство должно предоставить доказательства приверженности разработке и
внедрению
системы управления и постоянному повышению ее эффективности.
5.2.5 Высшее руководство должно информировать организацию о важности выполнения
требований клиентов, а также законодательных и нормативных требований.
5.2.6 Руководство по качеству должно включать или содержать ссылки на вспомогательные
процедуры, включая технические
процедуры. В нем должна быть изложена структура документации, используемой в системе
управления.
5.2.7 Роли и обязанности технического руководства и менеджера по качеству, включая их
ответственность за обеспечение соответствия настоящему Международному стандарту, должны быть
определены в руководстве по качеству.
5.2.8 Высшее руководство должно гарантировать, что целостность системы управления
поддерживается при
планировании и внедрении изменений в систему управления.
5.3 Контроль документов
5.3.1 Общие
положения Поставщик тестирования квалификации должен установить и поддерживать процедуры для
контроля всех документов, составляющих
часть его системы управления (созданных внутри компании или из внешних источников), таких как
правила,
стандарты, другие нормативные документы, протоколы схемы тестирования квалификации, методы
испытаний или калибровки или методы
испытаний и калибровки, а такжеа также чертежи, спецификации программного обеспечения,
инструкции и руководства.
5.3.2 Утверждение и выпуск документов
5.3.2.1 Все документы, выпущенные в рамках системы управления, должны быть рассмотрены и
одобрены для использования
уполномоченным персоналом перед выпуском. Для
предотвращения использования недействительных или устаревших документов или и того, и другого
должна быть установлена и легко доступна основная процедура контроля документов или
эквивалентная процедура, определяющая текущий статус пересмотра и распределение документов в
системе управления
.
ISO/IEC 17043: 2010(E)
 
  18 / 39 
5.3.2.2 Принятые процедуры должны также гарантировать, что:
а) авторизованные издания соответствующих документов доступны во всех местах, где проводятся
мероприятия, необходимые для
эффективного функционирования схем проверки квалификации;
б) документы периодически пересматриваются и обновляются, по мере необходимости, для
обеспечения постоянной пригодности и
соответствия применимым требованиям;
в) недействительныили устаревшие документы незамедлительно удаляются со всех пунктов выдачи
или использования или иным образом гарантируются
от непреднамеренного использования; и
d) устаревшие документы, сохраненные для юридических целей или для сохранения знаний,
соответствующим образом помечены.
5.3.2.3 Документы системы управления, созданные поставщиком тестирования квалификации, должны
быть однозначно
идентифицированы. Такая идентификация должна включать дату выпуска или идентификацию
редакции, или и то, и другое, нумерацию страниц,
общее количество страниц или отметку, обозначающую конец документа, и орган/органы, выдавшие
документ.
5.3.3 Изменения в документах
5.3.3.1 Изменения в документах должны быть рассмотрены и утверждены той же службой, которая
выполняла
первоначальную проверку и утверждение, если специально не указано иное. Назначенный персонал
должен иметь
доступ к соответствующей справочной информации, на основе которой он может проводить обзор и
утверждение.
5.3.3.2 Там, где это практически возможно, измененный или новый текст должен быть указан в
документе или соответствующих
приложениях.
5.3.3.3 Если система контроля документов поставщика проверки квалификации допускает внесение
изменений
в документы вручную, до переоформления документов, должны быть определены процедуры и
полномочия для внесения таких изменений
. Поправки должны быть четко обозначены, парафированы и датированы. Пересмотренный документ
должен быть
выпущен как можно скорее.
5.3.3.4 Должны быть установлены процедуры для описания того, как вносятся и контролируются
изменения в документах, поддерживаемых в
компьютеризированных системах.
5.4 Рассмотрение заявок, тендерных заявок и контрактов
5.4.1 Поставщик тестирования квалификации должен установить и поддерживать политику и
процедуры для рассмотрения
запросов, тендерных заявок и контрактов. Эти проверки должны гарантировать, что:
а) требования, в том числе требования к методам испытаний и калибровки, измерительному
оборудованию и
используемым элементам проверки квалификации, надлежащим образом определены,
задокументированы и понятны;
б) поставщик тестирования квалификации имеет возможности и ресурсы для выполнения требований;
и
в) схема тестирования квалификацииявляется технически целесообразным.
ПРИМЕЧАНИЕ 1 Этот обзор особенно важен, когда клиент запрашивает схему тестирования квалификации, которая
должна быть создана для
конкретной цели или для уровня или частоты участия, отличных от обычно предлагаемых.
ПРИМЕЧАНИЕ 2 Этот обзор может быть упрощен, если схема проверки квалификации полностью описана в каталоге
или другом уведомлении,
и участник регистрируется для обычной отправки.
5.4.2 Записи таких проверок, включая любые изменения, должны вестись. Также должны
вестись записи соответствующих обсуждений с заказчиком, касающихся требований заказчика, или
результатов
работы в период исполнения контракта, или того и другого.
5.4.3 Проверка должна охватывать все аспекты запроса, включая любую работу, выполняемую по
субподряду
поставщиком тестирования квалификации.
ISO/IEC 17043: 2010(E)
 
  19 / 39 
5.4.4 Участники и другие клиенты, в зависимости от обстоятельств, должны быть проинформированы о
любых отклонениях в
контракте или согласованной схеме тестирования квалификации.
5.4.5 Если в запрос или контракт вносятся изменения после запуска схемы проверки квалификации, тот
же процесс проверки
должен быть повторен, и любые изменения должны быть доведены до сведения всего затронутого
персонала.
5.5 Субподрядные услуги
5.5.1 Когда поставщик тестирования квалификации выполняет работу по субподряду, поставщик
тестирования квалификации должен
продемонстрировать, что опыт и техническая компетентность субподрядчиков достаточны для
выполнения возложенных на них задач
и что они соответствуют соответствующим положениям настоящего Международного стандарта и
другим соответствующим стандартам.
5.5.2 Поставщик тестирования квалификации не должен заключать субподряд на планирование схемы
тестирования квалификации (см.
4.4.1.2), оценку производительности (см. 4.7.2.1) или утверждение окончательного отчета (см. 4.8.1).
ОБРАТИТЕ внимание, что Это не исключает возможности использования поставщиком тестирования квалификации
рекомендаций или помощи каких-либо консультантов,
экспертов или руководящей группы.
5.5.3 Поставщик тестирования квалификации должен заранее и в письменной форме информировать
участников об услугах, которые
предоставляются или могут предоставляться по субподряду.
ПРИМЕЧАНИЕ. Это уведомление может, например, иметь форму заявления в документации схемы тестирования
квалификации
, например, следующего: “Различные аспекты схемы тестирования квалификации могут время от времени передаваться
на субподряд. Когда происходит субподряд, он передается компетентному субподрядчику, и
поставщик тестирования квалификации несет ответственность за эту работу ”.
5.5.4 Поставщик тестирования квалификации несет ответственность перед участниками и другими
заказчиками за работу
субподрядчика, за исключением случая, когда регулирующий орган определяет, какого субподрядчика
следует
использовать.
5.5.5 Поставщик тестирования квалификации должен вести реестр всех субподрядчиков, используемых
в работе
схем тестирования квалификации, включая объем субподряда и запись оценки компетентности
в соответствии с соответствующими частями настоящего Международного стандарта и другими
соответствующими стандартами для рассматриваемой работы
.
5.6 Закупка услуг и расходных материалов
5.6.1 Поставщик тестирования квалификации должен иметь политику и процедуры для выбора услуг и
материалов, которые он использует и которые влияют на качество его схем тестирования
квалификации. Должны существовать процедуры
закупки, приема и хранения реагентов, средств проверки квалификации, стандартных образцов и
других
расходных материалов, имеющих отношение к схемам проверки квалификации.
5.6.2 Поставщик тестирования квалификации должен гарантировать, что приобретенные расходные
материалы, оборудование и расходные
материалы, которые влияют на качество схем тестирования квалификации, не используются до тех пор,
пока они не будут проверены или
иным образом проверены на соответствие спецификациям или требованиям. Должны вестись записи
действий, предпринятых для проверки
соответствия.
5.6.3 Документы о закупках товаров, влияющих на качество схем тестирования квалификации, должны
содержать данные
, описывающие заказанные услуги и материалы. Эти документы о закупках должны быть рассмотрены
и одобрены
на предмет технического содержания перед выпуском.
5.6.4 Поставщик тестирования квалификации должен оценивать поставщиков критически важных
материалов и услуг, которые влияют
на качество схем тестирования квалификации. Поставщик тестирования квалификации должен вести
записи об этих
оценках и перечислять тех поставщиков, которые одобрены.
ПРИМЕЧАНИЕ Понятно, что некоторые поставщики тестирования квалификации могут быть обязаны осуществлять
свои
процедуры закупок в соответствии с политиками, определенными их материнской компанией или принимающей
организацией.
ISO/IEC 17043: 2010(E)
 
  20 / 39 
5.7 Обслуживание клиента
5.7.1 Поставщик тестирования квалификации должен быть готов сотрудничать с участниками и
другими клиентами в
разъяснении запросов клиентов и в мониторинге эффективности поставщика тестирования
квалификации в отношении выполняемой
работы, при условии, что поставщик тестирования квалификации гарантирует конфиденциальность
своим участникам.
5.7.2 Поставщик тестирования квалификации должен запрашивать отзывы, как положительные, так и
отрицательные, у своих клиентов.
Обратная связь должна использоваться и анализироваться для улучшения системы управления, схем
тестирования квалификации
и обслуживания клиентов.
ПРИМЕЧАНИЕ Примеры типов обратной связи включают опросы удовлетворенности клиентов и просмотр отчетов о
тестировании квалификации
с клиентами.
5.8 Жалобы и апелляции
Поставщик тестирования квалификации должен иметь политику и следовать процедуре разрешения
жалоб и
обращений, полученных от участников, клиентов или других сторон. Должны вестись записи всех
жалоб,
апелляций, расследований и корректирующих действий, предпринятых поставщиком тестирования
квалификации.
5.9 Контроль несоответствующей работы
5.9.1 Поставщик тестирования квалификации должен иметь политику и процедуры, которые должны
применяться, когда
какой-либо аспект его деятельности не соответствует его собственным процедурам или согласованным
требованиям его клиентов.
Политика и процедуры должны гарантировать, что:
a) определены обязанности и полномочия по управлению несоответствующей работой
, а также определены и предприняты действия (включая приостановку работы текущих программ и
удержание отчетов, по мере необходимости)
при выявлении несоответствующей работы;
b) проводится оценка значимости несоответствующей работы;
c) решение о необходимости действий и временных масштабах принимается немедленно вместе с
любым решением о
приемлемости несоответствующей работы;
d) участники схемы тестирования квалификации и другие клиенты, в зависимости от обстоятельств,
информируются, и
несоответствующий уровень квалификациитестовые задания или отчеты, уже отправленные
участникам, отзываются или игнорируются;
и
e) определяется ответственность за санкционирование возобновления работы.
ПРИМЕЧАНИЕ Выявление несоответствующей работы или проблем с системой управления или техническими
действиями может
происходить в различных местах системы управления и технических операций. Примерами могут служить жалобы
участников,
обзоры руководства и внутренние или внешние аудиты, контроль качества, подготовка тестовых заданий, тесты на
однородность
и стабильность, анализ данных, инструкции для участников, а также обработка и хранение материалов.
5.9.2 Если оценка показывает, что несоответствующая работа может повториться или что есть
сомнения в
соответствии поставщика тестирования квалификации или субподрядчика их собственным политикам
и процедурам,
должна быть незамедлительно выполнена процедура корректирующих действий, описанная в 5.11.
5.10 Улучшение
Поставщик тестирования квалификации должен постоянно повышать эффективность своей системы
менеджмента посредством
использования политики в области качества, целей в области качества, результатов аудита, анализа
данных, корректирующих и предупреждающих
действий и анализа со стороны руководства.
ISO/IEC 17043: 2010(E)
 
  21 / 39 
5.11 Корректирующие действия
5.11.1 Общие
положения Поставщик тестирования квалификации должен установить политику и процедуры и
назначить соответствующий
персонал для осуществления корректирующих действий, когда были выявлены несоответствующие
работы или отклонения от политик и
процедур в системе управления или технических операциях.
ПРИМЕЧАНИЕ См. раздел 5.9.1, Примечание.
5.11.2 Анализ причин
Процедура корректирующих действий должна начинаться с расследования для определения основной
причины (причин)
проблемы.
ПРИМЕЧАНИЕ Анализ причин является ключевой, а иногда и самой сложной частью процедуры корректирующих
действий. Часто
первопричина не очевидна, и поэтому требуется тщательный анализ всех потенциальных причин проблемы. Возможные
причины
могут включать требования заказчика, предметы для проверки квалификации и их спецификации, методы и процедуры,
навыки
и обучение персонала, расходные материалы, подготовку предметов для проверки квалификации, тесты на
однородность и стабильность, статистический дизайн,
инструкции для участников, а также обработку и хранение материалов.
5.11.3 Выбор и реализация корректирующих действий
5.11.3.1 Там, где необходимы корректирующие действия, поставщик тестирования квалификации
должен определить потенциальные
корректирующие действия. Он должен выбрать и осуществить действие (действия), наиболее
вероятное для устранения проблемы и
предотвращения ее повторения.
5.11.3.2 Корректирующие действия должны соответствовать масштабу и риску проблемы.
5.11.3.3 Поставщик тестирования квалификации должен документировать и внедрять любые
требуемые изменения, возникающие
в результате расследования корректирующих действий.
5.11.4 Мониторинг корректирующих действий
Поставщик тестирования квалификации должен отслеживать результаты, чтобы убедиться, что
принятые корректирующие действия были
эффективными.
5.11.5 Дополнительные аудиты
В тех случаях, когда выявление несоответствующих действий или отклонений от утвержденных
процедур ставит под сомнение
соответствие поставщика тестирования квалификации его собственным политикам и процедурам или
его соответствие
настоящему Международному стандарту, поставщик тестирования квалификации должен обеспечить,
чтобы соответствующие области
деятельности были проверены в соответствии с 5.14 как можно скореенасколько это возможно.
ПРИМЕЧАНИЕ. Такие дополнительные аудиты часто следуют за выполнением корректирующих действий для
подтверждения их эффективности.
Дополнительный аудит может потребоваться только при выявлении серьезной проблемы или риска для схемы
тестирования квалификации.
5.12 Превентивные действия
5.12.1 Должны быть определены области для улучшений и потенциальные источники
несоответствующей работы, либо технической, либо касающейся
системы управления. Когда выявляются возможности для улучшения или если требуются
превентивные
действия, должны быть разработаны, внедрены и проверены планы действий, чтобы уменьшить
вероятность
такой несоответствующей работы и воспользоваться возможностями для улучшения.
5.12.2 Любая процедура превентивных действий должна включать инициирование таких действий и
применение
мер контроля для обеспечения их эффективности.
ISO/IEC 17043: 2010(E)
 
  22 / 39 
5.13 Контроль записей
5.13.1 Общие
положения 5.13.1.1 Поставщик тестирования квалификации должен установить и поддерживать
процедуры идентификации,
сбора, индексирования, доступа, регистрации, хранения, обслуживания и удаления записей. Отчеты о
качестве должны включать
отчеты о внутренних аудитах и обзорах со стороны руководства, а также записи о корректирующих и
предупреждающих действиях.
5.13.1.2 Все записи должны быть разборчивыми и должны храниться и сохраняться таким образом,
чтобы их можно было легко
извлечь в помещениях, обеспечивающих подходящие условия для предотвращения повреждения или
порчи и предотвращения
потери. Должны быть установлены сроки хранения записей.
Записи ЗАМЕТОК могут быть в форме любого типа носителей, таких как печатные копии или электронные носители.
5.13.1.3 Все записи должны храниться надежно и конфиденциально в соответствии с
соответствующими нормативными
требованиями.
5.13.1.4 Поставщик тестирования квалификации должен следовать процедурам защиты и резервного
копирования записей, хранящихся
в электронном виде, и предотвращения несанкционированного доступа или изменения этих записей.
5.13.2 Технические записи
5.13.2.1 Поставщик тестирования квалификации должен хранить записи всех технических данных,
относящихся к каждому
раунду тестирования квалификации, в течение определенного периода, включая, но не обязательно
ограничиваясь:
а) результатами тестирования однородности и стабильности;
б) инструкциями для участников;
в) оригинальными ответами участников;
г) сопоставленными даннымидля статистического анализа;
e) информация, необходимая для отчетов (см. 4.8); и
f) окончательные отчеты (сводные или индивидуальные, или оба).
ПРИМЕЧАНИЕ 1 Рекомендуется сохранять достаточную информацию для создания контрольного журнала для
обработки результатов
раундов тестирования квалификации.
ПРИМЕЧАНИЕ 2 Технические записи представляют собой совокупность данных и информации, которые являются
результатом выполнения всех
действий по проверке квалификации. Они могут включать формы, контракты, рабочие листы, рабочие книги,
контрольные листы, рабочие заметки,
отчеты субподрядчиков и отзывы участников.
5.13.2.2 Ввод данных, проверка и вычисления должны регистрироваться во время их выполнения и
должны быть
идентифицированы для конкретной задачи и для ответственного персонала.
5.13.2.3 При возникновении ошибок в записях и внесении изменений должны быть предприняты
действия, чтобы:
а) идентифицировать изменение и дату изменения;
б) избежать потери исходных данных; и
в) идентифицировать лицо, вносящее изменения.
5.14 Внутренние аудиты
5.14.1 Поставщик тестирования квалификации должен периодически проводить внутренние аудиты
своей деятельности и в
соответствии с заранее определенным графиком и процедурой, чтобы убедиться, что его деятельность
продолжает
ISO/IEC 17043: 2010(E)
 
  23 / 39 
соблюдать требования системы менеджмента и настоящего Международного стандарта. Программа
внутреннего аудита
должна охватывать все элементы системы управления, включая технические процедуры и
подготовку, хранение и распределение предметов для проверки квалификации, а также действия по
отчетности для функционирования
схемы проверки квалификации. Менеджер по качеству несет ответственность за планирование и
организацию аудитов в
соответствии с графиком и запросом руководства. Внутренние аудиты должны проводиться
обученным и
квалифицированным персоналом, который, когда позволяют ресурсы, независим от проверяемой
деятельности.
ПРИМЕЧАНИЕ Рекомендуется, чтобы программа внутреннего аудита системы управления завершалась каждые
12 месяцев.
5.14.2 Когда результаты аудита ставят под сомнение эффективность операций, в том числе
пригодность и
правильность элементов проверки квалификации, процедур, статистических оценок и представления
данных,
поставщик тестирования квалификации должен предпринять своевременные корректирующие
действия и уведомить своих клиентов или участников, или обоих, в
схемах тестирования квалификации, деятельность которых могла бытьпораженный.
5.14.3 Область проверяемой деятельности, результаты аудита и любые корректирующие действия,
которые вытекают из них, должны быть
зарегистрированы.
5.14.4 Последующие аудиторские мероприятия должны проверять и регистрировать выполнение и
эффективность любых
предпринятых корректирующих действий.
5.15 Обзоры руководства
5.15.1 В соответствии с заранее определенным графиком и процедурой высшее
руководство поставщика услуг по тестированию квалификации должно периодически проводить обзор
системы управления поставщика
услуг по тестированию квалификации и деятельности по тестированию квалификации, чтобы
обеспечить их постоянную пригодность и эффективность и внести
любые необходимые изменения или улучшения. Проверка должна учитывать:
а) пригодность политик и процедур;
б) отчеты руководства и надзорного персонала;
в) результаты недавних внутренних аудитов;
d) корректирующие и предупреждающие действия;
e) оценки со стороны внешних органов;
f) изменения в объеме и типе работы;
g) отзывы клиентов, консультативной группы или участников;
h) жалобы и апелляции;
i) рекомендации по улучшению; и
j) другие соответствующие факторы, такие как ресурсы и обучение персонала.
ПРИМЕЧАНИЕ 1 Типичный период для проведения управленческой проверки составляет один раз в 12 месяцев.
ПРИМЕЧАНИЕ 2 Результаты могут быть введены в систему планирования поставщика услуг тестирования
квалификации и могут включать цели и
планы действий.
ПРИМЕЧАНИЕ 3 Обзор руководства включает рассмотрение смежных вопросов на регулярных совещаниях
руководства.
ПРИМЕЧАНИЕ 4 В тех случаях, когда поставщик тестирования квалификации является частью более крупной
организации, может быть целесообразно провести отдельное
обзорное совещание для обсуждения мероприятий по тестированию квалификации.
5.15.2 Выводы, полученные в результате проверок со стороны руководства, и действия, которые
вытекают из них, должны быть зарегистрированы.
Руководство должно обеспечить, чтобы эти действия были выполнены в надлежащие и согласованные
сроки.
ISO/IEC 17043: 2010(E)
 
  24 / 39 
Приложение А
(информативный)
Типы схем проверки квалификации
A.1 Общие положения
Проверка квалификации стала важным аспектом лабораторной практики во всех областях
тестирования, калибровки
и контроля. Схемы тестирования квалификации различаются в зависимости от потребностей сектора, в
котором они используются,
характера заданий для проверки квалификации, используемых методов и количества
участников. Однако в своей
простейшей форме большинство схем тестирования квалификации обладают общей особенностью
сравнения результатов
, полученных одной лабораторией, с результатами, полученными одной или несколькими различными
лабораториями.
Характер теста или измерения, выполняемого в схемах проверки квалификации, определяет метод
сравнения результатов. Существует три основных типа лабораторных исследований: количественные,
качественные и
интерпретирующие.
Результаты количественного измерения являются числовыми и представлены в интервальной или
относительной шкале.
Тесты для количественного измерения могут различаться по своей точности, достоверности,
аналитической чувствительности и
специфичности. В схемах количественного тестирования квалификации численные результаты обычно
анализируются статистически.
Результаты качественных тестов носят описательный характер и представлены в категориальной или
порядковой шкале, например, идентификация
микроорганизмов, или путем идентификации присутствия конкретной измеряемой величины
(например, лекарственного средства или
градации характеристики). Оценка производительности с помощью статистического анализа может не
подходить для
качественных исследований.
В интерпретирующих тестах “элемент проверки квалификации” представляет собой результат теста
(например, описание морфологии),
набор данных (например, для определения калибровочной линии) или другой набор информации
(например, тематическое исследование),
касающееся интерпретационной особенности компетентности участника.
Другие схемы проверки квалификации имеют дополнительные функции в зависимости от их цели, как
указано в
определении 3.7, Примечание 1, a) - h). Некоторые общие области применения этих типов проверки
квалификации обсуждаются
ниже и проиллюстрированы на рисунке A.1. Эти схемы могут быть “одноразовыми” и выполняться
один раз или
“непрерывными” и выполняться через регулярные промежутки времени.
A.2 Схемы последовательного участия
Схемы последовательного участия (иногда называемые схемами сравнения измерений) предполагают
, что тестовый материал передается последовательно от одного участника к другому (т.е.
последовательное
участие) или иногда передается обратно поставщику тестирования квалификации для
перепроверки. Модель 1 на
рисунке A.1 дает краткое описание этого типа конструкции, и ключевые особенности, как правило,
описываются
ниже.
a) Эталонная лаборатория, способная обеспечить метрологически отслеживаемое заданное значение с
используется достаточно малая погрешность измерения и надежность для элемента проверки
квалификации. Для
категориальных или порядковых свойств присвоенное значение должно определяться консенсусом
экспертов или
другого авторитетного источника. Может быть необходимо, чтобы элемент проверки квалификации
проверялся на определенных
этапах в ходе проведения схемы проверки квалификации, чтобы убедиться, что в присвоенном
значении нет существенных
изменений.
b) Индивидуальные результаты измерений сравниваются с присвоенным значением, установленным
референтной
лабораторией. Координатор должен учитывать заявленную погрешность измерения каждого
ISO/IEC 17043: 2010(E)
 
  25 / 39 
участник или заявленный уровень знаний. Может быть трудно сравнивать результаты на групповой
основе, поскольку
может быть относительно мало участников, обладающих возможностями измерения, которые близко
соответствуют друг другу.
c) Схемы, включающие последовательное участие, требуют времени (в некоторых случаях годы) для
завершения. Это вызывает
ряд трудностей, таких как
��обеспечение стабильности товара,
��строгий контроль за оборотом среди участников и время, отведенное для измерения с помощью
отдельных участников и
 необходимость предоставления отзывов об индивидуальной работе во время реализации схемы, а
не ждать, пока она завершится.
d) Предметы для проверки квалификации (измерительные артефакты), используемые в этом типе
проверки квалификации, могут включать,
например, эталонные эталоны (например, резисторы, микрометры и счетчики частоты) или, в
медицинских программах, гистологические слайды с подтвержденными диагнозами.
e) Схемы, которые следуют этой схеме, но ограничены ситуациями, когда один участник тестируется
независимо, часто называются “аудитом измерений”.
f) В некоторых ситуациях присвоенное значение для элемента проверки квалификации может быть
определено консенсусом после
того, как все участники (или, в некоторых ситуациях, подмножество участников) завершат
сравнение измерений.
A.3 Схемы одновременного участия
A.3.1 Общие положения
Схемы тестирования квалификации с одновременным участием обычно включают случайно
выбранные подвыборки из
источника материала, которые одновременно распространяются среди участников для параллельного
тестирования. В некоторых схемах
участники должны брать образцы, которые затем рассматриваются как элементы проверки
квалификации для
анализа. После завершения тестирования результаты возвращаются поставщику тестирования
квалификации и
сравниваются с присвоенными значениями, чтобы дать представление об эффективности отдельных
участников и
группы в целом. Примерами предметов для проверки квалификации, используемых в этом типе схемы,
являются продукты питания, жидкости организма,
сельскохозяйственные продукты, вода, почвы, минералы и другие материалы окружающей среды. В
некоторых случаях распространяются отдельные
части ранее установленных справочных материалов. Рекомендации или образовательные комментарии
, как правило, являются частью отчета, возвращаемого участникам поставщиком тестирования
квалификации с целью содействия
повышению производительности. Модель 2 на рисунке A.1 представляет типичные схемы проверки
квалификации такого типа,
обычно для испытательных лабораторий. В модели 3 представлен тип схемы, который часто
используется в сочетании со
схемами одновременного тестирования квалификации в надзорных или образовательных целях.
Как обсуждается в приложении B, присвоенные значения для этих схем проверки квалификации могут
быть определены
различными способами. Однако либо оценки эффективности основаны на консенсусных значениях
участников
(всех участников или подгруппы “экспертов”), либо оценки могут быть основаны на независимо
определенных
присвоенных значениях.
Схемы с известными значениями используют присвоенные значения, которые определяются
независимо от участников и включают
в себя подготовку тестовых заданий с рядом известных значений или характеристик.
В этих схемах также могут использоваться сертифицированные эталонные материалы, поскольку их
сертифицированная стоимость и погрешность измерений
могут быть использованы напрямую. Также может быть проведено прямое сравнение между тестовым
материалом и сертифицированным
эталонным материалом в условиях повторяемости. Однако следует позаботиться о том, чтобы
сертифицированный
справочный материал очень близок к предмету для проверки квалификации.
В этом типе схемы могут использоваться тестовые задания из предыдущих раундов тестирования, если
предмет продемонстрировал стабильность.
Одно из специальных применений тестирования квалификации, часто называемое “слепым”
тестированием квалификации, заключается в
том, что предмет для проверки квалификации неотличим от обычных предметов для клиентов или
образцов, полученных лабораторией. Этот тип
проверки квалификации может быть сложным, поскольку требует согласования с обычным заказчиком
лаборатории. В дополнение,
ISO/IEC 17043: 2010(E)
 
  26 / 39 
из-за уникальных требований к упаковке и доставке массовая переработка обычно невозможна, а
проверка однородности затруднена.
A.3.2 Двухуровневые конструкции
Общей схемой тестирования квалификации является “двухуровневая” схема, при которой аналогичные
(но не идентичные) уровни
измеряемых значений включаются в два отдельных элемента теста квалификации. Эта схема
используется для оценки
точности участника на определенном уровне измеряемой величины. Это позволяет избежать проблем,
связанных с повторением
измерений в одном и том же элементе проверки квалификации или с включением двух идентичных
элементов проверки квалификации в
один и тот же раунд проверки квалификации.
A.3.3 Схемы тестирования с разделением выборки
Один особый тип дизайна тестирования квалификации, который часто используется клиентами
участников и некоторыми
регулирующими органами, - это дизайн “разделенной выборки”.
ОБРАТИТЕ внимание, что этот дизайн не следует путать с двухуровневым дизайном, который обсуждается в A.3.2.
Как правило, тестирование квалификации с разделением выборки включает в себя сравнение данных,
полученных небольшими группами
участников (часто только двумя). В этих схемах проверки квалификации образцы продукта или
материала
делятся на две или более частей, при этом каждый участник тестирует одну часть образца (см. Рисунок
A.1, модель 5).
Использование схем такого типа включает выявление низкой точности, описание постоянного
смещения и проверку
эффективности корректирующихдействия. Эта схема может быть использована для оценки одного или
обоих участников в качестве поставщиков
услуг по тестированию или в случаях, когда слишком мало участников для надлежащей оценки
результатов.
В соответствии с такими схемами можно считать, что один из участников работает на более высоком
метрологическом уровне (т.е. с
меньшей погрешностью измерений), благодаря использованию эталонной методологии и более
совершенного оборудования
и т.д., или путем подтверждения его собственной эффективности посредством удовлетворительного
участия в признанной
схеме межлабораторных сравнений. Его результаты считаются присвоенными значениями в таких
сравнениях
, и он может выступать в качестве консультативной или менторской лаборатории для других
участников, сравнивающих с ним данные с разделенной выборкой.
A.3.4 Схемы частичного процесса
Специальные виды тестирования квалификации включают оценку способностей участников выполнять
части
общего процесса тестирования или измерения. Например, некоторые существующие схемы
тестирования квалификации оценивают
способности участников преобразовывать и сообщать заданный набор данных (а не проводить
фактический тест или
измерение), делать интерпретации на основе заданного набора данных или предметов для проверки
квалификации, таких как
окрашенные пленки крови для диагностики, или брать и готовитьобразцы или образцы в соответствии
со
спецификацией.
A.4 Программы внешней оценки качества (EQA)
Программы EQA (например, для лабораторных медицинских исследований) предлагают различные
схемы межлабораторных сравнений, основанные на этой традиционной модели тестирования
квалификации, но с более широким
применением схем, описанных в A.2 и A.3 и проиллюстрированных на рисунке A.1. Многие
программы EQA
разработаны для обеспечения понимания полного путирабочего процесса лаборатории, а не только
процессов тестирования
. Большинство программ EQA представляют собой непрерывные схемы, которые включают
долгосрочное наблюдение за лабораторными
показателями. Типичной особенностью программ EQA является предоставление образования
участникам и содействие
повышению качества. Консультативные и образовательные комментарии составляют часть отчета,
возвращаемого участникам для
достижения этой цели.
Некоторые программы EQA оценивают эффективность преданалитической и постаналитической фаз
тестирования, а
также аналитической фазы. В таких программах EQA характер элемента проверки квалификации
может
значительно отличаться от того, который используется в традиционных схемах проверки
квалификации. “Элемент проверки квалификации” может быть
вопросником или тематическим исследованием (см. Рисунок А.1, модель 3) распространяется
поставщиком EQA каждому участнику для
получения конкретных ответов. В качестве альтернативы, предварительная аналитическая информация
может сопровождать тест на квалификацию,
требуя от участника выбора подходящего подхода к тестированию или интерпретации результатов, а
не только
ISO/IEC 17043: 2010(E)
 
  27 / 39 
выполните тест. В схемах “выборочного анализа” от участников может потребоваться предоставить “
пункты проверки квалификации” поставщику EQA (см. Рисунок A.1, модель 4). Это может принимать
форму обработанного образца или
образца (например, окрашенного предметного стекла или фиксированной ткани), лабораторных
данных (например, результатов испытаний, лабораторных отчетов или
отчетов о контроле / контроле качества) или документации (например, процедур или критериев
проверки метода).
 
a
 В зависимости от того, как определяется присвоенное значение, оно будет определено либо до распределения
заданий теста квалификации, либо после возврата результатов участников.
Рисунок A.1 — Примеры распространенных типов схем проверки квалификации

ISO/IEC 17043: 2010(E)

 
  28 / 39 
Приложение В
(информативный)
Статистические методы для проверки квалификации
B.1 Общие положения
Результаты проверки квалификации могут быть представлены во многих формах, охватывающих
широкий спектр типов данных и базовых
статистических распределений. Статистические методы, используемые для анализа результатов,
должны подходить для каждой
ситуации, и поэтому они слишком разнообразны, чтобы их можно было указать в этом
Международном стандарте. ISO 13528 описывает предпочтительные
конкретные методы для каждой из ситуаций, обсуждаемых ниже, но также заявляет, что могут
использоваться другие методы
, если они являются статистически достоверными и полностью описаны участникам. Некоторые
методы в
стандарте ISO 13528, особенно для испытаний на однородность и стабильность, слегка изменены в
ИЮПАК
2)

Т
ехнический
отчет “Международный гармонизированный протокол для проверки квалификации лабораторий
аналитической химии
”
[18]

. В этих документах также представлены рекомендации по проектированию и

визуальному анализу данных.
Для конкретных типов схем проверки квалификации, например, схем сравнения измерений для
калибровки, можно обратиться к другим ссылкам
.
Методы, обсуждаемые в этом приложении и в ссылочных документах, охватывают основные этапы,
общие
практически для всех схем тестирования квалификации, т.е.
а) определение присвоенного значения,
б) расчет статистики производительности
, в) оценка производительности и
г) предварительное определение однородности и стабильности элементов теста на квалификацию.
С новыми схемами тестирования квалификации первоначальное согласование результатов часто
бывает неудовлетворительным из-за новых вопросов,
новых форм, искусственных тестовых заданий, плохого согласования методов тестирования или
измерений или переменных
процедур измерения. Координаторам, возможно, придется использовать надежные показатели
относительной эффективности (например, процентили), пока
соглашение не улучшится. Статистические методы, возможно, потребуется доработать, как только
улучшится соглашение участников
и будет налажено тестирование квалификации.
В настоящем приложении не рассматриваются статистические методы для аналитических
исследований, кроме как для обработки
данных тестов квалификации. Для реализации других видов использования данных межлабораторных
сравнений
, перечисленных во Введении, могут потребоваться другие методы.
B.2 Определение присвоенного значения и его неопределенности
B.2.1 Существуют различные процедуры для установления присвоенных значений. Наиболее
распространенные
процедуры перечислены ниже в порядке, который в большинстве случаев приведет к увеличению
неопределенности для
присвоенного значения. Эти процедуры включают в себя использование:
а) известных значений – с результатами, определяемыми конкретным составом тестируемого продукта
(например, изготовлением или
разведением);
б) сертифицированных эталонных значений – как определено окончательными методами испытаний
или измерений (для количественных
тестов);
2) Международный союз теоретической и прикладной химии.
ISO/IEC 17043: 2010(E)
 
  29 / 39 
c) эталонные значения – как определено анализом, измерением или сравнением предмета проверки
квалификации
с эталонным материалом или стандартом, прослеживаемым до национального или международного
стандарта;
d) согласованные значения от участников–экспертов - эксперты (которые в некоторых ситуациях могут
быть эталонными
лабораториями) должны обладать очевидной компетентностью вопределение измеряемой величины
(измеряемых величин) с
использованием проверенных методов, которые, как известно, являются высокоточными и
сопоставимыми с общепринятыми методами;
e) согласованные значения от участников – с использованием статистических методов, описанных в
стандарте ISO 13528 и
Международном гармонизированном протоколе IUPAC, и с учетом влияния выбросов.
B.2.2 Присвоенные значения должны быть определены для справедливой оценки участников, но при
этом способствовать согласию
между методами тестирования или измерения. Это достигается путем выбора общих групп сравнения
и использования общих присвоенных значений, где это возможно.
B.2.3 Процедуры определения неопределенности присвоенных значений подробно обсуждаются в
стандарте ISO 13528
и Международном гармонизированном протоколе IUPAC для каждой используемой общей статистики
(как указано выше).
Дополнительная информация о неопределенности также представлена в Руководстве ISO/IEC 98-3.
B.2.4 Статистические методы определения присвоенного значения для качественных данных (также
называемых “категориальными” или
“номинальными” значениями) или полуколичественных значений (также называемых “порядковыми”
значениями) не обсуждаются в стандарте ISO 13528 или
Международном гармонизированном протоколе IUPAC. Как правило, эти присвоенные значения
должны определяться
экспертным заключением или изготовлением. В некоторых случаях поставщик услуг по тестированию
квалификации может использовать консенсусное значение,
определенное по соглашению заранее определенного процента большинства ответов (например, 80%
или более). Однако
используемый процент должен определяться на основе целей схемы тестирования квалификации и
уровня компетентности и опыта участников.
B.2.5 Выбросы обрабатываются статистически, как описано ниже.
a) Очевидные ошибки, такие как неверные единицы измерения, ошибки с десятичной запятой и
результаты для другого
элемента теста квалификации, должны быть удалены из набора данных и обработаны отдельно. Эти
результаты
не должны подвергаться дополнительным тестам или надежным статистическим методам.
b) Когда результаты участников используются для определения присвоенных значений, должны
использоваться статистические методы, чтобы свести
к минимуму влияние выбросов. Это может быть достигнуто с помощью надежных статистических
методов или путем
удаления выбросов перед вычислением. В более крупных или рутинных схемах проверки
квалификации может быть возможно
иметь автоматические экраны выбросов, если это оправдано объективными доказательствами
эффективности.
c) Если результаты удаляются как выбросы, они должны быть удалены только для вычисления сводной
статистики.
Эти результаты по-прежнему должны оцениваться в рамках схемы тестирования квалификации и
получать соответствующую
оценку эффективности.
ПРИМЕЧАНИЕ ISO 13528 описывает конкретный надежный метод определения согласованного среднего и
стандартного
отклонения без необходимости удаления выбросов.
B.2.6 Ниже излагаются другие соображения.
а) В идеале, если присвоенные значения определяются консенсусом участников, поставщик
тестирования квалификации
должен иметь процедуру для установления достоверности присвоенных значений и для проверки
распределения данных.
б) Поставщик тестирования квалификации должен иметь критерии приемлемости присвоенного
значения с точки зрения
его неопределенности. В стандарте ISO 13528 и в Международном гармонизированном протоколе
IUPAC предусмотрены критерии
, основанные на цели ограничения влияния неопределенности в присвоенном значении на оценку, т.е.
критерии ограничивают вероятность того, что участник получит неприемлемую оценку из-за
неопределенности в присвоенном значении.
ISO/IEC 17043: 2010(E)
 
  30 / 39 
B.3 Расчет статистических данных о производительности
B.3.1 Производительность для количественных результатов
B.3.1.1 Результаты тестов квалификации часто нуждаются в преобразовании в статистику
производительности, чтобы облегчить
интерпретацию и позволить сравнение с определенными целями. Цель состоит в том, чтобы измерить
отклонение от
заданного значения таким образом, чтобы можно было сравнить с критериями
производительности. Статистические методы могут
варьироваться от не требующей обработки до сложных статистических преобразований.
B.3.1.2 Статистика результатов должна быть значимой для участников. Следовательно, статистические
данные должны
соответствовать соответствующим тестам и быть хорошо понятными или традиционными в
конкретной области.
B.3.1.3 Обычно используемые статистические данные для количественных результатов перечислены
ниже в порядке возрастания степени
трансформации результатов участников.
a) Разница, D, вычисляется с использованием уравнения (B.1):
 

 
 
 

ISO/IEC 17043: 2010(E)

 
  31 / 39 
 
 
B.3.2 Производительность для получения качественных и полуколичественных
результатов
B.3.2.1 Для получения качественных или полуколичественных результатов, если используются
статистические методы, они должны
соответствовать характеру ответов. Для качественных данных (также называемых “категориальными”
данными)
подходящим методом является сравнение результата участника с присвоенным значением. Если они
идентичны, то
производительность приемлема. Если они не идентичны, то требуется экспертное заключение, чтобы
определить, подходит ли результат
для его предполагаемого использования. В некоторых ситуациях поставщик тестирования
квалификации может просмотреть результаты
участников и определить, что элемент тестирования квалификации не подходит для оценки или что
присвоенное
значение неверно. Эти определения должны быть частью плана схемы и должны быть поняты
участниками до начала работы схемы.
B.3.2.2 Для полуколичественных результатов (также называемых “порядковыми” результатами)
подходят методы, используемые для получения качественных
данных (B.3.2.1). Порядковые результаты включают, например, такие ответы, как оценки или рейтинги,

ISO/IEC 17043: 2010(E)

 
  32 / 39 

ISO/IEC 17043: 2010(E)

 
  33 / 39 

ISO/IEC 17043: 2010(E)

 
  34 / 39 
расширяет критерии, чтобы обеспечить статистическую проверку оценки неоднородности и
нестабильности по сравнению с тем
же критерием, рекомендованным в ISO 13528.
B.5.2 Существуют различные потребности в требованиях в Руководстве 34 ИСО и Руководстве 35
ИСО, которые предназначены для
определения эталонных значений для сертифицированных эталонных материалов, включая их
неопределенности. Руководство 35 ИСО использует
статистический анализ отклонений для оценки вариабельности “от бутылки к бутылке” и
вариабельности “внутри бутылки” (в
зависимости от обстоятельств), а затем использует эти отклонения в качестве компонентов
неопределенности присвоенного значения.
Учитывая необходимость точной оценки компонентов для сертифицированных эталонных материалов,
количество случайно
выбранных образцов может превышать количество, необходимое для проверки квалификации, где
основной целью является проверка на
наличие неожиданных несоответствий в партиях изготовленных образцов для проверки квалификации.
B.5.3 Стабильность обычно проверяется, чтобы убедиться, что измеряемые значения не изменились в
ходе
раунда. Как указано в стандарте ISO 13528, Международном гармонизированном протоколе IUPAC и
Руководстве ISO 35,
тестовые задания должны тестироваться в различных условиях, которые возникают при нормальной
работе
схемы тестирования квалификации, например, условия доставки и обработки при распределении среди
участников.
Критерий приемлемой нестабильности такой же, как и критерий неоднородности в ISO 13528, хотя
обычно с меньшим количеством испытаний или измерений.
ISO/IEC 17043: 2010(E)
 
  35 / 39 
Приложение С
(информативный)
Выбор и использование тестирования квалификации
C.1 Общие положения
Это приложение устанавливает принципы выбора и использования схем тестирования квалификации
участниками и
другими заинтересованными сторонами. Это приложение также предназначено для содействия
согласованному использованию
схем тестирования квалификации заинтересованными сторонами (например, органами по
аккредитации, регулирующими органами или клиентами участника).
Поскольку результаты схем тестирования квалификации могут быть использованы при оценке работы
участника,
важно, чтобы как заинтересованные стороны, так и участники были уверены в разработке и
функционировании схем тестирования квалификации.
Также важно, чтобы участники имели четкое представление о политике заинтересованных сторон в
отношении
участия в таких схемах тестирования квалификации, критерии, которые они используют для оценки
успешной работы в
схемах тестирования квалификации, а также их политики и процедуры для отслеживания любых
неудовлетворительных результатов
раунда тестирования квалификации. Однако, помимо конкретных требований регулирующих органов,
ответственность за выбор подходящей схемы тестирования квалификации и
правильную оценку своих результатов лежит на самих участниках.
Однако следует признать, что заинтересованные стороны также принимают во внимание пригодность
тестовых данных,
полученных в результате деятельности, отличной от схем тестирования квалификации, включая,
например, результаты
собственных внутренних процедур контроля качества участников с контрольными образцами,
сравнение с данными раздельных выборок от других
участников и результаты испытаний сертифицированныхсправочные материалы. Следовательно, при
выборе
схемы тестирования квалификации участник должен учитывать другие действия по контролю качества,
которые
доступны или уже были выполнены.
C.2 Выбор схем проверки квалификации
C.2.1 Лабораториям (и другим типам участников) необходимо выбрать схемы проверки квалификации,
которые
соответствуют их сфере тестирования или области калибровки. Выбранные схемы проверки
квалификации должны
соответствовать требованиям настоящего Международного стандарта.
C.2.2 При выборе схемы проверки квалификации следует учитывать следующие факторы:
a) используемые тесты, измерения или калибровки должны соответствовать типам тестов, измерений
или
калибровок, выполняемых участником;
b) доступность для заинтересованных сторон подробных сведений о конструкции схемы, процедурах
установленияприсвоенные
значения, инструкции для участников, статистическая обработка данных и итоговый сводный отчет;
c) периодичность, с которой используется схема тестирования квалификации;
d) соответствие организационной логистики схеме тестирования квалификации (например, сроки,
местоположение,
соображения стабильности выборки, механизмы распределения), относящиеся к группе участников,
предложенных
для схемы тестирования квалификации;
e) соответствие критериев приемлемости (т.е. для оценки успешной работы в тесте квалификации);
f) затраты;
ISO/IEC 17043: 2010(E)
 
  36 / 39 
g) политика поставщика тестирования квалификации в отношении сохранения конфиденциальности
участников;
h) сроки представления результатов и анализа данных о производительности;
i) характеристики, которые вселяют уверенность в пригодности элементов тестирования квалификации
(например, однородность,
стабильность и, при необходимости, метрологическая прослеживаемость до национального или
международногостандарты);
j) его соответствие настоящему Международному стандарту.
ПРИМЕЧАНИЕ Некоторые схемы тестирования квалификации могут включать тесты, которые не совсем совпадают с
тестами, выполняемыми
участником (например, использование другого национального стандарта для того же определения), но все же
технически
может быть оправдано участие в схеме тестирования квалификации, если обработка данных позволяет учитыватьлюбые
существенные различия в методологии тестирования или других факторах.
C.3 Политика в отношении участия в программах проверки квалификации
C.3.1 Если это уместно, заинтересованные стороны должны задокументировать свою политику участия
в
схемах тестирования квалификации; такая документированная политика должна быть общедоступной
для лабораторий и других заинтересованных сторон.
C.3.2 Вопросы, которые следует учитывать в политике участия для конкретных схем тестирования
квалификации,
включают:
a) является ли участие в конкретных схемах тестирования квалификации обязательным или
добровольным;
b) частота участия;
c) критерии, используемые заинтересованной стороной для оценки удовлетворительной или
неудовлетворительной работы;
d) являются ли участникиможет потребоваться участие в последующих схемах тестирования
квалификации, если
производительность оценивается как неудовлетворительная;
e) как результаты тестирования квалификации будут использоваться при оценке производительности и
последующих
решения;
f) детали политики заинтересованной стороны в отношении сохранения конфиденциальности
участников.
C.4 Использование участниками тестирования квалификации
C.4.1 Участники должны сделать свои собственные выводы о своей работе на основе оценки
организации и разработки схемы тестирования квалификации. Обзоры должны учитывать связь между
схемой тестирования квалификации и потребностями клиентов участника. Информация, которая
должна быть принята
во внимание, включает:
а) происхождение и характер предметов для проверки квалификации;
б) используемые методы тестирования и измерения и, по возможности, присвоенные значения для
конкретных методов тестирования или
измерения
; в) организацию схемы проверки квалификации (e.g. статистический дизайн, количество повторов,
измеряемые значения, способ выполнения);
d) критерии, используемые поставщиком тестирования квалификации для оценки результатов
участников;
e) любые соответствующие нормативные, аккредитационные или другие требования.
C.4.2 Участники должны вести свои собственные записи о результатах тестирования квалификации,
включая
результаты расследований любых неудовлетворительных результатов и любых последующих
корректирующих или предупреждающих действий.
ISO/IEC 17043: 2010(E)
 
  37 / 39 
C.5 Использование результатов заинтересованными сторонами
C.5.1 Органы по аккредитации
C.5.1.1 Требования к органу по аккредитации в отношении использования проверки квалификации
указаны
в ISO/IEC 17011:2004, 7.15.
ПРИМЕЧАНИЕ. Дальнейшие правила проверки квалификации, касающиеся соответствия органов по аккредитации
требованиям для
членства в соглашении о взаимном признании ILAC, указаны в ILAC P-9.
C.5.1.2 Результаты схем тестирования квалификации полезны как для участников, так и
для органов по аккредитации. Однако существуют ограничения на использование таких результатов
для определения компетентности. Успешное
выполнение определенной схемы тестирования квалификации может свидетельствовать о
компетентности в этом упражнении,
но может не отражать текущую компетентность. Аналогичным образом, неудачная работа в
конкретной
схеме тестирования квалификации может отражать случайное отклонение участника от нормального
уровня компетентности. Именно по этим
причинам проверка квалификации не должна быть единственным инструментом, используемым
органами по аккредитации в их
процессах аккредитации.
C.5.1.3 Для участников, сообщающих о неудовлетворительных результатах, органы по аккредитации
должны иметь политику, чтобы
a) гарантировать, что участники исследуют и комментируют свои результаты в согласованные сроки,
и принимают соответствующие корректирующие меры,
b) (при необходимости) обеспечить, чтобы участники проходили любое последующее тестирование
квалификации, чтобыподтвердите
, что любые корректирующие действия, предпринятые ими, являются эффективными, и
c) (при необходимости) убедитесь, что оценка участников на месте проводится соответствующими
техническими
экспертами для подтверждения эффективности корректирующих действий.
C.5.1.4 Органы по аккредитации должны информировать свои аккредитованные органы о возможных
последствиях
неудовлетворительной работы в схеме тестирования квалификации. Они могут варьироваться от
продолжения аккредитации
при условии успешного внимания к корректирующим действиям в согласованные сроки, временной
приостановки
аккредитации для соответствующих тестов (при условии корректирующих действий), вплоть до отзыва
аккредитации для
соответствующих тестов.
ПРИМЕЧАНИЕ Вообще говоря, варианты, выбранные органом по аккредитации, будут зависеть от истории результатов
участника с течением времени и от самых последних оценок на месте.
C.5.1.5 Органы по аккредитации должны иметь политику обратной связи с аккредитованными
органами, касающуюся
действий, предпринятых на основе результатов схем тестирования квалификации, особенно в случае
неудовлетворительной работы.
C.5.2 Другие заинтересованные стороны
C.5.2.1 Участникам, возможно, потребуется продемонстрировать свою компетентность другим
заинтересованным сторонам, таким как
заказчики или в рамках контракта на субподряд. Результаты тестирования квалификации, а также
другие мероприятия по контролю качества
могут быть использованы для демонстрации компетентности, хотя это не должно быть единственным
видом деятельности.
ПРИМЕЧАНИЕ Данные проверки квалификации, используемые для подтверждения заявлений о компетентности,
обычно используются организациями в
сочетании с другими доказательствами, такими как аккредитация. См. С.5.1.2.
C.5.2.2 Участники несут ответственность за обеспечение того, чтобы они предоставили всю
необходимую
информацию заинтересованным сторонам, желающим оценить участников на предмет их
компетентности.
C.6 Использование тестирования квалификации регулирующими органами
C.6.1 Результаты схем тестирования квалификации полезны для регулирующих органов, которым
необходимо оценить
работу участников, подпадающих под действие правил.
ISO/IEC 17043: 2010(E)
 
  38 / 39 
C.6.2 Если система проверки квалификации управляется регулирующим органом, она должна
управляться в
соответствии с требованиями настоящего Международного стандарта.
C.6.3 Регулирующим органам, которые используют независимых поставщиков услуг по тестированию
квалификации, следует
a) получить документальные доказательства того, что схемы тестирования квалификации
соответствуют требованиям настоящего
Международного стандарта, прежде чем признавать схему тестирования квалификации, и
b) обсудить с участниками объем и рабочие параметры схемы тестирования квалификации,
чтобы участники"производительность может быть оценена адекватно в соответствии с правилами.
ISO/IEC 17043: 2010(E)
 
  39 / 39 
Библиография
[1] Руководство ИСО/МЭК 98-3 "Неопределенность измерений" — Часть 3: Руководство по
выражению неопределенности в
измерениях
(GUM: 1995)
[2] ISO/ IEC 17011: 2004, Оценка соответствия — Общие требования к органам по аккредитации,
осуществляющим аккредитацию органов
по оценке соответствия
[3] ISO/IEC 17025, Общие требования к компетентности испытательных и калибровочных
лабораторий
[4] ISO 3534-1, Статистика — Словарь и символы — Часть 1:Общие статистические термины и
термины, используемые
в вероятности
[5] ISO
5725-1, Точность (достоверность и точность) методов и результатов измерений — Часть 1:
Общие принципы и определения[6] ISO 5725-2, Точность (достоверность и точность) методов и
результатов измерений — Часть 2: Основные

метод определения повторяемости и воспроизводимости стандартного метода измерения  [7] ISO

5725-4, Точность (достоверность и точность) методов и результатов измерений — Часть 4:
Основные
методы определения достоверности стандартного метода измерения [8] ISO 13528: 2005,
Статистические методы для использования впроверка квалификации путем межлабораторных
сравнений
[9] ISO 15189, Медицинские лаборатории — особые требования к качеству и компетентности
[10] Руководство 34 ISO, Общие требования к компетентности производителей стандартных
образцов
[11] Руководство 35 ISO, Справочные материалы — Общие и статистические принципы
сертификации
[12] ISO/TS 21748, Руководство по использованию оценок повторяемости, воспроизводимости и
достоверности при оценке неопределенности измерений[13] EN 14136,
Использование схем внешней оценки
качества при оценке эффективности
процедур диагностического исследования
in vitro[14] ASTME1301-95, Стандартное руководство по проверке квалификации путем
межлабораторных сравнений
[15] Стандарты для схем EQA в лабораторной медицине. Версия 4.02, декабрь 2004 года.
Аккредитация клинической патологии (Великобритания) Ltd. Шеффилд, Великобритания
[16] Национальные профессиональные стандарты для внешней оценки качества, от HCS-EQA1 до HCS-
EQA12.
Рамки компетенции для науки о здравоохранении. (
www.skillsforhealth.org.uk/
)
[17] Руководство EURACHEM / CITAC CG4, Количественная оценка неопределенности в
аналитических измерениях, 2
найти
издание 2000 года
[18] Т
ХОМПСОН
М., Е
ЛЛИСОН
S.L.R., В
УД
 R., “Международный гармонизированный протокол для
проверки квалификации
лабораторий аналитической химии” (Технический отчет IUPAC), в области чистой и прикладной
химии,
том 78, № 1, стр. 145-196, 2006
[19] ILAC P-9: 2005, Политика ILAC в отношении участия в национальных и международных
мероприятиях по проверке квалификации
[20] ILAC P-10: 2002, Политика ILAC в отношении прослеживаемости результатов измерений 
Оригинал
ISO/IEC17043