Ученые записки Крымского федерального университета имени В. И.

Вернадского
Социология. Педагогика. Психология. Том 5 (71). 2019. № 3. С. 32–40.

УДК 378: 004

ВОЗМОЖНОСТИ ОБЪЕКТИВНОЙ ОЦЕНКИ ЗНАНИЙ ОБУЧАЕМОГО

Апатова Н.В., Гапонов А.И.
Крымский федеральный университет им. В. И. Вернадского, Симферополь, Республика Крым,
Российская Федерация
E-mail: apatova@list.ru; bal8996@mail.ru

В статье рассматривается возможность определения уровня освоения обучаемыми изучаемой темы на

основании пяти факторов усвоения знаний: 1. Понимание (П); 2. Узнавание (У); 3. Воспроизведение
(В); 4. Применение (Пр); 5. Творчество (Т). При этом расчёты выполняются посредством совместного
использования в упрощенном виде Метода анализа иерархий и теории нечетких множеств

Ключевые слова: Факторы освоения знаний, анализ иерархий, нечеткие множества.

ВВЕДЕНИЕ
Обеспечение качества диагностики уровня освоения знаний обучаемыми
образовательных организаций основана на адекватном, обоснованном, приемлемом
и доступном математическом аппарате. Адекватность и обоснованность
математического аппарата позволяет существенно уменьшить влияние
субъективного фактора на оценку освоения знаний и свести к минимуму
возражения о его применении. С другой стороны, приемлемость дает возможность
пользоваться в качестве диагностики конкретной рассматриваемой ситуации с
учетом только ей присущих нюансов. Под доступностью же подразумевается
возможность использовать предлагаемый математический алгоритм
преподавателями, обладающими необходимым минимумом элементов
предлагаемого математического аппарата.

ИЗЛОЖЕНИЕ ОСНОВНОГО МАТЕРИАЛА

В современной педагогической литературе огромное количество трудов
посвящено вопросу оценки обучаемым осваемых знаний, подробный список
соответствующих публикаций приведен в работе в работа [1]. Не вступая в
дискуссию со множеством безусловно авторитетных источников, ограничимся
описанием возможностей для указанной цели алгоритмов Теории Нечетких
Множеств (ТНМ) и Методом Анализа Иерархий (МАИ).
Основы теории практического использования нечеткого моделирования
относятся к 1965 году и изложены американским математиком Лотфи Заде в работе
[9]. С тех пор системы, основанные на нечеткой логике, одинаково успешно
применяются как в управлении высокотехнологическими процессами, так и при
принятии сложных управленческих решений в условиях неопределенности. Причем,
весьма приблизительный обзор работ, опубликованных за последние 50 лет,
демонстрирует неубывающую эффективность использования аппарата теории
нечетких множеств в решении различных прикладных задач.

32
 Возможности объективной оценки знаний обучаемого

Очень кратко изложим основные этапы оценивания успешности обучаемым

освоения изучаемого материала, на основе алгоритма ТНМ, используя прикладной
пакет Fuzzy Logic Toolbox программной среды MATLAB [5].
Пусть необходимо оценить уровень освоения изучаемой обучаемым темы на
основании пяти факторов усвоения знаний: 1. Понимание (П); 2. Узнавание (У);
3. Воспроизведение (В); 4. Применение (Пр); 5. Творчество (Т). [4, 6].
Алгоритм оценки выглядит следующим образом [5]:
1. Присваиваем оцениваемым объектам, представляющие входные
лингвистические переменные имена, например, «Понимание (П)».
2. Область определения, входных лингвистических переменных,
формирующих итоговую оценку – выходную лингвистическую переменную (ИО),
разбиваем на несколько составляющих, которые называются «лингвистическими
термами» и присваиваем им соответствующие имена. Такую же процедуру
выполняем и для выходной лингвистической переменной ИО. Например, такие
лингвистические термы могут иметь имена «Неудовлетворительно (Н)»,
«Удовлетворительно «(У)», «Хорошо (Х)», «Отлично (О)».
Теперь каждая лингвистическая переменная имеет четыре значения (оценки)
– лингвистических терма. В свою очередь «лингвистический терм» – это нечеткое
множество, в котором определена так называемая функция принадлежности  х  ,
ставящая в соответствие каждому элементу области определения действительное
число от 0 до 1. Поставим в соответствие лингвистическим термам входных и
выходной переменным треугольные функции принадлежности, определяющие
степень принадлежности численного значения переменной лингвистическому терму
или степень истинности принадлежности этого значения соответствующему терму
[5]. Аналитическое выражение для такой функции имеет следующий вид:
0, x  a;
x a
 , a  x  b;
b  a
 trimf ( x , a , b, c )  
 с  x , b  x  c;
c  b
0, x  c

Где a, c – абсциссы концов основания треугольника, b – абсцисса его
вершины. На рисунке 1 представлен график треугольной функции принадлежности
 Апатова Н.В., Гапонов А.И.

Рис.1. График треугольной функции принадлежности

Численное значение функции принадлежности определяет, насколько

рассматриваемое значение лингвистического терма соответствует определяющему
его понятию (фактору) и, как отмечено выше, может иметь оценки «отлично» (О),
«хорошо (Х), «удовлетворительно» (У), «неудовлетворительно» (Н). А именно:
пусть имя лингвистической переменной «Понимание» с областью определения [0;
9] (границы отрезка выбраны исключительно из соображений удобства). Если терм
«Понимание» оценен на 4, то он в большей степени принадлежит оценке
2
«удовлетворительно» У ( 4)  , но уже со степенью «истинности» 1/3 этот терм
3
1
можно оценить на оценку «хорошо», т.к.  Х ( 4)  .
3

Рис.2. График функции принадлежности для лингвистических

переменных
Итоговую оценку (нечеткий вывод) получаем на основании алгоритма Мамдани [5],
автоматически реализующегося в пакете Fuzzy Logic Toolbox. Нам только остается
составить базу правил вида: «ЕСЛИ «П» есть «Х», И «У» есть «Х», И «В» есть
«X», И «Пр» есть «Н», И «Т» есть «У», ТО «ИО» (итоговая оценка) есть «У»».
 Возможности объективной оценки знаний обучаемого

Визуализация нечеткого вывода, например, для условных переменных МА,

МВ, ПМ, ОР имеет следующий вид [1]:

Рис.4. Визуализация нечеткого вывода для МА = 5; МВ = 6; ПМ = 8; ОР = 1,

ИО = 3,91
Что можно оценить как «Скорее «Удовлетворительно»», но «В
определенной степени «Хорошо»».
Основные принципы Метода Анализа Иерархий (МАИ) были изложены
более двадцати лет назад в монографии американского математика Томаса Саати
[8]. С тех пор этот метод нашел самое разнообразное приложение во всевозможных
задачах принятия решений в экономике, бизнесе, политике, медицине и пр.
Математический инструмент системного подхода к сложным проблемам принятия
решений используется, начиная с выбора оптимальной стратегии планирования,
анализа рисков, распределения ресурсов, принятия кадровых решений вплоть до
оценки произведений искусства и «управления подготовкой аварийно-спасательных
формирований».
В соответствии с этим принципом нашей задачей является принятие
решения, о том, какой оценки заслуживает обучаемый за освоенный объем знаний.
Для этой оценки используются различные математические модели,
подробно описанные в работах, ссылки на которые приведены в статье [1]
В отмеченных методах оценивания в той или иной степени присутствует
субъективная составляющая эксперта (преподавателя). Не лишены этих недостатков
и рассматриваемые здесь методы. Однако при их надлежащей «настройке»
предоставляется возможность избежать чересчур «грубого» вмешательства
субъективного фактора.
Использование Метода Анализа Иерархий заключается агрегирования
балльных оценок на основании применения матрицы парных сравнений [8].
 Апатова Н.В., Гапонов А.И.

Пусть уровень освоения обучаемыми изучаемой темы оценивается на

основании вышеприведенных пяти факторов: П, У, В, Пр, Т. В общем случае
каждый из n факторов имеет определенную «ценность» – вес, значение которого
выражается положительным числом wi i  1, 2, ..., n  , и задается «экспертом». Из
чисел a ij , показывающих во сколько раз вес фактора Ai превышает вес фактора
A j , составляем матрицу парных сравнений. Эти числа определяются экспертом в
результате попарного сравнения факторов.
 a11 a12 ... a1n 
 
 a21 a22 ...a2 n 
A ,
 .......... ........ 
 a a ...a 
 n1 n 2 nn 
n
wi 1
где aij 
wj
, aij 
a ji
, aii  1, w
i 1
i  1.

Компоненты нормированного на единицу собственного вектора

w  w1, w2 ..., wn  , соответствующего максимальному собственному значению
матрицы А max , равны значениям соответствующих локальных приоритетов –
«ценности» (с точки зрения эксперта) каждого фактора.
Аналогично находятся оценки по всем факторам для каждого обучаемого,
равные компонентам нормированного вектора приоритетов oik (
i  " номер" фактора ; k  1, 2,..., m – «номер» обучаемого). Для этого эксперт
сравнивает соответствующие факторы для всех обучаемых. Соответственно мы
должны рассмотреть n квадратных матриц размерностью m m
m количество обучаемых.
n
На основании полученных данных по формуле Pk   wki oik для
i 1
обучаемого k вычисляем значения «глобальных» приоритетов факторов. Выполнив
такие вычисления для всех обучаемых, делаем вывод об уровне освоения каждым из
них изучаемого материала.
Изложение приведенных алгоритмов определения оценок хоть и обладает
достаточной эффективностью, но представляет довольно громоздкую процедуру,
тем более, для лиц, не владеющих в достаточной степени рассматриваемым здесь
специфическим математическим аппаратом.
В связи с этим, приведем предложенный в работе [7] упрощенный, но
достаточно эффективный алгоритм многокритериального анализа, основанный на
совместном использовании принципа оценок лингвистических переменных
Белмана-Заде [2] и метода парных сравнений Саати [8].
 Возможности объективной оценки знаний обучаемого

Предположим, что преподаватель затрудняется даже качественно оценить

значения факторов, но может определить преимущество рассматриваемых
обучаемых по каждому из них.
Во избежание перегруженности математическими выкладками будем
считать, что все рассматриваемые факторы имеют одинаковую важность.
Итак, на первом этапе преподаватель проводит парные сравнения
показателей факторов по девятибалльной шкале [8] (Таблица 1), и результаты
записывает в виде матриц парных сравнений
 a11
k k
a12 

Ak   k k ,
 a21 a22 
элементы которых отражают преимущество обучаемого 1 над обучаемым 2 по
факторам Ak (k = 1, 2, 3, 4, 5). Несложные вычисления позволяют найти значения
компонент собственных векторов указанных матриц:
 Ak o1   ,  Ak o2  
1 1
1  a21
k
1  a12k
Таким образом, числа  Ak oi , i  1, 2 , имеющие значения от 0 до 1 можно
рассматривать в качестве характеристики уровня освоения обучаемым изучаемой
темы по рассматриваемым факторам, равным значениям функций принадлежности
нечетких множеств, соответствующих этим факторам. При этом, чем больше числа
 Ak oi , i  1, 2 , тем выше оценка по соответствующему фактору.
Представим девятибалльную шкалу парных сравнений [8], в соответствии с
которой будем оценивать преимущество обучаемого o1 над обучаемым o2 по
рассматриваемым факторам.
Таблица 1
Шкала парных сравнений
Степень Определение
преимущества
1 Отсутствует преимущество o1 над o2 .
2 Слабое преимущество o1 над o2 .
3 Среднее преимущество o1 над o2 .
4 Преимущество o1 над o2 выше среднего.
5 Умеренно сильное преимущество o1 над o2 .
6 Сильное преимущество o1 над o2 .
7 Очень сильное преимущество o1 над o2 .
8 Почти абсолютное преимущество o1 над o2 .
9 Абсолютное преимущество o1 над o2 .
Обратные Если преимущество o1 над o2 имеет одно из
 Апатова Н.В., Гапонов А.И.

значения степени приведенных значений, то оценка преимущества o2 над o1

преимущества будет иметь обратное значение. Например, если по критерию
A2 o1 в 5 раз превосходит o2 , т.е., если a122  5 , то a21
2
1 .
5
Высказывания преподавателя относительно парных сравнений факторов,
определяющих уровень освоения обучаемыми o1 и o2 изучаемой темы,
определяемые матрицами парных сравнений, и соответствующие им значения
функций принадлежности нечетких множества приведены в таблице 2 [3].
Таблица 2
Парные сравнения факторов
Фактор Парные сравнения Значения функций
принадлежности
П Слабое преимущество o2 над o1 . П o1  =0,33
П o2  =0,67
У Преимущество o1 над o2 выше У o1  =0,8
среднего. У o2  =0,2

В Отсутствует преимущество В o1  =0,5

o1 над o2 . В o2  =0,5
Пр Почти абсолютное преимущество  Пр o1  =0,89
o1 над o2 .
 Пр o2  =0,11
Т Среднее преимущество o2 над o1 . Т o1  =0,25
Т o2  =0,75
На следующем этапе для интегральной итоговой оценки уровня освоения
обучаемыми изучаемой темы, руководствуемся принципом Беллмана-Заде [2],
согласно которому решением является результат, у которого минимальное значение
фактора (значений функций принадлежности) предложенной группы факторов
максимально среди всех минимальных значений рассматриваемых вариантов.
Таким образом, итоговое нечеткое множество определяется как результат
пересечения нечетких множеств, для каждого из обучаемых. Поскольку в теории
нечетких множеств операция пересечения соответствует минимуму функций
принадлежностей по всем факторам, то, в соответствии со значениями функций
принадлежности, приведенными в последнем столбце таблицы 2, получаем
следующие численные Итоговые Оценки освоения обучаемыми изучаемой темы:
Обучаемый 1, ИО = 0,25; обучаемый 2, ИО = 0,11.
Полученные результаты показывают, что для приведенных парных
сравнений первый обучаемый обладает более чем двукратным преимуществом в
освоении изучаемой темы.
 Возможности объективной оценки знаний обучаемого

В случае же неравновесных факторов подобная задача решается аналогично,

но с использованием коэффициентов относительной важности рассматриваемых
факторов [7].
Выводы
"Недостаток рейтинговой системы — количество очков за то или иное
учебное достижение назначается экспертным способом и может сильно
варьироваться, отражая в своей произвольности вкусы и пристрастия, сложившиеся
в разных педагогических коллективах"[4].
По нашему мнению, использованием элементов Метода Анализа Иерархий и
Нечеткой логики, этот недостаток можно если и не устранить, то, по крайней мере,
свести его влияние к минимуму.

Список литературы

1. Апатова Н.В. Оценка освоения темы «матрица» при изучении дисциплины «математика
для экономистов» с использованием теории нечетких множеств / Н. В. Апатова, А. И. Гапонов //
Проблемы современного педагогического образования. – Ялта, 2018.-59 (1) . С.47 – 56.
2. Беллман Р., Заде Д. Принятие решений в расплывчатых условиях//Вопросы анализа и
процедуры принятия ешений. М.:Мир, 1976. – 46 с.
3. Везетиу Е. В. Критерии оценки педагогического мастерства преподавателя с использованием
элементов теории нечетких множеств и парных сравнений / Е. В. Везетиу, А. И. Гапонов,
О. Ю. Смирнова // Проблемы современного педагогического образования. – Ялта, 2018.-60 (1)
С.57 – 61.
4. Евсеев, А.И. Разработка компьютерных средств обучения/ А.И.Евсеев, Е.А.Ахромушкин. –
Режим доступа:http://cnit.mpei.ac.ru/textbook/00_00_00_02.htm.
5. Леоненков А. В. Нечеткое моделирование в среде MATLAB и fuzzyTECH / А. В. Леоненков –
СПб.:БХВ. Петербург, 2015. – 736 с.
6. Подласый, И. П. Педагогика. В 2 т.: учебник для академического бакалавриата / И. П.
Подласый. — 2-е изд., перераб. и доп. — М.: Издательство Юрайт, – 2017.
7. Ротштейн А. П. Нечеткий многокритериальный анализ вариантов с применением парных
сравнений / А. П. Ротштейн, С. Д. Штовба // Известия РАН. Теория и системы управления. 2001.
№ 3. С. 150–154.].
8. Саати Т. Принятие решений. Метод анализа иерархий. / М.:«Радио и связь», 1993. – 278 с.
9. Zade L. A. Fuzzy sets. Inforvation and control / L A Zade L.A.1965. – p.338-353.

THE ABILITY TO OBJECTIVELY ASSESS KNOWLEDGE OF THE STUDENT

Apatova N.V, Gaponov A.I.

V. I.Vernadsky Crimean Federal University, Simferopol, Crimea, Russian Federation

The article discusses the possibility of determining the level of development of the students of the studied
topic on the basis of five factors of assimilation of knowledge: 1. Understanding (P); 2. Recognition (S); 3.
Reproduction (B); 4. Application (PR); 5. Creativity (T). In this case, the calculations are carried out by means
of a simplified method of analysis of hierarchies and the theory of fuzzy sets Key words: Factors of learning,
the analytic hierarchy process, fuzzy sets.

Keywords: Factors of knowledge development, analysis of hierarchies, fuzzy sets.

 Апатова Н.В., Гапонов А.И.

References

1. Apatova N. In. Evaluation of the development of the theme "matrix" in the study of the discipline "
mathematicsfor economists" using fuzzy set theory / N. V. Apatova, A. I. Gaponov / / Problems of
modern pedagogical education. - Yalta, 2018.-59 (1) . P. 47 – 56.2
2. Bellman R. Е., Zadeh L. A. Bellman R.E., Zadeh L.A. Decision-Making in Fuzzy Environment //
Management Science. vol. 17. - 1970. -- №4. - P.141 - 160.
3. Vezetiu Ye. V.Kriterii otsenki pedagogicheskogo masterstva prepodavatelya s ispol'zovaniyem
elementov teorii nechetkikh mnozhestv i parnykh sravneniy / Vezetiu Ye. V., A.I.Gaponov A. I,
Smirnova O. Yu. // Problemy sovremennogo
4. Yevseyev, A.I. Razrabotka komp'yuternykh sredstv obucheniya/ A.I.Yevseyev, Ye.A.Akhromushkin.
– Rezhim dostupa:http://cnit.mpei.ac.ru/textbook/00_00_00_02.htm.
5. Leonenkov A. V. Nechetkoye modelirovaniye v srede MATLAB i fuzzyTECH / A. V. Leonenkov –
SPb.:BKHV. Peterburg, 2015. – 736 s.
7. Rotshteyn A. P., Shtovba S. D. Nechetkiy mnogokriterial'nyy analiz variantov s primeneniyem
parnykh sravneniy // Izvestiya RAN. Teoriya i sistemy upravleniya. 2001. № 3. S. 150–154.].
8. Saaty, Thomas; Alexander, Joyce (1989). Conflict Resolution: The Analytic Hierarchy Process. New
York, New York: Praeger.
9. Zade L. A. Fuzzy sets. Inforvation and control / L A Zade L.A.1965. – p.338-353.