В работе приведено описание разработанной экспертной системы оценки качества педагогических тестов. Описана схема взаимодействия модулей разработанного программного продукта. Приведены графические примеры реализации экспертной системы.
Ключевые слова:экспертная система, ItemResponseTheory, модель Г. Раша, модель А. Бирнбаума, педагогические тесты, оценка качества теста.
В настоящее время, благодаря современному уровню продвижения вычислительной техники и внедрению компьютеров в учебный процесс становится возможной автоматизация тестового контроля. В связи с тем, что тестирование становится неотъемлемой частью процесса обучения, особенно важным является грамотное составление тестовых заданий.
В основе теории Item Response Theory (IRT) лежит предположение о наличии вероятностной связи между результатами, наблюдаемыми при тестировании и латентными характеристиками испытуемого и заданий теста, которую можно записать в виде:
,
где 
— элемент матрицы ответов, который равен 1, если ответ 
-го испытуемого на 
–е задание верный, 0 — в противном случае; 
— значение параметра уровня подготовленности -го испытуемого, 
; 
— значение параметра трудности –го задания, 
; 
— логистическая функция, зависящая от выбранной модели IRT [3,4]: однопараметрическая модель Г. Раша, двухпараметрическая модель А. Бирнбаума, трехпараметрическая модель А. Бирнбаума.
Исходными данными для моделей IRT являются результаты тестирования испытуемых, представленные бинарной матрицей ответов (эмпирические данные):
,
где 
— количество участников тестирования; 
— количество заданий в тесте.
Проведенный анализ существующего программного обеспечения для решения задачи поиска параметров моделей IRT, позволил выявить следующие недостатки: интерфейс данных приложений ориентирован на опытного пользователя-специалиста в области теории IRT; все рассмотренные приложения являются локальными.
Для программной реализации web-ориентированной экспертной системы оценки качества педагогических тестов выбрана однопараметрическая модель Г. Раша, так как данная модель не требует больших вычислительных затрат [1, 2], что является актуальным для web-приложений. Экспертная система оценки качества педагогических тестов позволяет:
- загружать результаты теста в виде текстового файла;
- получать из базы данных результаты проведенного тестирования;
- получать уровни подготовленности обучаемых и уровни сложности заданий;
- получать оценку качества педагогического теста;
- получать рекомендации по улучшению качества педагогического теста;
- сформировать отчет в формате.docx по результатам анализа педагогического теста.
В процессе разработки экспертной системы использовался пакет программ: Apache+SSL, PHP5, MySQL5. Для отображения и построения графиков использовалась библиотека Highcharts 4 [5]. Для генерации отчета использовалась библиотека PHPWord.
На рисунке 1 представлена схема взаимодействия модулей экспертной системы.
Рис. 1. Схема взаимодействия модулей
Экспертная система состоит из следующих модулей:
- модуль загрузки входных данных;
- модуль «База данных»;
- модуль «Расчет первичных данных»;
- модуль «Расчет предварительных уровней подготовленности обучаемых и уровней сложности заданий»;
- модуль «Шкала с единым отсчетом»;
- модуль «Выравнивание масштаба шкал»;
- модуль «Визуализация графиков»;
- модуль «Формирование отчета».
Использование данной экспертной системы позволяет преподавателю, не имеющему специальных знаний в области тестологии, оценить качество своего теста и получить рекомендации по его улучшению.
Пользовательское меню разработанной экспертной системы (рис. 2) предоставляет возможность видеть результаты проведенного тестирования, получать характеристики теста, оценить его качество и получить рекомендации по улучшению.
Рис. 2. Пользовательский интерфейс web — ориентированной системы
При нажатии кнопки «Получить первичные баллы» в окно браузера выводятся первичные баллы обучаемых и тестовых заданий. Кнопка «Получить параметры теста» предназначена для вывода уровней подготовленности обучаемых и уровней сложности заданий теста.
При нажатии кнопки «Построить график» в окно браузера выводятся критерии оценки качества теста (рис. 3). Реализовано построение графиков информационной функции и ошибки измерения теста.
Рис. 3. Оценка качества педагогического теста
При переходе в раздел рекомендаций по нажатию соответствующей кнопки в главном меню выводятся рекомендации по улучшению качества педагогического теста (рис. 4).
Рис. 4. Рекомендации по улучшению качества педагогического теста
Выполнение рекомендаций экспертной системы позволяет повысить качество педагогического теста на основе модели Item Response Theory. Направлением дальнейших исследований является расширение экспертной системы возможностью работы с моделью А. Бирнбаума, учитывающей дифференцирующую способность тестовых заданий.
Литература:
1. Сухушин, А. С. Экспертная система для выработки рекомендаций по улучшению качества педагогических и психологических тестов // Вестник Томского государственного педагогического университета. 2009. № 2. С. 88–9.
2. Рыбанов А. А., Самодьянова А. С. Решение задачи поиска параметров модели Г. Раша в среде MathCad // Информатика и информационные технологии в образовании, науке и производстве: сборник научных статей. Ч. I. — Издательство Нобель Пресс. 2014. С. 148–152.
3. Гедранович А.Б, Гедранович В. В. Оценка учебных достижений студентов с помощью тестов // Управление в социальных и экономических системах: материалы ХX междунар. науч.-практ. конф., Минск, 20 мая 2011 г. — Минск: Изд-во МИУ, 2011. С. 232–234.
4. Гедранович А.Б, Гедранович В. В. Методика оценки качества тестовых заданий // Инновационные образовательные технологии. 2011. № 2(26) С. 19–25.
5. Библиотека Highcharts 4. URL: www.highcharts.com.
