В статье представлен опыт, подходы и механизмы реализации автоматизированной процедуры контроля качества знаний учащихся на примере разработки системы тестирования для учебного заведения.
Ключевые слова: контроль знаний, система автоматизированного тестирования, форма тестового задания, тесты с открытыми и закрытыми ключами.
Контроль знаний учащихся является неотъемлемой частью любого учебного процесса. Существует достаточно большое количество форм и методов контроля, у каждого из которых имеется своя методика проведения, достоинства и недостатки, а следовательно и область определения (применения). В данной статье хотелось бы остановиться на достаточно распространенной и весьма востребованной сегодня форме контроля знаний — тестовой форме контроля и проблемах связанных с внедрением в практику учебного процесса автоматизированных систем тестирования, позволяющих в той или иной мере проводить объективную и по возможности адекватную оценку знаний учащихся.
О системах тестирования сказано немало, как их сторонниками, так и противниками. В целом проблематика рассматриваемой темы затрагивает несколько основных аспектов:
- Качество и валидность тестовых заданий;
- Качество и адекватность тестовой оценки знаний учащихся;
- Качество и необходимость статистического учета результатов тестирования.
В контексте данной статьи в основном речь будет идти о втором аспекте проблемы, а если говорить более предметно, то о той ее части, которая связана с внедрением информационных технологий в теорию и практику тестирования. Может быть несколько целей такого внедрения, но основная цель заключается именно в автоматизации корректной и адекватной оценки уровня знаний учащихся.
В соответствии с этим автоматизированные системы тестирования следует рассматривать, прежде всего, как инструментарий, позволяющий максимально возможно освободить преподавателя от рутины связанной с проверкой текущих и в некоторой степени рубежных срезов знаний учащихся без потери качества и адекватности контроля. Не вызывает сомнения необходимость и актуальность данного направления исследований. Это направление исследований связанное с разработкой инструментария по автоматизированному проведению тестовой формы контроля знаний имеет свои цели, задачи и проблемы связанные с их реализацией, особенность которых следует искать в призме такого понятия как технологичность [1].
Технологичность, является одним из современных требований к тестовым заданиям. «Под технологичностью можно понимать такую компоновку заданий, которая позволяет весь процесс тестирования, или его большую часть, вести с помощью технических средств, точно, быстро, экономично и объективно. … Задания становятся технологичными, если их содержание точно и быстро понимается испытуемыми, и если форма заданий способствует процессу компьютеризации тестирования. Именно использование автоматизированного обучения и контроля на основе достижений новой педагогики, педагогических измерений, психологии и компьютерной техники, взятое в разумном соотношении, образует основу того, что сейчас называют педагогической технологией».
Исходя из данного определения технологичности видно, насколько важным становится такое понятие как форма задания. Именно форма задания на сегодняшний момент времени определяет возможность или невозможность внедрения автоматизации процедуры контроля. И, таким образом, именно форма тестовых заданий является тем узким местом, которое не позволяет внедрить в практику автоматизированного тестирования некоторые весьма эффективные и показательные в плане оценки знаний формы тестирования. Для иллюстрации сути проблемы рассмотрим наиболее известные формы тестовых заданий с точки зрения возможности их компьютерной реализации, тем более что в соответствии с требованиями министерства образования Республики Казахстан: «Измерители знаний обучающихся разрабатываются высшими учебными заведениями в различных видах: … тесты (открытые, закрытые, комбинированные, на соответствие … и др.)». И для адекватной оценки уровня знаний обучающихся необходимо их рациональное сочетание, которого нет на сегодняшний момент времени в подавляющем большинстве автоматизированных систем тестирования [2]. Причина этого явления кроется именно в проблемах связанных с компьютерной реализацией различных форм тестового материала.
В качестве наиболее удобной с точки зрения автоматизации и, исходя из этого, наиболее распространенной формой компьютерного тестирования являются форма тестирования с закрытой формой тестового задания. Это задания с выбором одного, правильного или наиболее правильного ответа и задания с выбором нескольких правильных ответов. Данная форма тестирования проста с точки зрения ее компьютерной реализации по причине того, что можно однозначно «обозначить» машине правильный или правильные ответы и ограничить выбор испытуемого набором возможных альтернативных вариантов. Таким образом, с точки зрения компьютерной реализации данная форма тестовых заданий никаких проблем не вызывает ни в плане представления тестового материала, ни в плане компьютерной оценки ответа испытуемого. Кроме этого, эффективность данной формы тестирования с точки зрения качества контроля знаний испытуемого существенно увеличивается за счет оптимального сочетания автоматизации процедуры тестирования с так называемой фасетной формой записи тестового материала. Данное сочетание позволяет в одном «информационном блоке» сконцентрировать сразу достаточно большое количество тестовых заданий закрытой формы и таким образом существенно увеличить функциональную нагрузку на каждое тестовое задание. Однако, не все так идеально, следует отметить и тот факт, что данная форма тестирования обладает и рядом существенных недостатков, основным из которых является возможность подбора правильного ответа методом простой подстановки. Это обстоятельство не позволяет применять данную форму тестирования для решения достаточно большой части тестовых заданий в области математики, физики и других дисциплин. Наиболее распространенный способ нейтрализации этого недостатка заключается в увеличении количества альтернативных ответов и ограничении времени тестирования. Не смотря на этот недостаток, тестовые задания с закрытой формой на сегодняшний день занимают, безусловно лидирующие позиции в автоматизированных системах тестирования.
Альтернативной формой тестов, с точки зрения компьютеризации процесса тестирования являются тестовые задания с открытой формой тестового ответа. В заданиях такого рода нет «жесткого списка» альтернативных вариантов ответа — испытуемый сам должен дать правильный ответ, и этот ответ должен свидетельствовать о качестве его знаний. Таким образом, нейтрализуется основной недостаток тестовых заданий закрытой формы. Следует отметить, что задания такого рода имеют свою специфику, и обычно формулируются в виде утверждений. К таким заданиям предъявляются свои специфические требования, как в части постановки вопроса, так и в части логической определенности содержания самого задания, но мы в рамках данной работы, прежде всего, остановимся на проблемах связанных с процедурой автоматизации.
Основной проблемой автоматизации процедуры тестирования заданий с открытой формой ответа является его эксклюзивность. Безусловно, правильный ответ предсказуем, однако возникают проблемы орфографии, окончаний и т.д. Часть проблем, можно решить технологически на стадии формирования тестового задания, применяя правила постановки вопроса. Однако, используя эти правила, мы с одной стороны увеличиваем надежность и адекватность системы тестирования, а с другой эти же правила существенно ограничивают область задач, которые можно было бы использовать в качестве тестового материала [3]. Например, рассмотрим следующее тестовое задание открытой формы:
Луч, делящий угол пополам называют ____________. Ожидаемым ответом данного задания является «биссектрисой». Однако тестируемый кроме орфографической ошибки в ответе (бисиктриса, бесектриса и т.д.) вполне может сделать ошибку и в окончании — например вместо «биссектрисой» он может ответить «биссектриса».
Как оценить такой ответ? В устном изложении он бы вполне мог считаться правильным. Как научить машину не обращать внимание на орфографию, ведь вся система машинной идентификации правильного ответа построена на точном совпадении с правильным ответом. Кроме того, большое количество определений (утверждений) состоит из сочетания двух, трех слов, что существенно усложняет задачу из-за увеличения вероятности ошибки учащегося. Список примеров такого рода достаточно велик, однако проблема на поверхности — это проблема, связанная с неумением машины идентифицировать правильность ответа, несколько отличающегося от эталонного значения в связи с причинами указанными выше, но правильного по существу.
Основная идея, связанная с решением данной проблемы, заключается в использовании алгоритма, суть которого заключатся в предварительном анализе ответа и замене его некой аббревиатурой. Используя эту идею можно автоматизировать решение некоторых математических задач — появляется возможность включать в систему автоматизированного тестирования решение уравнений типа:
Рис. 1. Решение уравнений
Или задачи связанные с решением неравенств типа:
Рис. 2. Решение неравенств
Значок «~» на рисунке имитирует символ «∞»
Как видно из приведенных иллюстраций (Рис. 1,2) идея применения алгоритма достаточно эффективно справляется с оценкой тестовых задач такого рода. Внедрение таких задач в практику автоматизированных систем тестирования позволит улучшить не только качество и объективность тестирования, но и усилит адекватность оценки знаний учащихся. Усиление адекватности возможно не только за счет ввода в систему тестирования более сложных задач, но и за счет усиления защищенности тестового материала от подбора правильного ответа в случае применения тестов с зарытой формой ответа. Ведь в форме с открытым ключом испытуемый не может подобрать правильный ответ он вынужден решить задачу и написать его в поле «Ответ учащегося».
Безусловно, что предложенный в данной статье алгоритм решения проблемы идентификации ответа испытуемого на тестовые задания открытой формы не идеален. Однако по мере внедрения в практику контроля знаний учащихся автоматизированных систем тестирования неуклонно будет возрастать значимость методического, алгоритмического и программного обеспечения способного корректно проверять задания открытой формы — необходимы свежие идеи в данном направлении исследований.
Литература:
- Аванесов В.С. Форма тестовых заданий.- Учебная книга. 3 изд., доп. М.: Центр тестирования.- 2005г. — 155с.
- Каюкова И.В. Методика оценки и прогнозирования уровня формируемых компетенций // Вестник Саратовского государственного социально-экономического университета. — 2012. -№ 4. — С. 148-151.
- Ткаченко, К.А. Измерение знаний в системах управления образовательным процессом / К.А. Ткаченко // Известия Юго-Западного государственного университета. -2013. -№ 3.-С.59-63.
