Анализ и сравнение методов контроля при проведении автоматизированных тестирований в России и в Казахстане



Какую бы форму обучения Вы не практиковали — очную или онлайн-обучение, периодически Вам необходимо осуществлять контроль усвоения знаний. Одним из наиболее распространенных методов контроля является тестирование — метод, состоящий в предоставлении испытуемому системы заданий, позволяющих эффективно измерить уровень и структуру его знаний.

Электронное тестирование качественно отличается от тестирования, выполняемого на бумажном носителе, благодаря:

1.Возможности мгновенной автоматической проверки и оценки заданий (с закрытым ответом).

2. Автоматическому статистическому анализу теста и его элементов.

Помимо контроля знаний, с помощью электронных тестов может быть решена задача развития того или иного умения, перехода умения в навык. Для этого можно использовать тесты-тренинги, предполагающие несколько попыток ответа на вопрос. В таких тестах можно дать возможность обучающемуся осуществлять своеобразный «поиск знаний». Делается это посредством добавления отзывов-комментариев, отображаемых после выбора варианта ответа. При этом может использоваться система начисления штрафов за каждую дополнительную попытку (вычет из итогового балла).

Обзор системы тестирования PikaTest

Обзор систем начнем с бесплатная программа для создания и проведения двухуровневых тестов с неограниченным количеством вопросов PikaTest [4]. Вопросы здесь можно формировать по типу ЕГЭ. Эта система в первую очередь интересна тем, что является системой тестирования offline, т. е. она не работает в режиме реального времени. В наше время, когда наиболее распространены онлайн системы, такое можно встретить очень редко.

Программа позволяет создавать тесты с ограничением по времени прохождения. Файлы тестов сохраняются в формате *.pikatest, который воспринимается только этой программой. Подробный отчет о тестировании сохраняется в формате *.txt и доступен для просмотра. С помощью этой программы можно создать полноценный тест, с неограниченным количеством вопросов. Тест может содержать аудио- видео- файлы, а также таблицы и изображения. Имеется возможность добавления вопроса с вариантами ответов и без них, а также указание стоимости (значимости) каждого отдельного вопроса [4]. Прохождение тестирования осуществляется по следующей схеме:

‒ настройки прохождения тестирования, здесь можно задать время прохождения теста, количество вопросов, стоимость каждого вопроса;

‒ регистрация пользователя, данный шаг является одним из методов контроля доступа пользователей к тестированию, т. е. можно задать определенный список пользователей которые будут иметь доступ к одному или другому тесту;

‒ вывод подробной статистики о результатах тестирования с детализацией до каждого вопроса, это особенно удобно для анализа результатов как преподавателю так и самому тестируемому;

‒ настройки прохождения тестирования, здесь можно задать время прохождения теста, количество вопросов, стоимость каждого вопроса;

‒ сохранение отчета о результатах тестирования, этот отчет может быть сохранен для дальнейшего анализа и сбора статистики;

‒ отправка отчета по электронной почте, что является удобной функцией для оповещения, например, родителей тестируемого о его результатах.

Основные преимущества:

‒ система является бесплатной, что является плюсом для учреждений с малым финансированием;

‒ программа легка в обращении, и не требует каких-то специальных знаний, т. е. не требуется обучение программе преподавателей и тестируемых;

‒ система независима и имеет небольшой размер (всего 1761 Kb), т. е. она проста в установке;

‒ совместима со всеми распространенными ОС.

Недостатки:

‒ отсутствие четкого разделения администратор-пользователь. Схема тестирования говорит нам о том, что даже простой пользователь может настраивать тестирование, т. е. администратор не может назначить процедуру прохождения тестирования для всех остальных пользователей;

‒ система работает в режиме offline, при этом справка по программе доступна только в интернете, т. е. чтобы прочитать справку по пользованию программой доступ в интернет все же нужен, но работает сама программа не в Интернете, в современных условиях это является большим недостатком;

‒ отсутствие множества полезных функций, среди которых мной были выявлены такие как: отсутствие множественного тестирования пользователей, составление диаграмм на основе имеющихся отчетов, составление отчетов по всем пользователям системы, отчетность по каждому пользователю системы тестирования;

‒ незащищенность данных. К данным тестирования, например вопросам или результатам без помех может обратиться любой пользователь системы, который просто прошел аутентификацию Windows.

Обзор системы тестирования UniTest.

UniTest — это комплексное программное решение для проведения компьютерного тестирования, функционально реализованное по CAM-технологии [5,с.8] (CAM — с англ. Computer-Аided Manufacturing). Первые версии программы появились еще в 2007 году.

Программа предназначена для формирования банка тестовых заданий и организации процесса проверки знаний [5,с.9]. Позволяет организовать процесс контроля знаний с помощью компьютерного тестирования в сети с использованием транспортного протокола TCP/IP, а также локального тестирования. Система UniTest программно реализована с применением технологий Microsoft.NET 3.0, уникальных алгоритмов параллельной обработки информации и передовых средств криптографической защиты [6].

Рис. 1. Схема организации работы системы UniTest

Систему UniTest можно представить в виде двух программных модулей: UniTest TUTOR и UniTest CLIENT:

1. Модуль TUTOR предоставляет возможность работы двух категорий пользователей «Администратор» и «Тьютор». Данный модуль обеспечивает работу с банками тестовых заданий. Тестовые задания в свою очередь могут включать помимо текстовой части различные мультимедиа-компоненты, например, статическую и динамическую графику, Shockwave Flash-анимацию, видео- и аудио фрагменты. Модуль TUTOR позволяет организовать хранение тестовых заданий по секциям, а также создавать любое количество сценариев тестирования, дает возможность ведения электронных журналов с результатами тестирования, обеспечивает структурирование студентов по подразделениям и учебным группам.
2. Модуль CLIENT предназначен для категории пользователей «Студент», обеспечивает доступ к готовым тестам системы UniTest и виртуальной зачетной книжки с результатами тестирования [6].

Система является бесплатной и доступна всем пользователям на официальном сайте продукта.

Основные преимущества:

‒ данная система поддерживает всех основные типы тестов, например множественные выбор, вопрос-ответ, математические задания, а также множество дополнительных типов вопросов;

‒ система имеет очень высокий уровень защиты данных (все данные шифруются с помощью BlowFish 448 бит), пользователи могут не переживать за сохранность своих данных, за потерю тестов составленных преподавателями;

‒ работа с системой тестирования UniTest комфортна и понятна простому пользователю и не требует дополнительного обучения, так как имеет удобный и интуитивно понятный интерфейс;

‒ эта система предоставляет возможность проводить тестирование как локально, так и по сети;

‒ самые полные тесты занимаю очень мало места около 500–700 Kb памяти;

‒ поддержка большого числа языков, что удобно для тестирования на иностранном языке и создания тестов.

В числе недостатков можно выделить несовместимость с последними версиями ОС (Windows 7/8/10), также высокие требования к техническим средствам на которых данная программа будет работать, соответственно ОС последних лет не поддерживается, а характеристики должны быть высокими, что в современное время кажется невозможным; назначение логина и пароля, для аутентификации преподавателей и студентов, непосредственно «Администратором» (так сказать «в ручную»), с одной стороны является достоинством так как в системе предусмотрена аутентификация, но недостаток в том что каждый студент не может сам себя зарегистрировать а это необходимо выполнять Администратору, а затем каждому пользователю раздавать их идентификационные данные, а при появлении новых пользователей без помощи Администратора невозможно добавить их в систему.

Обзор системы тестирования Moodle.

Moodle — это система управления содержимым сайта (Content Management System CMS), специально разработанная для создания онлайн-курсов преподавателями. Такие е-learning системы часто называются системами управления обучением (Learning Management Systems — LMS) или виртуальными образовательными средами (Virtual Learning Environments — VLE) [9,с.3]. Moodle написана на языке программирования PHP профессором из Австралии Мартином Дунгиамосом и переведена на несколько десятков языков и используется для обучения более чем в ста пятидесяти странах мира.

Система тестирования является лишь малой частью большой программы.

Тестирование предложено осуществлять по следующей процедуре [9, с.103]:

1. Преподаватель разрабатывает и размещает на странице своего курса тесты, указывая в их параметрах даты, когда тесты будут доступными для прохождения, время, которое отводится на выполнение одной попытки, количество попыток, предоставляемое каждому студенту и метод оценивания.
2. Преподаватель сообщает студентам о содержании теста, месте, дате и времени Тестирования.
3. После тестирования преподаватель анализирует его результат.

Moodle — это абсолютно бесплатный проект с открытым исходным кодом. Его поддержкой занимается компания-разработчик, штаб-квартира которой находится в Австралии [10].

Используя Moodle для организации электронного тестирования, мы получаем действительно мощный инструментарий для создания тестов, одновременно с хорошим анализатором качества теста и его составляющих — тестовых заданий.

Управление тестовыми вопросами в Moodle осуществляется через «Банк вопросов». Тесты могут решать задачи входного контроля, текущего, итогового контроля или это могут быть тесты-тренажёры. При этом, тестовые вопросы могут быть общими для некоторых тестов, а также выбираться случайным образом из некоторого набора вопросов — оба эти условия могут быть реализованы благодаря «Банку вопросов». Кроме того, используя «Банк вопросов» легко организовать совместную работу над созданием тестовых вопросов и быстро найти нужный вопрос для теста.

Базовая сборка Moodle включает возможность создавать следующие типы тестовых вопросов: выбор одного/нескольких из нескольких; верно/не верно; краткий открытый ответ (или «вопрос с пропуском»); числовой ответ; вычисляемый (по формуле) ответ; установление соответствия; эссе (проверяется вручную); вложенные ответы (комбинированный).

Множество плагинов для Moodle позволяют реализовать вопросы drag&drop, выбор области на изображении, открытые вопросы с механизмом проверки, использующим регулярные выражения, и другие типы вопросов.

При разработке теста в Moodle необходимо знать следующие основные возможности системы: тест может быть ограничен по времени и по числу попыток его прохождения; день и время доступности теста могут быть жестко заданы, либо тест может быть открыт всегда; порядок представления вопросов в тесте и вариантов ответов в вопросах может быть, как заданным, так и случайным; тест может быть запущен в различных режимах, например, в адаптивном режиме тестируемому предоставляется неограниченное количество попыток ответа на каждый из вопросов теста (предполагается использование подсказок), при этом за неправильные ответы могут начисляться штрафные баллы, которые вычитаются из итоговой оценки за прохождение теста; отчет о результатах теста для тестируемого может быть гибко настроен; итоговая оценка за тест складывается из баллов, полученных за каждый вопрос теста, с учетом веса вопроса. Оценка выражается в процентах (доля баллов от максимально возможного).

Завершив разработку теста, следует обязательно проверить его работу, чтобы внести возможные корректировки как в настройки теста, так и в содержание вопросов, прежде, чем тест будет пройден испытуемыми. После того, как все предварительные работы завершены, тест можно открыть.

Выводы

После проведения анализа выбранных систем, можно сделать вывод что одна из самых подходящих систем которая является модульной и достаточно функциональной выделяется система Moodle. Единственное, что необходимо учитывать, это обслуживание за отдельную плату. Но конечно необходимо понимать, что все же собственное решение, собственный программный продукт — это наилучший вариант для построения системы, которая будет соответствовать предъявляемым требованиям, как техническим, так и функциональным [10].

Таким образом, эффективная система тестирования должна обладать следующими характеристиками:

1. Возможность тестирования как локально, так и по сети;
2. Наличие системы аутентификации пользователей;
3. Использование современных криптографических средств для защиты информации;
4. Система должна быть модульной, для удобства использования;
5. Программа должна быть тесно интегрирована с АСУ учебного заведения.

Реализация последнего пункта является наиболее важной с точки зрения эффективного внедрения системы тестирования в уже существующую АСУ школы, колледжа или ВУЗа.

Литература:

1. Теория и практика дистанционного обучения: Учеб. пособие для студ. высш. пед. учебн. заведений / Е. С. Полат, М. Ю. Бухаркина, М. В. Моисеева; Под ред. Е. С. Полат // М.: Издательский центр «Академия», 2004. — 416 с.
2. Elitarium: Центр диагностического образования [электронный ресурс]. — Режим доступа: http://www.elitarium.ru
3. Википедия — свободная энциклопедия [электронный ресурс] — Режим доступа: Дистанционное_обучение
4. Сайт программы PikaTest [электронный ресурс]. — Режим доступа: http://kripexx.narod.ru/pikatest/
5. Система компьютерной проверки знаний тестированием UniTest версии 3.7.0 [Электронный ресурс]: руководство пользователя / У. Н. Янаева. — 2-е изд. — Красноярск: ИПК СФУ, 2010.
6. Сайт программы UniTest [электронный ресурс]. — Режим доступа: http://unitest.sfu-kras.ru/
7. Работа в системе дистантного обучения Moodle. Инструкция для преподавателей./ В. В. Гвоздев, В. В. Проскурин/ Тольятти, 2011. — 155 с.
8. Московский институт радиотехники, электроники и автоматики. Доклад на тему «Обзор существующих платформ и систем управления контентом в целях обеспечения учебного процесса». Докладчик: Кригоузов Илья Сергеевич. Москва, 2011г.