Ключевые слова: конструирование тестов, апробация, организация тестирования, критерии качества тестовых заданий.
Разработка заданий в тестовой форме, тестовых заданий, тестов и их применение в процессе контроля знаний, умений, способов деятельности в целях развития мотивации студентов к освоению образовательных программ, обеспечения дифференциации оценки их учебной работы, организации самостоятельной работы приобретает приоритетное направление в образовательной деятельности вуза [1].
В состав учебно-методического комплекса дисциплины «Иностранный язык» института Кибернетики Томского политехнического университета входят контрольно-измерительные материалы (комплект тестовых заданий) в форме тестов для текущего и итогового контроля усвоения обучаемыми учебного материала дисциплины с применением тетрадного тестирования. Конструирование тестов основано на разработке заданий в тестовой форме. К заданиям в тестовой форме предъявляются следующие требования [2]:
- правильность предметного содержания задания;
- логичность высказывания;
- правильность формы;
- краткость;
- правильность расположения элементов задания;
- одинаковость правил оценки ответов;
- одинаковость инструкции для всех испытуемых;
- адекватность инструкции форме и содержанию задания.
По мнению В. С. Аванесова, к самым существенным относятся требования формы и содержания [3].
Мы используем задания открытой и закрытой формы, задания с выбором одного или нескольких правильных ответов, задания на установление соответствия, а также задания на установление правильной последовательности. Короткие инструкции, общие для всех испытуемых, обычно помещаются перед заданием и по шрифтовому оформлению отличаются от содержательной основы задания и ответов к нему. Инструкции адекватны форме и содержанию задания. Перед каждой сменой формы задания пишется новая инструкция.
Задание формулируется в утвердительной, а не в вопросительной форме. Содержательную часть задания не перегружена второстепенными деталями; она включает минимум ключевых слов, необходимых для правильного понимания задания, потому что формулировки заданий должны иметь однозначное толкование.
Немаловажное значение имеет шрифтовое оформление задания. Оно должно быть таким, чтобы суть задания понималась с одного взгляда. Традиционно текст задания пишется прописными буквами, а варианты ответов — строчными.
Правила оценки выполнения каждого задания разрабатываются вместе с тестом, они всегда одинаковы для всех испытуемых. Разработанные нами задания отчасти можно считать стандартизированными на основании представленных критериев их оценки. Чаще всего, за верный ответ принято давать один балл, за неверный — ноль. В таком случае сумма всех баллов, полученных студентом, равна числу его правильных ответов. Однако, можно использовать и другие шкалы оценок. Сумма баллов ассоциируется с уровнем знаний студента. Совокупность сумм баллов испытуемых используется для установления их рейтингов, то есть порядковых номеров, показывающих сравнительную оценку достижений в рамках данной группы.
Работа по созданию теста проходит поэтапно:
- отбор учебного материала, подлежащего тестовому контролю, и его спецификация;
- определяется круг тем, включаемых в тест, и относительное количество заданий, которым должен быть представлен каждый раздел курса. Содержание программного материала дисциплины разбивается на 5–6 смысловых блоков, примерно определяется содержательный вес каждого модуля так, чтобы процентное соотношение вопросов, формируемых по каждому блоку, соответствовало весу модуля.
- создание заданий в тестовой форме по всему курсу
Чтобы создать корректный тест по дисциплине, требуется немало времени, сил и средств. Хорошо составленный тест обеспечивает широту охвата содержания предмета и проверяет глубину знаний, полученных студентами, делает процесс оценивания результатов обучения объективным и диагностичным.
Эффективность внедрения результатов теоретических исследований будет определяться как разработанностью методических положений, так и их использованием в учебном процессе. С целью совершенствования системы оценивания результатов обучения необходимо пробное тестирование, предшествующее основному. Цель апробационного тестирования — проверка функционирования разработанных заданий (анализ тестовых заданий) и всего теста в целом, исследование системообразующих свойств теста, оценивание его надежности и валидности.
Использование результатов апробации для формирования независимого, объективного представления процесса оценивания могут стать основой для принятия решений лишь в том случае, если учтены следующие моменты:
- условия проведения апробации;
- разработка правильных инструкций для проводящих апробацию;
- подготовка качественных тестовых материалов.
Однако, возможности, появляющиеся после проведения апробации, обеспечат использование и применение технологий обработки, оценивания, анализа и интерпретации результатов тестирования в качественных контрольно-измерительных материалах:
- переработка заданий по результатам апробации, в случае необходимости разработка новых заданий;
- оптимизация длины теста и времени его выполнения;
- оптимизация расположения заданий в тесте.
Несомненно, актуальным будет вопрос репрезентативности выборки, отражает ли она всю генеральную совокупность студентов.
Возможности широкомасштабной стандартизации (т. е. выполнение тестов, проверка, обработка и интерпретация их результатов проводится по единым правилам), а также экспертной апробации (одобрения теста авторитетной комиссией экспертов), несомненно, могли бы определить условия высокой эффективности применения тестовых технологий в учебном процессе.
Очевидно, при организации и проведении тестирования не должны возникать непредвиденных обстоятельств, снижающих надежность результатов выполнения тестов. Поэтому уже на этапе подготовки следует максимально стандартизовать условия, обеспечивающие единообразие процедуры тестирования, а также методов оценки их выполнения. Стандартизация процедуры тестирования требует разработки не только правильных инструкций для всех участников, выбора оптимального времени дня для проведения тестирования, создания подходящей окружающей обстановки и планирования размещения испытуемых для предотвращения списывания в процессе выполнения теста [2]. Важно продумать, как скомпоновать тестовые материалы для выдачи студентам. Следовательно, для обоснования качества тестовых материалов необходимо провести:
- комплексную независимую экспертизу тестовых заданий;
- тестологическую экспертизу тестовых заданий;
- сравнительный анализ результатов экспертиз с утверждением численных значений характеристик тестовых заданий и теста в целом.
В наше случае, качество измерительных материалов итогового контроля возможно установить путем проведения тестологической экспертизы тестовых заданий предыдущего года [4]. Анализ банка заданий для проведения итогового контроля на кафедре иностранных языков института Кибернетики Томского политехнического университета позволит провести расчет показателей качества тестовых заданий, используемых в прошлом году для проведения итогового контроля учебных достижений студентов 2 курса бакалавриата института Кибернетики. Расчет показателей качества, его надежности и стандартной ошибки измерения позволит сделать сравнительный анализ результатов с утверждением численных значений характеристик тестовых заданий, использованных в прошлом году. Математико-статистически обработанные результаты проведенного итогового контроля помогут выявить значимые расхождения, оформить рекомендации по корректировке и доработке тестовых заданий и теста в целом. В целом, эти процедуры позволят разработать в дальнейшем измерительные материалы с высокими характеристиками качества тестовых заданий.
Отметим, что репрезентативность выборки апробации является важнейшим фактором, влияющим на обоснованность интерпретации результатов тестирования и качество измерений. Говорить о высокой объективности (надежности) результатов анализа приходится с осторожностью. Вероятность получения большой ошибки измерения очевидна, т. к. представленные тестовые материалы далеки по своим показателям от требований критериев качества [5]. Но, в целом, в целях прослеживания динамики развития, проведение сравнительного исследования и использование результатов тестирования представляется возможным.
Итак, нами проведена апробация письменной части экзамена студентов института Кибернетики.
Границы апробации:
- планирование экзамена осуществлялось в минимальном объеме
- проверялся процесс проведения письменной части экзамена и соответствие тестовых заданий целям оценивания результатов обучения
Результаты апробации:
- дата проведения — 16.06.2014 г.
- место проведения — ауд.143 19 учебный корпус ТПУ
- участвовало- 75 студентов 2 курса уровня подготовки Pre-Intermediate
- время проведения (с инструктажем участников) — 55 мин.
- количество заданий в тесте 30 шт.
Итоги апробации:
- Для обеспечения контроля соблюдения процедуры проведения экзамена необходима инструктивно-методическая документация с описанием действий технического специалиста, организатора в аудитории и участником экзамена при техническом сбое в аудитории.
- Необходима техническая подготовка аудитории, что обеспечит организационно-технологическое сопровождение части «аудирование» на экзамене.
- Отсутствие инструктажа преподавателей по проверке выполненных заданий экзамена.
Во второй части статьи наглядно представлены и приведены расчеты некоторых основных характеристик тестовых заданий итогового контроля (экзамена).
Литература:
1. Тестология в России: модели и методы тестологии. URL: http://www.testor.ru
2. Михайлова, Н.С., Муратова, Е. А. Хрестоматия по теории и практике педагогических измерений — Томск: Изд-во ТПУ, 2011. — 306 с.
3. Аванесов, В. С. Композиция заданий в тестовой форме: учебная книга. — 3-е изд., доп. — М.: Центр тестирования, 2002. — 240 с.
4. Маркова, Н. А. К вопросу о создании объективной системы оценки качества образования в вузе. // Молодой ученый. — 2015. — № 9 — c.1125.
5. Маркова, Н. А. About principles of language-competence evaluation in higher education. // Молодой ученый. — 2015. — № 7. — с. 824.
