В статье обсуждаются проблемы отбора тестовых заданий, используемые при контроле знаний учащихся. Обсуждаются нормативные характеристики отбора тестовых заданий.
Ключевые слова: валидность, селективность, диагностичность, дистрактор, степень усвоения, степень трудности.
При отборе тестовых заданий, по нашему мнению, необходимо учитывать:
- содержательную валидность;
- логическую структуру и формы предъявления заданий, допускающих компьютерную обработку ответов тестируемых;
- качество тестовых заданий по заданным параметрам.
Первые два пункта требований, как было показано выше, выполняются, т. к. использованные в PK1 тестовые задания были отредактированы, подвергнуты предварительной экспертизе, одобрены методической комиссией и утверждены на заседании кафедры.
Последний пункт требований является решающим при окончательной отборке заданий, т. к. уже имеются определенные результаты их апробации в учебном процессе, получены результаты по отдельным качественным параметрам теста.
Разработанная нами методика отбора тестовых заданий основана на дифференцировании нормативных характеристик по их значимости для оценки диагностичности заданий.
На основе анализа сложившихся теоретических положений и практики дидактической тестологии нами предлагаются следующие нормативные характеристики и их рабочий диапазон:
1. Ksel.- 0.3–1.0, т. к. чем выше селективность, тем выше диагностичность задания по отношению к «сильному» и «слабому» студентам;
2. Ksel.- 0.3–1.0, т. к. чем выше селективность, тем выше диагностичность задания по отношению к «сильному» и «слабому» студентам;
3. Кусв.- 0.3–0.9, т. е. слишком легкие и трудные задания должны быть исключены из теста, как снижающие валидность и надежность педагогических измерений;
4. Из 4-х дистракторов должны «работать» не менее 3. Следует отметить, что балансированность тестовых заданий является тем инструментом, который позволяет объективно оценить научно-методический уровень разработчиков, выявляет качества составления заданий, и следовательно, всего дидактического теста.
5. Qtrudn. — эта величина служит для рациональной дозировки дидактического материала, т. к. известно, что любой сложный материал можно разложить на отдельные составляющие элементы, повышая тем самым их доступность к пониманию и увеличивая степень их усвоения. Поэтому, оптимальным значением Qtrudn., мы считаем, диапазон 3–6 ед. по 9 балльной шкале, равноценных на диапазон 9–18 ед. по ДЕЛЬТА шкале, имеющей протяженность 25 единиц;
6. Сложность задания и оптимальный диапазон ее варьируется в 20–80 %.
7. Контрольное время выполнения (tcont.) тестовых заданий зависит от многих факторов, среди которых, на наш взгляд, наиболее значимыми являются уровень деятельности и количество существенных операций, требуемых для выполнения задания. В анализируемых тестовых заданиях это время выполнения варьировалось экспертами в интервале 20–50 сек. Оптимальное значение tcont. для тестовых заданий I уровня составляет 30 5 сек.
Учитывая эти ограничения и оговоренный рабочий диапазон нормативных характеристик, нами была разработана программа анализа и отбора тестовых заданий. В качестве примера в таблице 1 приводится отдельные результаты, полученные по предложенной методике.
Знак "+" в столбцах означает, что экспериментальные значения находятся в пределах рабочего диапазона, а знак "-" указывает на то, что данный параметр в этом случае не «работает». В зависимости от количества (сколько «+») и качества (ранг, тип, значимость) параметров по каждому заданию готовятся методические особенности о возможностях их дальнейшего использования в тест-опросе.
Таблица 1
Обобщенные показатели качества тестовых заданий
№ вопроса |
Кол. ответов |
Кусв. |
Qтруд |
Рсложн |
КСел |
t, сек |
Дистракторы А, Б, С, Д |
Заключение |
1 |
39 |
- |
+ |
+ |
- |
- |
+ + + + |
отpицат. |
2 |
45 |
+ |
+ |
+ |
+ |
- |
+ + + + |
положит. |
29 |
33 |
- |
+ |
+ |
+ |
- |
+ + + + |
положит. |
37 |
42 |
- |
+ |
+ |
+ |
- |
+ + + + |
положит. |
40 |
37 |
+ |
+ |
+ |
+ |
- |
+ + + + |
положит. |
40 |
|
.477 |
40 |
40 |
27 |
31 |
38 39 38 37 |
положит. |
Результаты предложенной методики существенно облегчают работу экспертов, позволяет оценить качества заданий по нескольким параметрам одновременно и принимать обоснованное решение. Окончательное решение принимается методом групповых экспертных оценок.
На основе полученных результатов и их теоретической интерпретации можно сделать следующие выводы:
С позиций методологии педагогического познания рассмотрены и определены особенности диагностических возможностей компьютерных предметных тестовых заданий на примере учебного курса «ХИМИЯ» для учащихся академических лицеев и педагогических колледжей.
Разработан банк тестовых заданий по курсу «ХИМИЯ». Показана эффективность применения стандартизированной процедуры тестового контроля знаний студентов.
Разработан и внедрен формат данных тест-опроса, позволяющий рационально организовать сбор, хранение, обработку информации и унифицировать компьютерную технологию обработки и анализа результатов тестирования. Методика позволяет корректно оценить качество усвоения учебного материала студентом и качество преподавания данной дисциплины.
Разработана и апробирована многопараметровая компьютерная методика оценки качества предметных тестовых заданий, учитывающая коэффициенты усвоения и селективности, степень сложности и трудности, нормативное время выполнения задания и сбалансированность дистракторов в их взаимосвязи.
Предложена методика комплексной оценки качества и отбора предметных тестовых заданий для многоэтапного контроля знаний, умений и навыков обучаемых.
Литература:
1. Аллахвердиева Д. Т. Опыт применения тестов для дидактической экспертизы обучения. // Высш.обр. в России. 1993. N % 3. — С. 102–104.
2. Ибрагимова Г. Т. Пособие по подготовке выпускников средних школ к тестовым испытаниям для поступления в вузы. (химия). — Т.: Укитувчи, 1993.- 32 с.
3. Михайлычев Е. А., Норов Ш. К. Дидактические тесты в системе многоэтапного контроля знаний студентов: — Бухара, 1993. — 36 с.