Информационно-образовательный портал СОДРУЖЕСТВА НЕЗАВИСИМЫХ ГОСУДАРСТВ
ИНФОРМАТИЗАЦИЯ ОБРАЗОВАНИЯ
И ДИСТАНЦИОННОЕ ОБУЧЕНИЕ В СНГ
Информационно-образовательный портал СОДРУЖЕСТВА НЕЗАВИСИМЫХ ГОСУДАРСТВ  

Страны
Азербайджанская Республика
Республика Армения
Республика Беларусь
Республика Казахстан
Кыргызская Республика
Республика Молдова
Российская Федерация
Республика Таджикистан
Туркменистан
Республика Узбекистан
Украина

Типы материала
Информационно-коммуникационные технологии
Дополнительные информационные материалы
Нормативно-правовое обеспечение
Организация и методики обучения
Экономика образования
Межгосударственное сотрудничество
Образовательные центры
Методики обучения
Межвузовское сотрудничество
Повышение квалификации
Международные проекты и гранты, конкурсы
Конференции, симпозиумы, семинары и др.
Библиотека
 
Журнал «Вестник РУДН» серия «Информатизация образования»
 
2014, №4
2014, №3
2014, №2
2014, №1
2013, №4
2013, №3
2013, №2
2013, №1
2012, №4
2012, №3
2012, №2
2012, №1
2011, №4
2011, №3
2011, №2
2011, №1
2010, №4
2010, №3
2010, №2
2010, №1
2009, №4
2009, №3
2009, №2
2009, №1
2008, №4
2008, №3
2008, №2
2008, №1
2007, №4
2007, №3
2007, №2-3
2007, №1
2006, №1(3)
2005, №1(2)
2004, №1
Научные и специальные электронные ресурсы
Учебная, научная и специальная литература
Комиссия по дистанционному обучению совета по сотрудничеству в области образования государств-участников СНГ
Новости

К вопросу о тестировании


Аннотация
Статья посвящена вопросу разработки тестовых заданий для компьютерного тестирования, используемых как в традиционной системе обучения, так и в системе дистанционного обучения (ДО). Публикация представляет собой краткое обобщение опыта по созданию педагогических тестов для электронных учебников. Анализируются основные проблемы, связанные с проектированием тестовых заданий, необходимых для эффективного и качественного контроля и оценки уровня знаний учащихся. Ключевые слова: тестирование, тренинг, самоконтроль, текущий контроль, рубежный контроль, итоговый контроль.

Текст документа

М.И. Беляев

Институт международных программ

Российский университет дружбы народов

 

Классическая теория тестирования была создана в 30-е годы. В настоящее время существует множество различных теоретических подходов к контролю и оценке знаний учащихся с помощью педагогических тестов.  Педагогический тест – это «тест, отражающий содержание заданий области знаний, нацеленный на заданный результат и обеспечивающий устойчивые показатели оценивания действий испытуемых с фиксированным уровнем обученности».

По целевым задачам различают:

1.    Тренирующие тесты (тренажеры) – для осмысления и закрепления полученной учебной информации учащимися. Они имеют обязательно обратную связь с теорией и неразрывно связаны с комментариями.

2.    Контролирующие тесты – для диагностики уровня усвоения знаний учащихся после изучения определенного фрагмента курса (модуля, раздела, темы и курса в целом), не имеющие прямой обратной связи с теорией и комментариями.

С помощью контроля (самоконтроля) можно выявить достоинства и недостатки новых методов обучения, установить взаимосвязь между планируемыми, реализуемыми и достигнутыми уровнями образования, оценить достижения учащегося и выявить пробелы в его знаниях, дать руководителю учебного заведения объективную информацию для принятия управленческих решений и выполнить целый ряд других не менее важных задач.

Обычно выделяют следующие виды тестового контроля:

·     текущий (тематический). Текущий контроль и самоконтроль осуществляется с помощью педагогических тестов. Проведение текущего самоконтроля – наиболее простой способ для студента получить оперативную информацию о своих знаниях, а также создаст условия для своевременной самокоррекции процесса усвоения знаний в нужном направлении  в случае неудовлетворительных результатов контроля. Разработка системы тестов для текущего (тематического) контроля органически связана с использованием компьютера, что, конечно, не исключает традиционную форму контроля с помощью тестов;

·     промежуточный (рубежный). Рубежный контроль сводится к выявлению результатов определенного этапа обучения. Оценка уровня подготовки обучаемых в этом случае производится как с помощью тестов, так и с помощью традиционных форм – зачетов по разделам программы и экзаменов. Важным показателем полноценности промежуточного, как и текущего контроля является уровень  сформированности навыков самоконтроля у обучаемых, умение осуществлять контроль за результатом собственной деятельности и корректировать ее в процессе выполнения заданий;

·     итоговый. Цель итогового контроля – оценка работы учащихся после прохождение всего учебного курса. Обычно формой итоговой оценки обучаемого является его отметка на экзамене либо результаты выполнения итогового теста. В отличие от обычных экзаменов, где сплошной опрос заменяется выборочным, тесты позволяют включить задания на все или, по крайней мере, почти на все требования программы (стандартов) и тем самым повысить обоснованность аттестационных оценок.

При разработке тестовых заданий для текущего, рубежного и итогового контроля  необходимо в первую очередь учитывать не только специфику содержания учебной дисциплины, но и педагогические и психологические закономерности оценивания усвоенных  знаний учащимися, а также учитывать следующие требования:

§     валидность это адекватность. Различают содержательную и функциональную валидность: первая – это соответствие теста содержанию учебного материала (при сплошной разработке заданий это требование соблюдается); вторая – соответствие теста оцениваемому уровню деятельности;

§     определенность (общедоступность), которое необходимо не только для понимания каждым студентом того, что он должен выполнять, но и для исключения правильных ответов, отличающихся от верного ответа (эталона);

§     простота, которая означает, что тест должен иметь одно задание одного уровня, то есть не должен быть комплексным и состоять из нескольких заданий разного уровня усвоения;

§     однозначность, которая определяется как одинаковость оценки качества выполнения теста разными экспертами (то есть понимания того, что тест относится к соответствующему уровню);

§     надежность, которая заключается в обеспечении устойчивости результатов многократного тестирования одного и того же испытуемого. Надежность теста или батареи тестов растет с увеличением количества заданий, входящих в тот или иной уровень. Например, при 20-ти заданиях  вероятность правильного измерения (надежность теста) равно 0.5; при 80-ти – 0.9, а при 100 – 0.99.

Невольно возникает вопрос, а какое количество тестовых заданий необходимо для той или иной дисциплины. Где критерии? Соблюсти требование надежности при проектировании тестов, как и другие – непростая задача. В предлагаемой сравнительной таблице 1 приведены практические сведения о количество тестовых заданий для разных дисциплин, для которых разработаны электронные учебно-методические комплексы дисциплин (ЭУМКД). По вертикали указаны названия дисциплины, а по горизонтали -  количество тем учебного предмета. В каждой клеточке на пересечении строк и столбцов указано количество тестовых заданий по каждой теме для соответствующего учебного предмета.

С нашей точки зрения,  разработка тестовых заданий для формирования банка тестовых заданий к каждой учебной дисциплине должна включать следующие блоки тестов:

·          блок тестов для создания электронного практикума (обучающий тренинг);

·          блок тестов для тематического контроля/самоконтроля знаний (текущий самоконтроль);

·          блок тестов для контроля знаний после изученного раздела, модуля (промежуточный контроль);

·          блок тестов для проведе??ия экзаменов после изучения всего курса (итоговый контроль).

 

Таблица 1


 

Рассмотрим вкратце один из возможных вариантов формирование каждого блока.

 

1. Блок тестов с элементами обучения (обучающий тренинг или тренирующие тесты) (Рис.1). Данный блок тестовых заданий предназначен для дальнейшего формирования знаний через тренировку, закрепление и систематизацию добываемых знаний самостоятельно (см. таб.1). Тренирующие тесты (тренинги) обязательно предполагают обратную связь на соответствующий фрагмент учебного текста и неразрывно связаны с комментариями в случае неправильного ответа на вопрос тестового задания. Изучая каждый абзац, фрагмент теории, студент  должен иметь возможность закрепить изученную порцию материала, проверив себя на понимание и  усвоение нового через задания.

Естественно, что без такого важного элемента учебного процесса, как формирование умений,  навыков и закрепления знаний, бессмысленно переходить к контролю уровня знаний  студента. К слову сказать, что часто уделяется внимание на контролирующие тесты, а не обучающие тренинги (тренирующих тестовых заданий).

Итак, наличие банка заданий и вопросов для самообучающего тренинга диктуется основной целью – повышению эффективности обучения. Конечно, создание такого блока заданий и вопросов по каждой теме потребует определенных  усилий со сто??оны преподавателя, но зато резко повысит эффект обучения и само??тоятельности при изучении той или иной учебной дисциплины.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Рис. 1. Блок тестов с элементами обучения

 

При разработке банка заданий и вопросов для системы  обучающего тренинга (электронного практикума) рекомендуется придерживаться следующих правил:

·           при разработке тестов авторам необходимо осуществлять сплошное прохождение по всему содержательному полю текстового материала - от абзаца к абзацу, от фрагмента к фрагменту, от темы к теме (ничего не пропуская);

·          выявлять в каждом абзаце, фрагменте значимые контрольные единицы знаний (понятия, определения, факты, даты, ключевые  мысли и т. д.), для каждой из которой (единицы знаний) необходимо разработать определенный тип/вид тестового задания;

·           использовать при разработке, конструировании и оформлении вопросов и упражнений  различные по форме и типам задания [1].

Примечание. Как показал практический опыт работы с учебными текстами различных дисциплин, количество заданий (в том числе и контрольных вопросов) по теме составляет в среднем от 15–35 до 50 заданий. В первую очередь, количество зависит от характера, содержания и объема учебного  материала, а также от количества тем, входящих в тот или иной курс. Допустим, что курс содержит 15 тем,  тогда банк вопросов и заданий для самообучающего тренинга (тренирующих тестов) должен включать в среднем около 250 - 700 тестов (от минимума до максимума).   

2. Автоматическое формирование блока тестов для тематического самоконтроля (текущий оперативный контроль или самоконтроль) (Рис.2). При наличии соответствующей компьютерной программы, а также банка заданий и вопросов для обучающего тренинга студент или преподаватель автоматически и легко, задав любую цифру (количество заданий по теме), получает готовый тест для самотестирования или для контроля со стороны преподавателя.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Рис. 2. Автоматическое формирование блока тестов

для тематического самоконтроля

 

Например, задается цифра 10 для темы 1, в соответствии с которой компьютерная программа автоматически осуществит выборку 10 вопросов из 15–35 заданий, которые содержатся в банке тренинговых тестовых заданий по данной теме. Или используются все тестовые задания по каждой теме для самотестирования без выборки. Как было сказано выше, тесты для самоконтроля не предполагают обратную связь на учебные тексты и комментарии.  При повторной выборкой компьютерной программой тестов (предположим, задана та же цифра 10) мы получим для новой группы студентов другой блок тестов для текущего контроля. И если на предварительном этапе преподаватель создаст для каждой темы не 15-35 заданий, а 35-50, то будет еще лучше – вероятность совпадения заданий в последнем случае при  выборке уменьшается.

3. Автоматическое формирование блока тестов  для проверки изученных разделов, модуля (рубежный контроль знаний) (Рис. 3). Рассуждения по данному пункту те же, что и в предыдущем пункте (тесты для изученных тем). Отличие заключается в том, что для промежуточного контроля и оценки уровня знаний после изученного раздела или модуля (обычно раздел включает 2-4 темы) задается меньшая цифра для автоматического получения готового теста по разделу. Например, если для получения тематического теста необходимо половина вопросов от количества 15-35, входящих в тренинговый банк заданий или все, то для раздела необходимо меньшее количество, например, от 6 до 10 тестовых заданий от каждой темы, входящих в соответствующий  раздел. Рубежный контроль осуществляется как в режиме самоконтроля после изученного раздела либо в режиме контроля со стороны преподавателя, исходя из целей и задач курса.

Рис. 3. Автоматическое формирование блока тестов 

для проверки изученных разделов, модуля

4. Автоматическое формирование блока тестов для оценки уровня знаний после всего изученного курса (итоговый или экзаменационный контроль) (рис. 4.). Рассуждения по данному пункту те же, что и в пункте – тесты для изученных тем. Отличие заключается в том, что для итогового контроля в конце изученного курса (включает 5-10 разделов) задается еще меньшая цифра для получения готового теста по всему изученному курсу. Например, если для получения тематического теста необходимо половина вопросов от количества 15-35, входящих в тренинговый банк данных;  для раздела от каждой темы, входящих в раздел - меньше, скажем по 6-7 вопросов, то для всего курса от каждого раздела - еще меньше, скажем  по 3-4 задания от темы. Итоговый контроль осуществляется как в режиме самоконтроля после изучения всего курса, так и в режиме контроля со стороны преподавателя.

 

 

Рис. 4. Автоматическое формирование блока тестов для оценки

уровня знаний после всего изученного курса

 

Примечание.  При автоматическом формировании блока тестовых заданий для промежуточного и итогового контроля из-за принципа случайной выборки будет попадать в блок «несущественные» тестовые задания, то есть незначимые (не имеющих «веса»), не  информативные, не обобщенные, что, конечно, будет снижать объективность и эффективность качества контроля уровня знаний учащихся. Правда,  можно осуществить несколько автоматических выборок, получив два-три теста для промежуточного и итогового контроля. Но это не выход. Рассмотрим таблицу 2.

 

Таблица 2

Контроль и оценка уровня знаний 

 

 

А. Тест-задания для промежуточного (рубежного) контроля предназначены для диагностирования уровня знаний, полученных студентом после изучения раздела. Прежде чем перейти  к автоматической выборке заданий и вопросов для промежуточного (рубежного) контроля преподавателю необходимо сначала конкретно выбрать из каждой темы наиболее значимые («весовые») задания, из которых в дальнейшем и будет осуществляться автоматическая выборка заданий для получения теста промежуточного контроля. Значимые тесты  - это те, которые соответствуют целям и задачам промежуточного или итогового контроля, носят более информативный, обобщенный характер, обладают большим весом.

 Предположим, что в первой теме тренинга содержится 15-35 заданий и из них 15 значимых («весовых»), во второй теме 15-35 заданий, из которых 10 значимых, в третьей теме из 15-35 заданий только 6 значимых заданий. Таким образом, если раздел содержит три темы, то всего значимых получим 31 (15+10+6). Причем эта процедура расчета производится только один раз.  Так  формируется база значимых заданий по каждому разделу (см. табл. 3).

Таблица 3

База значимых заданий по каждому разделу

Темы

Количество
тренинговых заданий по темам (обучающие тесты), в том числе и для тематического самоконтроля

Количество
значимых
заданий из каждой темы для
рубежного
контроля

 

 

Тема 1

15-35

15

 

Тема 2

15-35

10

 

Тема 3

15-35

6

 

По разделу I

45–101

31

 

 

Это был первый шаг к автоматическому получению теста для промежуточного контроля знаний. Далее, как уже было описано в первом варианте, преподаватель или студент указывают цифру для выборки из базы значимых заданий (в нашем случае 31), определённого количества тест-заданий. После чего компьютер случайным образом формирует тест для промежуточного (рубежного) контроля уровня знаний соответствующий заданной цифре. Например, преподаватель или студент задают цифру 20, а затем компьютер автоматически формирует тест для промежуточного контроля из блока значимых тестов (их 31). Получим 20 тестов для рубежного контроля. Если же будут использованы все 31 значимых тестов по данному разделу, то цифру не надо задавать. Или можно задать цифры, например, 7-6-7 для выборки тестов из значимых каждой тем (15, 10, 6 соответственно), входящих в соответствующий раздел.

Дополнив недостающую графу таблицы, получим полную картину процесса формирования блока тестовых заданий по разделу для промежуточного контроля (см. табл. 4).

Таблица 4

 

Формирование блока тестовых заданий

по разделу для промежуточного контроля

 

Темы

Количество  тренинговых заданий  по темам (обучающие тесты), в т.ч. и для тематического самоконтроля

Количество
значимых
заданий из каждой темы для
рубежного
контроля

 

Преподаватель или студент указывает цифру для автоматического получения блока тестовых заданий  для раздела, но из значимых по каждой теме

Тест
рубежный

для контроля знаний  изученного
раздела I

Тема 1

15-35

15

7

7

Тема 2

15-35

10

6

6

Тема 3

15-35

6

7

7

по Разделу I

45-105

31

20

20

 

Б. Тест-задания для итогового  контроля. Процедура формирования итогового теста   ничем не отличается от  процесса формирования теста для раздела (см. выше).

 В этом случае формирование итогового теста осуществляется путем предварительной выборки заданий из значимой базы разделов. Значимые тесты  - это те, которые соответствуют целям и задачам промежуточного или итогового контроля, носят более информативный, обобщенный характер, обладают большим весом.

Предположим, что курс состоит из двух разделов, где в разделе I содержится  20 значимых тестов, раздел II – 22 заданий. Таким образом, весь курс содержит 44 значимых («весовых») заданий. Задав, например цифру 12 можно произвести автоматическую выборку тестов из 20 значимых из раздела I, а из раздела II будет осуществляться выборка из 22 значимых. Далее путем автоматической выборки значимых заданий из каждого раздела получаем итоговый тест в количестве 24, но значимых.  И наконец, можно сформировать блок тестов для итогового контроля, путем автоматический случайной выборки из цифры 44 (сумма тестов двух разделов). (Табл. 5).

 

 

 

 

 

 

 

 

Таблица 5

 

Формирование блок тестов для итогового контроля

 

Темы

Количество  тренинговых заданий  по темам (обучающие тесты), в т.ч. и для тематического самоконтроля

Количество
значимых
заданий из каждой темы для
рубежного
контроля

 

Преподаватель или студент указывает цифру для автоматического получения блока тестовых заданий  для раздела, но из значимых по каждой теме

Тест
рубежный

для контроля знаний  изученных 
разделов
I и II

Тест
итоговый

для контроля знаний
изученного
курса

Тема 1

15-35

15

7

 

 

Тема 2

15-35

10

6

 

 

Тема 3

15-35

6

7

 

 

по Разделу I

45-105

31

20

20

12

Тема 4

15-28

16

11

 

 

Тема 5

15-20

4

3

 

 

Тема 6

15-26

9

8

 

 

по Разделу II

45-74

29

22

22

12

Всего

по курсу

От 90
до 179

60

44

44

24

       

Ниже представлен практический пример формирования блоков тестовых заданий для текущего, рубежного и итогового контроля по предмету «Педагогическая психология», на основе вышеизложенного подхода по проектированию тестовых заданий.

 ЛИТЕРАТУРА

[1] Краснова Г.А., Соловов А.В., Беляев М.И. Технологии создания электронных обучающих средств. – М.: МГИУ, 2003.

[2] Соловов А.В. Проектирование компьютерных систем учебного назначения: Учебное пособие. – Самара: СГАУ, 1995.     

[3] Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей: Учебное пособие. – М., 1995.

[4] Челышкова М.Б., Ковалева Г.С. Теория и практика конструирования педагогических тестов: Учебное пособие. – М., 1995.


Автор оригинала: М.И. Беляев
Источник оригинала: Журнал Вестник РУДН серия «Информатизация образования», №3, 2011

Новости
16.06.2017

Российский университет дружбы народов объявляет о проведение первой волны вступительных испытаний среди иностранных граждан для обучения на программах магистратуры на контрактной основе. Первая ...

13.10.2016

26 октября-27 октября 2016 года Российский университет дружбы народов проводит Международную конференцию «Сетевые университеты и международный рынок труда (пространства БРИКС, СНГ, ШОС)».

19.05.2016

The Peoples’ Friendship University of Russia (PFUR) announces the beginning of admission of foreign citizens who graduated from Bachelor and Specialist Degree programs of PFUR and other Russian and ...

19.05.2016

Российский университет дружбы народов (РУДН) объявляет о наборе иностранных граждан -выпускников бакалавриата и специалитета РУДН и других российских и зарубежных ВУЗов на программы магистратуры на ...

11.12.2015

Проект рекомендаций Семинара-совещания научной общественности по проблемам международного научно-технического и образовательного сотрудничества