Информационно-образовательный портал СОДРУЖЕСТВА НЕЗАВИСИМЫХ ГОСУДАРСТВ
ИНФОРМАТИЗАЦИЯ ОБРАЗОВАНИЯ
И ДИСТАНЦИОННОЕ ОБУЧЕНИЕ В СНГ
Информационно-образовательный портал СОДРУЖЕСТВА НЕЗАВИСИМЫХ ГОСУДАРСТВ  

Страны
Азербайджанская Республика
Республика Армения
Республика Беларусь
Республика Казахстан
Кыргызская Республика
Республика Молдова
Российская Федерация
Республика Таджикистан
Туркменистан
Республика Узбекистан
Украина

Типы материала
Информационно-коммуникационные технологии
Дополнительные информационные материалы
Нормативно-правовое обеспечение
Организация и методики обучения
Экономика образования
Межгосударственное сотрудничество
Образовательные центры
Методики обучения
Межвузовское сотрудничество
Повышение квалификации
Международные проекты и гранты, конкурсы
Конференции, симпозиумы, семинары и др.
Библиотека
 
Журнал «Вестник РУДН» серия «Информатизация образования»
 
2014, №4
2014, №3
2014, №2
2014, №1
2013, №4
2013, №3
2013, №2
2013, №1
2012, №4
2012, №3
2012, №2
2012, №1
2011, №4
2011, №3
2011, №2
2011, №1
2010, №4
2010, №3
2010, №2
2010, №1
2009, №4
2009, №3
2009, №2
2009, №1
2008, №4
2008, №3
2008, №2
2008, №1
2007, №4
2007, №3
2007, №2-3
2007, №1
2006, №1(3)
2005, №1(2)
2004, №1
Научные и специальные электронные ресурсы
Учебная, научная и специальная литература
Комиссия по дистанционному обучению совета по сотрудничеству в области образования государств-участников СНГ
Новости

СТАТИСТИЧЕСКИЙ АНАЛИЗ РЕЗУЛЬТАТОВ КОМПЬЮТЕРНОГО ТЕСТИРОВАНИЯ В КРЕДИТНОЙ СИСТЕМЕ ОБУЧЕНИЯ


Аннотация
В статье описана программа для статистического анализа результатов компьютерного тестирования. Продемонстрированы примеры её использования для оценки учебных достижений студентов в кредитной системе обучения. Рассмотрена оценка качества тестов.

Текст документа

СТАТИСТИЧЕСКИЙ АНАЛИЗ
РЕЗУЛЬТАТОВ КОМПЬЮТЕРНОГО ТЕСТИРОВАНИЯ
В КРЕДИТНОЙ СИСТЕМЕ ОБУЧЕНИЯ

 

И.Н. Куринин, В.И. Нардюжев, И.В. Нардюжев

 

Кафедра «Компьютерные технологии»

Российский университет дружбы народов

ул. Миклухо-Маклая, 6, Москва, Россия, 117198

 

 


 

 

Результаты компьютерного тестирования определяют учебные достижения студентов и позволяют судить о качестве учебного процесса. В такой ситуации для преподавателей принципиально важными становятся оперативный анализ и правильная интерпретация результатов тестирования, как и оценка качества тестовых материалов для корректного использования их в учебной работе. Решить стоящие перед преподавателем задачи помогает разработанная авторами технология оперативного статистического анализа результатов компьютерного тестирования [1]. Она базируется на функциональных возможностях программы «СтатИнфо» [2]. Эффективность и надежность технологии проверена многолетним опытом её применения для оценки учебных достижений студентов в кредитной системе обучения [3].

Программа «СтатИнфо» работает под управлением операционной системы MS Windows. Информационной основой этой программы является табличная (реляционная) база данных. База компактная. Для хранения результатов 1000 тестируемых требуются всего 0,5 Мбайта. Накопленный в базе материал можно использовать для научной и практической работы в области компьютерного тестирования и мониторинга качества образования. Допускается локальная или сетевая установка программы.

Программа «СтатИнфо» позволяет преподавателю: выбрать объект статистической обработки (группа, факультет и т.п.) и получить для этого объекта количество тестируемых, их распределение по оценкам с учётом шкалы перевода тестовых баллов в оценки, распределение тестируемых по количеству набранных баллов, процент правильных ответов на вопрос теста. По полученным цифровым данным можно построить графики, провести сравнительный анализ результатов тестирования различных объектов статобработки, посмотреть списки тестируемых, с возможностью произвольной сортировки и быстрого поиска, распечатать статистические формы и списки (или их части) на принтере. При необходимости любую статистическую форму или список можно сохранить в отдельном текстовом файле или загрузить в электронные таблицы для построения необходимых диаграмм и таблиц.

Рабочий экран программы «СтатИнфо» (рис. 1) содержит заголовок, меню, панель инструментов, строку состояния. По заголовку можно определить какая база используется в данный момент. При работе с меню в строке состояния отображается назначение выбранного в данный момент пункта. Пункты меню разбиты на четыре функциональные группы: сводка - получение, открытие, сохранение сводок, загрузка результатов; режим - установка параметров текущей сводки; окно - размещение окон на экране и переход к указанному окну; ? - получение справочных сведений о программе «СтатИнфо».

 

 

Рис. 1. Рабочий экран программы «СтатИнфо»

 

Кнопки панели инструментов повторяют соответствующие пункты меню и используются для быстрого выполнения следующих типовых операций: получение новой сводки; открытие сводки, сохранённой в файле статистики; сохранение текущей сводки в файле статистики; переход в режим формы; выбор интересующей статистики; настройка шкалы оценок; сохранение выбранной формы в текстовом файле (для передачи в Excel); переход в режим списка; выбор интересующих столбцов (реквизитов тестируемых); сортировка списка; поиск информации в списке; переход в режим отчёта; размещение окон сверху вниз без перекрытия; размещение окон слева направо без перекрытия; загрузка протоколов компьютерного тестирования в базу данных; выход из программы «СтатИнфо».

Чтобы загрузить в базу данных протоколы компьютерного тестирования, сформированные программой «Тестер» [3], необходимо воспользоваться кнопкой «Загрузка» (предварительно закрыв все сводки). На экране появится диалог «Загрузка протоколов». Для начала загрузки нажмите кнопку «Начать». В появившемся на экране стандартном диалоге «Загрузка протоколов тестирования в базу данных» выберите нужные файлы с расширением «.p». По умолчанию они хранятся в папке «Info \\ Res». Выбрав файлы, нажмите кнопку «Открыть». Начнётся загрузка, по мере продвижения которой будут расти полоски, отображающие процент выполненной работы, меняться имена загружаемых файлов, увеличиваться счётчик добавленных записей.

В итоге в заголовке диалога появится одна из надписей: «Загрузка завершена» - успешное завершение всей операции; «Загрузка отменена» - пользователь отменил загрузку до её завершения; «Загрузка прервана» - возникла ошибка, например, при попытке пользователя повторно загрузить подгруженный ранее файл. В любом случае программа покажет количество успешно загруженных файлов и добавленных записей. Нажмите кнопку «Закрыть», чтобы закрыть диалог.

Перечень полей в табличной базе данных с результатами компьютерного тестирования доступен для формирования запросов (рис. 2). Существенной особенностью программы является «гибкость» возможного запроса. Диалог «Запрос» содержит таблицу фильтров, в которой для каждого столбца (поля) информационной базы данных можно указать диапазоны допустимых в запросе значений.

При формировании запросов каждому полю таблицы можно назначить фильтр, указав диапазон допустимых значений. Например, установив для поля «Предмет» фильтр «-03 09-11 15 51-», из таблицы можно отобрать все записи, содержащие такой код предмета П, что (П<=03) или (09<=П<=11) или (П=15) или (П>=51). Используя дополнительный фильтр «15-» для поля «Балл», можно отобрать всех участников тестирования по указанным предметам, получивших не менее 15 баллов. Или, задав дополнительный фильтр «90» для поля «Балл», можно отобрать всех учащихся, прошедших тестирование по указанным предметам и получивших 90 баллов.

В выпадающем списке «Ключ» выбирается поле таблицы, по значениям которого будут группироваться записи о тестируемых.

Рис. 2. Формирование запроса в программе «СтатИнфо»

 

Выпадающие списки «Значения» и «Предметы» задают режимы подведения итогов по ключевому полю и по предметам: «один итог» (показывать без распределения), «с итогом» (показывать как итог, так и распределение), «без итога» (показывать только распределение, без итога).

По кнопке «Принять» программа «СтатИнфо» принимает сформированный запрос и выдаёт на экран сводку с результатами (рис. 3).

 

Рис. 3. Сводка с результатами в программе «СтатИнфо»

Для полученной сводки по кнопке «Статистика» открывается диалог (рис. 4), в котором можно выбрать интересующую статистическую форму. Возможны следующие варианты: 1) Количество тестируемых. 2) Поставленные оценки. 3) Полученные баллы. 4) Правильные ответы.

Любую форму можно посмотреть на экране (а потом напечатать на принтере) в цифрах или в графике, меняя положение переключателя «Режим». Переключатель «Основа» определяет, значение какого из двух параметров (ключевого столбца или предмета) остаётся в форме неизменным по горизонтали. Выбор в каждом конкретном случае определяется удобством представления информации на экране или в распечатке на принтере.

Рис. 4. Рабочий экран «Статистика» программы «СтатИнфо»

 

Для полученной сводки по кнопке «Шкала оценок» есть возможность настроить шкалу перевода тестовых баллов в оценки. Подстройка шкалы повлияет на вид статистической формы «Поставленные оценки» и поможет учесть специфику или потребности конкретного вуза. При необходимости, сформируйте новый запрос в базу данных с результатами компьютерного тестирования и нажмите кнопку «Шкала оценок», чтобы открыть одноимённый диалог и настроить параметры предмета, указав напротив кода его название, количество заданий, верхние границы для оценок по 100-балльной шкале. Важное место в системе занимает работа со списками тестируемых. Для переключения на работу со списками тестируемых используется кнопка «Список».

В этом режиме можно выполнить следующие операции:

1)   выбрать по кнопке «Столбцы» (р????. 5) необходимые для просмотра на экране (печати на принтере) реквизиты тестируемых и определить порядок их следования друг за другом;

2)   по кнопке «Сортировка» (рис. 6) отсортировать список тестируемых по любой совокупности реквизитов. По умолчанию записи в списке отсортированы по фамилиям;

3)   по кнопке «Поиск» найти в базе данных участника тестирования по любой совокупности реквизитов (по Ф.И.О., по коду предмета, по числу набранных баллов и т.д.). Перед началом поиска список должен быть отсортирован по соответствующим реквизитам.

Рис. 5. Выбор столбцов (полей из базы данных) для списков

 

Рис. 6. Список тестируемых в программе «СтатИнфо»

 

Печать отчётов. Для ввода комментария к форме или списку служит расположенный над таблицей редактор. Его первая строка формируется программой автоматически в зависимости от выбранной статистической формы или списка, а вторая и третья строки доступны для редактирования. Введённый комментарий будет присутствовать в распечатках, поэтому в нём рекомендуется отразить содержимое запроса, результатом выполнения которого является сводка. Сводка «Правильные ответы на задания теста» показана на рис. 7 (как пример).

Для печати на принтере полученных на экране форм и списков необходимо перейти в режим отчёта (кнопка «Отчёт»). Окно предварительного просмотра даст представление о будущей распечатке (рис. 8). При помощи дополнительной (появляющейся только в этом режиме) панели инструментов можно: установить масштаб, позволяющий увидеть всю страницу или всю страницу по ширине; установить реальный масштаб (100%-е соответствие бумаге); выбрать для предварительного просмотра любую страницу будущего отчёта; установить книжную или альбомную ориентацию страницы; изменить поля страницы; вывести на принтер «по умолчанию» все страницы / только текущую / диапазон номеров.

 

Рис. 7. Сводка «Правильные ответы на задания теста»

 

Хранение всей необходимо?? информации (результаты компьютерного тестирования) в единой реляционной (табличной) базе данных позволяет значительно ускорить процесс расчёта базовых величин и даёт возможность автору или тестологу быстро перейти от полученной в отчёте цифры к стоящему за ней тестовому заданию.

При необходимости любую статистическую форму или список можно сохранить по кнопке «Экспорт» в отдельном текстовом файле (с разделителем ";"). Полученный файл можно, например, загрузить в виде стандартной электронной таблицы в MS Excel и использовать весь богатый набор возможностей этого пакета для расчета параметров и построения любых необходимых диаграмм или таблиц.

 

Рис. 8. Просмотр отчёта перед печатью в программе «СтатИнфо»

 

Для проведения расчетов в MS Excel часто требуется матрица ответов. Она представляется прямоугольной таблицей, в каждой позиции которой указываются ответы участника тестирования. Обычно номер строки соответствует номеру испытуемого, а номер столбца соответствует номеру задания теста. Для подготовки матрицы ответов в программе «СтатИнфо» нужно выбрать столбец «Ответы» (рис. 9) или столбец «Проверка» (рис. 10) и в режиме «На экспорт» сделать текстовый файл (с разделителем ";").

Рис. 9. Ответы тестируемых на задания теста

 

Рис. 10. Результаты проверки ответов тестируемых на задания теста

 

Для статистического анализа качества тестовых заданий обычно используются следующие параметры:

- средний балл, который определяется средним значением выборки с учетом баллов всех тестируемых и общего числа участников тестирования;

- стандарт, определяемый через отклонение, показывающее насколько д??ле??о данное значение результата отстоит от среднего значения;

- коэффициент вариации, определяемый через отношение отклонения к среднему значению балла;

- трудность задания, вычисляемая как процент тестируемых выполнивших верно данное задание. На практике, когда нужно разделить тестируемых по уровню их подготовки, для теста отбираются задания с трудностью в интервале от 40% до 60%.

- точечно-биссериальная корреляция, которая позволяет оценить как связано выполнение данного задания с выполнением всего теста. Поэтому мера соответствия между успешностью решения одного задания и всего теста по выборке тестируемых является показателем пригодности задания для теста.

- дифференцирующая способность задания. Рассчитывается как разность двух значений: трудности задания для сильной группы тестируемых и трудности задания для слабой группы тестируемых. Чем выше дифференцирующая способность задания, тем лучше оно разделяет тестируемых по уровню подготовки.

- статистическая независимость заданий в тесте, определяемая выборочным коэффициентом корреляции по двумерной выборке.

Большое внимание в проводимом статистическом анализе качества тестовых заданий уделяется дистракторному анализу. Причем анализ работы дистракторов в задании используется для оценки как «работает» каждый из предложенных вариантов ответов. Для этого рассчитываются следующие показатели: количество тестируемых, решавших конкретное задание, частота выбора правильного ответа на задание, частота выбора ложных ответов (дистракторов), частота выбора ответа группами слабейших и сильнейших тестируемых, дифференцирующая способность ответа, отклонение частоты выбора неправильного ответа от среднего значения частот выбора неправильных ответов, сигналы о наличии отклонений от нормы и т.д.

В таблицах 1 и 2, в качестве примера, показаны реальные результаты итогового компьютерного тестирования студентов филологического факультета и факультета гуманитарных и социальных наук по курсу «Информатика» за 15 семестров 2005-2012 гг.

 

Таблица 1

 

Полученные баллы (% правильн??х ответов на все задания теста)

 

Период

Колич. тестов

Полученные баллы (% правильных ответов на все задания теста)

Наим.

Средн.

Наиб.

2005 г. – весна

190

20,0

60,2

89,0

– осень

171

12,0

58,7

87,0

2006 г. – весна

79

16,0

50,2

82,0

– осень

280

11,0

54,6

87,0

2007 г. – весна

258

15,0

47,3

80,0

– осень

325

13,0

52,9

86,0

2008 г. – весна

160

14,0

49,5

77,0

– осень

190

18,0

57,0

84,0

2009 г. – весна

707

16,0

53,8

92,0

– осень

524

18,0

52,7

90,0

2010 г. – весна

428

11,0

51,6

93,0

– осень

318

12,0

58,6

90,0

2011 г. – весна

253

11,0

53,1

85,0

– осень

385

18,0

54,0

92,0

2012 г. – весна

150

23,0

53,9

92,0

 

Таблица 2

% правильных ответов на каждое задание теста

 

Период

Колич. тестов

% правильных ответов
(на каждое задание теста)

Наим.

Средн.

Наиб.

2005 г. – весна

190

25,3

60,2

87,4

– осень

171

24,6

58,4

91,2

2006 г. – весна

79

21,5

50,2

86,1

– осень

280

28,9

54,6

77,1

2007 г. – весна

258

29,8

47,2

76,0

– осень

325

32,6

52,9

79,4

2008 г. – весна

160

28,1

49,5

84,4

– осень

190

33,0

56,9

78,2

2009 г. – весна

707

31,1

50,3

69,0

– осень

524

29,4

49,5

70,0

2010 г. – весна

428

37,6

51,6

68,2

– осень

318

37,1

58,6

82,4

2011 г. – весна

253

30,4

53,1

74,7

– осень

380

39,0

54,0

75,8

2012 г. – весна

150

25,3

50,8

74,7

 

По итогам статистической обработки результатов компьютерного тестирования студентов выявляются ошибки в тестовых заданиях (длинная формулировка или отсутствие правильного ответа) и определяются хорошо или плохо освоенные студентами разделы курса.

Для иностранных студентов определяются задания с наиболее сложными для них формулировками на русском языке. Это позволяет специально (на русском языке) разработать и использовать тестовые задания, имеющие сжатые (короткие) и понятные им формулировки. Обеспечить этих студентов соответствующими методическими материалами для подготовки к тестам. Дать им возможность в любое время проходить репетиционное тестирование через Интернет.

ЛИТЕРАТУРА

 

[1]  Нардюжев В.И., Нардюжев И.В. Модели и алгоритмы нформационно-вычислительной системы компьютерного тестирования. Монография. – М.: Прометей, 2000. – 148 с.

[2]  Нардюжев В.И., Нардюжев И.В. Свидетельство РОСПАТЕНТ № 2000610068 от 27 января 2000 г. об официальной регистрации программы для ЭВМ «Оперативный статистический анализ результатов тестирования на компьютерах через Интернет (СТАТИНФО)».

 [3]  Куринин И.Н., Нардюжев В.И., Нардюжев И.В. Компьютерное тестирование в оценке учебных достижений студентов: учебно-методическое пособие. - М.: Изд-во РУДН, 2008. - 308 с.

STATISTICAL ANALYSIS

OF RESULTS OF COMPUTER-BASED TESTING

IN THE CREDIT SYSTEM OF EDUCATION

 

I.N. Kurinin, V.I. Nardyuzhev, I.V. Nardyuzhev

 

Chair of computer technologies

Peoples’ Friendship University of Russia

Miklukho-Maklaya str., 6, Moscow, Russia, 117198

 

In this article a program for statistical analysis of results of computer-based testing is described. Some examples of its usage for assessment of students’ achievements in the credit system of education are demonstrated. Consideration is given to the evaluation of the quality of the tests.

Key words: student, achievements, assessment, computer-based testing, statistical analysis, quality evaluation.

 


Автор оригинала: И.Н. Куринин, В.И. Нардюжев, И.В. Нардюжев
Источник оригинала: Вестник РУДН Серия "Информатизация образования" №1, 2013

Новости
16.06.2017

Российский университет дружбы народов объявляет о проведение первой волны вступительных испытаний среди иностранных граждан для обучения на программах магистратуры на контрактной основе. Первая ...

13.10.2016

26 октября-27 октября 2016 года Российский университет дружбы народов проводит Международную конференцию «Сетевые университеты и международный рынок труда (пространства БРИКС, СНГ, ШОС)».

19.05.2016

The Peoples’ Friendship University of Russia (PFUR) announces the beginning of admission of foreign citizens who graduated from Bachelor and Specialist Degree programs of PFUR and other Russian and ...

19.05.2016

Российский университет дружбы народов (РУДН) объявляет о наборе иностранных граждан -выпускников бакалавриата и специалитета РУДН и других российских и зарубежных ВУЗов на программы магистратуры на ...

11.12.2015

Проект рекомендаций Семинара-совещания научной общественности по проблемам международного научно-технического и образовательного сотрудничества