Информационно-образовательный портал СОДРУЖЕСТВА НЕЗАВИСИМЫХ ГОСУДАРСТВ
ИНФОРМАТИЗАЦИЯ ОБРАЗОВАНИЯ
И ДИСТАНЦИОННОЕ ОБУЧЕНИЕ В СНГ
Информационно-образовательный портал СОДРУЖЕСТВА НЕЗАВИСИМЫХ ГОСУДАРСТВ  

Страны
Азербайджанская Республика
Республика Армения
Республика Беларусь
Республика Казахстан
Кыргызская Республика
Республика Молдова
Российская Федерация
Республика Таджикистан
Туркменистан
Республика Узбекистан
Украина

Типы материала
Информационно-коммуникационные технологии
Дополнительные информационные материалы
Нормативно-правовое обеспечение
Организация и методики обучения
Экономика образования
Межгосударственное сотрудничество
Образовательные центры
Методики обучения
Межвузовское сотрудничество
Повышение квалификации
Международные проекты и гранты, конкурсы
Конференции, симпозиумы, семинары и др.
Библиотека
 
Журнал «Вестник РУДН» серия «Информатизация образования»
 
2014, №4
2014, №3
2014, №2
2014, №1
2013, №4
2013, №3
2013, №2
2013, №1
2012, №4
2012, №3
2012, №2
2012, №1
2011, №4
2011, №3
2011, №2
2011, №1
2010, №4
2010, №3
2010, №2
2010, №1
2009, №4
2009, №3
2009, №2
2009, №1
2008, №4
2008, №3
2008, №2
2008, №1
2007, №4
2007, №3
2007, №2-3
2007, №1
2006, №1(3)
2005, №1(2)
2004, №1
Научные и специальные электронные ресурсы
Учебная, научная и специальная литература
Комиссия по дистанционному обучению совета по сотрудничеству в области образования государств-участников СНГ
Новости

Современный подход к созданию автоматизированной системы контроля знаний.


Аннотация
В работе рассказывается о современном подходе к построению автоматизированных систем контроля знаний на примере пакета “Генератор тестов”. Приводятся описания всех модулей системы и схема распределения потоков данных при проведении тестирования.

Текст документа

Постановка задачи

В настоящее время актуальным является поиск методов и средств для выявления и численной оценки факторов влияющих на успеваемость учеников школ, лицеев и гимназий. Решение этой задачи, с учетом многих влияющих факторов практически невозможно без использования современных компьютерных технологий.

Авторы на протяжении четырех лет занимаются разработкой автоматизированных систем контроля знаний. Последняя версия пакета программ “Генератор тестов”, разработанного в 2007 году представляет собой законченное решение для создания, проведения, сбора дополнительных данных и анализа результатов компьютерного тестирования. Данная программа является одним из немногих продуктов, который реализует комплексный подход к проведению тестирования: от разработки тестов до получения результатов анализа тестирования в масштабе отдельного региона или страны.

В конце 2007 года разработанная авторами статьи автоматизированная система контроля знаний “Генератор тестов 2.0” применялась для мониторинга качества знаний всех школьников 5 классов РСО-Алании. Мониторинг ежегодно проводится Министерством Образования и Науки Республики Северная Осетия-Алания. В нем приняли участие более 6200 человек из всех школ расположенных на территории республики. Тестирование проводилось по двум предметам: математика и русский язык. По каждому предмету профессиональными тестологами было составлено 12 вариантов тестов. После тестирования были проанализированы результаты и выявлены факторы,  в разной степени влияющие на успеваемость ученика.

Компьютерный вариант проведения мониторинга в РСО-Алания позволил получить независимую оценку знаний школьников и провести столь масштабное мероприятие в сжатые сроки (3 рабочих дня). Важным показателем так же явилось значительное сокращение материальных и трудовых затрат со стороны министерства образования. В частности на тестирование 6200 школьников, передачу результатов, анализ, возврат ведомостей по классам в школы (206 школ) не было распечатано ни одного листа бумаги.  Анализ результатов был выполнен компьютером за несколько минут, без отрыва сотрудников министерства на несколько дней, как это бывало в предыдущие горды.  Передача тестов в школы и получение от них файлов-отчетов прошло по сети Интернет, что ускорило эти процессы и снизило трудозатраты участников мониторинга.

При проектировании системы были учтены следующие особенности:

1.   Параметры используемого оборудования. Известно, что в учебных заведениях, зачастую, имеется не самое современное оборудование. Клиентская часть разработанной программы работает на ПК с процессором частотой от 400 МГц и объемом оперативной памяти от 64 Мб.

2.   Межплатформенная совместимость. Возможность работы клиентской части как под управлением операционной системы корпорации Microsoft (начиная с Windows 98SE2 и заканчивая Windows 2008 Server), так и под управлением свободно распространяемых операционных систем на ядре GNU Linux. В связи с этим для создания пакета была выбрана платформа Microsoft .NET Framework 2.0 и ее реализация для Linux – Mono.

3.   Пропускная способность канала связи. Для комфортной работы программы достаточно соединения с пропускной способностью 33,6 Кбит/с.

4.   Наличие или отсутствие локальной сети в компьютерном классе. Если в классе, в котором проводится тестирование, есть локальная сеть, то “Генератор тестов” позволяет скачивать исходные тесты с головного компьютера и автоматически передавать полученные данные на него для формиравания сводного отчета. Если сети нет, то эти операции можно проводить с помощью съемных носителей.

5.   Возраст пользователей и их уровень компьютерной грамотности. Возраст пользователей составляет от 11 до 18 лет, а уровень компьютерной грамотности, особенно в сельских школах, находится на низком уровне. В связи с этим интерфейс программы выполнен максимально (простым) и гибко настраиваемым.

6.   Уровень компьютерной грамотности персонала школ. Для упрощения развертывания системы каждая программа снабжена подробной инструкцией по установке и эксплуатации системы. Вся система устанавливается несколькими нажатиями кнопки мыши.

7.   Уровень безопасности. Так как программа требует ввода в базу данных личных сведений о школьниках и учителях, то есть вероятность утечки конфиденциальной информации. Для противодействия инсайдерам данные шифруются и в открытом виде не хранятся и не передаются по линиям связи.

8.   Подсчет оценок. Программа поддерживает несколько методов и моделей интеллектуального тестирования знаний, в том числе и модель Раша, применяемую при проведении ЕГЭ.

9.   Территориальная распределенность. Система имеет модульную структуру и построена по технологии "Клиент-Сервер". Взаимодействие между клиентской и серверной частью может осуществляться, как по локальной сети, так и по сети Интернет (в том числе по коммутируемым линиям), причем в постоянной связи клиента с сервером нет необходимости – достаточно иметь активное соединение во время загрузки теста и выгрузки результатов тестирования. Для соединения используется стандартный сетевой протокол TCP/IP и порт 80.

Описание программы

Пакет программ “Генератор тестов 2.0” состоит из 5 модулей, оформленных в виде отдельных приложений:

1.   TestMaker – модуль предназначен для создания набора тестов и позволяет создавать от 1 до 32767 тестов в одном  наборе, сохраняя эти тесты в едином файле. Файл с тестами шифруется криптостойким алгоритмом шифрования. Используемая в программе модель политики безопасности позволяет ограничивать права пользователей в зависимости от их ролей.

Текущая версия TestMaker поддерживает два типа тестов: последовательный и случайный. У каждого теста имеется 20 параметров. Основными из них являются: Идентификатор (присваивается автоматически); Готовность к публикации; Название теста; Активность; Способ вывода результатов; Время, отводимое на прохождение теста; Возможность вернуться к предыдущим вопросам; Единица измерения оценок (баллы или проценты); Процент правильных ответов или количество баллов, достаточное для получения оценок 3, 4 и 5 (программа может не подсчитывать оценку, а выводить только количество набранных баллов в явном виде или процентном соотношении от максимально возможного).

В тесте может содержаться от 1 до (215 – 1) вопросов пяти типов: вопрос одиночного выбора, вопрос множественного выбора, открытый вопрос (пользователь не выбирает из предложенных вариантов, а вводит решение и/или ответ с клавиатуры), вопрос на упорядочивание множества и вопрос на установление соответствия.

У каждого вопроса имеется 16 параметров. Основными из них являются: Идентификатор (присваивается автоматически); Условное название вопроса; Активность; Уровень сложности (6 степеней); Порядок вывода на экран вариантов ответа; Время, отводимое на прохождение вопроса; Наличие полей для ввода текста решения и ответа; Текст подсказки; Количество баллов, снимаемое за просмотр подсказки. Вопрос может содержать текст, графику, OLE-объекты, а так же мультимедийные данные (аудио, видео, флэш-анимацию).

В каждом вопросе может содержаться от 2 до (215 – 1) вариантов ответа. Основными параметрами варианта ответа являются: Идентификатор (присваивается автоматически); Условное название варианта ответа; Активность; Правильность и Вес варианта ответа в баллах. Ответов со статусом правильный может быть один или несколько. Интерфейс модуля TestMaker показан на рис. 1.

2.   TestReader – модуль предназначен для проведения тестирования на персональных компьютерах клиентов. Программа может работать как в локальном, так и в сетевом режиме

В локальном режиме файл с набором тестов вручную записывается на персональный компьютер, на котором будет проводиться тестирование. По окончанию тестирования результаты теста записываются в файл и/или выводятся на экран. В сетевом режиме необходимый тест автоматически скачивается с сервера тестирования, а результаты могут отправляться на сервер результатов.

Перед началом тестирования пользователю необходимо выбрать наименование теста, имя пользователя и ввести пароль, а так же указать некоторую личную информацию: фамилию, имя, отчество и класс. Если данные введены правильно, то можно приступать к тестированию. Главное окно программы TestReader показано на рис. 2.

Программа обладает простым, не перегруженным командами и интуитивно понятным, даже для школьника младших классов интерфейсом. Элементы управления выполнены в виде крупных значков. Управление может осуществляться как мышкой, так и с помощью клавиатуры.

ResultViewer – модуль позволяет быстро вывести на экран или распечатать результаты отдельного  тестирования без проведения анализа. Он удобен при идентификации работ тестируемых и быстрого просмотра развернутого отчета о результате тестирования, ответах на каждый вопрос, затраченном времени и т.д. Вывод оценки в ResultViewer можно запретить. Главное окно модуля представлено на рис. 3.

3.   TestReporter (рис. 4) – модуль служит для объединения результатов тестирования с дополнительными данными (личными данными тестируемых, профессиональными данными преподавателей, данными о применяющихся для обучения тестируемого методиках и учебных материалах). Объединенные данные передаются в модуль TestAnalyser.

Список личных данных тестируемого школьника: Уникальный идентификатор (присваивается автоматически); Фамилия; Имя; Отчество; Дата рождения; Пол; Номер свидетельства о рождении, Номер страхового свидетельства, Серия и номер паспорта; Гражданство; Номер базисного учебного плана; Сведения о дошкольном образовании; Изучаемые иностранные языки; Владение родным языком (для школьников, родным языком которых не является русский язык); Язык обучения в 1–4 классах; Группа здоровья; Номер класса; Буква класса; Год поступления в школу.

Список личных и профессиональных данных преподавателей: Уникальный идентификатор (присваивается автоматически); Фамилия; Имя; Отчество; Номер страхового свидетельства; Категория; Разряд; Педагогический стаж; Ученая степень; Наличие почетного звания и профессиональных наград.

Список параметров для учебно-методических материалов: Предмет; Класс; Автор(ы); Заглавие; Год издания; Издательство. Информация об учебниках берется из ежегодно обновляемого федерального перечня учебников, публикуемого Министерством образования и науки РФ.

Программа учитывает большой объем вводимых данных, поэтому предоставляет пользователю набор инструментов для ускоренного ввода информации. В частности самый большой блок данных – параметры учебников и учителей по каждому году обучения вводится толь??о для первого по списку ученика класса, а затем копируется всем остальным школьникам путем специальной команды клонирования. Практика эксплуатации TestReporter в школах РСО-Алания показала, что ввод указанной информации для класса из 30 человек, занимает не более 2 ч даже при низкой квалификации наборщика.

4.   TestAnalyser – модуль предназначен для долговременного хранения, анализа результатов тестирования и составления отчетных документов. Программа позволяет проводить статистический анализ, выявляя сложные зависимости результатов от дополнительных данных. Главное окно программы показано на рис. 5.

Для хранения информации решено было использовать СУБД Microsoft SQL Server 2005. Этот выбор обусловлен, несколькими причинами:

1.   Существуют как платные (Professional, Enterprise и др.), так и бесплатные (Express) редакции данного программного продукта. Основным отличием бесплатной редакции является ограничение на размер базы данных (до 4 ГБ, чего вполне достаточно), невозможность использования мультипроцессорных систем, и отсутствие некоторых инструментов бизнес-аналитики.

2.   СУБД Microsoft SQL Server обладает гибким механизмом политики безопасности и позволяет настраивать доступ к информации на основе двух механизмов аутентификации: проверки подлинности Windows и проверки подлинности SQL Server.

База данных системы, состоит из связанных между собой 6 таблиц:

1.   Личные данные тестируемых.

2.   Личные и профессиональные данные преподавателей.

3.   Данные о методиках и учебных пособиях.

4.   Общие данные о проведенных тестированиях (дата и время проведения, код тестирования, имя пользователя при входе в систему и т.д.).

5.   Подробные результаты каждого тестирования.

6.   Параметры тестов.

Открытость формата базы и существование технологии SQLCLR в MS SQL Server 2005 позволяет продвинутым пользователям системы разрабатывать свои алгоритмы анализа данных.

Схема распределения потоков данных

Процесс тестирования происходит в несколько стадий:

1.   В программе TestMaker создается один или несколько наборов тестов.

2.   Наборы тестов отправляют в репозиторий (хранилище), размещают на сайте или отправляют клиенту (тестируемому) по электронной почте или на физическом носителе информации (дискете, CD-диске и т.д.). Клиенту так же сообщается имя пользователя, пароль и дату активации для каждого необходимого теста.

3.   Тестируемый загружает набор тестов в программу TestReader, выбирает нужный тест, вводит необходимую информацию и начинает проходить тест. В зависимости от настройки теста результаты тестирования отправляются по локальной сети или сети Интернет (на указанный в настройках TestReader адрес), сохраняются в файл специального формата и/или выводятся на экран (если не требуется проводить анализа результатов, а требуется только распечатать информацию о тестировании, применяют программу ResultViewer).

4.   Результаты тестирования объединяются с дополнительными данными в модуле TestReporter.

5.   С помощью программы TestAnalyser данные анализируются и проходит генерация отчета.

Распределение потоков данных при проведении тестирования представлено на рис. 6.

ВЫВОДЫ

1.     Современные методы массового тестирования знаний не могут обходиться без компьютерных технологий. Наиболее рациональным инструментом тестирования являются законченные решения, покрывающие весь цикл тестирования от создания тестов до статистического анализа результатов.

2.     Применение автоматизированной системы контроля знаний сокращает время на проверку работ, позволяет легко анализировать ответы как одного тестируемого, так и группы в целом, значительно снижает материальные затраты.

3.     Применение системы существенно уменьшает влияние на результаты проверки знаний “человеческого фактора”.

4.     Применение в тестах мультимедийных материалов расширяет круг применения системы.

5.     Гибкость и высокая масштабируемость разработанной системы позволяет применять ее не только при оценке качества знаний школьников, но и для определения профессиональных показателей любой группы.

6.     Программа позволяет проводить не только тестирование, но и социологические опросы, викторины, олимпиады, что делает ее универсальным инструментом массового тестирования и анализа.

 

ЛИТЕРАТУРА

1.     Нортоп Тони, Уилдермьюс Шон, Райан Билл. Основы разработки приложений на платформе Microsoft .NET Framework. Учебный курс Microsoft / Пер. с англ. – М.: “Русская редакция”, СПб.: “Питер”. 2007. – 864 с.: ил.

2.     Гришанова Н. А. Тестовый контроль знаний и умений: методические рекомендации. – М.: Институт повышения квалификации и переподготовки кадров, 1997.

3.     Нейман Ю. М., Хлебников В. А. Введение в теорию моделирования и параметризации педагогических тестов. – М.: "Прометей", 2000. 168 с.

4.     Бергер А. Б., Горбач И. В., Меломед Э. Л., Щербанин В. А, Степаненко В. П. Microsoft SQL Server 2005 Analysis Services. OLAP и многомерный анализ данных. – СПб.: “БХВ-Петербург”. 2007. – 928 c.: ил.

5.     ZhaoHui Tang, Jamie MacLennan. Data Mining with SQL Server 2005. – Wiley Publishing, Inc. Indianapolis, Indiana, USA. 2005.


Автор оригинала: Мамонтов Д.В., Волошин С.Б.
Источник оригинала: Журнал «Вестник РУДН» серия «Информатизация образования», 2008, №2

Новости
16.06.2017

Российский университет дружбы народов объявляет о проведение первой волны вступительных испытаний среди иностранных граждан для обучения на программах магистратуры на контрактной основе. Первая ...

13.10.2016

26 октября-27 октября 2016 года Российский университет дружбы народов проводит Международную конференцию «Сетевые университеты и международный рынок труда (пространства БРИКС, СНГ, ШОС)».

19.05.2016

The Peoples’ Friendship University of Russia (PFUR) announces the beginning of admission of foreign citizens who graduated from Bachelor and Specialist Degree programs of PFUR and other Russian and ...

19.05.2016

Российский университет дружбы народов (РУДН) объявляет о наборе иностранных граждан -выпускников бакалавриата и специалитета РУДН и других российских и зарубежных ВУЗов на программы магистратуры на ...

11.12.2015

Проект рекомендаций Семинара-совещания научной общественности по проблемам международного научно-технического и образовательного сотрудничества