МЕТОДИКА ПЕДАГОГИЧЕСКОГО ИЗМЕРЕНИЯ ГРАМОТНОСТИ ШКОЛЬНИКА В ОБЛАСТИ ИНФОРМАТИКИ

Данная методика педагогического измерения грамотности школьника основывается на разработках Головного центра мониторинга и сертификации Национального исследовательского университета СПбГУИТМО. Автором этих разработок является доктор технических наук, профессор С. А. Бояшова.

1. Определение объекта исследования

Понятие «педагогическая величина». Под педагогической величиной будем понимать одно из свойств психической системы человека, формируемого в процессе его обучения. Педагогическая величина является общей характеристикой в качественном отношении для всех обучающихся, но в количественном отношении она индивидуальна для каждого субъекта обучения.

1. 1. Объект исследования – грамотность школьника в предметной области «Информатика», сформированная по завершению его обучения на ступени основной общеобразовательной школы (педагогическая величина – икт-грамотность).

1. 2. Икт-грамотность – педагогическая величина, определяемая объемом понятий научной области «Информатика», усвоенным в процессе обучения школьника, и характеризующая свойство его психической системы.

2. Определение цели и принципа измерения

2. 1. Цель измерения – определение действительного значения икт-грамотности школьника экспериментальным путем.

2. 2. Принцип измерения – объем ЗУН прямопропорционален объему понятий научной области знаний , усвоенных обучающимся в процессе его обучения.

2. 3 Коэффициент грамотности – безразмерный коэффициент, определяемый как отношение объема понятий научной области «Информатика», подлежащий обязательному усвоению школьником на ступени основного общего образования , к объему понятий, усвоенному его психической системой в процессе учения :

3. Определение метода измерения

3. 1. Метод измерения – сравнение с мерой, в котором измеряемую величину (икт-грамотности школьника) будем сравнивать с величиной, воспроизводимой мерой (стандартами образования в области «Информатика» на ступени основного общего образования).

3. 2. Эталонная мера ИКТ-грамотности – ФГОС в области «Информатика», включающий в себя понятия и их системы, подлежащие обязательному усвоению школьником на ступени основного общего образования.

4. Определение эталонных мер

4. 1. Построение кодификатора понятий, представляющего собой таблицу, в которой согласно ФГОС определены понятия и их системы, подлежащие обязательному усвоению школьником на ступени основного общего образования в области «Информатика».

Таблица 1. Модуль 1. Область «Информационные процессы и технологии»

4. 2. Построение первичного эталона понятий в соответствии с кодификатором

По окончанию обучения на ступени основного общего образования школьник должен воспроизводить заданные в кодификаторе предметно-специфические действия и оперировать системой выделенных понятий (рис 1).

Рис. 1. Распределение структурных элементов по блокам эталонной меры

(первичный эталон понятий)

4. 3. Построение эталонов понятий меньшего класса точности

На основании первичного эталона формируются эталоны понятий меньшего класса точности.

Таблица 2. Эталоны понятий области «Информационные процессы и технологии»

4. 4. Построение эталонных распределений коэффициента икт-грамотности

На основании эталонов понятий определяются эталонные распределения коэффициента икт-грамотности.

Таблица 3. Эталонные распределения коэффициента икт-грамотности

4. 5. Шкалирование

На основании эталонных распределений коэффициента икт-грамотности определяются шкалы оценивания икт-грамотности.

Таблица 4. Оценочные нормы

5. 1. Средство педагогического измерения икт-грамотности – тест.

5. 2. Составление теста для измерения икт-грамотности.

5. 2. 1. Количественная модель теста составляется в соответствии с кодификатором:

§ длина теста определяется общим числом понятий в кодификаторе – 72;

§ число блоков определяется числом систем понятий в кодификаторе – 6.

5. 2. 2. Содержание тестового задания (элемент теста) составляется с целью проверки усвоения соответствующих понятий кодификатора.

5. 2. 3. Форма тестового задания определяется в зависимости от его содержания и целей педагогического исследования.

Образец формы для составления теста

ТЕСТ[1]

ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ

Задание 1. Модель объекта − это…

Варианты ответа:

1)…упрощенное представление о реальном объекте.

2)…уменьшенная копия объекта.

3)…объект, наиболее полно отражающий все характеристики объекта.

Задание 2. Примером информационной модели исторических событий является…

Варианты ответа:

1) …бородинская панорама.

2) …стихи А. С. Пушкина «Бородино».

3) …экспонаты музея «Бородинское сражение».

Задание 3. 256-цветный рисунок, содержащий 50-байт информации (без учета битов интенсивности) состоит из ________ точек.

Задание 4 Число A67₁₆ записывается в двоичной системе как …

Варианты ответа:

1) 101001100111;

2) 10100110111;

3) 111011100111;

4) 11110110111.

Далее по кодификатору

______________________________________________________________________

5. 2. 4. Бланк тестирования

Если тестирование проводится с использованием бланков, то бланки должны иметь машиночитаемую форму.

При разработке формы сбора данных необходимо предусмотреть поля для ввода измеряемых параметров и поля для ввода данных о респонденте, а также разработать инструкцию по заполнению бланка.

Бланк должен удовлетворять условиям простоты фиксации результатов наблюдений, наглядности полученных результатов и полноты данных.

При подготовке машиночитаемых форм необходимо соблюдать специальные правила:

1) форма должна иметь реперы (как правило, в виде квадратов или крестиков по углам), элементы формы не должны перекрываться, расстояния между границами рекомендуется оставлять не менее 5 мм, для распознаваемого текста необходимо указать специально оформленные знакоместа, поля формы должны быть не менее 12 мм;

2) чтобы упростить процесс подготовки бланков, удобнее всего использовать специально предназначенные программы, например ABBYYFormDesigner;

3) все экземпляры бланков необходимо печатать на одном принтере (или идентичных моделях) с разрешением 600 dpi или типографским способом (бланки должны совпадать «на просвет»), не рекомендуется использование копировальной техники;

4) в инструкциях по заполнению бланка с целью повышения качества распознавания необходимо указать, что его лучше всего заполнять черной гелевой ручкой, раздельными прописными буквами. Рекомендуется на бланке привести образец заполнения.

Примерный образец бланка

Тест ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ

БЛАНК ОТВЕТОВ НА ТЕСТОВЫЕ ЗАДАНИЯ

6. Проведение измерений

6. 1. Организатор педагогического измерения в соответствии с установленной методикой должен:

1. Ознакомить испытуемых с целью и правилами работы.

2. Ответить на вопросы испытуемых, касающиеся содержания заданий, до того как они приступили к работе.

3. Обеспечить четкое выполнение методических рекомендаций по проведению педагогических измерений.

4. Полностью исключить присутствие посторонних лиц во время проведения педагогических измерений.

5. Следить за соблюдением требований к помещению (каждому испытуемому обеспечить отдельное посадочное место).

6. Соблюдать корректность по отношению к испытуемым.

7. Ориентировать испытуемых на выполнение максимального количества заданий и максимальное использование отведенного времени.

8. Обеспечить соблюдение конфиденциальности по отношению к ходу обследования и к его предварительным результатам.

Описанная выше инструкция ориентирована на обеспечение надежности и достоверности педагогических измерений.

6. Обработка данных измерения

6. 1. Заполнение тестовой матрицы

Образец фрагмента тестовой матрицы

6. 2. Определение коэффициента икт-грамотности по каждому отдельному испытуемому

6. 2. 1. Сравнение экспериментального распределения понятий, усвоенных испытуемым с эталонным распределением

Пример сравнения

6. 2. 1. Построение экспериментального распределения коэффициента икт-грамотности

Сравнение полученного распределения коэффициента икт-грамотности испытуемого с данными таблицы 4 показывает, что его значение соответствует эталону 2-го класса точности.

7. Представление результатов измерения коэффициента икт-грамотности испытуемому

7. 1. Оценка испытуемого

§ по 100 балльной шкале – 78 баллов

§ по 5 балльной шкале – 4 балла

7. 2. Сравнение коэффициента икт-грамотности испытуемого с эталоном 2-го класса точности

7. 3. Определение перечня понятий, не усвоенных испытуемым по тестовой матрице

Пример, блок 1

8. Исследование качества тестовых заданий

8. 1. Статистическая трудность задания определяется по результатам его апробации на определенной выборке испытуемых по тестовой матрице с использованием формулы:

– число испытуемых, правильно выполнивших задание;

– общее число испытуемых, выполнявших задание.

Задания с трудностью более 80% и менее 20% не считаются тестовыми и выбраковываются.

Примечание. Исследование трудности задания проводится в условии отсутствия ограничения времени для его выполнения каждым испытуемым. Трудность задания является относительной характеристикой его качества, так как зависит от особенностей выборки испытуемых. В связи с этим отбор заданий в тест должен производиться в соответствии с объектом конкретного педагогического измерения, его целью, основным принципом и методом, а также учитывать категорию и предполагаемый уровень подготовки испытуемых.

Пример. Предположим, что в выборке, состоящей из 30 испытуемых, пятое задание выполнили правильно 20 человек. В данном случае статистическая трудность задания равна: (67%). Индекс трудности (5. 2):

8. 2. Дифференцирующая способность задания оценивается тестологами как мера соответствия между успешностью выполнения одного задания теста в заданной выборке испытуемых и всего теста, и определяется по тестовой матрице. Количественной характеристикой дифференцирующей способности задания является коэффициент дискриминации:

– среднее арифметическое значение баллов, полученных испытуемыми по всему тесту;

– среднеквадратическое отклонение баллов, полученных испытуемыми по всему тесту;

– число испытуемых в данной выборке, правильно выполнивших задание i.

Коэффициент дискриминации тестового задания может принимать значения, находящиеся в интервале от –1 до +1.

§ Если коэффициент дискриминации равен +1, то задание имеет высокую дифференцирующую способность и позволяет различать испытуемых с высоким и низким уровнем подготовки.

§ Если коэффициент дискриминации равен – 1, то задание непригодно для теста.

§ Если коэффициент дискриминации равен 0, то задание сформулировано некорректно.

§ Если тест содержит небольшое количество заданий или отдельные блоки, то дифференцирующую способность заданий оценивают по коэффициенту корреляции.

Пример. Предположим, что в выборке, состоящей из 30 испытуемых, пятое задание выполнили правильно 20 человек. Среднее арифметическое значение баллов, полученных испытуемыми, правильно выполнившими пятое задание, – 15. Среднее арифметическое значение баллов, полученных испытуемыми по всему тесту, – 12. Среднеквадратическое отклонение баллов, полученных испытуемыми по всему тесту: .

, .

8. 3. Результаты исследования качества тестовых заданий

Пример

Литература

1. Бояшова С. А. Теоретические основы построения автоматизированной системы сертификации работников отрасли образования. : автореф. дисс. докт. тех. наук. – СПб. , 2010.

2. Дж Ван Гиг. Прикладная общая теория систем. / Дж Ван Гиг. – М. : Изд-во Мир, 1981.

3. Основы общей теории систем: учебное пособие, ч. 1. – СПб. : Изд-во ВАС им. С. М. Буденного, 1992.

4. Сарксян С. А. Большие технические системы анализ и прогноз развития. / С. А. Сарксян, В. М. Ахундов. – М. : Изд-во Наука. 1977.

5. Шпак В. Ф. Основы автоматизации управления : учебное пособие. / В. Ф. Шпак. – Петродворец : Изд-во ВВМУРЭ им. А. С. Попова, 1997. – 211 с.

Симоненко Е. В. ,

заместитель директора по УВР,

учитель информатики и ИКТ,

ГОУ гимназия № 49,

Спб