МЕТОДИЧЕСКИЕ РЕКОМЕНДАЦИИ:
Методы оценки знаний. Принципы создания теста, типология тестов и
функциональные особенности каждого типа, правила оформления
структуры теста.
МЕТОДЫ ОЦЕНКИ ЗНАНИЙ
К методам оценки знаний относят: рубежный контроль (контроль по
модулям), зачёты и экзамены, тестирование, рейтинги и др. Конец ХХ в. в
традиционном
и
дистанционном
социально-гуманитарном
обучении
характеризуется широким распространением компьютеризированных методов
контроля знаний (тестирования). В них используются пяти- и многобалльные
системы оценки знаний обучаемых, незначительно отличающиеся друг от друга.
Известно, что в многобалльных системах разброс выставляемых оценок не велик.
Обычно он характеризуется устойчивым диапазоном граничных значений, редко
превышающих
10-15
баллов.
При
этом
субъективность
оценки
знаний
присутствует в любой системе.
Педагогические тесты (далее по тексту ПТ) помогают получить более
объективные оценки уровня знаний, умений, навыков, проверить соответствие
требований к подготовке выпускников вузов заданным стандартам, выявить
пробелы в подготовке студентов. Одновременно, компьютерное тестирование
начали использовать в нашей стране и для итоговой аттестации выпускников школ
в форме Единого государственного экзамена.
Педагогический
тест
следует
понимать
как
систему
заданий
специфической формы и определенного содержания, расположенных в порядке
возрастающей трудности, создаваемой с целью объективной оценки структуры и
измерения уровня подготовленности обучающихся.
Из определения следует, что ПТ целесообразно рассматривать не как
обычную совокупность или набор заданий, а как систему, обладающую двумя
главными системными факторами: содержательным составом тестовых заданий,
образующих наилучшую целостность, и нарастанием трудности от задания к
заданию.
Принцип нарастания трудности позволяет определить уровень знаний и
умений по контролируемой дисциплине, а обязательное ограничение времени
тестирования – выявить наличие навыков и умений. Трудность задания как
субъективное
понятие
определяется
эмпирически,
по
величине
доли
неправильных ответов. Этим трудность отличается от объективного показателя –
сложности, под которой понимают совокупность числа понятий, вошедших в
задание, числа логических связей между ними и числа операций, необходимых
для выполнения задания.
Качество тестов традиционно оценивается двумя основными критериями:
надежность теста, ассоциируемая, в первую очередь, с точностью измерения,
которая определяется воспроизводимостью полученных результатов на том же
контингенте испытуемых, использованием параллельных тестов или других
методов контроля; валидность теста, определяемая обычно как его способность
измерять именно то, что он призван измерять по замыслу автора. При проверке ПТ
на валидность он подвергается экспертной оценке. Чтобы исключить завышение
оценки за счет угадывания ответа,
из общего суммарного балла вычитают
корреляционные баллы, т. е. количество баллов, которое может быть получено
обучаемым за счет угадывания.
Все задачи педагогического контроля можно условно разделить на два
класса. В один класс входят задачи, связанные со сравнением учебных
достижений
обучающихся.
Они
решаются
нормативно-ориентированным
тестированием. В другой класс входят задачи, связанные с оценкой степени
овладения обучаемыми учебным материалом. Они соответствуют критериальноориентированному подходу.
В
основе
нормативно-ориентированных
ПТ
лежит
сопоставление
индивидуального балла испытуемого с тестовыми баллами, полученными другими
испытуемыми из той же группы. Известно, что уровень подготовки учебной
группы зависит от многих факторов: состава группы, доминирующей мотивации в
обучении, качества преподавания и т.д. В качестве основного недостатка
названного класса тестирования важно указать и такой: испытуемый из слабой
группы, показавший в своей группе наилучший результат, может оказаться среди
отстающих при сравнении его балла с результатами тестирования в сильной
группе.
В рамках одного учебного заведения эта проблема преодолевается довольно
просто. Необходимо протестировать по одному и тому же тесту все учебные
группы
или
стандартизации.
прибегнуть
Это
к
формированию
специально
подобранная
так
называемой
выборки
репрезентативная
группа
испытуемых. Результаты тестирования такой выборки называются тестовыми
нормами. Отсюда и происхождение термина: “нормативно-ориентированное
тестирование”. Если выборка репрезентативная, то, сопоставляя индивидуальный
балл с полученными нормами, можно получить объективную оценку уровня
достижений отдельного испытуемого по сравнению с уровнем достижений всех
слушателей, и эта оценка уже не будет зависеть от уровня подготовленности
конкретной учебной группы, в которой проводилось тестирование. Назначение
нормативно-ориентированных ПТ - четко дифференцировать обучаемых.
Критериально-ориентированный ПТ представляет собой систему заданий,
позволяющую измерить уровень учебных достижений относительно полного
объема знаний, умений и навыков, которыми должны овладеть испытуемые в
результате определенного курса обучения. При этом указанный объем называется
областью содержания этого теста. С ней и соотносятся учебные достижения
отдельных обучающихся, чтобы определить, какую долю учебного материала они
усвоили, задачи какого уровня сложности могут решать. Выделяют два вида
критериально-ориентированных ПТ.
Первый вид (по-английски domain-referenced tests) предназначен для оценки
доли от полного объема учебного материала, которую усвоили обучаемые,
измеряемую обычно в процентах. Этот вид теста позволяет также оценить степень
овладения тем или иным умением или навыком. Если испытуемый полностью
овладел измеряемым умением и выработал соответствующий навык, то он в
отведенное время выполнит 100 % заданий. Если умение еще не сформировано, то
не будет выполнено ни одного задания. Если умение находится в стадии
формирования или даже сформировано, а навыка еще нет, то будет выполнена
соответственно меньшая или большая часть заданий. Процент их правильного
выполнения и является оценкой степени овладения.
Второй
вид
критериально-ориентированных
тестов
(mastery
tests)
используется для классификации обучаемых, разделения их на две (или более)
группы на основании заранее выработанного критерия (зачет-незачет, аттестованне аттестован). Для того чтобы быть отнесенным к группе “зачет” или
“аттестован”, испытуемый должен достичь необходимого минимального для этой
группы уровня овладения учебным материалом. Этот уровень устанавливается
разработчиками теста и является критерием, на основании которого принимается
конкретное решение относительно каждого обучающегося. В тесте критерий
выражается определенным количеством заданий. Если испытуемый выполняет
данное количество заданий или превосходит его, он аттестовывается, в противном
случае – нет. При этом за критерий обычно принимается 80–90 % от общего числа
заданий в тесте.
Тест включает небольшое количество заданий повышенной
трудности. Выбирать критерий, равный 100 %, нецелесообразно, так как
тестирование носит вероятностный характер и обучаемый, полностью усвоивший
необходимый материал, может дать неправильные ответы на несколько заданий в
силу случайных обстоятельств.
Нормативно-ориентированные
и критериально-ориентированные тесты
можно использовать для перевода тестовых баллов в традиционную систему
оценок. Например, если испытуемый выполнил более 90 % заданий, то он
получает оценку “отлично”, решивший от 75 до 90 % заданий “хорошо”, от 50 до
75
%
–
“удовлетворительно”.
Критерий
устанавливается
самими
разработчиками теста и зависит от сложности содержания и планируемой
трудности задания.
Целесообразно в проводимом анализе методов разработки тестов и заданий
для контроля усвоения содержания учебной дисциплины уделить внимание
способам их
программной реализации. Можно выделить два варианта
программной реализации проверяющих систем. Это вопросно-ответные и игровые
системы.
Вопросно-ответные системы различаются по типу ответа, который может
ввести обучаемый, их мы рассмотрим подробнее ниже. Игровые проверяющие
системы характерны тем, что обучаемому задается ряд правил и поставлена
некоторая цель, и по тому, достигнута цель или нет, происходит оценивание того,
насколько он изучил материал.
Вопросно-ответные системы, как уже говорилось, можно разделить по
типам ответов, которые вводит пользователь.
Выделяется семь групп вопросно-ответных систем: вопросы типа да-нет;
выбор одного из вариантов ответов; выбор нескольких вариантов ответов; выбор
правильной последовательности; ввод тестируемых значений; ввод ответа с
заданным синтаксисом; ввод свободно конструируемого ответа. Подобное
разделение достаточно условно, и в реальных системах используются почти все
типы проверяющих систем.
Полученные теоретические результаты исследования проблемы разработки
тестов и заданий для контроля усвоения содержания учебной дисциплины
позволяют
реализовать
их
на
практике
в
процессе
проектирования
информационной личностно-ориентированной технологии обучения.
Портфолио
ученика
–
инструмент
самооценки
собственного
познавательного, творческого труда ученика, рефлексии его собственной
деятельности. Это комплект документов, самостоятельных работ ученика.
Портфолио как метод оценки основан на том, что обучаемые в течение
определенного
периода
собирают
в
рабочие
папки
(портфолио)
и
систематизируют все выполненные работы (письменные задания, доклады,
чертежи, расчеты и иные созданные ими мультимедиа-продукты), а также
комментарии и внешние оценки этих работ. В портфолио также заносятся и все
черновики, заметки в рабочих тетрадях, отзывы и оценки преподавателя и других
участников.
Поскольку важной целью оценки знаний является стимулирование
положительной мотивации, в портфолио можно также включить работы, которые
свидетельствуют о мотивационной направленности и позволяют проследить, что
ее усиливает, а что - ослабляет. Любая оценка подразумевает вынесение некоего
суждения. Заносимые в портфолио ответы на вопросы по самооценке учащихся
становятся следующими оценочными суждениями.
Добился ли я цели - удовлетворительных результатов обучения?
Как применять полученные знания — владею ли я навыками, необходимыми
для использования конкретных средств?
Как определить, достигнута ли образовательная цель или каковы результаты
проекта?
Как понять, что я достаточно хорошо прошел курс обучения?
Как мне оценить не только результат обучения, но и отдельные его этапы?
Как следует оценивать свои стратегии обучения и подход к решению задачи?
Благодаря ответам на эти вопросы, портфолио делает самооценку неотъемлемой
частью учебного процесса, позволяя судить о понимании обучаемого, его
интересах, мотивации, знаниях, навыках и продвижении в учебе. Таким образом,
метод самооценки посредством портфолио способствует рефлексии знаний.
Портфолио представляет собой собрание объектов, созданных с определенной
целью. Идея состоит в том, что слушатели курса собирают воедино материал из
разных источников, используя различные методы, и делают это в разное время.
Например: портфолио может быть папкой черновиков, набросков и завершенных
проектов;
портфолио
может
содержать
такие
материалы,
как
чертежи,
фотографии, рукописные или иные рабочие материалы, а также копии
стандартизированных учебных тестов; в портфолио могут быть включены отзывы
тех, с кем слушатели курса общаются или сотрудничают в процессе обучения, а
также собственные текущие заметки участников. Метод портфолио представляет
собой педагогическую технологию сбора и систематизации названных выше
материалов. Создание слушателями курса собственной папки работ, например, с
использованием
компьютера
и
различного
программного
обеспечения,
способствует достижению педагогических целей учебного курса, в частности,
выработке навыков рефлексии, совершенствованию навыков владения ИКТ и
средствами мультимедиа, углубленному подходу к обучению и т. д.
Папки
работ
слушателей
курса,
таким
образом,
являются
неким
свидетельством того, что они сформировали знания трех типов:
1)
владение предметом (декларативное знание - знание того, что - факты,
числа, концепции и т. д.; условное знание — понимание взаимосвязей между
концепциями);
2)
процедурное знание - знание того, как - демонстрирующее, насколько
хорошо слушатель может применять предметные знания на практике;
3)
стратегическое знание - знание того, почему - демонстрирующее навыки
самоорганизации и метапознания (осознание качества собственного обучения и
самооценка сформированных навыков).
Для наиболее эффективного использования метода портфолио, как метода
оценки необходимо тщательно подбирать критерии оценки портфолио и
знакомить с ними обучаемых еще до начала работы над своими портфолио. С
другой стороны он обеспечивает высокий уровень документирования процесса
обучения и развития. Портфолио позволяет проводить оценку всего учебного
процесса с самого начала, поскольку оно периодически пополняется в течение
всего периода обучения.
Изменив или заменив конкретные задания, результаты которых предполагается
хранить в портфолио, можно приспособить эту созидательную форму оценки под
потребности конкретного учебного курса. В этом случае метод портфолио
позволит сконцентрировать внимание обучаемых на результатах своего обучения.
Более того, метод портфолио позволяет удостовериться, что выбранная учебная
стратегия ведет к достижению поставленных целей.
Метод оценки с помощью портфолио позволяет:
показать ретроспективу процесса обучения и развития обучаемого. Так
как портфолио запечатлевает процесс изменения или развития в различные
моменты времени, по нему легче судить об индивидуальном стиле обучения;
служить средством развития навыков общения и выработки взаимной
ответственности между преподавателем и обучаемыми;
раскрыть отношение учащихся к обучению, а также способствует
изучению их мотивации.
В основе системы проектирования портфолио лежат целеполагание,
формирование критериев оценки поставленных целей и содержательность
портфолио.
Целеполагание. Цели портфолио будут служить руководством для обучаемых
при
подборе
материалов.
Например,
является
ли
целью
портфолио
информирование преподавателя и/или участников обучения о полученных
навыках и умениях? Является ли целью ведение отчетности об успеваемости?
Используется ли портфолио для определения индивидуальных потребностей
учащихся?
При разработке портфолио необходимо добиться:
• документирования обучаемым собственного процесса обучения;
• отражения в интерпретации обучаемого всего содержания курса в виде
осмысленных и усвоенных знаний.
Материалы, собранные в портфолио, должны четко и последовательно
отражать отношение к учебе, развитие знаний обучаемых в изучаемой предметной
области,
навыков
в
решении
задач;
материалы
должны
быть
также
документированными. Портфолио служит основанием для оценки работы
преподавателем и одновременно материалом для самооценки. Обучающиеся сами
решают, какие работы из портфолио представлять на рассмотрение преподавателя.
Портфолио формирует впечатление обучаемых друг о друге, что позволяет
учиться друг у друга, обмениваться мнениями и опытом, совместно обсуждать
изучаемые вопросы.
Критерии оценки. В соответствии с целеполаганием портфолио следует
определить критерии и стандартные оценки, а также стратегии, необходимые для
достижения поставленных целей. В формировании критериев оценки портфолио
могут принимать участие как преподаватель, так и обучаемые.
Оценка материалов портфолио основывается на критериях, выработанных
обучаемыми совместно с преподавателем.
Критерии оценки могут включать как минимум три показателя:
• развитие способностей обучающихся, их знаний и навыков, мнение о
качестве предоставляемых образовательных услуг и используемых
мультимедийных продуктов;
• качество включенных в портфолио материалов; разнообразие материалов;
средства, использованные для их создания, и уровень владения этими средствами;
аналитическая структурированность материала; эстетичность представления;
наличие в материалах портфолио концептуальных основ учебного курса;
• обоснованность включения материалов в портфолио.
Содержательность. Многочисленные вопросы вызывает содержательность
портфолио. Какие источники информации использовать? Сколько работ требуется
собрать в портфолио? Как интерпретировать содержательность работ, входящих в
портфолио? Какая информация более ценна и при каких условиях?
С содержательной точки зрения информация, включаемая в портфолио,
может быть классифицирована следующим образом (Barton and Collins, 1997):
• собственные работы обучаемых: материалы, созданные в ходе обычных
аудиторных занятий, такие как мультимедиа-объекты, документация, эскизы,
наброски идей;
• копии предыдущих самостоятельных работ обучаемых (документирование
материалов), созданных вне аудитории;
• оценки и отзывы (указания и наблюдения преподавателей и других людей о
работе обучаемого);
• презентации (материалы, специально подготовленные для портфолио, такие
как результаты рефлексии обучаемым процесса обучения и принятых решений).
По результатам анализа собранных работ в большинстве случаев портфолио
можно подразделить на процедурные и документальные (Cole, Ryan and Kick,
1995). Поэтому в некоторых случаях рекомендуется проектировать портфолио
обоих типов.
Множественность источников. Источниками материалов для портфолио
могут быть указания преподавателей и наблюдения обучаемых; собственные
работы (абсолютно все, от контрольных работ до фотографий, чертежей, текстов,
расчетов, анимации, мультимедийных презентаций, персональных страниц в
Интернете, видео- и звукозаписей, разработанных ЦОР).
Подлинность. Информация и материалы, отобранные или созданные для
портфолио, должны быть непосредственно связаны с заданиями учебной
программы, а также удовлетворять целям курса и критериям отбора материалов.
Динамичность. Данные собираются многократно, в разное время. Портфолио
должно включать не только окончательные, но и рабочие варианты работ,
выполненные к определенному времени. Это позволяет в дальнейшем оценить
динамику и осмыслить ход обучения.
Ясность. Обучаемые должны знать заранее, что от них ожидают, чтобы нести
полную ответственность за создание персонального портфолио.
Интегрированность. Обучаемые должны демонстрировать умение применять
собранные в портфолио материалы в реальных ситуациях.
Авторство.
Оценка
методом
портфолио
требует
от
обучаемых
ответственности и самооценки, поскольку они сами решают, какие материалы
включать в портфолио, и сами устанавливают или корректируют цели своего
обучения. Они уже не просто получают знания и отметки от других, а сами
участвуют в этом.
Многоцелевое
назначение.
Хорошо
спроектированная
система
оценки
методом портфолио способна отразить не только развитие обучаемых, но и
эффективность влияния преподавателей на учебный процесс. Портфолио также
может служить средством коммуникации для участников учебного процесса, что
позволяет им учиться друг у друга. Портфолио обучаемого может переходить от
одного преподавателя к другому по мере прохождения им новых тем курса.
Анализ данных портфолио и составление отчетов
Методы анализа материалов портфолио различаются в зависимости от
назначения портфолио и типов собранных в нем.
Если задачи портфолио и критерии отбора материалов были достаточно
четко
определены,
то
материалы
портфолио
позволяют
наглядно
продемонстрировать, какой путь прошел обучаемый от первоначальных знаний до
завершения
учебной
программы,
недостатком
этого
портфолио.
Избежать
метода
достигнув
считается
субъективизма
поставленной
цели.
субъективность
оценки
может
независимая
помочь
Часто
материалов
оценка
портфолио обучаемого несколькими преподавателями. Это простое средство
можно легко применить при формировании отчетов по портфолио.
Цели портфолио. При разработке портфолио необходимо добиться:
1)
документирования обучаемыми собственного процесса обучения,
2)
представления всего содержания курса в собственной интерпретации
обучаемых в виде осмысленных и усвоенных знаний.
Это означает, что материалы портфолио должны четко и последовательно
отражать развитие знаний в изучаемой предметной области, методологических
навыков
(при
решении
задач)
и
отношение
к
учебе,
т.
е.
быть
документированными. Портфолио служит основанием для оценки работы
преподавателем и одновременно материалом для самооценки и осмысления
процесса обучения самим обучаемым.
Более того, портфолио формирует впечатление, которое обучаемый
производит на других;
что позволяет обмениваться мнениями и совместно
обсуждать основные вопросы, возникающие при использовании готовых ЦОР и
проектировании личных ЭУММ.
Структура портфолио. Прежде всего необходимо еще раз определить, что
такое метод портфолио; каковы необходимые условия успешного применения
метода оценки знаний, основанного на портфолио; какие существуют портфолио,
каких типов; какие аспекты должны быть учтены при разработке портфолио и т. д.
После этого можно приступать к составлению структуры своего индивидуального
(электронного) портфолио.
Содержание
портфолио.
Содержание
портфолио
ограничено
определенными рамками: оно должно отражать ход освоения обучаемым
программы учебного курса. Это означает, что существует несколько обязательных
разделов
программы,
представленных
в
содержании
модулей
(лекций,
консультаций, методических рекомендаций и т. п.). Все эти разделы должны быть
отражены в портфолио.
При этом важно определить, как будут использоваться рекомендации
Сценариев 1-4: зачем, когда и как будут применяться эти сценарии? И в каком
образовательном контексте?
При обдумывании содержания портфолио важно:
•
критически подходить к отбору материала;
•
учитывать этические характеристики материала;
•
обосновывать формы и методы применения материала портфолио в
учебном процессе.
В
портфолио
можно
включать
материалы
разных
типов:
тексты,
графические изображения, звукозаписи, анимационные фрагменты, готовые ЦОР,
собственные ЭУММ и т. д. Важнейшей составной частью порфолио должны стать
собственные материалы обучаемого, созданные им в ходе самостоятельной
работы и занятий в группе, такие как материалы групповых дискуссий,
документация, наброски идей; копии работ других обучаемых; оценки и отзывы
преподавателей; материалы презентаций, размышления об обучении и принятых
решениях.
При этом необходимо помнить, что в конечном итоге структура портфолио
создается каждым обучаемым в соответствии с его собственными потребностями
и взглядами. В персональное портфолио можно также включить коллективные
работы, отразив личный вклад каждого в их содержание.
Оценка результатов учебной деятельности, основанная на материалах
портфолио
Оценка материалов портфолио основывается на критериях, выработанных
обучаемым совместно с другими учащимися и преподавателем.
Критерии оценки включают, как минимум, три показателя:
• развитие способностей, знаний и навыков, отраженное в электронном виде, где
зафиксированы этапы и результаты работы обучаемого; мнения о качестве
предоставляемых образовательных услуг и используемых ЦОР;
• качество включенных в портфолио материалов; разнообразие материалов;
средства, использованные для их создания, и уровень владения этими средствами;
структурированность
материала;
эстетичность
концептуальных основ учебного курса;
• обоснованность включения материалов в портфолио.
представления;
учет
I. Принципы создания теста, типология тестов и функциональные
особенности каждого типа, правила оформления структуры теста
Тестирование применяется для определения соответствия предмета
испытания заданным спецификациям. В задачи тестирования не входит
определение
причин
несоответствия
заданным
требованиям
(спецификациям). Тестирование - один из разделов диагностики.
Тест (от слова англ. test) — испытание, проверка, анализ.
Тест (педагогический тест) – это система заданий возрастающей трудности,
специфической формы, позволяющая качественно и эффективно измерить
уровень
знаний,
умений
и
навыков
студентов.
Предназначен
для
определения степени усвоения определенной области знаний или умений.
Тестовое задание – минимальная составляющая единица сложного
(составного) педагогического теста, по которой испытуемый в ходе
выполнения теста совершает отдельное действие, а его результат
регистрируется в первичном протоколе в форме отдельного ответа.
Форма (тестового) задания – общая схема составления тестового задания,
его дизайн и структура. Форма задания содержит инструкцию к заданию,
содержание задания в виде текста и (или) невербальных материалов и
систему оценки выполнения задания. Текст задания в тестовой форме
должен
соответствовать
набору
особых
специфических
требований,
выполнение которых обеспечивает однозначное понимание вопроса (задачи)
и исключает возможность появления ошибочных ответов по формальным
признакам. Система оценки должна обеспечивать однозначную оценку
выполнения задания.
Элементарная дидактическая единица – логически самостоятельная часть
учебного материала, по своему объему и структуре соответствующая таким
компонентам содержания, как понятие, теория, закон, явление, факт, объект
и т.п.
Апробация теста – пробное педагогическое тестирование, предшествующее
основному и предпринимаемое с целью устранения ошибок и неточностей в
заданиях, а также приблизительной оценке трудности теста и его отдельных
частей (заданий).
Валидность теста — действительная способность теста измерять ту
характеристику, для диагностики которой он заявлен. Количественно
валидность теста может выражаться через корреляции результатов,
полученных с его помощью, с другими показателями, например, с
успешностью выполнения соответствующей деятельности.
Настоящий, действенный, валидный и эффективно работающий тест - это
завершенный
продукт,
обладающий
определенными
свойствами
и
характеристиками и отвечающий современным методическим требованиям. Тест
обладает составом, целостностью и структурой. Он состоит из заданий, правил их
применения, оценок за выполнение каждого задания и рекомендаций по
интерпретации
тестовых
результатов.
Целостность
теста
проявляется
во
взаимосвязи заданий, включенных в тест. Ни одно из заданий не может быть
изъято из теста без ущерба для него. Структура же его проявляется в способе
связи заданий между собой.
Создание теста предполагает тщательный анализ содержания учебной
дисциплины, классификацию учебного материала, установление межтематических
и межпредметных связей, укрупнение дидактических единиц с последующим
представлением этих единиц через элементы композиции задания.
Тесты бывают двух видов: традиционные и нетрадиционные.
Традиционные тесты представлены в виде системы заданий возрастающей
трудности, имеющие специфическую форму, позволяющие качественно и
эффективно измерить уровень и оценить структуру подготовленности обучаемых.
При этом в зависимости от того, по скольким учебным дисциплинам
включены в тест задания, традиционные тесты разделяют на гомогенные
(проверяющие знания по одному предмету) и гетерогенные (по нескольким
предметам).
Нетрадиционные тесты представлены интегративными, адаптивными и
критериально-оценочными тестами.
Критериальные
-
нацелены
на
общую
итоговую
диагностику
подготовленности выпускника учебного заведения. В одном тесте предъявляются
знания из двух и более учебных дисциплин. Проведение подобного тестирования
проводится, как правило, при интегративном обучении.
Адаптивные тесты позволяют регулировать трудность предъявляемых
заданий в зависимости от ответов тестируемого. При успешном ответе компьютер
выдает следующее задание, более трудное по сравнению с предыдущим, а в
случае неудачи - более легкое.
Критериально-оценочные тесты предназначены для того, чтобы узнать,
какие элементы содержания учебной дисциплины усвоены, а какие - нет. При этом
они определяются из так называемой генеральной совокупности заданий,
охватывающей всю дисциплину в целом.
Различают несколько типов тестовых заданий:
с выбором ответа (открытая, закрытая формы),
установлением соответствия,
установление последовательности,
с
самостоятельным
формулированием
краткого
дополняемого
и
развернутого ответов (ответы в виде эссе, рецензий, анализа текста).
Одиночный выбор. Тестируемому предлагается выбрать только один вариант
ответа из нескольких предложенных.
Множественный выбор. Тестируемому предлагается выбрать один или
несколько вариантов ответа из нескольких предложенных.
Указание порядка следования. Тестируемому предлагается упорядочить
список. Для этого нужно для каждого элемента (варианта ответа) выбрать из
выпадающего списка его порядковый номер. Раскрывающиеся списки
аналогичны меню. В свернутом состоянии раскрывающийся список отображает
только текущий выбранный параметр. Другие доступные параметры скрыты до
щелчка кнопки со стрелкой.
Сопоставление вариантов. Вопрос на сопоставление предполагает выбор
номера соответствующего варианта из всех предложенных. Т.е. даны два
столбика - для каждого варианта из первого столбика необходимо указать
соответствующий вариант из второго. Вопрос с сопоставлением удобно
применять
в
случаях,
когда
требуется
упорядочить
элементы
или
сгруппировать какие либо элементы по определенным признакам.
Указание
истинности
или
ложности
утверждений
(MCQ).
Вопрос
предполагает выбор утверждения "да", "нет", пусто (не знаю) из списка для
всех предложенных вариантов. Раскрывающиеся списки аналогичны меню. В
свернутом состоянии раскрывающийся список отображает только текущий
выбранный параметр. Другие доступные параметры скрыты до щелчка кнопки
со стрелкой.
Ручной ввод числа. Вопрос на ручной ввод числа предполагает ввод числа в
качестве ответа. Правильный ответ, при создании теста, может быть задан в
виде числа, или в виде числового диапазона. В последнем случае ответ
тестируемого считается правильным если он попадает в указанный диапазон.
Ручной ввод текста. Вопрос на ручной ввод текста предполагает введение
текстовой строки в качестве ответа. При создании теста можно задать не один,
а несколько вариантов ответа. Ответ считается верным если совпадает хоть с
одним из вариантов. Т.е. вы можете предусмотреть возможные опечатки
(например, позиционная и позиционая) или неоднозначности ввода (например,
алгоритм и алгоритмом). Так же вы можете указать учитывать или нет регистр
символов.
Место на изображении. Для ответа на вопрос типа место на изображении
необходимо указать точку на изображении. Если она попадает в указанную
область ответ верен.
Программно-дидактическое тестовое задание может быть представлено в
одной из следующих стандартизированных форм:
задания на дополнения, или открытой (свободной) формы;
задания закрытой формы, или с выбором одного или нескольких
правильных ответов из нескольких предложенных;
задания на установление правильной последовательности;
задания на установление соответствия.
Открытая форма тестового задания
Открытая форма тестового задания отличается тем, что варианты ответов не
предъявляются испытуемому, и он должен самостоятельно набрать ответ с
клавиатуры. Задания этого типа могут быть двух видов. Первый предполагает
получение учащимся строго регламентированных по содержанию и форме
представления
правильных
ответов.
Второй
-
задания
со
свободно
конструируемыми ответами, в которых учащиеся составляют развернутые ответы,
произвольные по длине и форме представления и содержащие полное решения
задачи с пояснениями, микросочинения (эссе) и т.д.
Выделяют задания с кратким ответом, где заранее определяется то, что
однозначно считается правильным ответом, и задается степень полноты его
представления. Обычно ответ бывает достаточно кратким - в виде слова, числа,
формулы, символа и т.д. Регламентированная краткость ответов накладывает
определенные ограничения на сферу применения, поэтому задания первого вида в
основном используются для оценки довольно узкого круга учебных умений.
Обычно с их помощью проверяются умения воспроизводить и применять знания в
знакомой ситуации, а также выявляются уровень понимания изученного
фактологического материала, знание понятийного аппарата и т.д.
Для разработки заданий с конструируемым регламентированным ответом
необходимо мысленно сформулировать вопрос, затем записать четкий и краткий
ответ, в котором на месте ключевого слова, символа или числа ставится прочерк.
В силу однозначности правильного ответа проверка результатов выполнения
заданий с конструируемым регламентированным ответом носит довольно
объективный характер, ее осуществляют в компьютерной форме с последующей
перепроверкой всех неправильных ответов учащихся экспертным путем. Ответы
на задания приводятся на месте прочерка.
Задание 1
Например:
В место для ответа впишите недостающее слово:
1. За единицу измерения количества информации принимается 1. . . .
Задание хорошо использовать как в тематическом, так и в итоговом тесте.
Время выполнения не более одной минуты.
Задания с конструируемым регламентированным ответом малотехнологичны. В
них нередко появляются частично правильные и правильные в разной степени
ответы. Вписывая ответ на место прочерка, ученик может выбрать синонимы
пропущенного запланированного разработчиком слова или изменить порядок
следования элементов в пропущенной формуле, что значительно затрудняет
автоматизированную проверку и оценку результатов.
Закрытая форма тестового задания
В тестовых заданиях с выбором (закрытых заданиях) можно выделить
основную часть, содержащую постановку проблемы, и готовые ответы,
сформулированные преподавателем. Среди ответов правильным чаще всего
бывает только один, хотя не исключаются и другие варианты с выбором
нескольких правильных (в том числе и в разной степени) ответов.
Неправильные, но правдоподобные ответы называются дистракторами. Если
в задании два ответа, один из которых является дистрактором, то вероятность
случайного выбора правильного ответа путем угадывания равна 50%. Число
дистракторов подбирается таким образом, чтобы задание не было слишком
громоздким. Вместе с тем стараются не допустить слишком большой вероятности
угадывания правильного ответа. Поэтому чаще всего в заданиях бывает три или
четыре дистрактора и один правильный ответ.
Задания с двумя и тремя ответами обычно используют для экспрессдиагностики,
например,
в
автоматизированных
контрольно-обучающих
программах для входа в обучающий модуль при адаптивном тестировании или для
самоконтроля, когда испытуемому необходимо оперативно выявить пробелы в
собственных знаниях. Однако из-за высокой вероятности угадывания задания с
двумя объектами не включают в итоговые тесты.
Преимущества тестовых заданий с выбором ответов. Задания с выбором
имеют ряд преимуществ, связанных с быстротой их выполнения, простотой
подсчета итоговых баллов учеников, возможностью автоматизации процедур
проверки ответов учащихся и вытекающей отсюда минимизацией субъективного
фактора при оценивании результатов выполнения теста. С их помощью можно
более полно охватить содержание проверяемой учебной дисциплины и,
следовательно, повысить содержательную валидность теста. Несомненным
достоинством формы заданий с выбором является ее универсальность; она годится
практически для любого предмета.
Недостатки тестовых заданий с выбором ответов. К числу недостатков
заданий с выбором следует отнести эффект угадывания, характерный для слабо
подготовленных учеников при ответах на наиболее трудные задания теста. Хотя
возможность угадывания действительно существует, тестологи с помощью
различных методов научились избегать подобных ситуаций. Для этого вводятся
специальные инструкции, ориентирующие испытуемых на пропуск незнакомого
задания вместо ответа путем догадки. При подсчете баллов слабых учеников,
полученных по наиболее трудным заданиям теста, добавляются специальные
весовые коэффициенты, близкие к нулю, или увеличивается число заданий теста.
Иногда применяется специальная формула для коррекции индивидуальных баллов
с поправкой на догадку.
Сложности возникают при использовании заданий с выбором для проверки
умений продуктивного уровня, связанных с применением знаний учащимися в
незнакомой ситуации, творческими аспектами подготовки, а также в случаях,
когда требуется преобразование условий поставленной перед учащимся задачи. В
таких ситуациях задания с выбором готовых ответов использовать чаще всего
невозможно. В условиях же массового аттестационного тестирования, когда
необходимо
привлечь
эффективные
компьютеризованные
технологии
для
подсчета баллов учеников и получить высокую объективность результатов
педагогического измерения, достоинства заданий с выбором явно перевешивают
недостатки. Поэтому эта форма нередко доминирует при разработке итоговых
тестов.
В заданиях с двумя ответами проще всего подбирать дистракторы
посредством
отрицания
того,
что
является
верным.
Не
рекомендуется
использовать вместо дистракторов слова «да», «нет», поскольку в противном
случае будет довольно трудно сформулировать утверждения, на которые можно
дать однозначный ответ.
Задания с тремя ответами обычно используют в экспресс-диагностике в тех
случаях, когда в силу специфики содержания недостаточно двух ответов. Иногда
они появляются вследствие удаления «неработающих» дистракторов. В целом
такие задания неудачны, поскольку они недостаточно кратки и в них высока
вероятность угадывания правильного ответа. Например:
Задание 2
Укажите клавиши перемещения курсора:
1) Backspace
2) Home
3) Tab
4) End
5) Пробел
6) Стрелки вверх, вниз, вправо, влево
Тестовые задания на упорядочение
Тестовые задания на упорядочение предназначены для оценки уровня
владения последовательностью действий, процессов и т.п. Элементы, связанные с
определенной задачей, приводятся в заданиях в произвольном порядке, а ученик
должен установить правильный порядок предложенных элементов и указать его
заданным способом в специально отведенном для этого месте.
Стандартная инструкция к заданиям четвертой формы имеет следующий вид:
«Установите правильную последовательность». Иногда инструкцию включают в
текст задания.
Общее количество элементов в ТЗ должно быть 5 или 6.
Например:
Задание 4
Выберите
и
восстановите
элементную
базу
четырёх
поколений
компьютеров в порядке их появления:
1. транзисторы;
2. электронные лампы;
3. интегральные схемы;
4. процессоры;
5. БИС;
6. жесткий диск.
Во
многих
случаях
задания
на
установление
правильной
последовательности крайне нетехнологичны или неприменимы в силу специфики
содержания предмета. Они громоздки и нередко допускают неоднозначную
последовательность ответов.
Тестовые задания на соответствие
Тестовые задания на соответствие имеют специфический вид: под
инструкцией располагаются элементы двух множеств, соответствие между
которыми предлагается установить учащемуся; слева обычно приводятся
элементы задающего множества, содержащего постановку проблемы; справа элементы, подлежащие выбору.
Соответствие
между
элементами
двух
столбцов
может
быть
взаимно
однозначным, когда каждому элементу слева соответствует только один элемент
справа. Если число элементов в двух столбцах одинаковое, то для последнего
элемента задающего множества выбора не произойдет, поэтому в множество для
выбора стараются включить несколько дистракторов.
Например:
Задание 5
Установите соответствие между устройствами внешней памяти и их
обозначением в компьютере:
1. жесткий диск
а. А
2. гибкий магнитный диск
б. B
3. компакт диск
в. C
г. D
Задания на установление соответствия по алгоритму выполнения близки к
заданиям с выбором ответа, поскольку ученик выбирает из числа ответов,
предложенных преподавателем, правильный ответ. За рубежом задания на
соответствие не выделяют в отдельный вид, а считают одной из разновидностей
заданий с выбором ответов. Как и в заданиях с выбором ответов, наибольшие
трудности при разработке связаны с подбором правдоподобных избыточных
элементов в правом множестве. Мера правдоподобности каждого дистрактора
устанавливается эмпирически. В итоговом контроле задания на соответствие
малоэффективны в силу их громоздкости, не позволяющей охватить большой
объем содержания.
Сравнительная характеристика форм тестовых заданий
В процессе разработки теста у автора всегда возникает вопрос, остановиться
на какой-нибудь одной форме заданий или совместить различные формы в одном
тесте? Выбор автора во многом должен определяться спецификой содержания
учебной дисциплины, целями создания и применения теста. Немало в данном
случае зависит от технологии проверки, сбора и обработки эмпирических данных,
от технического и материального обеспечения процесса применения теста.
Организовать компьютеризованный сбор и анализ результатов выполнения
теста легко, если тест состоит лишь из заданий с выбором ответов. Результаты
выполнения заданий с конструируемыми ответами требуют ручной обработки и
привлечения экспертов, а следовательно - дополнительных материальных затрат и
времени на проверку. Обилие форм в тесте затрудняет работу ученика и
значительно усложняет статистическую обработку эмпирических результатов
выполнения теста.
К сожалению, требование моноформности не всегда выполнимо, поскольку
не все знания и умения ученика можно проверить с помощью моноформного
теста. В связи с этим часто приходится идти на совмещение форм, что при прочих
равных
условиях
всегда негативно
отражается
на точности
измерений,
обеспечиваемой тестом. Выбор оптимальной формы тестовых заданий обычно
бывает связан со спецификой содержания теста. При этом приходится учитывать
достоинства и недостатки каждой из форм (табл. 1) и принимать определенное
компромиссное решение в процессе такого выбора.
Требования к составлению тестовых зданий
Тестовое задание должно отвечать целому ряду требований. Оно должно
иметь четкую форму, отличаться предметной чистотой содержания, быть
логически
правильным,
технологичным,
иметь
известную
трудность
и
коррелировать с выбранным критерием. Из перечисленных требований следует,
что тестовые задания должны обязательно проверяться эмпирически. От таких
заданий следует отличать задания в тестовой форме, у которых отсутствуют
системообразующие свойства, например система заданий не организована по
принципу возрастания трудности.
Для компьютерного контроля знаний, осуществляемого в виде тестов,
больше всего подходят задания с выбором одного правильного ответа. Среди этих
тестов наиболее распространенными в настоящее время являются тесты с
возможностью выбора правильного ответа из:
двух предложенных вариантов ответа;
трех предложенных вариантов.
Выбор формы зависит от:
цели тестирования;
содержания теста;
технических возможностей;
уровня подготовленности преподавателя в области теории и методики
тестового контроля знаний.
Каждая из форм позволяет проверить специфические виды знаний.
Проверять с помощью тестов имеет смысл актуальные знания, которые студенты
должны уметь применять на практике. Проверяются знания, находящиеся в
оперативной памяти, то есть, не требующие обращения к справочникам, словарям,
картам, таблицам и т.п. Приведем классификацию видов и уровней знаний,
разработанную В. Аванесовым:
1. Знание названий, имен.
2. Знание смысла слов, названий и имен.
3. Знание фактов.
4. Знание определений.
5. Сравнительные, сопоставительные знания.
6. Знание противоположностей, противоречий, антонимов и т.п. объектов.
7. Ассоциативные знания.
8. Классификационные знания.
9. Причинные знания, знание причинно-следственных отношений, знание
оснований.
10. Процессуальные, алгоритмические, процедурные знания.
11. Технологические знания.
12. Вероятностные знания.
13. Абстрактные знания.
14. Методологические знания.
При разработке компьютерного теста очень важно продумать уровень его
трудности в целом и отдельных тестовых заданий. Традиционно вопросы
располагаются в порядке возрастающей трудности. Больше всего в процентном
отношении составляется вопросов средней трудности. При подборе заданий
необходимо
ориентироваться
на
общий
уровень
подготовленности
тестирующихся. Так, например, при прохождении тестирования слабой по
подготовленности группы студентов, трудные задания теста "не работают", так
как ни один учащийся не может на них ответить. У сильной группы студентов не
будут "работать" слабые задания и т.п.
Самым лучшим можно считать тест, в котором заложено широкое
содержание, и оно охватывает более глубокие уровни знаний.
Разработчики тестов должны придерживаться следующих принципов:
1. Тест должен соответствовать целям тестирования.
2. Нужно определить значимость проверяемых знаний в общей системе
проверяемых знаний.
3. Должна быть обеспечена взаимосвязь содержания и формы теста.
4. Тестовые задания должны быть правильными с точки зрения
содержания.
5. Должна
соблюдаться
репрезентативность
содержания
учебной
дисциплины в содержании теста.
6. Тест должен соответствовать уровню современного состояния науки.
7. Содержание теста должно быть комплексным и сбалансированным.
8. Содержание теста должно быть системным, но, вместе с тем,
вариативным.
В начале любого теста дается краткая инструкция по выполнению задания,
например: "Выберите правильный ответ…", "Выберите наиболее правильный
ответ…", "Впечатайте в свободном поле ответ…" и т.п. Если задания
представлены в одной форме, инструкция пишется один раз для всего теста. Если
же тест включает различные задания, то перед каждым новым заданием пишется
новая инструкция. Текст задания, как правило, пишется прописными буквами или
жирным шрифтом для того, чтобы зрительно сразу же отделить само задание от
вариантов ответа.
Текст заданий (и ответов!) компьютерных тестов необходимо делать
кратким и лаконичным. Краткость обеспечивается тщательным подбором слов,
символов, графиков, позволяющих минимумом средств добиваться максимума
ясности смысла задания. Полностью должны исключаться повторы слов,
малопонятные, редко употребляемые слова, а также неизвестные учащимся
символы, иностранные слова, затрудняющие восприятие смысла.
Одно из важных требований при тестировании - наличие заранее
разработанных правил выставления баллов. В общем случае применения тестов за
правильный ответ в каждом задании дается один балл, за неправильный - ноль.
Сумм всех баллов, полученных обучаемым, дает число правильных ответов. Это
число ассоциируется с уровнем его знаний и с понятием "тестовый балл
испытуемого". Но существуют и другие, более сложные схемы оценивания,
например, рейтинговые.
Общие требования предъявляются к заданиям в тестовой форме (по В.
Аванесову):
логическая форма высказывания;
правильность формы;
краткость;
наличие определенного места для ответов;
правильность расположения элементов задания;
одинаковость правил оценки ответов;
одинаковость инструкции для всех испытуемых;
адекватность инструкции форме и содержанию задания.
