Россия, Республика Бурятия, г. Кяхта
МБОУ "Кяхтинская СОШ №1"
Учитель русского языка и литературы
Суровцева С.В.
10. Эффективность опыта. Инновационный продукт Электронный БТЗ — электронная образовательная среда «М-Тест» — обеспечивает переход учреждения образования на новый информационно-технологический уровень, позволяет освоить и успешно применять информационно-коммуникационные технологии, как учителям, так и учащимся
11. Последователи: педагогический коллектив МБОУ КСОШ №1
13. Кто и когда изучал: специалистами ГУДО РЦМиТ, специалистами Федерального агентства по техническому регулированию. Автором опыта представлен:
1) Доклад на районном семинаре завучей «Методические рекомендации по разработке Банка Тестовых Заданий по предметам школьного уровня, нормативное обеспечение БТЗ и его экспертиза» 2) Учебный семинар Районного методического кабинета. Доклад «Адаптивная Среда Тестирования (АСТ) Новосибирского областного центра мониторинга образования. Инструментальная среда для создания программно-педагогических тестов и адаптивного тестирования «М-Тест» Республики Бурятия. Сравнительный анализ характеристик. Проблемы и перспективы компьютерной диагностики учебных результатов» 2009 г. 3) Публичная защита образовательного продукта в рамках защиты высшей квалификационной категории в РБ в 2010 г. 4) Материалы по обобщению данного опыта опубликованы в Республиканском сборнике материалов научно-практической конференции «Проблемы и перспективы филологического образования в условиях введения стандартов второго поколения» в 2011 году (Приложение №1)
Описание передового опыта
Условием становления опыта стала необходимость разработки средств оценки уровня сформированности предметных и ключевых компетенций в системе оценки качества средней общеобразовательной школы.
Область применения: оценка качества образовательных достижений обучающихся МБОУ Кяхтинская СОШ №1 в новых условиях (новых образовательных результатов на основе макета госстандарта). Предлагаемое нововведение: разработка фонда средств для оценивания качества образовательных достижений обучающихся в новых условиях и описание соответствующего инструментария (БТЗ в адаптивной среде тестирования).
Суть предполагаемой разработки: разработанная система средств оценки (КИМов) по предметам должна служить не только для коррекции и диагностики результатов обучения, но и для измерения уровня сформированности предметных и ключевых компетенций, а значит, помогать ребёнку добиваться успеха в выбранной им области через формирование (развитие) тех качеств личности, которые соответствуют поставленным им целям; описанный инструментарий разработки средств для оценки уровня сформированности предметных и ключевых компетенций должен помогать в создании фонда средств по оценке качества образовательных достижений обучающихся в новых условиях на различных этапах и на всех ступенях обучения (возможно, в разных образовательных областях) даже при условии дальнейших изменений в образовательной стратегии.
БТЗ - источник диагностических средств — тестовых заданий, из которых формируются тесты, предназначенные для решения разных задач тестирования (диагностики) в различных условиях.
На основе теоретических и практических знаний, полученных на курсах повышения квалификации «Современные средства оценивания результатов обучения» на базе Государственного учреждения дополнительного образования «Республиканский центр мониторинга и информационных технологий» был разработан Банк «Русский язык (8 класс)». В 2009 году ГУДО РЦМиТ обеспечил необходимое организационно-технологическое, научно-методическое и экспертное сопровождение деятельности республиканской рабочей группы для разработки базы тестовых заданий для основной школы. В 2010 году Банк Тестовых Заданий «Русский язык (8 класс)» прошел процедуру сертификации 21 мая 2010 года в Федеральном агентстве по техническому регулированию и метрологии. В приложении к сертификату соответствия указаны нормативные документы, которым соответствует данный программный продукт. Приложение №2
Это позволило осуществить в рамках ШСОКО условия для обеспечения процесса оценки качества предметных достижений и начать работу по созданию собственного источника диагностических средств - предметного БТЗ.
Актуальность данного опыта объясняется тем, что в стратегии модернизации содержания среднего образования охарактеризованы проблемы и поставлены задачи развития системы образования. Особое внимание уделено обновлению целей общего образования и условий их достижения. Одним из условий является регулярная диагностика реального (достигнутого в данный момент) качества образования, на основании результатов которой можно делать выводы о способах достижения нового качества образования.
Забота о качестве ставит на повестку дня вопрос о критериях качества. Примером критериев качества образования является выполнение требований государственного стандарта образования, что отражает результативную сторону качества, или равенство в доступе к качественному образованию, что, в свою очередь, представляет собой системную характеристику качества.
Фундаментом качества образования является предметная обученность, именно на ее основе создается здание предметных и надпредеметных компетенций. Высокий уровень предметной обученности позволяет ученику успешно овладевать деятельностью, а учителю формировать определенные стандартом умения. Таким образом, контроль предметной обученности является обязательным элементом формирующейся системы оценки качества образования.
В системе управления качеством образования приоритетную роль выполняет объективное оценивание, основанное на теории педагогических измерений и обеспечивающее основу для анализа результатов обучения. На необходимость создания независимой от органов управления образованием государственной системы оценки качества образования указывается в Концепции модернизации российского образования.
Актуальность в системе образования Республики Бурятия.
В качестве программного средства в формировании электронного республиканского банка тестовых заданий использовалась инструментальная среда для создания программно-педагогических тестов и адаптивного тестирования «М-Тест» с целью отработать компьютерное тестирование как форму процедуры мониторинга качества предметной обученности в Республике Бурятия. На стадии разработки БТЗ предполагалось обеспечить техническую связь региональной базы данных результатов мониторинга качества предметной обученности и программу, формирующую банк данных учреждений, проходящих аккредитацию.
Министерство образования и науки РБ в отзыве к программному комплексу от 25.05.2007 указывает на целесообразность применения данного комплекса не только в системе высшего, но и общего образования. Таким образом, при разработке Банка Тестовых Заданий «Русский язык (8 класс)» была представлена версия адаптивного тестирования «М-Тест». Все задания банка были распределены по тематическому содержанию и уровню сложности. Тестовые задания на соответствие, упорядочивание и открытой формы расположены в блоках повышенного уровня, тестовые задания закрытой формы - в блоках базового уровня. Электронная версия БТЗ «Русский язык (8 класс)» разработана и сдана в сроки, указанные в приказе МОиН РБ № 1305 от 5 ноября 2009 года.
Основополагающей идеей данного передового опыта является возможность формирования педагогических компетентностей в сфере использования новейших интегрированных электронных образовательных продуктов. Инновационный продукт Электронный БТЗ — электронная образовательная среда «М-Тест» — обеспечивает переход учреждения образования на новый информационно-технологический уровень, позволяет освоить и успешно применять информационно-коммуникационные технологии, как учителям, так и учащимся. Данный опыт относится к активно развивающимся и перспективным направлениям в современной методике обучения.
Использование компьютера позволяет осуществлять статистический анализ информации, т. е., с одной стороны, дать информацию об участниках тестирования, с другой - что наиболее важно на современном этапе развития педагогического тестирования - собрать данные о качестве тестовых материалов.
Компьютерное тестирование возможно при наличии специально разработанного программного обеспечения, которое реализует предлагаемую авторами информационно-педагогическую модель тестирования. В Республике Бурятия активно используется
М-Тест 2.0.0 - Инструментальная среда для создания программно-педагогических тестов и адаптивного тестирования.
Компьютеризация образования, развитие теории педагогических измерений позволяют создать рейтинговую систему контроля для более объективной и точной оценки знаний, навыков и умений учащихся. Рейтинговая оценка обученности дает возможность с большой степенью достоверности охарактеризовать качество подготовки учащегося по данному учебному предмету. Таким образом, компьютерное тестирование наряду с обучением является сегодня одним из основных методов новой информационной технологии оценки уровня предметных достижений.
Использование тестов для педагогического контроля находит сейчас все большее распространение в российской образовательной практике. Необходимость объективной и независимой оценки уровня учебных достижений самого различного круга людей (детей - для оценки их способностей и склонностей, школьников и студентов - для оценки их знаний, умений, и т.п.) привела к тому, что сейчас уже достаточно широкий круг разных специалистов стал заниматься вопросами тестирования: в школах, в вузах и в других образовательных учреждениях. Тестирование приобретает общенациональное распространение. Оно является основой Единого государственного экзамена, широко используется в профессиональном образовании, применяется при аттестации школ и вузов, в дистанционных формах обучения, в учебном процессе школ и вузов и т.п.
Все это вызывает у педагогов понимание необходимости освоения новых для них знаний, необходимых для грамотного применения педагогических тестов в своей работе. К сожалению, существует ряд объективных причин, которые выявляют противоречия между желаемым состоянием и действительным:
Все перечисленные выше противоречия не позволяют выстроить продуктивную систему работы в данном направлении. Но, разработка Банка Тестовых Заданий представляет собой творческий инновационный процесс, процесс овладения передовыми технологиями программного обеспечения образовательного процесса. Несомненно, каждый разработчик-эксперт осознает огромную меру ответственности, возложенную Министерством Образования и науки. Таким образом, работа по созданию Банков ТЗ начата в Республике Бурятия с 2009 года Приложение №3
На протяжении периода с 2009- 2012 года БТЗ обновляется. В апреле 2012 года поступил заказ Министерства Образования и науки РБ на продолжение работы в рамках данного опыта. Назрела необходимость в создании дополнения к БТЗ, уже имеющему сертификат соответствия. Работа в рамках заказа ведется в 2012 году.
Создание БТЗ в рамках ШСОКО на уровне муниципалитетов имеет продолжение в процессе творческой работы учителей предметников
Электронная газета «Вести образования»:
За время существования региональной системы оценки качества образования в Бурятии реализованы такие технологии внешней оценки, аналогов которых нет пока еще в российском образовании. Это электронный проект комплексной оценки эффективности региональной системы образования (КОЭРСО), разработанный совместно с ИПОП «Эврика». Об этом и о системе в целом нам рассказал министр образования Республики Бурятия Алдар Дамдинов.
– Как давно вы в СОКО?
– Система образования Республики Бурятия начала разрабатывать нормативно-правовое поле для создания региональной системы оценки качества образования (РСОКО) в 2007 году, когда вступила в эксперимент по реализации КПМО. Тогда были разработаны Концепция РСОКО Республики Бурятия (РБ), положение о РСОКО РБ, методические рекомендации по организации работы муниципальных (МСОКО) и школьных систем оценки качества образования (ШСОКО). Тогда же была организована работа по созданию банка тестовых заданий для процедур внешней экспертизы качества образования, проводимой в рамках государственного контроля, государственной аккредитации ОУ и региональных мониторинговых обследований. Этот банк прошел процедуру внешней экспертизы в Новосибирском государственном педагогическом университете и теперь может представлять валидные тестовые задания. Был создан Республиканский центр мониторинга и информационных технологий — структура, владеющая всей информацией по оценке качества общего образования в регионе. Соответственно, с 2007 года проводятся процедуры по оценке различных аспектов качества образования.
(интервью опубликовано на сайте eurekanext April 10th, 11:22)
Апробация тестов должна проводиться в общеобразовательных школах без углубленного изучения предмета согласно срокам проведения мониторинга ОУ и прохождения программы по предмету.
Описание возможной сферы применения педагогического теста
Перечень исходных документов, используемых при разработке БТЗ
Методические рекомендации к составлению тестовых заданий:
Основные этапы и принципы составления (композиции) БТЗ:
На первом этапе - целеполагания определяются общие цели тестирования - для чего и для кого создается тест:
Требования к наполнению БТЗ
Виды тестовых заданий
Система оценивания результатов тестирования
Критерии оценки:
В основе работы по созданию БТЗ в рамках ШСОКО лежит научная идея утверждения тестирования как метода педагогического измерения.
Одним из главных недостатков современной системы педагогического контроля, по мнению многих исследователей (В.П. Беспалько, И.А. Данилов, И.И. Баврин, Б.С. Гершунский, Ю.А. Первин, Л.П. Мартиросян), является то, что существующая традиционная организация педагогического контроля не отвечает требованиям времени, не учитывает достижений современных информационных технологий, не создает условий для улучшения качества обучения. Новые информационные технологии сегодня выступают не только как предмет изучения, но и как инструмент познания и передачи знаний, предоставляя возможность автоматизировать процедуру контроля, обработки работ учащихся и хранения информации, а также мотивировать учащихся на изучение предмета.
В отечественной педагогике не найдены ответы на следующие вопросы: Есть ли возможность повысить объективность педагогического контроля? Можно ли сократить время, затрачиваемое на проведение и обработку результатов контроля? Как повысить содержательную валидность контроля? Как учесть возможности современных информационных технологий в процессе контроля? Эти и другие проблемы требуют тщательного изучения для поиска путей их разрешения.
Для решения большинства из вышеперечисленных проблем в настоящее время предлагается использовать метод тестирования, который, по мнению некоторых педагогов, позволяет сделать процесс педагогического контроля более эффективным, а также ориентировать его на использование современных информационных технологий. Тестирование широко используется в учебных заведениях для тренировочного, промежуточного и итогового контроля знаний, а также для обучения и самоподготовки учащихся.
Как уже указывалось, результаты тестирования могут выступать и как оценка качества преподавания, а также как оценка самих испытательных материалов. Одним из недостатков тестового метода контроля знаний является то, что создание тестов, их унификация и анализ - это большая кропотливая работа. Чтобы довести тест до полной готовности к применению необходимо несколько лет.
Возможно возникновение и других трудностей. Довольно часто встречается значительный субъективизм в формировании содержания самих тестов, в отборе и формулировке тестовых вопросов, многое также зависит от конкретной тестовой системы, от того, сколько времени отводится на контроль знаний, от структуры включенных в тестовое задание вопросов и т.д. Но не смотря на указанные недостатки тестирования, как метода педагогического контроля, его положительные качества во многом говорят о целесообразности использования такой технологии в учебных заведениях.
К достоинствам следует отнести: как было сказано, большая объективность и, как следствие, большее позитивное стимулирующее воздействие на познавательную деятельность учащегося; исключается воздействие негативного влияния на результаты тестирования таких факторов как настроение, уровень квалификации и др. характеристики конкретного преподавателя; ориентированность на современные технические средства на использование в среде компьютерных (автоматизированных) обучающих систем; универсальность, охват всех стадий процесса обучения. Отметим другие достоинства. Тестированный опрос многофункционален. Он позволяет быстрее понять, как дальше работать с данным учеником, а также помогает учителю скорректировать педагогический курс.
У многих учителей нет четкого представления об особенностях педагогического теста и его роли в учебном процессе. Преподаватели общеобразовательных учреждений пользуются традиционными формами и видами контроля, такими, как диктант, изложение, сочинение, устный и письменный опрос, и до сих пор часть учителей видит в применении тестов снижение роли педагога, недоверие к баллам и отметкам, которые выставляются по результатам тестирования. Что же касается использования традиционных видов контроля, следует отметить, что хотя они позволяют накапливать статистический материал по уровню обученности учащихся, тем не менее, анализ существующей практики проведения контроля приводит к выводу, что такая проверка осуществляется, как правило, на уровне констатации фактов, накопления отметок, качественных оценок, порою не подтверждаемых статистически. Такой подход не позволяет осуществлять глубокий содержательный анализ сильных и слабых сторон подготовки обучающихся, выявлять тенденции, а поэтому - не носит развивающего характера. Между тем, запросы общества в качественном образовании постоянно увеличиваются, а этого невозможно добиться без массовых измерений и объективного мониторинга.
Именно это направление успешно развивает Государственное учреждение дополнительного образования «Республиканский центр мониторинга и информационных технологий» при подготовке банка тестовых заданий для проведения исследований уровня учебных достижений обучающихся по ступеням образования, основной целью которого является объективная оценка уровня и качества подготовки учащихся с помощью независимого тестирования. Данная система работы позволяет сформировать подобный механизм оценки качества предметных достижений на уровне МБОУ (ШСОКО).
При разработке Банка Тестовых Заданий была представлена версия адаптивного тестирования «М-Тест». Все задания банка были распределены по тематическому содержанию и уровню сложности. Минимальный уровень требований к знаниям учащихся определен государственным образовательным стандартом школьного образования. Часть «А» состояла из заданий базового уровня с выбором одного правильного ответа из четырех предложенных. Эта форма заданий позволяет проверить усвоение значительного числа элементов содержания всех ведущих разделов (тем) школьного курса русского языка. Часть «В» включала задания повышенного уровня, содержание которых отвечает минимуму содержания средней (полной) школы. Этот же принцип используется при создании БТЗ в рамках внутреннего мониторинга ОУ.
Это обусловлено тем, что педагогический тест определяется как система заданий определенного содержания, возрастающей трудности, специфической формы, позволяющая качественно и эффективно измерить уровень и оценить структуру подготовленности учащихся.
Преимущества тестовых технологий:
1. Возможность контроля на всех этапах обучения.
2. Единство требований ко всем испытуемым.
3. Объективность контроля.
4. Эффективность тестового контроля, позволяющего проводить контроль любой выборки испытуемых за короткое время.
5. Учет специфических особенностей каждого предмета за счет многообразия видов тестовых заданий.
6. Стандартизированность и возможность разработки единого теста для разных учебных заведений на основе требований ФГОС.
Ограниченность тестовых технологий:
Тестовая технология позволяет оценить уровень знаний умений и навыков, но не оценивает творческие способности обучающихся. Это можно сделать, например, с помощью портфолио.
Забота о качестве образования ставит на повестку дня вопрос о критериях качества. Примером таких критериев является выполнение требований государственного стандарта образования, что отражает результативную сторону качества или равенство в доступе к качественному образованию, что, в свою очередь, представляет собой системную характеристику качества. Использование тестов для педагогического контроля находит сейчас все большее распространение в российской образовательной практике. Необходимость объективной и независимой оценки уровня учебных достижений самого различного круга людей (детей - для оценки их способностей и склонностей, школьников и студентов - для оценки их знаний, умений, и т.п.) привела к тому, что сейчас уже достаточно широкий круг разных специалистов стал заниматься вопросами тестирования: в школах, в вузах и в других образовательных учреждениях. Тестирование приобретает общенациональное распространение. Оно является основой Единого государственного экзамена, широко используется в профессиональном образовании, применяется при аттестации школ и вузов, в дистанционных формах обучения, в учебном процессе различных образовательных учреждений.
Электронный Банк Тестовых Заданий как система оценки уровня образовательных достижений учащихся в рамках реализации школьной системы оценки качества образования.
Цель: разработка и апробация фонда средств для оценивания качества образовательных достижений обучающихся в новых условиях (уровня сформированности предметных и ключевых компетенций) по учебным предметам на всех ступенях обучения и описание инструментария разработки
Задачи:1) изучить имеющийся опыт методики создания и разработки фонда оценочных
средств образовательных достижений обучающихся, в т.ч. и в новых условиях;
2) создать систему собственных оценочных средств, апробировать её;
3) описать инструментарий разработки системы оценочных средств в новых
условиях.
Форма: Компьютерное тестирование. С развитием информатизации в образовательных учреждениях данная форма становится наиболее продуктивной и целесообразной. Именно компьютерное тестирование позволяет решить ряд педагогических задач.
Итак, первая задача, которую позволяет эффективно решить компьютер, — хранить тестовые задания и создавать из них тесты, а именно обрабатывать первичный, исходный авторский материал, вносить в него необходимые уточнения, исправления, дополнения; хранить информацию, отбирать задания из электронного банка данных по заданным критериям и производить нужную компоновку тестов.
Вторая задача, которую реализует компьютер, — подготовка испытуемого к сдаче теста — инструктаж. В компьютерную программу включается информация о методике работы с тестом: рекомендации по технологии выполнения теста, данные о времени тестирования, процедуре оценивания и т. д. Подготовка к выполнению теста может включать и тренировку, поясняющую, как реагировать на те или иные задания, не допускать случайных (не имеющих отношения к языковой и речевой компетенции тестируемого) ошибок, выработать необходимые временные стереотипы.
Методы: Теоретический анализ имеющейся литературы как дидактической, так и по методике создания оценочных средств; изучение и обобщение собственного педагогического опыта по созданию оценочных средств; наблюдение за ходом оценки качества образовательных достижений обучающихся по вновь разработанной системе оценки качества образовательных достижений обучающихся на всех ступенях обучения; поэтапная разработка инструментария создания банка средств для оценивания качества образовательных достижений обучающихся МБОУ КСОШ №1 по предметам в новых условиях в процессе разработки, апробации и коррекции созданной системы КИМов.
Средства: Данный опыт обобщается педагогами МБОУ Кяхтинская СОШ №1, имеющими опыт работы по созданию оценочных средств качества образовательных достижений обучающихся на всех ступенях обучения по предметам, а также опыт создания КИМов в оболочке М-Тест. Все они умеют работать с компьютером, что позволит им пользоваться информационными технологиями в работе.
Для материально-технического обеспечения обобщения опыта в школе имеется компьютерный класс, выход в Интернет, множительная техника, а также большое разнообразие дидактических материалов по учебным предметам. В 2012 году 7 кабинетов оснащены мультимедийным оборудованием с выходом в Интернет.
Принципы работы:
Обобщая, можно сказать: дидактических единиц, проверяющих ЗУНы, есть огромное количество, даже с избытком, но они не всегда грамотно объединены в КИМы по ступеням обучения так, чтобы можно было действительно осуществить мониторинг качества образовательных достижений обучающихся и прогнозировать уровень успешности выпускника по предмету, его готовность к возможному продолжению образования, а тем более ─ к решению жизненных проблем. Таким образом, остаётся не решенным вопрос оценивания проявления обучающимися ключевых компетенций.
Организация учебно-воспитательного процесса.
Способ включения учащихся в учебную деятельность.
Неформально эта работа началась уже очень давно, т.к. администрация МОУ всегда отслеживала качество результатов обученности на различных этапах с учётом требований, предъявляемых к выпускникам основного и полного среднего образования. В 2011-2012 году процедура телекоммуникационной системы СтатГрад охватила почти весь контингент среднего и старшего звена. Выбранная система предназначена, в первую очередь, для методической поддержки системы внутришкольного контроля. Появилась потребность в создании собственной базы данных.
В составлении средств оценки качества образовательных достижений обучающихся (тесты, контрольные работы) на всех ступенях обучения участвуют группы учителей по одному из следующих признаков:
- работают в одной параллели,
- опытный учитель руководит работой неопытных по составлению/подбору КИМ.
Уже проведена большая работа по изучению литературы, касающейся компетентностного подхода в обучении, а также результатов исследований образовательных достижений учащихся разных уровней. В 2011-2012 учебном году с появлением в учебных кабинетах компьютерной техники и выхода в Инернет на уроках стало возможным применение интерактивных, игровых технологий, которые наилучшим образом проявляют как сильные, так и слабые стороны учеников, особенности их мышления, что даёт учителю возможность составлять оценочные средства с учётом индивидуальности и потребностей каждого ребёнка, а также ставить каждого ребёнка в позицию, когда он компетентен и может поделиться с другими своими умениями (может научить). Применение таких технологий или их элементов, как технологии проблемного обучения, критического мышления, диагностико-коррекционная позволяют включать самих ребят в активную деятельность по коррекции и созданию заданий. А ведь именно ученики зачастую подсказывают ответ на вопрос, который мучает учителя (в нашем случае ─ «Как проверить уровень проявления компетенций различного уровня? Как подготовить ученика к самостоятельному решению жизненных проблем через свой учебный предмет?»)
Соответствие организации поставленным целям и задачам.
Данный опыт обобщается на уровне МБОУ «Кяхтинская средняя общеобразовательная школа № 1» в рамках реализацией школьной системы оценки качества.
Анализ содержания учебной дисциплины и отбор элементов содержания предмета для составления теста является весьма сложным и длительным мероприятием. Поскольку тестовый контроль может прямо оценить только уровень учебных достижений: качество и уровень усвоенных знаний, развитие определенных навыков и приобретение требуемых умений, необходимо выделить область научных знаний (содержание курса), подлежащую контролю. При этом содержание теста определяется как оптимальное отображение содержания дисциплины или ее части в тестовой форме: «оптимальное» прежде всего с позиции достижения целей тестирования.
Уточнение вида знаний - умений, который формируется при изучении того или иного раздела (подраздела, темы), необходимо также для дальнейшего формирования параллельных вариантов теста. Менталитет российского человека таков, что использовать один тест на аудиторию для педагогического контроля невозможно: объективной оценки подготовленности учащихся никогда не получим. Поэтому не только мне, но и любому разработчику тестов (скорее организатору разработки тестов) приходится создавать несколько вариантов. Для того чтобы все респонденты при тестировании были в одинаковых условиях, создается несколько вариантов тестов: от двух-трех - для одного класса до нескольких десятков - для федерального или регионального централизованного тестирования. Параллельными они становятся, если их составляющие ТЗ относятся к одинаковым элементам содержания программы и контролируют усвоение одинаковых знаний - умений.
Разработке параллельных вариантов теста предшествует составление таких документов как спецификация теста и план теста.
План (педагогического) теста это документ, в котором каждое тестовое задание соотносится с определенным элементом содержания учебной дисциплины, конкретным видом знаний или умений, подлежащих контролю с помощью этого задания, формой и трудностью ТЗ.
Спецификация (педагогического) теста - документ, в котором содержится информация о целях, задачах, плане и структуре педагогического теста, а также основные требования к правилам проведения педагогического тестирования, обработке результатов и их интерпретации.
Профессиональный стандартизованный тест отличается от неформального, прежде всего, наличием трех обязательных компонентов: спецификации, вариантов и таблицы ответов.
Существенной частью спецификации является План теста. Это таблица, строки которой представляют порядковый номер задания в тесте (шифр), а столбцы - номер контролируемого элемента содержания - содержательные линии (раздел, тема, вопрос), соответствующий уровень усвоения знаний, процент ожидаемых правильных ответов (трудность), планируемое время на выполнение задания. При самостоятельном составлении педагогом теста План - необходимая и обязательная часть работы.
Планируя длину теста и, соответственно, время тестирования, необходимо исходить из того, что на выполнение каждого задания отводится в среднем 1-2 минуты. Число заданий в варианте рубежного и итогового теста не должно быть менее 25. Поэтому для итогового теста можно рекомендовать в зависимости от назначения теста время тестирования от 45 до 180 мин. и, соответственно, от 25 до 50 заданий. Задания итогового теста должны охватывать все наиболее значимые темы предмета. Для тематических и рубежных тестов время тестирования составляет от 25 до 45 минут и длина теста - 15-35 заданий. Тест для текущего контроля может быть рассчитан всего на 10 минут и включать 10 заданий, освещающих наиболее важные вопросы (учебные элементы). (см. приложение)
Компьютерное тестирование дает возможность интегрировать в тестовых заданиях текстовую, графическую, звуковую и видеоинформацию, а также полностью автоматизировать процесс проведения контрольного измерения. А также позволяет: быстро обрабатывать вводимую информацию; обеспечивать оперативную обратную связь, которая дает возможность испытуемому постоянно и незамедлительно получать подкрепление правильности ответа, а преподавателю — осуществлять поэтапный или пооперационный контроль действий тестируемого; повышать мотивацию тестируемого, поскольку при работе с компьютерной программой присутствует элемент необычности, схожий с игровой ситуацией, появляется дух состязательности с компьютером; значительно экономить время и затраты на организацию и проведение тестирования. Компьютерное тестирование возможно при наличии специально разработанного программного обеспечения, которое реализует предлагаемую авторами информационно-педагогическую модель тестирования. В Республике Бурятия активно используется М-Тест 2.0.0 - Инструментальная среда для создания программно-педагогических тестов и адаптивного тестирования.
Назначение данной среды:
Обеспечение возможности периодической оценки, классификации и аттестации уровня знаний, умений и навыков учащихся.
Основные возможности:
Конструирование заданий в тестовой форме (открытой, закрытой, на соответствие, на упорядочение), используя OLE-технологию и мультимедийные компоненты.
Формирование неограниченного числа банков тестовых заданий различной структуры и содержания, в том числе с вложенной структурой и различной балльной стоимостью.
Расширенные функции для визуализации результатов тестирования, как на уровне дидактической единицы, так и в разрезе структурного подразделения учебного заведения. В том числе возможность просмотра и печать подробного протокола проведения тестирования.
Проведение тестирования через Internet, а также просмотр результатов.
Особенности:
Работа с любым количеством изображений, формул и мультимедийных компонентов в вопросах.
Создание адаптивного «дерева» вопросов и подвопросов для построения математических моделей и иерархических структур.
Гибкие и перенастраиваемые параметры тестирования.
Наличие модуля «Сценарной аналитики» для оценки результатов тестирования и построения диаграмм.
Наличие модуля «Связанные справочники», обеспечивающего предварительный ввод всех тестируемых в общую информационную базу для исключения «двойных записей».
Установка программного комплекса, вне зависимости от наличия локальной сети и выделенного сервера, с минимальными требованиями к аппаратной части.
Актуальность применения данного опыта очевидна в условиях модернизации образования, когда возникла необходимость оценивать не только ЗУНы, но и новые результаты обучения (по макету госстандарта) и идёт обсуждение того, как это делать (да и что оценивать), когда развернулись острые дебаты вокруг вопроса о том, какими быть новому поколению КИМ для ЕГЭ.
Таким образом, проблема заключается в отсутствии единого инструментария разработки, в бессистемном использовании КИМов для оценивания качества образовательных достижений обучающихся на всех ступенях обучения, а также в структуре и содержании дидактических единиц.
Результативность опыта.
Для выявления результативности опыта проанализированы характер, структура, достоинства и недостатки имеющихся в педагогической копилке КИМов, в т. ч. для ГИА в 9 кл. и ЕГЭ через анализ результатов ГИА и ЕГЭ, анализ работы с учениками, а также через проведение внутришкольного мониторинга и анализ его результатов; учтены все «минусы» и «плюсы» такого мониторинга. Методика исследований основана на опыте проведения оценки качества предметной обученности выпускников общеобразовательных учреждений Новосибирской области (сборник нормативных документов 2009 г.)
Так, в начале 2011-2012 учебного года в МБОУ КСОШ №1 было проведено педагогическое исследование по выявлению преимуществ компьютерного тестирования перед бланковым.
Бланковое тестирование - распространенный во всем мире способ проведения тестирования с помощью печатных бланков. Его называют также тестированием «на бумажных носителях». Нужные ответы пишутся испытуемыми на особых бланках. Затем информация с бланков обрабатывается либо вручную, с помощью особых трафаретов, либо сканируется и поступает в электронную память компьютера.
Компьютерное тестирование - способ проведения тестирования, в ходе которого вопросы и задания предъявляются на мониторе компьютера. Иногда машина задает определённый временной режим прохождения теста или сама переводит успешных обучающихся от более лёгких заданий к более сложным. Компьютерное тестирование широко используется в России в системе централизованного тестирования.
Для эксперимента был взят 8 А класс, где уровень обученности по итогам входной диагностики составил 42%.
Данное обследование проводилось 16 декабря 2011 года как итоговое за полугодие.
Тестовые задания в компьютерной и бланковой форме были равнозначны, имелись различия только в формулировке заданий и ответах.
Итоговая таблица результатов
|
Параметры статистики
|
Бланковое тестирование
|
Компьютерное тестирование |
|
8 «А» |
8 «А» |
|
|
В классе по списку |
19 |
19 |
|
Всего писали |
19 |
19 |
|
Выполнили работу |
17 |
19 |
|
Число детей, выполнивших работу на «5» |
1 |
2 |
|
Число детей, выполнивших работу на «4» |
8 |
11 |
|
% качества знаний |
47 |
65 |
|
Число детей, выполнивших работу на «3» |
8 |
6 |
|
Число детей, выполнивших работу на «2» |
2 |
- |
|
% учащихся, выполнивших работу на «2» |
10 |
- |
|
Число детей, не приступивших к работе |
- |
- |
|
Средний балл |
3,4 |
3,7
|
|
Успеваемость |
90 |
100
|
|
Качество |
47 |
65
|
|
СОУ |
48 |
56
|
Данный анализ показывает, что компьютерное тестирование имеет ряд преимуществ перед традиционными формами и методами контроля. Оно позволяет более рационально использовать время урока, охватить больший объем содержания, быстро установить обратную связь с учащимися и определить результаты усвоения материала, сосредоточить внимание на пробелах в знаниях и умениях и внести в них коррективы.
Основными достоинствами данной формы контроля знаний является:
- возможность детальной проверки усвоения учащимися каждой темы курса;
- осуществление оперативной диагностики уровня усвоения учебного материала каждым учеником;
- обеспечивает одновременную проверку знаний учащихся всего класса и формирует у них мотивацию для подготовки к каждому уроку;
- правильно оформленный тест повышает интерес к предмету;
- позволяет индивидуализировать работу с учениками;
- экономия учебного времени при контроле знаний и оценке результатов обученности;
- применение тестов позволяет решать проблему саморазвития.
Но, наряду с положительными, есть и отрицательные стороны в применении тестов:
- тестовый контроль не способствует развитию устной и письменной речи учащихся;
- выбор ответа может происходить наугад, учителю невозможно проследить логику рассуждений учащихся.
Такие тесты дают возможность оценить способности испытуемого более точно и с меньшими затратами, чем с помощью бумажных тестов. Типичные бумажные тесты создаются для массового тестирования, так чтобы тест использовался для большой группы учащихся, различных по способностям. Для того чтобы сделать большинство вопросов этого теста среднего уровня сложности (так как большинство учащихся имеют среднюю успеваемость), учитель целенаправленно обрабатывает материал, ориентируясь на ученика хорошиста. В результате, тест такого содержания создает проблемы для учеников с высокой и низкой успеваемостью. Испытуемый с низким уровнем знаний в состоянии ответить на первые несколько относительно лёгких вопросов. А на вопросы среднего и высокого уровня сложности ученику будет нелегко ответить. Следовательно, испытуемый может в конечном итоге угадать ответы на эти вопросы, или может просто оставить их пустыми. В таком случае тяжело реально оценить его знания и возможности, так как какие-либо выводы должны основываться только на ответах на первые несколько вопросов, которые ученик смог разобрать. Одной из особенностей бланкового тестирования является то, что данный вид тестирования можно проводить только один раз. Как только одна группа прошла такую проверку знаний и получила результаты, все остальные учащиеся имеют список правильных ответов. Причём этот список включает номер вопроса и перечень номеров дистракторов, составляющий правильный ответ. В ходе эксперимента выяснилось, что 2 ученика данного класса заранее «подготовились» к компьютерному тестированию, заготовив ответы предыдущей работы, но форма представленных заданий имела отличия от бланкового теста. Можно сделать вывод о том, что последующие применения данного теста не дают достоверной информации о степени овладения знаниями. Использование бланкового тестирования предполагает такой этап, как проверка результатов. Это трудоёмкий этап, поскольку допускает только минимальный уровень автоматизации — использование налагаемых шаблонов. Более того, использование шаблонов для проверки ограничивают использование в тестах заданий в открытой форме. Чаще всего бланковые тесты проверяются вручную, и по затраченному времени мало отличаются от проверки письменных работ. Так же проверка бланковых тестов не исключает ошибок преподавателей, т.к. в отличие от проверки контрольных работ, когда учитель следит за развитием мысли, проверяя выкладки, и его внимание не рассеивается, проверка бланков, в основном, нудный и однообразный процесс сверки колонок результатов.
Этих недостатков совершенно лишено компьютерное тестирование. Практически мгновенное получение результата исключает человеческий фактор на этапе получения результатов. Автоматическое получение отчёта, как об отдельном сеансе тестирования, так и любом подмножестве прошедших проверку, сохранение результатов в электронном виде и, следовательно, восстановление их при необходимости — все эти преимущества электронного хранения информации присущи системам компьютерного тестирования.
В приведенной ниже диаграмме видно, что из 58 опрошенных учащихся 7-8 классов, 87% - желают пройти компьютерное тестирование, только 13% согласны пройти бланковое тестирование.
Систематический компьютерный контроль знаний показал ещё один, довольно неожиданный результат — повышение интереса к программированию. Попытка разобраться в принципах работы программы — «взломать» её, наиболее упорных учащихся приводит к серьёзному, а главное заинтересованному, изучению основ мастерства. Некоторые такие «юные хакеры» самым серьёзным образом увлеклись теорией защиты информации, технологиями хранения и представления данных — дисциплинами, которые в школе на уроках информатики изучаются обзорно, или только упоминаются.
На протяжении эксперимента выявлена еще одна серьёзная преграда на пути распространения компьютерного тестирования, как широко применяемого способа контроля знаний - необходимость оборудования компьютерных классов достаточным количеством рабочих станций для проведения одновременного сеанса тестирования. Приобретение, настройка и поддержание в рабочем состоянии компьютерного класса — довольно дорогое удовольствие. И если в среднем ВУЗы неплохо обеспечены компьютерной техникой, то обеспечение школ оставляет желать лучшего, хотя следует отметить, что в последние годы положение с информатизацией заметно улучшилось.
Несмотря на некоторые противоречия, можно утверждать, что данная форма и опыт необходимы для полноценного функционирования учебного заведения. Компьютеризация образования, развитие теории педагогических измерений позволяют создать рейтинговую систему контроля для более объективной и точной оценки знаний, навыков и умений учащихся. Рейтинговая оценка обученности дает возможность с большой степенью достоверности охарактеризовать качество подготовки учащегося по любому учебному предмету.
СПИСОК ЛИТЕРАТУРЫ, используемой при разработке теории опыта:
1. Амонашвили Ш. А. Воспитательная и образовательная функции оценки умения / Ш. А. Амонашвили. — М., 1984.
2. Ананьев В. Г. Психология педагогической оценки / В. Г. Ананьев // Избранные педагогические труды. — М., 1982.
3. Аванесов В. С. Композиция тестовых заданий: учеб. кн. для преподавателей вузов и студентов педвузов / В. С. Аванесов. — М., 1998.
4. Анастази А. Психологическое тестирование / А. Анастази, С. Урбина; [пер. с англ. и общ. науч. ред. А. А. Алексеева]. — СПб., 2001.
5. Балыхина Т. М. Словарь терминов и понятий тестологии / Т. М. Балыхина. — М., 2000.
6. Балыхина Т. М. Основы тестов и практика тестирования (в аспекте русского языка как иностранного) / Т. М. Балыхина. — М., 2004.
7 Гальперин И. Р. Текст как объект лингвистического исследования / И. Р. Гальперин. — М., 1981.
6. Единый государственный экзамен: научные основы, методология и практика организации эксперимента: сб. статей / под ред. В. А. Болотова. — М., 2002.
7. Ефремова Н. Ф. Современные тестовые технологии в образовании / Н. Ф. Ефремова. — М., 2003.
8. Иванов В. Л. Электронный учебник: система контроля знаний / В. Л. Иванов // Информатика и образование. — 2002. — № 1.
9. Кадневский В. М. История тестов: [монография] / В. М. Кадневский. — М., 2004.
10. Коккота В. А. Лингводидактическое тестирование / В. А. Коккота. — М., 1989.
11. Красюк Н. И. Клоуз -тест, его особенности и возможности использования при обучении иностранному языку в средней школе / Н. И. Красюк // Иностранные языки в школе. — 1986. — № 2.
12. Майоров А. Н. Мониторинг в образовании / А. Н. Майоров. — М., 1998.
13. Майоров А. Н. Теория и практика создания тестов для целей образования / А. Н. Майоров. — М., 2000.
14. Михайлычев Е. А. Дидактическая тестология / Е. А. Михайлычев. — М., 2001.
15. Мусницкая Е. В. Сто вопросов к себе и к ученику / Е. В. Мусницкая. — М., 1996.
16. Нардюжев В. И. Модели и алгоритмы информационно-вычислительной системы компьютерного тестирования / В. И. Нардюжев, И. В. Нардюжев. — М., 2000.
17. Нардюжев В. И. Современные системы компьютерного тестирования / В. И. Нардюжев // Школьные технологии. — 2001. — № 3.
18. Новые государственные стандарты школьного образования по иностранному языку. — М., 2004.
19. Клайн П. Справочное руководство по конструированию тестов: введение в психометрическое проектирование / П. Клайн. — Киев, 1994.
20. Равен Дж. Педагогическое тестирование: проблемы, заблуждения, перспективы / [пер. с англ. Ю. И. Турчаниновой и Э. Н. Гусинского]; Дж. Равен. — М., 2001.
21. Тестирование языковой компетенции: терминологический словарь-справочник. — СПб., 2004.
22. Теория и практика языковых тестов / сост. Р. Сельг, И. Соттер. — Таллин, 1980.
23. Челышкова М. Б. Теория и практика конструирования педагогических тестов: учеб. пособие / М. Б. Челышкова. — М., 2001.
24. Шмелев А. Г. Адаптивное тестирование знаний в системе «Телетестинг» / А. Г. Шмелев, А. И. Бельцер, А. Г. Ларионов // Школьные технологии. — 2000. — № 1.
