Муниципальное образовательное учреждение Силикатненская средняя общеобразовательная школа МО "Сенгилеевский район" Ульяновской области 433393, Ульяновская область, Сенгилеевский район, п. Силикатный, ул. Садовая, д.3, тел.(84233) 2-61-35

Организация и апробация системы мониторинга качества образования в образовательном учреждении.
(новые технологии управления качеством образования)

	Филюк Елена Викторовна, учитель информатики и ИКТ, заместитель директора по УВР Муниципального образовательного учреждения Силикатненской средней общеобразовательной школы муниципального образования "Сенгилеевский район" Ульяновской области, выпускница международной программы "Учителя - Учителям", LTMS 2007.

Создание системы оценки качества образования в России происходит в период введения образовательных стандартов и появления необходимости оценивать их достижение в масштабах всей страны. В связи с этим ставится задача создать систему получения объективной информации о результатах обучения в соответствии с образовательными стандартами (в том числе - определение комплекса критериев, процедур и технологий оценки, организацию педагогического мониторинга и его использование как неотъемлемого инструмента управления качеством образования) на уровне образовательного учреждения, на основе которой можно будет принимать управленческие решения. Современная педагогическая наука и практика поставлены перед необходимостью перехода от традиционных способов сбора сведений о школе - к педагогическому мониторингу, под которым мы понимаем целенаправленное, специально организованное, непрерывное слежение за функционированием и развитием образовательного процесса и/или его отдельных элементов в целях своевременного принятия адекватных управленческих решений на основе анализа собранной информации и педагогического прогноза.

Традиционная система оценки знаний учащихся, сформировавшаяся в период советской школы, имеющая богатый опыт в области контроля за результатами обучения, в силу своих организационных и технологических особенностей не может обеспечить удовлетворение данных потребностей общества. Ее результаты нельзя использовать для получения объективных количественных и качественных показателей, позволяющих управлять качеством образования. Появление понятия "мониторинг" связано со становлением и развитием информационного общества, которое нуждалось в объективных и субъективных сведениях о стоянии тех или иных объектов и структур. Образовательная система оказалась слишком сложной, многоаспектной, чтобы можно было сразу создать такую систему, которая позволила бы объективно судить о состоянии дел.

В настоящее время в России различными научными коллективами создаются подходы к оценке достижения стандартов образования. Встает задача проанализировать эти подходы и оценить перспективность их применения для аттестации обучающихся, а также для построения системы оценки качества образования в образовательном учреждении. Для этого необходимо иметь ориентиры для сравнения. Одним из таких ориентиров может быть анализ зарубежного опыта, позволяющий выявить тенденции развития систем оценки результатов обучения, преобладающие подходы в оценочной деятельности, технологии оценки, которые можно использовать при разработке системы мониторинга. Предметом анализа в данной работе являются системы оценки результатов обучения в школе, используемые в США на государственном, региональном и школьном уровнях.

В работе использовались официальные документы, монографии, статьи в периодической печати, информация на сайтах ИНТЕРНЕТ, материалы, полученные в результате стажировки автора в Университете штата Монтана, США осенью 2007 г.

Система оценки результатов обучения

Все основные характеристики системы оценки результатов обучения (основные подходы к разработке инструментария, характеристики проверочных работ, процедуры проведения, представление результатов и др.) определяются основными целями и задачами, которые ставятся перед этой системой. В большинстве случаев перед системой оценки результатов обучения ставится основная цель - получение объективной информации о функционировании системы образования.

Системы оценки результатов обучения можно разделить на подсистемы в соответствии с целями и объектами оценки:

• оценка индивидуальных образовательных достижений учащихся (состояния или динамики роста) для целей аттестации (подтверждения получения определенного уровня образования), коррекции индивидуальных результатов учащихся, перехода на следующую ступень обучения, выбора уровня изучения отдельных учебных предметов;
• оценка уровня образовательных достижений класса, школы с целью оценки деятельности учителей или школы, усовершенствования процесса преподавания и обучения;
• мониторинг образовательных достижений выборочной совокупности учащихся в масштабе отдельных регионов или страны в целом с целью оценки качества обучения и тенденций развития.

В США образовательные достижения учащихся оцениваются в основном в рамках программ, разработанных на уровне каждого отдельного штата. В стране нет единой системы национальных экзаменов. Каждый штат разрабатывает свои собственные стандарты учебных достижений и систему оценки этих достижений, используя в качестве ориентиров требования к учебным достижениям школьников, сформулированные в национальных образовательных стандартах. На уровне страны существует система мониторинга качества образования NAEP (National Assessment of Educational Progress). Основная цель данных программ получить информацию о результатах образования (обратная связь, отчет школ об их работе), проследить изменения во времени, определить слабые и сильные стороны образования. На основе данной информации планируются любые изменения в школе, включая пересмотр учебных программ.

Использование тестовых технологий

Слово тест произошло от английского слова "test" - проба, испытание, исследование. В узком значении тест достижения - это инструмент, измеряющий у учащихся уровень их овладения знаниями и умениями в результате обучения. Тест - в более широком смысле - это стандартизированная процедура, совокупность методик для получения определенных характеристик (количественных) о достигнутом уровне знаний, умений и навыков испытуемого. Тесты могут включать задания любого типа: закрытые (например, с выбором ответа), открытые (со свободно конструируемыми ответами), практические задания или другие.

К особенностям теста, отличающим его от контрольных работ, можно отнести следующие: тесты разрабатываются в строгом соответствии с теорией тестов (классической или современной); они имеют устойчивые статистические характеристики для выборки учащихся, для оценки достижений которых они разрабатывались; процедура тестирования стандартизирована (т.е. выполнение тестов, проверка, обработка и интерпретация их результатов проводится по единым правилам); тесты ориентированы не на констатацию наличия у учащихся отдельных усвоенных знаний или умений (хотя данная информация может быть получена по результатам выполнения тестов), а на определение уровня усвоения определенной совокупности учебного материала. Данные тесты получили название стандартизированные. Тесты, разработанные учителями или специалистами-предметниками, но не отвечающие всем требованиям, предъявляемым к стандартизированным тестам, будем называть авторскими.

Тесты разрабатываются в соответствии с национальными стандартами. Результаты тестирования соотносятся с уровнями достижений, определенными в национальных стандартах. Их смысл заключается в том, что они характеризуют тот уровень подготовки (знаний и умений), который в определенном возрасте достигает большинство учащихся страны.

Ни одна страна мира не может сравниться с США по широте использования тестовых технологий. Тесты всегда использовались в США как политическое средство в проведении реформ в области образования, начиная с 1840 г (Massachusetts Historical Society Documents, 1845-46). Почему же тестирования так широко распространено в США? Д. Мадаус к основным причинам относит следующие: неудовлетворенность качеством образования в стране, увеличение числа постановлений на уровне государства и отдельных штатов об обязательности тестирования, увеличение внимания в результатам образования, бюрократизация школы и общества в целом. В 1992 г. Национальный Комитет по образовательным стандартам и тестированию (National Council on Education Standards and Testing - NCEST) в своих документах определил цели и сферу использования системы оценки для мониторинга индивидуальных результатов и системы образования в связи с введением национальных стандартов для:

• разъяснения учащимся, их родителям и учителям требований к уровню образовательных достижений;
• совершенствования преподавания и повышения результатов обучения;
• информирования учащихся, их родителей и учителей о достижении образовательных стандартов;
• обеспечения отчетности учащихся, школ, округов, штатов и страны в целом о результатах обучения;
• помощи в принятии управленческих решений в области образования.

Стандартизированные тесты необходимо использовать в каждой школе с целью управления образовательным процессом, совершенствования системы преподавания и обучения, мониторинга результатов школы, распределения учащихся по разноуровневым классам или курсами, для сертификации учащихся.

Стандартизированные тесты, как правило, достаточно проводить один-два раза в год в каждой школе. Но авторские тесты, подготовленные учителями, проводятся по мере необходимости и обязательно в конце каждой темы. Очень часто учителя используют тесты, разработанные авторами учебников, по которым они работают.

Основы построения системы мониторинга результатов обучения.

В определении подходов к построению системы мониторинга результатов обучения особую роль играют следующие ключевые вопросы:

1. C какой целью будет использоваться создаваемая система? Что будет оцениваться?
2. Насколько объективными, надежными и валидными должны быть результаты? Возможна ли их интерпретация?
3. Какие выводы должны быть сделаны на основе этих результатов?
4. Какие проблемы могут возникнуть в процессе разработки инструментария и проведения оценки?

Основные подходы в оценке образовательных достижений

Существуют три основных подхода в оценке образовательных достижений учащихся:

• критериально-ориентированный, позволяющий оценить насколько учащиеся достигли заданного уровня знаний, умений и отношений, например, определенного как обязательный результат обучения (образовательный стандарт). В данном случае оценка конкретного ученика не зависит от того, какие результаты получили другие ученики. Результат будет показывать соответствует ли уровень достижений данного ученика социально-культурным нормам, требованиям стандарта или другим критериям. При данном подходе результаты могут интерпретироваться двумя способами: в первом случае делается вывод о том, освоен или не освоен проверяемый материал (достиг стандарта или нет), во втором - дается уровень или процент освоения проверяемого материала (на каком уровне освоен стандарт или какой процент из всех требований стандарта усвоен).
• ориентированный на индивидуальные нормы конкретного ученика, реального уровня его развития в данный момент времени. Результатом оценки в этом случае является темп усвоения и объем усвоенного материала по сравнению с его начальным стартовым уровнем.
• нормативно-ориентированный, ориентированный на статистические нормы, определяемые для данной совокупности учащихся. Учебные достижения отдельного ученика интерпретируется в зависимости от достижений всей совокупности учащихся, выше или ниже среднего показателя - нормы. Происходит распределение учащихся по рангам. Данный подход не соотнесен с содержанием процесса обучения, а если проверку проводит учитель, то его оценка чаще всего субъективна, т.к. свои оценки он делает относительно среднего уровня подготовки класса.

При оценке достижений образовательных стандартов используются различные подходы, в зависимости от того, что понимается под стандартами: достижение определенных целей образования, освоение определенного содержания учебного предмета или достижение определенных уровней подготовки.

Последние тенденции в оценке результатов обучения

1. Переход к когнитивной точке зрения на обучение и оценку:

• от оценки исключительно результатов обучения к рассмотрению также процесса обучения;
• от пассивного ответа на заданный вопрос к активному конструированию содержания ответа;
• от оценки отдельных, изолированных умений к интегрированной и междисциплинарной оценке;
• внимание к метапознанию (самоконтролю, общеучебным умениям и умениям, связанным с волевыми проявлениями личности (мотивации и другим сферам, влияющим на процесс обучения и образовательные достижения);
• изменение значения понятия "знающий" и "умеющий", отход от рассмотрения этих понятий как некоторого накопления изолированных фактов и умений и новое наполнение понятия в терминах применения и использования знаний.

2. Изменение формы оценки: переход от письменной проверки к аутентичной проверке, основными особенностями которой являются:

• значимая для учащихся оценка;
• использование заданий с определенным контекстом (контекстуализированные задачи);
• основное внимание к комплексным умениям;
• включение заданий с несколькими правильными ответами;
• ориентация оценки на стандарты, известные учащимся;
• оценка динамики индивидуальных достижений учащихся.

3. Изменение характера оценки, проводимой учителями, самооценки учащихся, оценки, проводимой родителями: от единовременной оценки с помощью одного измерителя (чаще всего теста) - к портфолио (оценке работ, выполненных учащимися за определенное время).

4. Переход от одномерного к многомерному измерению - от оценки только одной характеристики образовательных достижений к оценке нескольких характеристик одновременно.

5. Переход от оценки исключительно индивидуальных достижений учащихся к оценке достижения группы учащихся:

• оценка умений работать в коллективе;
• оценка результатов групповой работы.

Образовательные стандарты и оценка их достижения

Как уже упоминалось выше, основной тенденцией последнего десятилетия является введение стандартов, связанных с системой оценки, как ожидаемых, планируемых образовательных достижений или результатов обучения. Причем стандарты достижения рассматриваются как обязательный минимальный уровень достижений. Стандарт это "степень или уровень требований, уровень совершенства или уровень достижений".

Оценка минимальной компетентности в США.

Тесты минимальной компетентности оценивают не образовательные достижения вообще, а компетентность учащегося в контексте принятия решения (на основе результатов тестирования) о дальнейшем пути испытуемого: обучении на последующей ступени школы или переходе к профессиональной деятельности. Выражение "минимальная" (компетентность) означает, что оценивается не любой уровень образовательной подготовки, включая и максимально возможный, а достаточный и необходимый уровень.

К тестам минимальной компетентности и сфере их использования предъявляются следующие требования:

• На этапе планирования теста разрабатывается спецификация, понятно сформулированная и доступная для всех заинтересованных лиц, в которой подробно описываются структура теста и все проверяемые умения. Такая спецификация используется как для разработки тестов (специалистами предметниками и тестологами), так и для подготовки к тестированию (учителями и учениками).
• Тест должен оценивать умения, значимые для дальнейшей жизни испытуемых, включая и когнитивные умения. Получение положительной оценки за выполнение теста должно быть социально значимо.
• Стандарты достижения должны быть определены и сформулированы в терминах школьных программ.
• Проверяемые компетентности и задания теста не должны дискриминировать ни одну из групп обучающихся.
• "Минимум" должен разделять учащихся по уровню подготовки.
• В связи с тем, что не бывает идеальных тестов, окончательные решения о судьбе обучающихся не должны приниматься только на основе результатов выполнения тестов. Необходимо учитывать и другие оценки, полученные в течение года, а также мнения учителей и др.

Результаты, полученные в рамках оценки минимальной компетентности, можно использовать для информирования общественности о результатах образования в школе, т.е. для оценки деятельности школы.

Критерии анализа системы оценки результатов обучения

1. До введения системы оценки необходимо четко определить, что должны знать и уметь учащиеся, и на каком уровне.
2. Приоритетной целью системы оценки достижения стандартов должна быть помощь в совершенствовании преподавания и процесса обучения.
3. Требования к уровню подготовки учащихся, инструментарий и процедуры оценки, а также способы использования результатов, должны быть одинаковыми для всех учащихся.
4. Инструментарий для оценки достижения стандартов должен быть валидным по отношению к образовательным стандартам.
5. Результаты оценки достижения стандарта должны сообщаться вместе с другой необходимой релевантной информацией.
6. Учителя должны быть вовлечены в процесс разработки и реализации системы оценки.
7. Процедура оценки и результаты должны быть понятны всем (учащимся, учителям, родителям, управленцам и другим пользователям)
8. Используемая система оценки должна постоянно усовершенствоваться.

На основании выше сказанного, для организации системы мониторинга в образовательном учреждении необходимо использовать некоторые перспективные подходы к организации системы оценивания: сочетание внешнего и внутреннего контроля образовательных достижений; одновременная оценка подготовки учащихся на обязательном (минимальном) и повышенном уровнях; более широкое использование заданий, валидных по отношению к требованиям к уровню подготовки выпускников школы (например, заданий со свободно-конструируемыми ответами, практических заданий и др.); более широкое привлечение учителей в процесс контроля за образовательными достижениями; использование технологии разработки тестов в рамках современной теории тестов; создание механизмов обеспечения качества разработки тестов; организация общественно-профессиональной экспертизы на важнейших этапах разработки тестов, используемых для аттестации учащихся и мониторинга качества образования.

Нецелесообразно использовать подходы или технологии, от которых отказывается большинство развитых стран (например, использовать только тесты с закрытыми заданиями или с небольшим количеством открытых заданий, использовать только авторские тесты для системы мониторинга, использовать результаты тестирования только для аттестации, сравнивать результаты /тестируемых/ с помощью неоткалиброванных тестов и др.)

Решение этой проблемы мы видим в применении современных информационных технологий для диагностики результатов образовательного процесса. С этой целью нами используется Интернет версия тестовой системы "Дикобраз", которая представляет собой комплексную систему автоматизированной диагностики как программный инструмент, в основе которого лежит технология компьютерного тестирования и компьютерная обработка результатов тестирования. Эта система внедрена в Ульяновском Техникуме Экономики и Права. МОУ Силикатненская средняя школа получила сертификат за освоение автоматизированной тестовой системы диагностики качества образования "Дикобраз", поэтому наша школа имеет право организовывать мониторинговые исследования с применением этой системы. Такая система позволяет как педагогу, так и образовательному учреждению, в целом, разработать тестовую базу и автоматизировать процесс получения информации о результатах обучения.

Система обеспечивает: создание тестовых программ, компьютерное тестирование, формирование базы данных результатов тестирования, анализ результатов тестирования, формирование требуемых отчётов и соответственно состоит из следующих модулей:

• Тестовая программа "Дикобраз";
• Конструктор тестов;
• Компьютерная тестовая база;
• Модуль обработки и формирования результатов тестирования;
• Модуль анализа результатов тестирования и формирования отчётов.

Адаптируя систему под задачи и цели нашего образовательного учреждения мы можем организовать текущий оперативный контроль за ходом образовательного процесса с использованием контрольно-измерительных материалов (тестовой базы). Все КИМы соответствуют по уровням сложности и форме единому государственному экзамену (ЕГЭ), много заданий взято из открытой федеральной базы ЕГЭ, что позволяет осуществлять репетиционное компьютерное (без бланков) тестирование выпускников, своевременно проводить коррекцию знаний, избежать использования некалиброванных тестов.

Система мониторинга качества образования в образовательном учреждении.

Цель мониторинга: оперативно и своевременно выявлять все изменения, происходящие в сфере деятельности образовательного учреждения. Полученные объективные данные являются основанием для принятия управленческих решений.

Субъекты и объекты педагогического мониторинга.

Субъектами мониторинга выступают все участники образовательного процесса. Степень их участия различна, но все они (и учителя, и ученики, и родители, и общественность) получают информацию, анализируют ее.

Объектами мониторинга являются образовательный процесс и его результаты, личностные характеристики всех участников образовательного процесса, их потребности и отношение к образовательному учреждению.

Разработка и апробация системы педагогического мониторинга.

Система - множество закономерных друг с другом элементов, представляющих собой определенное целостное образование, единство (Толковый словарь). В любой сфере человеческой деятельности невозможно добиться позитивной динамики без осознаваемой (всеми или многими) и принимаемой системы. Создание теоретической модели системы педагогического мониторинга - первый шаг на пути управления качеством образования.

Существующие системы мониторинга можно сгруппировать по следующим основаниям:
I группа - мониторинг уровня ЗУН обучающихся ("цель - результат")
II группа - мониторинг, связанный с непосредственным накоплением и структуризацией информации;
III группа - системы мониторинга, построенные с использованием модели "вход - выход";
IV группа - системы мониторинга на уровне образовательного учреждения. С их помощью предпринимаются попытки ответить на вопросы об эффективности той или иной технологии обучения, выделить факторы, влияющие на качество обучения, найти примеры связи квалификации педагога и результатов преподавания.

Однако принцип системности в проведении педагогического мониторинга может быть реализован только при условии разработки циклограмм.

Годовая циклограмма педагогического мониторинга в ОУ

Решение проблемы качества образования зависит от того, насколько своевременно и адекватно будут реагировать образовательные учреждения на изменения внешней среды, на потребности общества, социальный заказ, насколько эффективное и педагогически оправданные методы и технологии будут избраны, насколько объективной, независимой и систематической будет экспертиза деятельности образовательного учреждения.

Литература.

1. Беспалько В.М. Мониторинг качества обучения - средство управления образованием. - М., 1996
2. Вовна В.И., Короченцев В.В. и др. Мониторинг качества обучения как важнейший инструмент управления образованием // Инновации в образовании, 2005, № 5
3. Горб В.Г. Педагогический мониторинг образовательного процесса как фактор повышения его уровня и результатов // Стандарты и мониторинг, 2000, № 5
4. Гутник И.Ю. Организация педагогической диагностики в профильном обучении. - СПб., 2005
5. Кайнова Э.Б. Критерии качества образования: основные характеристики и способы измерения. - М., 2005
6. Лизинский В.М. Критерии оценки и стимулирование педагогической деятельности учителей как один из ресурсов управления образовательным процессом // Завуч, 2005, № 5
7. Майоров А.Н. Мониторинг в образовании. - СПб., 1998
8. Майоров А.Н. Теория и практика создания тестов для системы образования. - М., 2001
9. Поташник М.М. Управление качеством образования в школе. - М., 1996
10. Субетто А.И. Качество образования в России: состояние, тенденции, перспективы. - М., 2001
11. Третьяков П.И. Школа: управление по результатам. - М., 2001
12. Трубина И.И. Мониторинг качества образования: проблемы и подходы // Информатика и образование, 2005, № 5
13. KEEVES J. The world of school learning. Selected key findings from 35 years of IEA research. IEA, 1994.
14. ASSESSMENT IN TRANSITION: learning, monitoring and selection in international perspective (1996). Edited by Angela Little&Alison Wolf -1-st ed/,Elsevier Science Ltd,
15. CONTEMPORARY RESEARCH IN THE UNITED STATES, GERMANY and JAPAN, (INTERNET)