Главная страница «Первого сентября»Главная страница журнала «Управление школой»Содержание №46/2003


Ведомственный проект

Материал подготовила Светлана КИРИЛЛОВА

Единый государственный экзамен
и тестирование: исследования и наблюдения

Результаты централизованного тестирования могут послужить индикатором объективности единого государственного экзамена. Эту возможность обсуждали участники недавно завершившейся в Москве V Всероссийской научно-практической конференции «Развитие тестовых технологий в России».

Летом и осенью 2003 года Министерство образования и региональные руководители рассказали нам, что кампания по зачислению в вузы с результатами ЕГЭ прошла успешно. На самом деле абитуриентская кампания выявила немало промахов. Даже у самого Владимира Филиппова в Российском университете Дружбы народов половина иногородних студентов, зачисленных на первый курс по баллам ЕГЭ, не смогла найти денег, чтобы доехать до РУДН. Те студенты, которые не смогли явиться к сроку, были заменены более состоятельными и географически близкими соискателями.
Другая абитуриентская история случилась в томских вузах, где втрое, по сравнению с ЕГЭ прошлого года, увеличилось число первокурсников из села. Руководитель образования Томской области Леонид Глок, выступая на всероссийском совещании, посвященном результатам ЕГЭ 2003 года, подчеркнул, что уровень многих сельских абитуриентов не устраивает преподавателей томских вузов.
Неудивительно, что некоторые вузы, набравшие по результатам ЕГЭ новый студенческий контингент, теперь ищут возможностей проверить, каковы же в действительности знания этих студентов.
А возможности есть.
Это результаты централизованного тестирования.

Был ли ЕГЭ объективен?

Как известно, начавшийся в стране эксперимент по ЕГЭ не отменил процедур централизованного тестирования. В 2003 году школьники страны могли заплатить около 150 рублей, выполнить тестовые задания и получить сертификат ЦТ, который засчитывался за результат приемного экзамена в большинстве российских вузов.
ЦТ – процедура, с одной стороны, хорошо обкатанная и привычная школьникам, с другой – не испытывающая административного давления. Ни губернатору, ни региональному министру образования, ни директору школы нет дела до того, какие баллы наберет старшеклассник на ЦТ. Это личное дело. Во-первых, каждого абитуриента. Во-вторых, каждого вуза, который решает, принимать или не принимать сертификат о сдаче централизованного тестирования.
ЕГЭ – дело государственное. От него зависит многое: как будут выглядеть региональные чиновники на федеральном уровне, как будут аттестоваться школы, как будут – в трех пилотных регионах – выделяться деньги по ГИФО.
Соседство во многих регионах двух похожих систем измерения знаний – ЦТ и ЕГЭ – породило интересные наблюдения и сравнительные исследования.
Представители Читинского государственного университета отметили, что в 2003 году интерес старшеклассников в области ЦТ не снизился: количество проведенных в 2003 году тестов в 1,5 раза превысило результаты 2002 года, а процент зачисленных в университет по результатам ЦТ не изменился и остался равен 29%.
Эксперты из Вятского государственного университета сравнили баллы, полученные в 2003 году школьниками Кировской области на ЕГЭ и на ЦТ. Участники ЕГЭ, сдававшие экзамен по одному предмету, получили 6,9% двоек, участники ЦТ – 11,1%. На ЕГЭ было выставлено 14,7% пятерок, на ЦТ – только 5,1%. На независимом ЦТ школьникам ставится гораздо больше двоек и на порядок меньше пятерок.
Интересно, что процент четверок и троек, полученных школьниками на ЕГЭ и на ЦТ, практически совпал.
«ЕГЭ оказался мягче внизу и вверху шкалы, – заключили вятские эксперты. – Это создало трудности при зачислении в университет, так как на ряде специальностей медалисты, подтвердившие медаль, заняли все места».
Независимо от вятичей подобное исследование провели их коллеги в Азово-Черноморской государственной агроинженерной академии.
«Анализ ЦТ по нашему представительству и ЕГЭ по математике в 2002 и 2003 годах показал, – сообщили вятские эксперты, – что в среднем оценки, полученные на ЕГЭ по 100-балльной шкале, превышают оценки на ЦТ на 10–15 баллов. Это верно для учащихся, получивших хорошие и отличные оценки. Для тех, кто получил неудовлетворительные и удовлетворительные оценки, результаты обеих процедур совместимы».
Ту же закономерность в соотношении баллов ЕГЭ и ЦТ выявили ученые из Красноярска. Средний балл ЦТ в Красноярском государственном техническом университете составляет 53,6 (это нормальный, заранее прогнозируемый балл для большого числа прилично подготовленных школьников), в то время как средний балл абитуриентов по ЕГЭ – 62 (запредельный для массового экзамена результат). Поскольку ЦТ и ЕГЭ сдавали одни и те же школьники, одно из предположений таково: во время ЕГЭ кто-то подсказывал абитуриентам. Правда, не всем. Подсказки удостоились только те, кто претендовал на отличный результат.
В Тольяттинском государственном университете, который первым в стране выделил 100% своих специальностей под ЕГЭ, провели внутренний мониторинг успеваемости студентов.
Если студенты, поступившие на бюджетное отделение с результатами ЕГЭ, продемонстрировали качество знаний, близкое к 100% (исключение составили только льготники – сироты и инвалиды с детства), то по результатам внутреннего мониторинга качество знаний снизилось до 62%.
«Это обусловлено адаптацией к вузовской системе обучения, – считают эксперты из Тольятти. – С другой стороны, это свидетельствует о том, что нужно поднимать планку ЕГЭ по хорошим и отличным оценкам».
Сравнительный анализ результатов ЕГЭ и входного контроля знаний студентов по физике (с помощью тестов ЕГЭ прошлых лет) провели в Воронежском государственном техническом университете (ВГТУ).
На первой неделе учебного года без предварительного уведомления были проанализированы результаты работ 140 учащихся физико-технического факультета ВГТУ. Их средний балл на ЕГЭ был замечательным и равнялся 58,4. Но результаты входного контроля оказались неважными – 41,6 балла.
60,2 % новоиспеченных студентов подтвердили совпадение между оценками ЕГЭ и входного контроля. Это обрадовало организаторов мониторинга. Но дальше все пошло ни шатко ни валко. 33,1% первокурсников не подтвердили оценку ЕГЭ (5 или 4 балла) с разницей в 1 балл. 6,7% вчерашних абитуриентов не подтвердили результат ЕГЭ с разницей в 2 балла. Иначе говоря, если при пересчете тестовых баллов ЕГЭ в школьные отметки они получили 5 баллов, у них была на самом деле «троечка».
По результатам входного контроля в ВГТУ были не аттестованы 14,4% студентов. То, что они действительно плохо знают предмет, было позднее подтверждено результатами их текущей успеваемости.
«После написания ЕГЭ прошло достаточно много времени, и при входном контроле измерялись по существу остаточные знания абитуриентов, – попытались объяснить ситуацию эксперты из Воронежского государственного технического университета. – Тем не менее несовпадение оценок в 2 балла у более чем 6% испытуемых нельзя полностью отнести к разряду случайности. Скорее всего это свидетельствует о неадекватности оценок, полученных на ЕГЭ».

Безопасность – прежде всего

Другой вопрос, который волнует ректоров вузов, руководителей Центров оценки качества информации и членов областных администраций, – как проводить ЕГЭ, не набивая шишек. Иначе говоря, как учесть при проведении единого госэкзамена опыт, накопленный за годы проведения централизованного тестирования.
Представители Уфимского государственного авиационного технического университета выявили самые слабые – в смысле обеспечения информационной безопасности – этапы проведения ЕГЭ. Это перемещения по стране запакованных в секъюрпаки КИМов и пакетов с результатами ЕГЭ. Уфимцы предложили использовать на ЕГЭ инструкции, разработанные при передвижении материалов централизованного тестирования. Например, если при передаче пакетов ЕГЭ (которые имеют уникальный номер) эти номера нигде не фиксируются, то при проведении ЦТ маршрут каждого пакета известен. «Мы считаем, что имеет смысл использовать возможности силовых структур на одном из самых слабых в смысле обеспечения информационной безопасности этапов проведения ЕГЭ – перемещении КИМов и результатов ЕГЭ», – заявили эксперты из Уфы.
В Сахалинском государственном университете обнаружили другую закономерность: июльская волна ЕГЭ дала результаты выше, чем июньская. Одним словом, многие школьники сознательно не пошли сдавать ЕГЭ в июне вместе со всеми, чтобы сдать ЕГЭ позже. Общее повышение баллов означало не только, что школьники подольше готовились к сдаче ЕГЭ, но и то, что могла произойти утечка июньских КИМов (а июльская волна пока сдает ЕГЭ практически по тем же вариантам тестов).
Однако представители разных регионов чаще всего винили в завышении результатов ЕГЭ не утечку материалов из секъюрпаков, а ненадежную систему проверки творческого задания ЕГЭ – части С.
В Алтайском государственном техническом университете им. И.И.Ползунова по результатам апелляции были повышены оценки 30% абитуриентов. Все оценки были изменены после перепроверки независимыми экспертами части С. «Инструкции по проверке части С для экспертов не очень четкие», – признали алтайцы.
С ними согласились представители Красноярска, где более 70% участников ЕГЭ так и не приступили к выполнению части С в 2002 и 2003 годах.
Некоторые предлагали вообще убрать из тестов часть С: это сократит время и деньги на проверки и повысит объективность ЕГЭ.
А эксперты из Южно-Российского государственного технического университета в Новочеркасске заметили: «Одна из задач, которые были поставлены Министерством образования при введении в стране ЕГЭ, – проведение этого экзамена независимыми службами. Однако в федеральных документах проведение ЕГЭ поручается вертикали органов управления образованием. Они заинтересованы в более высоких показателях ЕГЭ, так как по существу оценивается работа подразделений, им подчиненных».

Тестолог за 900 долларов

Чтобы школьники успешно сдавали ЕГЭ, стране нужны учителя, хорошо подкованные в тонкостях педагогических измерений. Факт в том, что взять их пока неоткуда.
Московский государственный педагогический университет только разработал проект примерной программы курса «Современные средства оценки результатов обучения». Предполагается, что в педвузах студентам гуманитарных, психолого-педагогических и естественно-научных специальностей будут давать методические навыки тестового контроля и проведения ЕГЭ. «Будущие учителя школ должны знать, как правильно подготовить своих учеников к ЕГЭ, научить их владеть наиболее эффективными методами и приемами при решении тестовых заданий, рационально распределять время на экзамене», – считают авторы проекта.
Курс, который должен дать студенту педвуза представление абсолютно обо всем – об истории тестирования в мире и в России, о научно обоснованных методах в оценке качества знаний, о том, как отбирать материал для тестов, составлять и обрабатывать полученные данные, рассчитан на 72 часа, из которых половина – практические занятия.
Речь идет главным образом не о том, чтобы объяснить студентам тонкости тестирования, а чтобы научить их успешно натаскивать на сдачу ЕГЭ своих подопечных.
А как же профессиональные тестологи – специалисты высокой квалификации?
Разрешение на их подготовку сегодня получили два государственных вуза страны – РУДН и Томский государственный политехнический университет.
Кафедра тестологии в РУДН за год набрала два потока – один в 38, другой – в 25 человек из крупнейших вузов страны, начиная с МГУ и заканчивая Читой. Курс обучения рассчитан на 1200 часов, разделенных на 3 триместра, по 260 в каждом. Среди желающих стать профессиональными тестологами – ректоры вузов, руководители центров оценки качества, представители органов управления образованием. «Тестолог – это штучный товар, – объяснила снижение набора заведующая кафедрой факультета повышения квалификации РУДН Светлана Ельникова. – Этих специалистов нельзя выпускать сотнями».
Обучение основам тестологии на базе РУДН платное: 900 долларов в год.
Понимая важность подготовки квалифицированных кадров для ЕГЭ, Министерство образования собирается выделить в будущем году 12 миллионов рублей на подготовку тестологов.

Тесты в роли доброй феи

Мы становимся свидетелями того, как эксперимент по ЕГЭ меняет отношение к процессу обучения. Руководители образования в большинстве регионов согласны с тем, что школьников надо планомерно готовить к сдаче ЕГЭ, а еще лучше – с детства приучать к тестовым технологиям, используемым во всем мире в разных сферах деятельности.
До сих пор нет единого решения, как адаптировать выпускников к ЕГЭ. Одни, как руководители образования города Воркуты, предлагают проводить между школьниками города предметные олимпиады с использованием технологий, предлагаемых Центром тестирования.
Другие главы ОУНО считают, что в школах с младших классов можно и нужно проводить контрольные работы в тестовой форме. Управление образования Казани с 1998 года начало во всех школах города тестирование знаний учащихся по основным предметам школьной программы. В 1999 году это тестирование было дополнено тестированием показателей здоровья.
Некоторые директора школ (например, Всероссийская школа математики и физики «Авангард») намерены ввести в сетку часов для десяти- или одиннадцатиклассников новый урок – тестирование. Предполагается познакомить старшеклассников с историей тестирования и особенностями тестов, проводить как популярные психологические тесты, чтобы адаптировать школьников к процедуре тестирования, так и зачетные тесты по различным предметам в единой форме, согласованной с формой ЕГЭ. В Ижевском монтажном техникуме для обучения основам тестирования была выделена экспериментальная группа студентов из 30 человек. Во время нескольких уроков преподаватель знакомил их с основными принципами составления тестовых заданий. Для итогового занятия каждому было предложено составить тест из 30 заданий на основе тезауруса учебной дисциплины. Из этих заданий было составлено 5 вариантов тестов. На итоговом занятии студенты выполнили эти варианты и проверили друг друга в качестве взаимоконтроля. По результатам проверки средний балл оказался 4,5. Когда те же тесты показали группе студентов, не участвующей в эксперименте, то их показатели были от 3,4 до 3,8 балла. Лишь половина студентов-заочников того же техникума смогла решить задания этих тестов. Заочники объяснили, что одни давно окончили школу, другие – что задания в тестовой форме стали для них полной неожиданностью.
89% студентов техникума признались, что испытали затруднения в составлении тестов, но все-таки продолжали их составлять.11% рассказали, что им было «легко и интересно» составлять тесты. 94% участников эксперимента заявили, что тестовые задания гораздо лучше и интереснее обычных задач и вопросов и что регулярное применение тестов увеличивает объем знаний и умений. 89% уверены, что использование тестов будет способствовать интересу к предмету. 11% не смогли ответить ни «да», ни «нет». Некоторые ответили, что уроки с использованием тестов не только полезны, но и… приятны.

Тестирование – с третьего класса

К удивлению многих, в небольших городках, вроде Таганрога Ростовской области, с тестированием в школах знакомы гораздо ближе. По некоторым наиболее популярным предметам в Таганроге тестируются свыше половины школьников 11 классов и более 60% девятиклассников. Если в 1996 году в централизованном тестировании приняли участие всего 2827 таганрогских школьников, в 2003 году – свыше 20 тысяч. Во время ЕГЭ по математике Таганрог показал лучшие результаты не только в Ростовской области, но и в России.
В ноябре и декабре каждая школа Таганрога получает первую серию тренировочных тестов, разработанных ведущими преподавателями города. Обычно это 2–3 варианта.
В декабре учителя школ знакомятся с демонстрационным вариантом ЕГЭ. Он выдается каждому школьнику. В это же время город проводит методические семинары с учителями.
На них подробно разбирается демонстрационный вариант ЕГЭ и заложенные в нем идеи. Готовится лазерный диск с разбором заданий демонстрационного варианта. Проводится телесеминар с лучшими учащимися школ, которые предлагают свои решения.
В марте для всех учащихся города в пунктах проведения ЕГЭ проходит тренировочное тестирование, а также срезовая контрольная работа в виде тестов.
Варианты мартовского тестирования разбираются на семинаре учителей города.
В апреле для школьников проводится репетиционное тестирование, все трудности которого тоже анализируют в учительском сообществе.
В мае – семинар для учителей, на котором подробно разбирается, как надо настроить детей на решение задач части С.
Отдельная работа по решению задач части С проводится с претендентами на медали.

В 2002 году на ЕГЭ по математике было 4,2% двоечников и 20,7% отличников. В 2003 году двоечников было 2,6%, а отличников – уже 26,3 %. В Таганроге считают, что это – следствие проведения в школах на разных этапах централизованного тестирования и сложившейся системы подготовки к ЕГЭ.
В 2003 году в городе началась программа по мониторингу успеваемости школьников начиная с младших классов. О том, как прошел эксперимент, рассказывает главный специалист управления образования Таганрога Марина РадомскаЯ.

– Можно натаскивать детей на тесты с 11-го класса. Мы же с 3-го класса начинаем планомерную подготовку, – говорит она. – Мы использовали тесты, разработанные Центром тестирования Министерства образования специально для третьего класса, для выпускников начальной школы. Каждая годовая контрольная работа в этом году была заменена тестами централизованного тестирования. Как известно, процедура централизованного тестирования – платная. Оплату тестирования для третьеклассников взяла на себя администрация города. Мэр не только принял непосредственное участие, но фактически первым познакомился с результатами этой процедуры. Он сказал, что в будущем экспертиза знаний выпускников различных ступеней обучения станет в городе постоянной.
Результаты, которые мы получили в ходе этого экзамена, будут в дальнейшем использоваться в обучении конкретного ученика: каждая его новая контрольная работа будет накладываться на уже существующую. У каждого ребенка уже заведено школьное портфолио. Туда легли оценка централизованного тестирования, годовая оценка по предмету, проведено сравнение этих двух результатов. Таким образом, мы сможем наблюдать успехи ребенка в динамике вплоть до окончания школы. Это не натаскивание, а планомерное развитие!
Для малышей это была контрольная работа, рядовая, обычная, но – по другой технологии, по тестам ЦТ. Затем, когда ребята пришли в сентябре в 5 класс, им была дана стартовая контрольная работа на остаточные знания начальной школы – по тестам Центра тестирования, с использованием цветных бланков. Нам говорили, что маленькие дети, пятиклашки, не справятся, что цветные бланки – это слишком сложно. Выяснилось, что они справляются лучше, чем 9–11 классы. Кафедра психологии нашего пединститута отслеживала ход экзамена. Никаких проблем не возникло. Интересный факт – результат централизованного тестирования оказался выше, чем годовая оценка. И дело не в том, что учителя подсказывали малышам во время тестирования – учителей вообще нет, когда проводится эта процедура. Экзамен проходит в присутствии независимого эксперта. Почему тогда оценки за тестирование оказались выше? Мы думаем, что годовая оценка отражает страх учителя. В начальной школе очень важны личность и требования учителя. Он ответствен за качество образования, которое дает. Поэтому планку своих требований учителя начальной школы поднимают и поднимают. А стандарт пока еще не регулирует поднятие планки. На протяжении года мы говорили, что будет проведена годовая независимая экспертиза. Учителя заранее боялись, что ребенок не справится с работой. Это психологический стереотип, который должен меняться.
Материалы тестирования кладутся в аттестационную папку любого учреждения образования. В этом году уже есть прецеденты, когда школы города в период аттестации уходили от стандартных контрольных работ и шли на независимую экспертизу, на бланочное тестирование. Около 60% аттестующихся учреждений образования уже прошли через независимую экспертизу в форме ЦТ. Только результаты контрольных работ – это не показатель качества обучения. В городе есть проблемные школы, к анализу их проблем мы должны подключать иную аналитику. Учитываются материально-техническое оснащение школы, кадровый состав, административная деятельность руководителей учреждений. Мы будет поддерживать школы, которые окажутся на достойном уровне. Но ни о каких санкциях применительно к слабым школам говорить нельзя. Пока лишь встает вопрос о том, что, если школы чего-то недодают учащимся; виновата, по всей видимости, и администрация города: значит, она создала не все условия для функционирования этого учреждения образования.

«ЕГЭ имеет как слабые, так и сильные стороны – это совершенно нормально, – заявили на научно-практической конференции «Развитие тестовых технологий в России» эксперты из Тольятти. – У ЕГЭ есть противники, которые ищут слабые стороны, а это, несомненно, положительный момент, который позволяет выявить недостатки ЕГЭ, а значит, устранить их».

(В материале использованы данные из сборника «V Всероссийская научно-методическая конференция «Развитие тестовых технологий в России». Тезисы докладов». Сборник издан при участии Министерства образования РФ.)

Рейтинг@Mail.ru