| Статистика |
Онлайн всего: 1 Гостей: 1 Пользователей: 0 |
|
Контрольный листок, 2014, № 12 Против ЕГЭ Итоги ЕГЭ: опыт анализа © Люция Нуриева, Сергей Киселев К проблемам социальных эффектов ЕГЭ Трудности анализа результатов ЕГЭ связаны также с тем обстоятельством, что специалистам практически ничего не известно об участниках испытаний. Именно поэтому они, как правило, не выходят за рамки изучения решаемости отдельных заданий. ФИПИ, например, сразу оговаривается, что социальные эффекты экзамена он не рассматривает по причине отсутствия контекстной информации. Сходные затруднения испытывают и аналитики на местах. Вместе с тем попытки увязать достижения образовательных учреждений на ЕГЭ с другими показателями, характеризующими их деятельность, все же предпринимаются. В просмотренных нами отчетах они, к сожалению, носят несколько отвлеченный характер. Специалисты не чувствуют материала, а потому не объясняют причин статистических взаимозависимостей, а только констатируют их. Чаще всего исследователи обнаруживают корреляцию среднего балла школ с численностью учащихся в них. Рассмотрим только эту связь, поскольку она является причиной появления корреляции среднего балла с другими показателями школ: местом расположения, видом (обычная школа, школа с углубленным изучением отдельных предметов, гимназия, лицей), наполняемостью классов, обеспеченностью литературой, состоянием и разнообразием материально-технической базы и т.д. На наш взгляд, причины зависимости результатов школ от численности учащихся связаны с социальными условиями функционирования и особенностями организации учебного процесса в учреждениях разной величины. В городе существование статистической связи между численностью детей и средним баллом объясняется отбором и отсевом детей. С одной стороны, родители пытаются устроить ребенка в лучшее учебное заведение, как правило, крупное. С другой, сами школы при переводе учащихся из основного в старшее звено стараются отделаться от балласта слабых и ленивых. К тому же в условиях демографического спада (участники ЕГЭ - это дети демографической ямы) школы с хорошей репутацией имеют больше шансов успешно провести наборы и сохранить контингент, а потому и остаться крупными. И наоборот, школы, где образовательный процесс хромает, теряют воспитанников и мельчают. Здесь же следует учитывать, что гимназии и лицеи - это большие учреждения, где обычно подбирается и сильный состав преподавателей. Другая причина - уровень доходов родителей, определяющий возможности выпускников получать дополнительную подготовку на курсах, с репетиторами и т.д. Состоятельные родители стараются устроить своих детей в учреждения повышенного уровня, как правило, крупные. Дети, получающие дополнительную подготовку к ЕГЭ, повышают не только свой результат, но и результаты своих школ. На селе зависимости между итогами ЕГЭ и величиной образовательных учреждений мы уже не найдем. Сельские школы вынуждены обучать всех детей села и предварительного отбора они не ведут. К тому же, желая сохранить нагрузку и кадры, администрация пытается удерживать слабых учащихся до 11 класса, что снижает общешкольный результат. Причины отставания сельских учреждений от городских, известны: 1) главная причина - особенности организации учебного процесса в небольших школах; 2) специфика комплектования малокомплектных школ педагогическими кадрами; 3) слабый контингент учащихся как следствие социальных условий проживания в данной местности. Остановимся на первых двух причинах. Малые школы сел и городских поселков находятся, как правило, на территориях с пониженной транспортной доступностью и слабо развитой социальной инфраструктурой. Выпускники, оканчивающие такие школы, пытаются поступить в вузы, училища или просто перебраться в город. В силу сравнительно слабой подготовки они попадают, в основном, не в высшие, а в средние профессиональные учебные заведения, в т.ч. педагогические. Как результат сельская малая школа комплектуется, в основном, своими же выпускниками со средней профессиональной подготовкой. Городских выпускников на село не заманишь. Например, в Омской области в период с 2002 по 2007 год среди 2 тыс. молодых специалистов, прибывших на село, 85% составляли выходцы из местных На что может рассчитывать выпускник педколлежа, возвращаясь в родную школу? Особенностью малокомплектных школ является отсутствие часов на полную ставку у значительной части учителей. В школах, где на каждой возрастной параллели имеется только один класс, насчитывается следующее число ставок: начальных классов — 4, русского языка и литературы — 2,5, иностранных языков — 1,1, математики — 1,9, истории, обществознания, экономики — 1,7, географии и экономической географии — 0,6, биологии, экологии, природоведения — 0,9, физики и астрономии — 0,8, химии — 0,6, изобразительного искусства и черчения — 0,3, музыки — 0,2, физкультуры и ОБЖ — 1, информатики — 0,3, труда — 0,8. Поэтому особенностью занятости здесь является широко распространенное совместительство, в том числе непрофильное. Попав в школу, выпускник педучилища зачастую вынужден вести предметы, которым он даже не обучался. По данным социологического опроса молодых специалистов, трудоустроенных в образовательных учреждениях сельских районов Омской области, около половины из них в той или иной мере обременены непрофильной нагрузкой (опрошены 300 молодых учителей, трудоустроенных в сельских школах в 2009–2011 годах), из-за чего свыше трети опрошенных лишь частично или поверхностно успевают готовиться к занятиям. Непрофильная занятость, особенно учителей естественно-математического и гуманитарного циклов, сопровождается большим объемом самостоятельной работы, т.к. необходимо обеспечить приемлемое качество уроков по предметам, где работник специалистом не является. Разнопредметная нагрузка становится причиной перегрузок, неудач, разочарований, появления желания покинуть школу. Поэтому среди молодых педагогов всегда фиксируется повышенная текучесть кадров. В случае если молодой учитель устроится в соответствии с полученной специальностью, легкой жизни в малокомплектной школе он все равно не найдет. Даже имея однопредметную нагрузку, преподаватели основных дисциплин работают здесь в чрезвычайно тяжелых условиях. На ставке в 18 часов и при 6-дневной рабочей неделе они обязаны ежедневно готовиться к трем урокам по трем НОВЫМ темам, потому что в школе нет параллельных классов. Это 18 новых подготовок в неделю. К пройденному и знакомому материалу учитель может вернуться только через год, изучая его с детьми следующей возрастной категории. Если вспомнить требования к уроку, сразу станет ясно насколько проблематично обеспечить их в условиях этого конвейера. Сможет ли специалист со средним профессиональным образованием хорошо подготовить школьников к ЕГЭ в таких условиях? Проблема комплектования сельских школ имеет еще один аспект. Подавляющее большинство молодых педагогов — девушки, одной из главных жизненных целей которых является создание семьи. Если молодая учительница, прибыв на село, сумеет здесь создать семью, то есть надежда, что в школе она останется. В противном случае велика вероятность увольнения, а на ее месте окажется следующий «кандидат на вылет». Поиски социальных причин, влияющих на результаты ЕГЭ, сами по себе интересные, редко носят практический характер: обнаруженные факторы обычно не поддаются регулированию со стороны органов управления образованием. Гораздо продуктивнее представляется изучение условий, определяющих качество учебного процесса непосредственно в школах (вид учебника, система подвоза школьников, сменность занятий, профессионально-квалификационный состав преподавателей и т.д.). К сожалению, эти показатели в системе ведомственной статистики практически отсутствуют. Сопутствующей проблемой является уровень специальной подготовки работников, анализирующих результаты ЕГЭ. После окончания экзаменов РЦОИ всей страны подводят итоги. В основном результаты испытаний сводятся в статистические сборники, по объему очень внушительные. Между тем трудозатраты на их создание невелики. Все таблицы, которые можно встретить в региональных отчетах, легко делаются в программе Excel за два-три дня. При этом усилия составителей связаны не с обработкой данных, происходящей на современных ЭВМ мгновенно, а к оформлению результата (форматирование таблиц и графиков). Аналитику экзамена сотрудники РЦОИ, как правило, не пишут. Пишут ее преподаватели и методисты местных институтов повышения квалификации. Однако для РЦОИ это не оправдание. Экзамен закончен, а понимания того, что сделано, нет. Чем же занят персонал после экзамена? Что касается Омской области, то здесь даже статистику грамотно свести не могут. Результаты по региону без комментариев и объяснений РИАЦ из года в год сваливает в огромные и пустые таблицы, предоставляя читателям самим ковыряться в цифрах, зачастую сомнительных и несопоставимых[31]. Так, омские сборники по математике в течение нескольких лет приводили данные о решаемости задач по спецификации 2004 года, в то время как контрольно-измерительные материалы постоянно менялись. «Творения» РИАЦ вводили в заблуждение не только омских учителей. Из них ошибки стали перекочевывать и в профессиональные издания[32]. Публикация недостоверных сведений по Омской области стала возможной по причине отсутствия анализа результатов ЕГЭ. Сотрудники омского аналитического центра не в силах не то что объяснить, но даже просто рассказать о них. Причины — низкая квалификация, неумение работать со специализированными статистическими и офисными программами, отсутствие навыков аналитики и, главное, интереса к экзамену. В 2011 году РИАЦ, имея в распоряжении пятнадцать аналитиков, семь методистов и уйму времени, по итогам ЕГЭ не написал ни строчки[33]. В 2012 году анализ по Омской области уместился в страничку безграмотного текста, обильно сдобренного рисунками и таблицами для наращивания объема. К примеру, работники РИАЦ пришли к странному выводу об улучшении в 2012 году качества подготовки омских школьников по литературе, в то время как средний балл по предмету снизился, а также увеличилась доля неудовлетворительных оценок. Практически весь сборник составляют таблицы. Допускаем, что составители приложили массу усилий. Но чтобы оценить их скажем, что для подготовки аналогичной статистики по региону за 2011 год автору (С.К.) понадобилось всего четыре часа. Ошибки специалистов проявляются не только в интерпретации результатов ЕГЭ. Можно только посочувствовать, например, томскому гуманитарию, видимо не знающему базовых понятий статистики. Вместо того чтобы просто указать, что распределение имеет нормальный вид, он взялся его описывать: «Похоже, что общая успеваемость учащихся по обществознанию стремится к усреднению, сужаясь по обоим краям: с одной стороны, уменьшается количество получающих низкие баллы, но в то же время сокращается количество набирающих наиболее высокие баллы». Приведем пример из форума ФИПИ (рис.13), где неназванные исследователи обнаружили, что обеспеченность учебной литературой влечет за собой понижение среднего балла ЕГЭ. Связь между баллом и числом книг в школьной библиотеке действительно существует. Только является она вторичным проявлением другой связи: среднего балла и величины школы, чего авторы, видимо, не поняли. Вывод из обнаруженной зависимости следует сам собой: «Собрать все книги бы, да сжечь». Рис. 13 Диаграмма из форума ФИПИ Оригинальное ноу-хау демонстрируют омские специалисты по оценке качества образования. Они рассчитали средний балл по всем предметам, вычли из него прошлогодний результат и представили полученную разность как тенденцию состояния образования в регионе: «Общий средний балл по всем предметам в сравнении с 2011 годом снизился на 2,4 балла»[28, с. 5]. Остается загадкой, как рассчитывался этот «общий средний балл». Если как среднее арифметическое, то получается, что наравне с результатами по русскому языку и математике в подсчетах использовался балл по французскому и испанскому языкам, где в испытаниях участвовало по 2 человека. Если показатель является частным от деления суммы всех баллов на число человеко-экзаменов, то итог будет определяться результатами двух самых массовых испытаний (математика и русский язык), выдавать который за балл по остальным предметам было бы неверным. Процитируем фрагмент из сборника РИАЦ: «В 2011 г. в сельской местности по 8 из 13 предметов средний балл был выше, чем в населенных пунктах городского типа, а успеваемость по всем предметам была выше в селе. Таким образом, можно говорить, что по сравнению с 2011г. результаты ЕГЭ в 2012г. в населенных пунктах городского типа улучшились относительно сельской местности». Уважаемые читатели! Вы что-нибудь поняли? Еще пример: «В 2012 г. так же как и в 2011 г. 3–4 экзамена сдает более 70% участников ЕГЭ. Однако наибольший общий средний балл по всем выбранным предметам показали выпускники текущего года, сдававшие пять предметов». Да… В огороде бузина… Составители вряд ли сдали бы экзамен по русскому языку. В другом сборнике, иллюстрируя результаты ЕГЭ по Омской области, РИАЦ публикует свыше десятка бестолковых графиков. Приведем один из них (рис. 14). Никого из авторов не смутило, что значение в 100 баллов (отличники) странным образом переместилось по шкале влево на второе место (рядом с двоечниками). Рис. 14. График из отчета РИАЦ в 2013 году. Невысокое качество публикуемых материалов по итогам ЕГЭ объясняется тем, что анализ проводят сотрудники, не имеющие не только специальной подготовки, но даже достаточного образования. Сразу вспоминается известное изречение: «Об образовании, как и о футболе, может судить любой». Подведем итоги 1. Несмотря на десятилетнюю практику, серьезной проблемой ЕГЭ остается слабость аналитической работы. Последствия самые плачевные: неверная оценка уровня подготовки выпускников, бойкот экзаменов, неравные условия проведения испытаний (в частности среди учащихся, сдающих иностранные языки), неоправданные сложности при проверке работ и т.д. Отсутствие практики отправки региональных отчетов в ФИПИ, специалисты которого могли бы увидеть свои промахи и вовремя на них отреагировать, является причиной многих застарелых ошибок. А судя по унылому однообразию публикуемой ФИПИ аналитики, институт остро нуждается в свежем взгляде на экзамен со стороны. К не менее печальным результатам приводит отсутствие анализа итогов ЕГЭ на местах. Именно по этой причине в Омской области местные руководители образованием проморгали саботаж обязательных испытаний. 2. Слабой стороной экзамена остается зависимость конструкции КИМов от технологии проверки работ: до сих пор широко распространены вопросы-угадайки и из контроля исчезают разделы математики, где невозможно дать ответ целым числом или конечной десятичной дробью. Делается это все ради того, чтобы работу можно было легко проверить. Но как? Силами программиста и бухгалтера, методиста и секретаря, на корявых бланках и немощной программой распознавания, под музыку и видео? Не слишком ли высокая цена? Ведь сложности верификации связаны не с большими объемами и сжатыми сроками исполнения работ, а с организацией труда и несовершенной программой распознавания. Пока штатные сотрудники РЦОИ будут получать деньги за верификацию, они будут стремиться освоить их собственными силами, следствием чего неизбежно станут штурмовщина, халтура и срывы сроков. Пока верификация будет вестись с помощью несовершенных программ, распознающих не смысл ответа, а буквы, его составляющие, проверка вопросов, где требуется записать что-либо иное кроме крестика, всегда будет требовать огромных трудозатрат. 3. Применяемая в настоящее время система перевода первичных баллов в тестовые крайне несправедлива. Высоко награждая за мизерные, достигаемые зачастую лишь гаданием ответов успехи, она несоразмерно строго наказывает учащихся за единичные ошибки. Это вносит значительные искажения в измерения учебных достижений: если первичные баллы дифференцируют школьников по уровню подготовки, то тестовые, наоборот, нивелируют их результаты. Стоит ли цепляться за непропорциональную шкалу начисления баллов, учитывая большой разброс вариантов по трудности? Межгодовая разница в сложности заданий, которую якобы сглаживает нелинейная шкала, вряд ли превысит этот разброс. Конечно специалистам, владеющим полной информацией, следует еще раз все посчитать. Но с несуразной системой перевода баллов в любом случае нужно что-то делать. 4. Одной из причин невысокого качества контрольно-измерительных материалов является стремление организаторов быстрее нарастить действующий банк заданий. Между тем применение экспериментально не испытанных, сырых и сомнительных задач вредит измерениям больше, чем использование пусть ограниченного, но проверенного их набора. Зачастую достижения выпускников зависят не столько от сложности материала, сколько от корректности инструмента контроля. Результаты ЕГЭ уже во многом запрограммированы технологией проверки работ и корректностью КИМов, внешняя экспертиза которых крайне затруднена их излишней закрытостью. По итогам испытаний специалистам оставлена возможность обсуждать лишь убогий демовариант, не изменяемый в некоторых дисциплинах годами. Закрытость КИМов после окончания испытаний не позволяет своевременно выявлять и устранять ошибки и консервирует их, что оборачивается против экзамена и его участников. 5. Проблемой организации ЕГЭ является низкая эффективность центров обработки информации как следствие сезонности работ[36]. Передача им задач по сбору ведомственной статистики остроты вопроса не снижает. Оптимальный вариант функционирования РЦОИ — это деятельность в качестве структурных подразделений институтов повышения квалификации работников образования. В рамках института легче решаются вопросы загруженности работников в межэкзаменационный период. При нехватке людей всегда есть возможность привлечь дополнительно штатных преподавателей. Одновременно специалисты профильных кафедр будут обладать полной информацией об экзамене и могут давать квалифицированный анализ результатов испытаний. Предложения Что можно предложить в условиях, когда аттестация выпускников школ в форме ЕГЭ законодательно закреплена? — Только лишь меры, направленные на ее совершенствование: 1. Полностью открыть Федеральный банк тестовых заданий. Контрольно-измерительные материалы накануне экзамена должны формироваться из него случайным образом отдельно для каждого региона. 2. Перейти на линейную шкалу перевода первичных баллов в тестовые. 3. Усовершенствовать инструментарий: убрать лишние клетки в бланке ответов и разрядить остальные, отдельно печатать бланки для иностранных языков (три альтернативы). 4. Изменить способ верификации: перейти от проверки знаков к проверке смысла ответа. Необходимы специализированные "интеллектуальные” программы распознавания ответов отдельно для каждой из дисциплин, использующих свою символику записи. По мере решения этой проблемы следует последовательно отказываться от закрытых вопросов. Уже сейчас это можно сделать в КИМах по физике и информатике. 5. Регламентировать верификацию: станции верификации не должны иметь иного программного обеспечения кроме программы верификации, должны быть отключены от Интернета и мультимедийных средств; исключить участие в проверке работ случайных людей: список привлекаемых к верификации лиц должен утверждаться приказом руководителя областного органа управления образованием; работа должна быть организована по сменам (в две, три, четыре), но не более 6 часов в смену, сотрудники РЦОИ должны выполнять обязанности старшего верификатора в сменах, также не более 6 часов; верификацию проводить в отдельно отведенных для этого помещениях; запретить штатным работникам РЦОИ получать деньги за верификацию (верифицируют они в рабочее время, за что и получают зарплату). 6. Перевести РЦОИ в подчинение местных институтов повышения квалификации работников образования или аналогичных им структур. Ввести в обязательный функционал анализ результатов ЕГЭ (а не простой свод статистики). Аналитический отчет по региону выставлять сайт органа управления образованием субъекта Федерации за подписью его руководителя, а также направлять в ФИПИ. Возможно, ФИПИ следует организовать конкурс отчетов, которые позволили бы тиражировать по стране опыт успешных регионов. 7. ФИПИ обеспечить методически и информационно проведение анализа результатов ЕГЭ на местах. Для корректных межрегиональных сопоставлений разработать типологию регионов со сходными условиями функционирования образовательных учреждений. Ежегодно публиковать итоги испытаний по субъектам Федерации и (или) федеральным округам с необходимыми пояснениями о пределах допустимости сравнения результатов. Разработать для регионов алгоритм изучения итогов ЕГЭ. Провести обучение специалистов на местах приемам статистического анализа.
|
| Календарь |
| « Апрель 2024 » | | Пн | Вт | Ср | Чт | Пт | Сб | Вс | | 1 | 2 | 3 | 4 | 5 | 6 | 7 | | 8 | 9 | 10 | 11 | 12 | 13 | 14 | | 15 | 16 | 17 | 18 | 19 | 20 | 21 | | 22 | 23 | 24 | 25 | 26 | 27 | 28 | | 29 | 30 |
|
|
