Другая проблема: сопоставление итогов ЕГЭ по годам. О том, как выявляются тенденции в качестве подготовки школьников, можно узнать из отчетов ФИПИ. Для этого, по словам авторов, производится шкалирование результатов текущего и предшествующего года на основе единого банка откалиброванных тестовых заданий. Однако при определении тенденций сравниваются не фактические результаты – количество решенных заданий, а производные от этой оценки – тестовые баллы и аттестационные отметки. В Омской области, например, в 2007 году средний первичный балл (число решенных заданий) и средний процент выполнения работы составили 10,2 и 27,7%, против 9,2 и 24,4% в 2006 году, однако среднеобластной тестовый балл практически не изменился. Число задач, решенных омскими школьниками, увеличилось, а качество математической подготовки почти не улучшилось. В то же время согласно ФИПИ КИМы не менялись: «По сравнению с 2006 годом в контрольно-измерительных материалах 2007 года не произошло существенных изменений ни по структуре, ни по содержанию». О том, почему были повышены нормы выставления положительной аттестационной отметки «3» в 2007 году, мы скажем далее.

 

 

К сожалению, недостатки работы ФИПИ обнаруживаются не только при разборе содержания школьных работ, но при анализе общей ситуации организации и проведения ЕГЭ в стране. Материалы ФИПИ в силу дискуссионности вопроса замалчивают несовершенство и проблемы экзамена и тенденциозно освещают его итоги. Отсутствие объективности проявляется в манипулировании цифрами, сокрытии важных обстоятельств проведения ЕГЭ, предвзятости выводов, что становится возможным по причине монополии ФИПИ на информацию. Приведем несколько примеров.

Когда в 2006 году отмечается рост числа участников экзамена из крупных городов, ФИПИ делает вывод о повышении общественного доверия к ЕГЭ. Данный вывод сделан без учета обстоятельств расширения перечня экзаменов в регионах-участниках. Что касается математики, то в 2006 году число участников ЕГЭ по предмету в 59 регионах из 69 участвовавших снизилось более чем на 100 тыс. чел. Это следует из статистических таблиц, приводимых самим ФИПИ. Частично произошло это из-за снижения общей численности выпускников школ. Смягчило картину снижения числа участников ЕГЭ в 2006 году присоединение к экзамену новых субъектов федерации (города Москвы, Усть-Ордынского Бурятского АО, Курской и Владимирской областей) и введение его обязательности в Иркутской области, численность выпускников школ в 2005 году взята из [5, с.261—279]). В 2006 году в регионах, где число участников ЕГЭ составляет менее 60% выпуска (т.е. где выбор экзамена предположительно добровольный), доля школьников, желающих участвовать в ЕГЭ, снизилась. Например, в Волгоградской области в 2005 году в экзамене по математике приняли участие 48% выпускников, в 2006г. — 33%, Воронежской — 45% и 37%, Астраханской — 53% и 33%, Калужской — 52% и 18%, Тульской — 45% и 35%, Дагестане — 9% и 5%, Северной Осетии — 17% и 13%, Калмыкии — 57% и 52%, Ямало-Ненецком АО — 35% и 33% и т.д.

Среди регионов, где в 2006 году отмечается рост числа участников на добровольной основе можно назвать Камчатскую область (число участников увеличилось на 4 чел. или 0,3%), Чукотский АО (на 71 чел. — 50%), Московская область (на 252 чел. — 24%), Тыва (на 395 чел. — 95%), Башкирия (на 1093 чел. — 10%), Новосибирская область (на 1260 чел. — 25%), Бурятия (на 1352 чел — 15%), Свердловская область (на 9341 чел. или в 32 раза), Татарстан (на 13705 чел. — в 3 раза). Вероятно, зафиксированное ФИПИ увеличение числа участников из крупных городов, дали Екатеринбург и Казань (например, в 2005 году в Свердловской области участвовало 292, в 2006г. — 9633 чел., в Татарстане — 6873 и 20578 чел.) за счет введения обязательности экзамена. На основании этих данных выводы о повышении общественного доверия к ЕГЭ делать, наверное, преждевременно.

В 2006 году ФИПИ приходит к заключению о повышении уровня математической подготовки в целом по стране по сравнению с 2005 годом. При этом он игнорирует факт изменения состава участников экзамена, а именно, увеличение числа школьников из крупных городов, о котором сам сообщает ранее, где по признанию ФИПИ математическая подготовка выше. Привести данные в сопоставимый вид, указав, как изменились результаты у горожан и сельчан, и дать их анализ отдельно ФИПИ затруднился.

 

 

 

Охват школьников испытаниями ЕГЭ, достаточный для корректного сопоставления качества подготовки выпускников по регионам, меняется ФИПИ на ходу. В 2005—06 годах он должен быть выше 90% выпускников, в 2007 году составляет – 80%. Создается впечатление, что ФИПИ до сих пор не выработал обоснованных критериев для сопоставления результатов экзамена по территориям.

Для отчетов ФИПИ характерно вольное обращение со статистикой. Например, сведения о численности выпускников школ в таблицах за 2006, 2007, 2008 годы не соответствуют действительности. Для подсчета процента участия школьников используются данные о выпускниках школ предыдущего, а не текущего года. В то время как результаты ЕГЭ анализируются, видимо, уже в августе—октябре, информация о выпускниках текущего года из субъектов Российской Федерации поступает в Министерство образования и науки РФ и Росстат («Сведения о дневных общеобразовательных учреждениях» по форме 76-рик) только в середине ноября. В условиях отсутствия свежих данных специалисты института не придумали ничего лучшего, как определять процент участия по выпуску прошлых лет. Это приводит ФИПИ к довольно большим ошибкам. Например, из отчета института мы узнаем, что в 2008 году доля школьников Омской области, участвовавших в ЕГЭ по математике, составила 69% (хотя фактически за счет выпускников прошлых лет этот показатель составил 102%). В результате в 2008 году ФИПИ относит Омскую область к регионам с необязательной формой участия в ЕГЭ.

Указывая, что значительную часть участников ЕГЭ составляют выходцы из сельской местности, ФИПИ делает вывод о том, что ЕГЭ оправдывает свою роль социального лифта для учащихся отдаленных районов страны. Однако такое заключение следовало бы подкрепить фактом увеличения доли сельских школьников от регионов, где экзамен проводился на добровольной основе. Этого сделано не было. Между тем руководство образования Омской области, например, где процент сельского населения выше среднероссийского, приняло решение об участии в ЕГЭ по математике не из соображений расширения образовательных возможностей сельских учащихся, а по более прозаическим причинам. Министерство образования и науки РФ бесплатно для регионов (т.е. за счет федерального бюджета) создавало инфраструктуру экзамена (вычислительная и множительная техника, оборудование, программное обеспечение и т.д.) в тех из них, где принято решение добровольно участвовать в эксперименте. При этом региональным руководителям образования делался намек, что в последующем оборудование для проведения экзамена придется приобретать самостоятельно. Чтобы сэкономить областной бюджет, было принято соответствующее решение. Понятно, что желания выпускников сельских школ при этом никто не спрашивал.

По признанию самого ФИПИ уровень математической подготовки сельских школьников ниже, чем в городе. Так за что же они так любят ЕГЭ? Причина относительной «популярности» ЕГЭ среди сельских учащихся – это гарантированная тройка в аттестате об образовании даже при заполнении бланков ответов наугад.

На сайте ФИПИ в 2007 году приводится график плотности распределения учащихся в целом по стране, набравших соответствующий балл по различным предметам. По математике этот график выглядит следующим образом (рис.1).

 

 

Перед нами нормальное распределение, имеющее моду в 49 и выброс значений, соответствующий 27 баллам. ФИПИ не объясняет появление этого выброса (либо потому что не знает, либо не хочет акцентировать внимание на неприглядную для экзамена причину). Между тем это учащиеся, получившие отметку «2», и выполнявшие задания путем гадания ответов. В целом по стране доля школьников, «участвующих» в ЕГЭ по математике с результативностью гадания составляет до 20%. Это отражает действительное отношение учащихся к единому экзамену.

Для доказательства проведем небольшое исследование. Воспользуемся статистикой ЕГЭ по Омской области в 2005году. Обратим внимание, что результаты по Омской области ЕГЭ 2004—2006 и 2007 годов несходны (о причинах мы скажем позже), однако, судя по региональной статистике, выброс значений в 27 тестовых баллов на протяжении всего времени проведения экзамена присутствовал, причем в существенно больших размерах, чем это зафиксировано в 2007 году (рис.2).

 

 

Напомним, что задания части «А», где необходимо выбрать ответ, содержат только 4 альтернативы выбора. В случае незнания правильного ответа, средняя вероятность угадывания каждого задания составляет 25%. Посмотрим, какой балл можно получить за решение части «А», используя исключительно угадывание альтернатив ответа. Воспользуемся схемой Бернулли, которая рассматривает вероятность получения искомых результатов в серии независимых испытаний. В нашем случае мы имеем серию из 10 заданий с 4 альтернативами выбора. Угадывание правильного ответа наступает с вероятностью 0,25, ошибка — с вероятностью 0,75. В соответствии с формулой Бернулли

 

Р(ξ = k ) = Ckn pk qn-k, k=0,1,…n

 

определяем вероятность получения определенного количества баллов путем угадывания в серии из 10 задач, при начислении 1 балла за 1 верный ответ (см. табл. 1).

 

 

В части «В» в 2005 году под кодами В1, В2, В3 содержались задания, которые так же как часть «А» относятся к базовому уровню сложности и отличаются только формой записи ответа, исключающей элемент угадывания. Это позволяет выделить учащихся, выполнявших работу преимущественно наугад: т.е. не решивших ни одного из заданий, предполагающих запись краткого ответа.

В таблице 1 приведено распределение по баллам школьников Омской области, не решивших ни одного задания части «В». Причем отдельно подсчитан процент, получивших баллы за всю часть «А» и за 8 заданий части «А» (без заданий А2 и А3).

Сравним распределение первичных баллов, полученных не решившими ни одной задачи части «В» омскими школьниками, с распределением баллов, рассчитанных по формуле Бернулли. Ввиду того, что в части «А» два задания «Тождественные преобразования иррациональных выражений» — А2 и «Тождественные преобразования логарифмических выражений» — А3 решались более успешно, дополнительно вычислим результат части «А» по остальным восьми заданиям отдельно.

В результате получаем три графика, два из которых: результаты выполнения восьми заданий (без заданий А2 и А3) и результаты выполнения заданий наугад, рассчитанные по формуле Бернулли практически совпадают (рис. 3).

 

 

Некоторое положительное смещение общих результатов части «А» у слабых учащихся объясняется относительной легкостью задач на тождественные преобразования иррациональных и логарифмических выражений, а также некоторой возможностью списать результат у сильных товарищей.

Таким образом, в 2005 году девять из одиннадцати типов задач части «А» у двоечников выполнялось с таким же успехом, как если бы ответы проставлялись наугад.

 

К этому же выводу нас подводит также анализ решений части «А» по типам задач (см. рис.4). В целом выполнение большинства заданий с выбором ответа у школьников, получивших неудовлетворительные отметки, колеблется в пределах 20—25%, что соответствует эффективности гадания. Аналогичные результаты получает и ФИПИ.