ФИПИ, конечно, понимает, что закрытые ответы угадываются, но признает это уклончиво:

 

 

Откуда такая разница? Ответ очевиден.

4. Формальный подход к анализу, игнорирование содержания заданий и альтернатив ответов. Главным недостатком аналитических работ является формальный подход к изучению результатов ЕГЭ.

В них присутствует какая-то странная уверенность в том, что КИМы подобно деталям из-под штампа хороши и одинаковы, а коды спецификации отражают все их особенности. Между тем это не так.

В КИМах встречаются задания, не имеющие решений. Например, в 2010 году в задании А5 по обществознанию составители не видят разницы между абсолютным числом и процентом (материал за 5 класс). В задании приводится динамика охвата молодежи России программами профессионального образования в процентах, а предложенные альтернативы ответа оперируют понятием «число». Для того чтобы найти верный ответ, школьникам следует не читать предлагаемый график, а засесть за вычисления. При этом знать, как менялась численность населения страны в возрасте от 15 до 34 лет, чего в условии нет.

Встречаются задания, имеющие несколько верных ответов. Так в задании А3 по химии, где специалисты из Томска зафиксировали низкий процент решаемости, в качестве альтернатив было предложено два верных ответа:

 

 

 

Встречаются невразумительные задания. Пример приводится в отчете томских коллег. Составители его, фиксируя падение решаемости одного из заданий части С по обществознанию, пишут, что школьникам требовалось

 

«привести три аргумента в подтверждение авторского вывода о том, что "демократия является постоянным усилием по созиданию сферы гражданского состояния и обеспечению того, чтобы частные убеждения и групповая принадлежность могли сойтись и соединиться в ней в атмосфере взаимного уважения”. Отвечающие, как правило, просто не поняли смысла задания, что и определило уровень ответов».

 

Немудрено. Кто же разберет такую галиматью? Интересно, насколько единодушно было бы решение этого задания у самих экспертов? Дифференцирующая способность задания - нулевая.

Встречаются задания с обратной дифференцирующей способностью. Показательной являлась ситуация с задачей А9 по физике на ЕГЭ–2010, обозначенной спецификацией как задание по молекулярно-кинетической теории. По результатам испытаний оказалось, что его одинаково хорошо (плохо) решали как слабые учащиеся, так и отличники, что было вызвано неверным подбором альтернатив. В своем отчете ФИПИ приводит диаграмму решаемости задач учащимися с различным уровнем подготовки (рис. 10), но аномальные результаты задания А9 (обведены кружком) обходит молчанием. Между тем школьники с минимальным уровнем подготовки в 20% поступивших в Омск вариантов решили это задание лучше отличников. Таким образом, дифференцирующая способность его - отрицательная. Причина провала - применение альтернатив-провокаций. Составители настолько намудрили с альтернативами ответа, что запутали сильных учащихся. Слабые выпускники, полагаясь лишь на собственный бытовой опыт (речь шла о закипании воды в кастрюле), отмечали самый простой ответ, который и оказался верным.

 

 

 

 

О некорректности КИМов сообщают специалисты Санкт-Петербурга, анализировавшие результаты по немецкому языку, историки Томска, обществоведы Новосибирска и др.

Все это лишний раз подтверждает, что успех решаемости заданий в значительной мере определяется не столько сложностью изучаемого материала, сколько формулировкой вопроса, формой ответа и подбором альтернатив, т.е. качеством инструмента проверки. Результат уже заложен в КИМах альтернативами-провокациями и альтернативами-подсказками. Поэтому обязательным этапом изучения результатов испытаний на местах должен стать анализ используемых в данном регионе контрольно-измерительных материалов.

Не нужно также забывать, что содержание КИМов не всегда соответствует содержанию учебников. В этом признаются сами составители, в частности, по обществознанию. Оказывается «…не все содержательные линии, представленные в ЕГЭ, раскрыты в учебниках с необходимой степенью полноты…». Так ФИПИ осторожно сообщает, что берется проверять материал, которого в учебниках нет.

Томские аналитики приводят пример применения задачи С4 по физике,

 

 

Показательным примером, характеризующим соответствие КИМов школьной программе, может послужить история, произошедшая в 2007 году на пробном экзамене по математике. Оценку в 100 баллов в Омске не получил никто, в том числе абсолютный чемпион Международной математической олимпиады школьников в Ханое, выпускник омского лицея № 66 Константин Матвеев. На штатном экзамене максимальный балл получили два омича. Один из них - чемпион мира. Какие измерения ведет ФИПИ?..

Поверхностный анализ ведет не только к ошибочным выводам, но и не позволяет своевременно корректировать инструмент оценки. Так, например, на протяжении нескольких лет специалисты ФИПИ игнорировали существенные расхождения в результатах испытаний по иностранным языкам. Разница среднего балла по английскому и немецкому языкам в 2008г. составила 8,5, в 2009 г. - 15,1, в 2010 г. - 14, 2011 г. - 10,9. В 2012 году она вдруг резко сократилась до 3,2 баллов. Как получилось, что в 2012 году средний тестовый балл по немецкому языку взлетел на 8 пунктов, а по английскому вырос только на 0,3?

Ответ мы найдем в КИМах. Если посмотреть, где более всего отстают «немцы» от «англичан», то окажется, что это задание В2 базового уровня, перегруженное призовыми баллами (за его выполнение предусмотрено 7 баллов). Именно из-за высоких баллов за выполнение задания В2 и сравнительной легкости его в КИМах по английскому и французскому языкам распределение результатов всегда было смещено вправо (типичный график - 2011 год), чего нет в немецком языке, где задание В2 сложнее (см. рис. 11), так как здесь по свидетельству специалистов из Санкт-Петербурга «тематика экзаменационных текстов и заданий зачастую не соответствует социально-личностному опыту выпускников средней школы».

 

 

 

 

Стоило лишь поправить задание В2 и произошло чудо, которое, судя по реакции ФИПИ, требовало неприятных объяснений. Видимо поэтому ФИПИ предпочел не заметить его. В своем отчете он вскользь объяснил некоторые успехи «немцев» 10% ростом выполнения задания С2, относящегося к разделу «Письмо». Между тем, из графиков ФИПИ (рис.12) следует, что основной вклад в повышение результата внес раздел «Чтение», к которому и относится задание В2. Именно здесь учащиеся со средней подготовкой (с первичным баллом от 20 до 60) чаще всего набирали баллы.

 

 

 

Странно, что проверяя умение школьников читать информацию, представленную в различных знаковых схемах (график, таблица), ФИПИ не может прочесть графики в собственных отчетах. Неравноценные задания по иностранным языкам не применялись бы так долго, проведи ФИПИ своевременный анализ указанных расхождений. Свои ошибки институт исправил лишь после того, как о них уже заговорили с мест, в частности питерские эксперты.