Оценке образовательных достижений учащихся PISA не стоит сильно доверять – учёные

Результаты Международной программы по оценке образовательных достижений учащихся PISA (Programme for International Student Assessment) на которых строится образовательная политика разных стран, зачастую интерпретируются упрощенно. Анализ данных PISA не отражает всего багажа знаний школьников по одному из основных предметов — математике, выяснили ученые из Национального исследовательского университета «Высшая школа экономики» (Россия), Стэнфордского университета (США) и Мичиганского университета (США).

Мониторинг оценки качества образования PISA, который ОЭСР проводит с 2000 года, считается одним из самых авторитетных. Он позволяет выявить изменения, которые происходят в системах образования в разных странах, и оценить эффективность стратегических решений в образовательной сфере. Однако в ходе тестирования не учитываются данные об учителях и «образовательной истории» подростков.  Из-за этого результаты мониторинга интерпретируются некорректно, что мешает странам выстраивать оптимальную образовательную политику.

PISA измеряет знания 15-летних подростков в области математики и естественных наук, а также их способность работать с разными видами текста. Однако, согласно исследованию ученых из России и США, мониторинг позволяет сделать лишь одномоментный срез знаний подростков и не в полной мере учитывает предыдущие оценки школьника и условия обучения: культурный уровень и успеваемость всего класса, образование родителей, профессиональные характеристики учителя и так далее. Между тем, все это может повлиять на повышение или понижение баллов в PISA. Ученые показали на примере тестов по математике, что учет этих дополнительных факторов существенно меняет выводы, основанные на результатах мониторинга.

В ходе теста ученикам предлагается решить три типа задач по математике. Наиболее значимыми для оценки PISA считаются задания по прикладной математике – задачи, которые могут пригодиться в реальной жизненной ситуации, например, просчитать размер рамки для фото. Такое внимание к заданиям «из жизни» объясняется тем, что тесты PISA призваны выяснить, насколько ученики умеют применять знания для решения сугубо практических задач.

Следующий тип заданий – текстовые задачи с большим количеством дополнительных данных. Чтобы решить их, надо уметь работать с объемными текстами, вычленять главное, быстро адаптироваться к незнакомому формату задачи.

Третий тип – задачи из области формальной математики (алгебра и геометрия), в которых надо применять формулы. Таких задач в тесте PISA меньше, но «формульная» математика как раз более сложна, нежели прикладная, она выводит математическое мышление на новый уровень. И те ученики, которые на уроках чаще решают задачи этого типа, в целом показывают более высокие результаты PISA, чем школьники, чьи учителя делают акцент на задачах «из жизни».

На образовательные достижения школьника также влияют культурный уровень его семьи – уровень жизни, язык общения, досуг, отмечают ученые. Подростки из более образованных семей с обилием книг дома, как правило, имеют более высокие результаты тестов. У таких школьников лучше условия для успешной учебы, а у классов, где много детей из более образованных семей, больше возможностей научиться решать задачи по формальной алгебре и геометрии, а значит, и преуспеть в PISA. Кроме того, в классах с более высоким средним культурным уровнем чаще преподают наиболее квалифицированные учителя, которые дают учащимся больше задач по формальной математике.  В ходе исследования ученые также выяснили, что учителя с математическим непедагогическим образованием преподают лучше и помогают расти баллам старшеклассников.

Итак, с  тестом PISA все-таки лучше справляются учащиеся, успешно осваивающие именно формальную математику. Ученые подчеркивают, что простое натаскивание на задания в формате PISA не эффективно. Таким образом, для более объективной оценки знаний школьников в международных мониторингах нужно учитывать больше условий, которые влияют на успехи учеников, в то время как в своих рекомендациях ОЭСР переоценивает роль школы в повышении учебных достижений и недооценивает другие «рычаги влияния» на оценки.

Итоги исследования опубликованы в статье «Revisiting the Relationship Between International Assessment Outcomes and Educational Production: Evidence From a Longitudinal PISA-TIMSS Sample» международного научного издания American Educational Research Journal. Авторы работы – заместитель заведующего Международной лабораторией анализа образовательной политики Института образования НИУ ВШЭ Андрей Захаров, научный руководитель лаборатории, заслуженный профессор Стенфордского университета Мартин Карной, научный сотрудник лаборатории Татьяна Хавенсон, ведущий научный сотрудник лаборатории, профессор Стенфордского университета Прашант Лоялка, заслуженный профессор Мичиганского университета Уильям Шмидт.