В 2020 году, вдогонку к уже опубликованным годом ранее результатам PISA, ICILS, PIAAC, TALIS заинтересованная в трендах развития образования общественность получила доступ к результатам исследования TIMSS 2019, в котором традиционно принимает участие Казахстан.
Такой объем полученных посредством различных замеров данных о состоянии и развитии системы образования Республики Казахстан предоставляет возможность глубинного анализа индикаторов образования, сопоставления их как с результатами других стран, так и изучения внутристрановых тенденций.
В данном разделе дайджеста представлен анализ научных статей об использовании результатов международных сопоставительных исследований и возникающих в процессе их применения для аргументирования реформ «подводных камнях».
Как отмечает в своей работе об использовании МСИ в политике и практике образования E. Klieme (2020)[1], основной целью МСИ является замер индикаторов эффективности, справедливости и продуктивности образовательных систем, установка ориентиров для международного сопоставления, отслеживание тенденций во времени, информирование образовательной политики на разных уровнях об инновациях в управлении образованием и учебных программах.
При этом, во многих странах, включая Казахстан, результаты МСИ широко освещаются (пр-р, результаты PISA), имея «далеко идущее влияние на политику в области образования» (Klieme, 147, в Hall и др., 2020).
Отмечая, что МСИ могут способствовать дальнейшему развитию движения по исследованию эффективности образования, предоставляя обширные и тщательно верифицированные данные, автор предостерегает о необходимости интерпретировать результаты данных исследований с осторожностью, во избежание ошибочных обобщений.
Так, существенную важность в формировании итоговых результатов могут иметь предыдущие достижения учащихся (дошкольное образование, посещение доп.занятий, и пр.), в результате чего «направление причинности» (direction of causality) может быть неясным. Автор отмечает, что как разработчики политики, так и сами исследователи часто оказывались в заблуждении из-за поспешных интерпретаций и слишком далеко идущих выводов.
Klieme высказывает интересную мысль – вместо обоснования утверждений об образовательной эффективности как таковой (пр-р, оценка влияния политик и практик на успеваемость учащихся), данные МСИ могут использоваться для получения информации о распределении образовательных возможностей между учащимися, семьями, школами и регионами.
В таком случае, политика и практика рассматриваются как зависимые переменные, в то время как успеваемость учащихся, а также их семейное положение будут рассматриваться как независимые переменные. Иными словами, автор предлагает не рассматривать результаты PISA или TIMSS как свидетельство эффективности той или иной программы или реформы, а, наоборот, оценивать влияние политики на на показатели качества образования.
Это, по его мнению, позволит задавать такие вопросы, как «Имеют ли учащиеся-мигранты и учащиеся из социально незащищенных семей равную долю хорошо подготовленных учителей, директоров школ, благоприятной и мотивирующей к развитию обстановки в классе и возможностей внеклассного обучения?» или «Кто получает дифференцированные инструкции, поддерживающую обратную связь и поддержку от своих учителей»?».
В своей главе «Policies and Practices of Assessment: A Showcase for the Use (and Misuse) of International Large Scale Assessments in Educational Effectiveness Research» Klieme анализирует «инвариантность» измерений (одинаковое понимания смыслового конструкта в разных странах), используемых в PISA 2015.
К примеру, проведя вторичный анализ ответов учащихся на вопросы о предоставлении учителями им обратной связи в разрезе кластеров стран по признаку языка и региона, автор приходит к выводу что подход ОЭСР к ранжированию стран по данному вопросу ошибочен, и «вместо предоставления значимой и полезной информации, порождает вводящие в заблуждение мифы о различиях между странами» (Klieme, 163, в Hall и др., 2020). В частности, автор обнаружил предвзятость в отношении англоязычных стран, результаты которых по вопросу обратной связи и формативного оценивания оказались выше среднего по ОЭСР. Тем не менее, Klieme признает возможность использования данных МСИ для информирования исследований эффективности образования.
В 2020 году Международной ассоциацией по оценке учебных достижений (IEA) была опубликована книга о надежности и валидности МСИ, включающая серию статей с анализом данных исследований IEA.
В одной из глав под названием «Понимая влияние МСИ на политику в образовании», Rutkowski и др. анализируют методы систематизации процесса принятия политических решений на основе данных МСИ.
Как отмечают авторы, в образовательном сообществе, а иногда и среди самих политиков, может возникать ошибочное ожидание, что данные МСИ автоматически предлагают политические решения. Достаточно трудно проследить реальную взаимосвязь между результатами таких исследований как TIMSS, PIRLS и предпринятыми мерами в образовательной политике, эффективностью реформ, и т.д. – зачастую громкие релизы результатов исследований используются для оправдания уже существующей повестки дня.
Rutkowski и др. предупреждают, что, даже когда такая ассоциация идентифицирована, по-прежнему сложно установить направление взаимоотношений или степень влияния, которое МСИ оказали на любое изменение политики, которое в результате произошло. Другими словами, трудно доказать обратное – что изменение политики не произошло бы в отсутствие конкретного МСИ.
Авторы отмечают, что странами очень редко проводится системный анализ данных МСИ в контексте конкретной системы образования.
Как правило, связывание каких-либо реформ с результатами МСИ происходит, когда «делается предположение на основе последовательности событий, то есть предполагается, что, поскольку одно событие происходит за другим, оно из него следует» (264 стр.). Тем временем, заявления о причинно-следственных связях, подразумевающие, что конкретное исследование привело к принятию определенного политического решения, требуют методологической основы, которая может быть просто невозможна из-за сложности большинства национальных систем.
Авторы разработали модель для оценки влияния МСИ на политику на основе модели определения соответствия целей образования стран целям МСИ, ранее предложенной Oliveri и др. (2018).
Дайджест 20. Результаты научных исследований для информирования политики в образовании
Источники:
Klieme, E. (2020) “Policies and Practices of Assessment: A Showcase for the Use (and Misuse) of International Large-Scale Assessments in Educational Effectiveness Research” in International Perspectives in Educational Effectiveness Research, (ed.) Hall, J., Lindorff, A., Sammons, P. Springer Nature Switzerland, doi.org/10.1007/978-3-030-44810-3
Rutkowski, D., Thompson, G.& Rutkowski, L. (2020) “Understanding the Policy Influence of International Large-Scale Assessments in Education” in Reliability and Validity of International Large-Scale Assessment. Understanding IEA’s Comparative Studies of Student Achievement, (ed.) Wagemaker, H. (2020). Springer, C. https://doi.org/10.1007/978-3-030-53081-5
Oliveri, M. E., Rutkowski, D., & Rutkowski, L. (2018). Bridging validity and evaluation to match international large-scale assessment claims and country aims. ETS Research Report Series, 2018(1), 1–9. https://doi.org/10.1002/ets2.12214.
[1] В книге «Международные взгляды на исследование эффективности образования», 2020. под ред. Hall и др.