La Fundació Bofill y PISA

La Fundació Bofill y PISA

Jorge Calero y Joaquim Prats
Publicado en EL  PAÍS de 31 de Octubre de 2011

En la presentación del informe de la Fundació Jaume Bofill PISA 2009: evaluación de las desigualdades educativas en Catalunya, dirigido por el profesor Ferran Ferrer, así como en entrevistas posteriores, se sugirió que el entonces Departament d’Educació “maquilló” los resultados de Catalunya por medio de alteraciones en el proceso de aplicación y, más en concreto, mediante la exclusión de la muestra de alumnos que potencialmente habrían obtenido puntuaciones más bajas.

Estas opiniones sólo pueden provenir de una desinformación profunda, de una actitud malintencionada, o de ambas cosas. El proceso de evaluación se ajustó escrupulosamente a los procedimientos marcados por la OCDE y se realizó bajo el control de esta institución. La nota de prensa emitida por la OCDE desautoriza de forma radical las afirmaciones sostenidas en esa presentación. Un breve fragmento de la nota: “la muestra es representativa en función de todos los estándares internacionales de PISA. […] Una vez se aplican, correctamente, los pesos muestrales, la tasa de exclusión general (teniendo en cuenta el idioma) es del 3,73%”. Y no de más de 5 como señala el informe de la F. Bofill.

Los siguientes hechos proporcionan más información acerca de todo el proceso y dan cuenta de hasta qué punto resulta grotesco afirmar que ha existido una “manipulación”:

Primero. La muestra de estudiantes y de centros educativos es seleccionada por la OCDE a través de la agencia australiana ACER. Los centros y alumnos elegidos se comunican al Consell Superior d’Avaluació unos días antes de la prueba, designándose también los centros y alumnos de sustitución. Ningún elemento del diseño de la muestra queda en manos de la administración ni del centro docente.

Segundo: El personal que aplica la prueba pertenece a una empresa especializada que contrata, para toda España, el Ministerio de Educación. Por lo tanto, nadie de la administración educativa interviene en el proceso directo de aplicación. El papel del Consell Superior d’Avaluació consiste en asistir como observador en algunos centros e informar previamente a los equipos directivos del funcionamiento de la prueba.

Tercero. La OCDE da normas de exclusión de alumnos y los centros las aplican. ¿A quién se excluye? A los alumnos que tienen diagnosticada alguna discapacidad o dificultad especifica en su proceso de aprendizaje, o a los que no dominan la lengua, generalmente por ser emigrantes que se han incorporado al sistema educativo sin haber contado con el tiempo suficiente para aprender el catalán, lengua en la que se realizan las pruebas. Si son muchos o pocos depende de la muestra seleccionada y no de la voluntad de los aplicadores o del Consell Superior d’Avalució. Es aleatorio el curso de la ESO en el que están escolarizados, otro elemento más que quita razón al dudoso informe de la Fundación Bofill

Cuarto. La explotación de los resultados de PISA la llevó a cabo directamente la OCDE, haciéndolos públicos el día 7 de diciembre de 2010. El Consell Superior d’Avaluació no dispuso de estos resultados hasta la tarde del 6 de diciembre de 2010 y no participó de ningún modo en su elaboración.

Ambos firmantes, catedráticos de la Universidad de Barcelona y especialistas en análisis de los sistemas educativos, hemos ejercido la presidencia del Consell Superior d’Avaluació con total autonomía e independencia; en ningún momento hemos sido presionados ni condicionados por los responsables políticos.

Finalmente, lamentamos que una prestigiosa institución, como es la Fundació Jaume Bofill, presente un informe con tantas inexactitudes cuando no evidentes deficiencias. Como se decía antes, creemos que “necesitan mejorar”.

Joaquim Prats  y Jorge Calero

Catedráticos de la Universidad de Barcelona 

LA OCDE TAMBIEN DESAUTORIZA EL INFORME DE LA FUNDACIÓ BOFILL

NOTA DE ANDREAS SCHLEICHER, DIRECTOR DEL PROGRAMA PISA DE LA OCDE SOBRE EL INFORME DE LA FUNDACIÓ BOFILL

Como reacción al artículo de El País del 26 de octubre de 2011

La OCDE confirma que la muestra del PISA-2009 para Cataluña reúne las condiciones establecidas por la OCDE y es comparable internacionalmente. Las características de la muestra y las tasas de exclusión en Cataluña son similares, en líneas generales, a las existentes en las evaluaciones previas de PISA. Las afirmaciones vertidas en el artículo de El País están basadas, esencialmente, en interpretaciones erróneas de los datos sobre las tasas de exclusión y los estándares de muestreos de la OCDE. Los datos claves son los siguientes:

Cataluña, como Murcia y otras regiones españolas que optaron por una participación completa en PISA-2009 , fueron tratadas del mismo modo que otros participantes, y su muestra en 2009 es representativa de la población de estudiantes de 15 años en 2009. No hay motivos para creer que hubiera alguna irregularidad en la muestra o en la recogida de datos.

 En 2009, 1381 alumnos participaron en el programa PISA en Cataluña. Un número menor que los que lo hicieron en ediciones previas (1527 estudiantes participaron en 2006, por ejemplo), pero estos alumnos constituyen una muestra representativa en función de todos los estándares internacionales de PISA. Veinticuatro alumnos fueron excluidos debido a que no reunían las condiciones establecidas por PISA (por ejemplo, debido a su edad) y habían sido seleccionados previamente pero no formaban parte de la población objetivo en función de los registros oficiales. 85 alumnos fueron excluidos debido a circunstancias excepcionales, tales como problemas de aprendizaje o funcionales (de estos, 37 fueron excluidos debido a problemas idiomáticos insuperables). Una vez se aplican, correctamente, los pesos muestrales, la tasa exclusión general (teniendo en cuenta el idioma) es, así, del 3,73%.

El Volumen I del Informe de PISA 2009 establece un conjunto de procedimientos de exclusión, seguidos por todos los participantes en PISA (página 72):

Los alumnos excluidos deben pertenecer a una de estas cinco categorías:

1. alumnos con una discapacidad intelectual. El alumno tiene una discapacidad mental o emocional y tiene un retraso cognitivo, de tal modo que él o ella no puede actuar adecuadamente en la situación evaluativa de PISA.
2. alumnos con una discapacidad funcional. El alumno tiene una discapacidad física moderada o severa, de tal modo que él o ella no puede actuar adecuadamente en la situación evaluativa de PISA.
3. alumnos con un nivel limitado del idioma en el que se lleva a cabo la evaluación. El alumno no es capaz de leer o hablar alguno de los idiomas en los que se lleva a cabo la evaluación en el país y sería incapaz de superar las limitaciones idiomáticas en la situación evaluativa (normalmente, los estudiantes que han recibido menos de un año de enseñanza en el idioma en el que se lleva a cabo la evaluación pueden ser excluidos).
4. Otros. Una categoría definida por los centros nacionales y aprobada por el centro internacional.
5. Alumnos que reciben enseñanza en un idioma para el cual la evaluación no dispone de materiales.

El Volumen I del Informe del PISA-2009 también explica el procedimiento por el que se decide si los participantes reúnen los criterios de exclusión (página 176):

“La columna 12 muestra la tasa de exclusión general, que representa el porcentaje ponderado de la población objetivo nacional deseada que ha sido excluida de PISA bien a través de exclusiones que tienen lugar en el nivel del centro educativo o a través de exclusiones de alumnos en el interior de los centros. Se calcula como la tasa de exclusión en el nivel del centro (columna 6 dividida por 100) más la tasa de exclusión en el interior de los centros (columna 11 dividida por 100) multiplicado por 1 menos la tasa de exclusión en el nivel del centro (columna 6 dividida por 100). Este resultado se multiplica por 100. Cinco países, Dinamarca, Luxemburgo, Canadá, Noruega y los Estados Unidos tienen tasas de exclusión superiores al 5%. Cuando se tienen en cuenta las exclusiones debidas al idioma (es decir, cuando son retiradas de la tasa de exclusión general), los Estados Unidos dejan de tener una tasa de exclusión mayor al 5%”.

(Traducción del inglés)