Los datos secretos del informe PISA desmontan la excusa de la Junta para el mal resultado de Andalucía

Los resultados del último informe PISA, publicados el 6 de diciembre, supusieron un golpe para la Junta de Andalucía. Aunque en teoría no es el propósito del informe elaborado por la OCDE, de inmediato los medios elaboraron clasificaciones. Éstas situaban a Andalucía como la última de las 17 comunidades autónomas en ciencias y la penúltima en lectura y matemáticas. Por un lado, destacaba la mejora de España en el estudio, elaborado en 2015, con respecto al de 2012, con comunidades como Castilla y León liderando los resultados. En el lado opuesto, Andalucía era presentada como un contraejemplo. El Gobierno andaluz (PSOE) debía dar una explicación inmediata.

La Junta centró su argumentación en una idea: la selección de centros realizada por la OCDE había perjudicado sospechosamente a Andalucía al haber elegido institutos de bajo nivel sociocultural, a diferencia de otras comunidades autónomas. infoLibre, que ha tenido acceso al listado de centros andaluces en los que se realizó la evaluación, ha comprobado que dicha excusa, amplificada por el PSOE, no se basa en la realidad.

Los datos no publicados del informe PISA desmontan la coartada del Gobierno andaluz para justificar los malos resultados. De los 54 centros en los que se realizó el estudio en Andalucía, 15 arrojaron un índice socioeconómico y cultural (ISC) superior a la media española. Es decir, un 27,7%. Es más, siete centros andaluces (12,96%) se sitúan por encima de la media de la Unión Europea y de la OCDE en este índice.

Entre los centros en los que se realizó la evaluación se encuentra, por ejemplo, Laude San Pedro International College, un elitista colegio privado en Marbella que cobra una matrícula de 500 euros, pide un depósito de mil euros al inicio del curso y pasa una mensualidad superior a los 700 euros en la ESO, según la información que el propio centro facilita a los padres interesados en matricular allí a sus hijos. Lo contrario de un nivel sociocultural bajo.

  Entre los centros en los que se realizó la evaluación está Laude San Pedro International College, un elitista colegio privado en Marbella

¿Qué dijo la Junta de Andalucía tras la publicación de los resultados? El mismo 6 de diciembre, la Consejería de Educación emitió un comunicado en el que recibía "con sorpresa" los resultados, aludiendo a "cambios metodológicos". El departamento que dirige Adelaida de la Calle (ex rectora de la Universidad de Málaga) relativizaba los resultados de Andalucía, poniéndolos en contexto y antecedentes, aunque añadía que tomaría medidas para el futuro. Y concluía: "No obstante, advierte que para la muestra de estudio de evaluación del alumnado andaluz la OCDE ha seleccionado 54 centros con el índice socio económico más bajo de todos los que han participado en el informe".

La consejera Adelaida de la Calle acudió aquella misma mañana a la cadena Ser. Hasta en cuatro ocasiones insistió directa o indirectamente en el sesgo de nivel bajo que había tenido la muestra de la OCDE, sembrando sospechas sobre el criterio utilizado. "De los 54 centros que se han examinado precisamente en el informe PISA, da la casualidad que todos ellos representan el nivel más bajo, el índice sociocultural más bajo, de todos los que han sido seleccionados en el Informe PISA", dijo. Y añadió: "Pero sí que la invitaría a usted [a la locutora Pepa Bueno] precisamente a que visite alguno de estos 54 centros, en las zonas en las que está, para comprobar qué es lo que ocurre".

Los medios de comunicación publicaron de inmediato que la Junta sospechaba del trato dado por la OCDE a Andalucía y achacaba los malos resultados al nivel sociocultural de los centros elegidos. El teletipo de Europa Press titulaba: "Andalucía vincula su resultado en PISA al bajo nivel sociocultural de los centros examinados".

Las declaraciones, de rápida y fuerte repercusión, desencadenaron incluso una polémica entre el Gobierno andaluz y la OCDE. Las declaraciones del Gobierno andaluz siguieron incidiendo en la crítica a la metodología de la OCDE, combinada con el propósito de mejora por los malos resultados. El vicepresidente andaluz, Manuel Jiménez Barrios, afirmó: "Los 54 que se han elegido como centros para el muestreo" en Andalucía "son centros que están en los índices socioeconómicos y socioculturales más bajos de todos los que se han examinado en el informe PISA".

  Díaz afirmó que si se ponen "en las misma balanza" colegios de zonas dífíciles con otros de zonas más normalizadas "se producen desajustes"

Aunque el 11 de diciembre, la consejera Adelaida de la Calle, realizó, en declaraciones a Diario de Sevilla, una matización a sus declaraciones sobre el bajo nivel de la muestra andaluza –matización que pasó bastante desapercibida–, el argumento del sesgo de la selección de centros siguió protagonizando declaraciones y manifestaciones. La presidenta, Susana Díaz, afirmó en entrevista en la Ser el 25 de diciembre, como una de las razones de los malos resultados de Andalucía: "Cuando uno pone en la misma balanza colegios que están en zonas difíciles con un nivel socioeconómico muy bajo, familias desestructuradas, las pones al mismo nivel que otros colegios de zonas mucho más normalizadas, pues se producen desajustes".

Estas declaraciones parecen indicar que se había realizado una comparación, por parte de la Junta, entre el conjunto de centros seleccionados en Andalucía y la muestra de otras comunidades, comprobando el sesgo socioeconómico y cultural bajo en Andalucía. Pero la propia Consejería de Educación señala a través de un portavoz: "Cada comunidad conocía los suyos [los centros] pero no los de los demás".

El PSOE, partido gobernante en Andalucía, también criticó el informe PISA por la selección de centros en la comunidad. El portavoz del PSOE en el Parlamento andaluz y también portavoz de la gestora, Mario Jiménez, afirmó el 7 de diciembre que la selección había "coincidido" con una muestra que está volcada "en un porcentaje de casi del cien por cien en un entorno socioeconómico bajo".

Un listado detallado

infoLibre ha tenido acceso en exclusiva al listado de los 54 centros andaluces seleccionados para el informe PISA. Dicha lista incluye el nombre de los centros, su código oficial, el número de alumnos evaluados, las calificaciones medidas obtenidas en lectura, matemáticas y ciencias y el índice socioeconómico y cultural (ISC) de cada centro, obtenido a partir de datos recabados de los alumnos que participaron. El informe se hizo sobre 1.813 alumnos de 15 años en 54 centros: 13 de la provincia de Cádiz, 11 de Sevilla, 10 de Jaén, 8 de Granada, 5 de Málaga, 3 de Huelva, 3 de Córdoba y 1 de Almería. Hay 39 centros públicos, 14 concertados y uno privado.

El dato clave es el ISC, el índice socioeconómico y cultural, un indicador que es mejor cuanto más alto es el número. La media de este índice sociocultural y económico de los centros evaluados en todos los países de la OCDE es de -0,04. La media de los países de la UE es de -0,07. Y la media de España es de -0,51. Hasta 15 de los 54 centros (27,7%) en los que se realizó la evaluación en Andalucía tienen un ISC superior a la media española, siete de los cuales (12,96%) presentan incluso una media superior a la de la UE y la OCDE. De estos 15 centros, nueve son concertados, cinco públicos y uno privado.

Los centros andaluces en los que se realizó el informe PISA y para los que la OCDE calculó un índice socioeconómico y cultural mejor que la media española son los siguientes: en la provincia de Almería, Stella Maris (Almería capital); en Jaén, Cristo Rey y Monseñor Miguel Castillejo-Fundación Vera Cruz (ambos en la capital); en Málaga, Laude San Pedro de Alcántara (Marbella); en Sevilla, Salesianos de San Pedro, Triana (los dos en la capital) y Los Álamos (Bormujos); en Granada, Presentación de Nuestra Señora (Baza), Alba Longa (Armilla), Padre Manjón y Caja General de Ahorros (ambos en la capital); en Cádiz, Nuestra Señora del Carmen (Cádiz), Manuel de Falla (Puerto Real) y El Getares (Algeciras); y en Córdoba, San José (Cabra).

Estos 15 centros tienen, según los datos no publicados con los que se elabora el estudio que finalmente se difunde, un nivel socioeconómico y cultural (ISC) superior al obtenido como media en los centros españoles. ¿Qué es el ISC? El propio informe PISA lo define en la página 205 del volumen 1 de sus resultados, refiriéndose al mismo por las siglas ESCS: Economic, Social and Cultural Status. Este índice se obtiene, explica la OCDE, a partir de diversas variables relacionadas con el bagaje cultural de la familia: educación, profesión, recursos para el aprendizaje en casa... Está construido para poder realizar comparaciones internacionales. Se saca a partir de preguntas como: ¿Hay un ordenador que el estudiante pueda utilizar para trabajo escolar? ¿Hay una habitación donde pueda estudiar tranquilamente? ¿Cuál es el número de libros en el hogar?

Cuando los evaluadores visitaron cada uno los centros para realizar el informe, realizaron a los alumnos preguntas sobre cada una de esas variables. A partir de las mismas, obtuvieron el ISC de cada centro y, con todos ellos, el ISC de Andalucía, de España y de la OCDE. En Andalucía los ISC de los centros oscilan entre 0,77 (1,28 puntos mejor que la media española) y -1,92 (1,41 peor que la media).

  "Hay un hecho indudable –dice la Junta– y es que el Índice  Socieconómico y Cultural de la muestra andaluza es el más bajo de todo el Estado"

A preguntas de este periódico, la Consejería de Educación explica por escrito que conocía el listado de los 54 centros en poder de infoLibre cuando Adelaida de la Calle realizó sus manifestaciones, pero indica que lo que siempre quiso decir este departamento es que la media del nivel sociocultural de los centros andaluces era la menor de las 17 comunidades autónomas. "Hay un hecho indudable y es que el ISC (ESCS) del conjunto de la muestra andaluza es el más bajo de todo el Estado. A esto nos referíamos", señala la Consejería.

El ISC de Andalucía en la muestra es -0,87, última por detrás de Murcia (-0,82), Canarias (-0,8) y Extremadura (-0,79). Andalucía está entre las comunidades con más desempleo y pobreza, como acreditan numerosos estudios. Por lo tanto, ¿no es este -0,87 simplemente el resultado de la realidad que hay en Andalucía a nivel socioeconómico y cultural? La Consejería responde: "El índice se calcula a partir de solo cuatro variables: nivel de estudios y ocupacional de los padres, número de libros y recursos del hogar. Y [...] a partir de una muestra del 2% del total del alumnado. Sería muy aventurado decir que representa la realidad socioeconómica de una comunidad o de un país".

"Estamos hablando de una muestra aleatoria y, como toda muestra aleatoria, tiene un margen de error. En nuestro caso hemos constatado con datos de nuestras evaluaciones internas que ese margen de error hace que la muestra esté sesgada hacia abajo; pero eso no quiere decir que estemos cuestionando la capacidad técnica de la OCDE, como algunas informaciones interesadas han querido hacer creer", añade la Consejería de Educación, que insiste en el "respeto" por el trabajo de la OCDE y la "profesionalidad" del mismo. El departamento de Adelaida de la Calle afirma que nunca ha tenido conocimiento de los centros evaluados en otras comunidades autónomas.

infoLibre expuso a la Consejería que en el listado de centros andaluces se encuentra, por ejemplo, el colegio Laude San Pedro de Alcántara, un centro privado que suele aparecer en rankings privados de los mejores colegios, y que sólo es accesible para familias con elevados recursos económicos. También se le expuso el hecho de que uno de los centros concertados que visitaron los inspectores tiene un 0,77 de ISC, lo cual indica un nivel socioeconómico y cultural muy alto. La Consejería rehusó realizar cualquier valoración sobre centros particulares: "Los datos están sujetos a confidencialidad, máxime cuando normativamente, en Andalucía no está permitida la publicación de datos identificativos de centros docentes que puedan derivar en rankings", señala Educación, que quiere "aclarar" que "la evaluación PISA no está concebida para evaluar centros concretos".

  La OCDE insiste en que la metodología de PISA está hecha para representar de manera fidedigna la realidad

La OCDE, a través de un analista, señala que todo el procedimiento metodológico del informe PISA está hecho para representar de manera fidedigna la realidad. Según la explicación aportada, el proceso de muestreo de escuelas considera dos estratos: la comunidad autónoma y, dentro de la misma, el tipo de escuela (pública/privada). Dentro de cada estrato, se seleccionan escuelas de manera aleatoria, con una probabilidad de selección que tiene en cuenta el número de estudiantes susceptibles de participar en la prueba PISA en cada escuela. Los organismos responsables de suministrar a la OCDE los censos de escuelas para cada estrato son las autoridades y organismos educativos regionales y nacionales, según la OCDE. "El muestreo de estudiantes para su participación en PISA es un proceso anónimo. Su inclusión en la muestra no tiene en cuenta su estatus socio-económico, que sólo conocemos a posteriori través de sus respuestas al cuestionario", explica la OCDE.

El fiasco del 'Doing Business' sobre Chile: la ideología y los intereses que guían los informes del FMI y el Banco Mundial

Ver más

El organismo señala que "la aleatoriedad de la muestra es el mecanismo que garantiza su representatividad de la población de interés", con el inevitable "margen de error". Y añade: "La muestra de escuelas y estudiantes para Andalucía fue examinada usando los mismos baremos aplicados en el resto de comunidades autónomas en España y el resto de países que participan en PISA. No tenemos evidencia para pensar que la muestra andaluza es menos representativa de la realidad escolar andaluza de lo que otras muestras regionales o nacionales lo son para sus respectivas regiones/países". En el caso andaluz, las exclusiones de la muestra y la tasa de no-respuesta fueron bajas; sólo una de las 54 escuelas seleccionadas originalmente no participó, siendo reemplazada por otra.

La OCDE explica que lo que indica el valor -0,87 para el ISC andaluz es que "el nivel socioeconómico de los estudiantes que hicieron PISA 2015 en Andalucía es inferior al nivel medio en España", que a su vez es inferior al nivel medio de la OCDE y de la UE. El organismo puntualiza que el margen de error del ISC en mayor cuanto menor sea la muestra, por lo que es más fiable para Andalucía que para cada centro.

infoLibre ha examinado el listado de centros andaluces del PISA, así como los protocolos de la OCDE para elaborar su informe, con tres investigadores de los campos de la sociología, la educación y el análisis metodológico. Los tres coinciden en que el informe PISA puede ser susceptible de crítica por el enfoque de sus pruebas, o por cuestiones de índole ideológica, pero que su metodología de selección de centros es adecuada y rigurosa. Los investigadores destacan que el sistema de selección de la OCDE permite ajustar la muestra a la estructura socioeconómica andaluza, con el lógico margen de error.