¿Quién controla que las políticas sirven de algo? La falta de evaluación dispara el riesgo de una reconstrucción a ciegas

Bajo la presión de una crisis sin precedentes, que se extiende de lo sanitario a lo económico, el Estado está más exigido que nunca. Va a disponer de un recurso extraordinario para afrontar el desafío, o al menos se cuenta con ello: 140.000 millones de la Unión Europea. La Comisión Europea y el Gobierno insisten en que el dinero debe tener un uso planificado, eficiente, transformador. Se escucha a todas horas: “cambio de modelo productivo”, “transición ecológica”, “recuperación verde”, “digitalización”, “resiliencia económica”... El Ejecutivo ultima una nueva estructura institucional para el reparto de fondos, en la que quiere trabajar con el sector privado. El propósito del Gobierno es “sentar las bases de una nueva economía”, en palabras del presidente, Pedro Sánchez. Nada menos. En paralelo, las administraciones apuran sus escasos márgenes para dar respuesta a las crecientes urgencias sociales, con medidas con el Ingreso Mínimo Vital (IMV). Un escollo se cruza en el camino: los serios déficits de España en evaluación de políticas públicas. Las instituciones hacen cosas, sí. Pero a menudo no saben si funcionan, si alcanzan sus objetivos, si llegan a quienes deben llegar.

La Autoridad Independiente de Responsabilidad Fiscal (Airef), en una presentación en octubre de 2019 del que era su presidente, el hoy ministro de Inclusión, Seguridad Social y Migraciones José Luis Escrivá (PSOE), admitía un “déficit evaluador” en las políticas públicas por al menos cuatro motivos: 1) falta de cultura de análisis y seguimiento, 2) falta de cultura de examen basado en la evidencia, 3) inadecuado seguimiento de las recomendaciones, 4) falta de integración en los presupuestos. “Falta cultura de rendición de cuentas, asunción de responsabilidades y transparencia”, resume la Airef, que precisamente se ha instituido en el principal referente de la evaluación en España, pese a no ser una institución concebida inicialmente para este fin.

“Institucionalización” y ley

A pesar de la irrupción en el escenario de la Airef, tras la laminación durante la etapa de Mariano Rajoy (PP) de la Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios (Aeval), profesionales y académicos consultados coinciden en un problema estructural: la falta de “institucionalización” de la evaluación. Es decir, sigue sin estar sistematizada, sigue sujeta a vaivenes políticos, no hay mecanismos para exigir su realización ni para incorporar sus recomendaciones. “Se han producido avances significativos, pero la evaluación es aún una realidad muy heterogénea y con un margen significativo de mejora. Todavía persisten obstáculos para que sea un escenario natural dentro de la acción pública”, explica Antonio Igea, presidente de la Red Internacional de Evaluación de Políticas Públicas.

“Aún no la hemos introducido como una parte más de las políticas públicas”, señala Hugo Cuello, especialista con experiencia internacional en los sectores público y privado. Un informe publicado en junio por la Sociedad Española de Evaluación de Políticas Públicas también apunta a la “escasa” institucionalización, que “implica que hoy día la mayor parte de las evaluaciones dependan de la voluntad política”, por lo que solicita una ley estatal como en Francia, Holanda y Suiza.

Otras voces indican que el énfasis en la elaboración de una ley abunda precisamente en un problema “cultural”, palabra que aparece frecuentemente en el análisis. Este problema sería el convencimiento generalizado de que los obstáculos se superan con leyes. “La ley es condición necesaria, pero no suficiente”, opina Cuello, que participó como consultor en la redacción de la Ley de Evaluación de Costa Rica, y que incide en la necesidad de mejorar la colaboración entre administraciones y el uso de datos, dos áreas en las que el Estado de las autonomías ha mostrado serias lagunas durante la pandemia.

El catedrático de Ciencia Política y de la Administración Manuel Villoria se inclina por que cada ley traiga incorporados sus criterios de evaluación. “Tiene que ser parte de cualquier política pública”, sintetiza. “¿Una ley? En España siempre pensamos que tiene que haber una ley para solucionarlo todo. Lo que tiene que haber es un diseño institucional adecuado”, señala Marga León, profesora de Ciencia Política y coordinadora de proyectos del Instituto de Gobierno y Políticas Públicas (IGOP) de la Universidad Autónoma de Barcelona. Cree que, antes que nada, hay un problema de cultura política y social sobre la evaluación. “En la democracia anglosajona, la accountability está totalmente integrada en el corazón de la actividad pública. Aquí no sabemos cómo traducirlo exactamente”, afirma.

Aeval

Todos los expertos consultados sitúan como hito significativo la disolución de la Aeval. “La Aeval ejecutó alrededor de 40 evaluaciones de programas y servicios públicos entre 2007 y 2011 (aquí puede verse la mayoría) antes de ser vaciada de contenido y recursos a partir de 2012, momento desde el que, aunque hizo alguna evaluación más, sólo pudo dedicarse básicamente a hacer guías y a pulir su metodología”, escribió en Agenda Pública en 2018 Eloísa del Pino, científica titular del Instituto de Bienes y Políticas Públicas del Consejo Superior de Investigaciones Científicas (CSIC). La Aeval fue disuelta finalmente en 2017, pasando sus funciones a ser asumidas por la Secretaría de Estado de Función Pública, a través del Instituto para la Evaluación de Políticas Públicas y de la Dirección General de Gobernanza Pública, del Ministerio de Política Territorial y Función Pública. Y eso que el informe de la OCDE Public Governance Reviews, de 2016, recomendaba “fortalecer el estatus de la Aeval” emitiendo declaraciones oficiales sobre sus informes, fuera “aceptando sus recomendaciones o explicando por qué la administración pública no las seguirá”. Esa era la forma, según la OCDE, de integrar unas políticas de evaluación “fragmentadas y dispersas”.

No es que, antes de su disolución, la Aeval hubiera cumplido las expectativas de quienes propugnan la plena incorporación de las políticas de evaluación a la función pública. “En nuestro sistema siempre ha habido más preocupación por el legalismo que por los resultados. La Aeval, antes de que se la cargasen, no tenía suficientes recursos, ni personal, ni independencia, ni apoyo político”, señala Hugo Cuello. Coincide Manuel Villoria, para quien esta agencia siempre fue vista como “un enemigo dentro de la administración pública”, también durante la etapa socialista, a pesar de que abrió durante la misma. “Luego el PP consideró que debilitaba su posición”, añade. Fue el fin de la Aeval.

Déficits

Del Pino coincide en que hay deficiencias en la evaluación en España, pero rechaza cualquier catastrofismo. “Somos muy de exagerar lo mal que hacemos todo”, dice. Al margen del trabajo de la Airef, el Instituto para la Evaluación de Políticas Públicas, heredero de la Aeval, continúa haciendo un trabajo valioso, por ejemplo poniendo la lupa a las políticas contra el “sinhogarismo”, así como proporcionando formación de buen nivel a los empleados públicos, recalca Del Pino. El Ivàlua (el Institut Català d’Avaluació de Polítiques Públiques) es citado con frecuencia como un organismo solvente. El Gobierno navarro, que tiene ley propia sobre la materia, lleva a cabo frecuentes evaluaciones de sus programas. Andalucía está trabajando en su propia ley y Castilla y León en una agencia. A ello se suma la evaluación de políticas sectoriales como las de tecnologías y productos sanitarios y de cooperación al desarrollo, recalca Del Pino, que dirigió el Observatorio de Calidad de los Servicios de la Aeval entre 2009 y 2011.

Todo ello no oculta que hay déficits serios. El primero es que, aunque se hacen evaluaciones, apenas tienen impacto, como escribía Del Pino en su artículo de 2018: “Las decenas o quizá cientos de evaluaciones que se hacen cada año en el país encuentran poco eco. Faltan evaluaciones, desde luego, se puede discutir el enfoque de las mismas, se puede debatir sobre cuándo y qué programas deben monitorizarse y cuáles no, y también sobre quién debe hacerlas. Sin embargo, debe admitirse que una vez realizadas, a veces por su complejidad técnica y otras por las razones que sean, han tenido un impacto escaso, como lo demuestra el hecho de que casi todo el mundo parece ignorar su existencia. Pocas veces han sido discutidas en el Parlamento. Los medios prácticamente nunca han difundido sus resultados [...]. Ni mucho menos se ha realizado un seguimiento de si el resultado de las mismas es utilizado o no”.

“Aunque hay evaluación, no tenemos previsto ningún mecanismo para incorporar el resultado. Y esto es clave. Si gastas en evaluar, que es caro, y además sometes a tensión a la organización, para al final no incorporarlo, ¿de qué vale?”, reflexiona ahora Del Pino. El segundo problema es de dinámica política: “Hay un temor muy grande a las evaluaciones, que retrae a los responsables políticos”. La polarización política no ayuda.

Estas deficiencias se hacen más relevantes a las puertas del desembolso europeo previsto. “Nos van a pedir cuentas para saber qué impacto han tenido las políticas. Los fondos europeos exigen evaluación”, explica Del Pino, que recuerda que ya ha quedado acreditada una “falta de capacidad administrativa” que impide incluso gastar los fondos asignados. España se encuentra entre los países que menor índice de ejecución presentan. A esto se añaden bloqueos de fondos por parte de la Comisión Europea por “serias deficiencias en los sistemas de gestión y control”. Es la administración pública la que va a tener que impulsar la recuperación. Desde Moncloa no se ha aclarado dónde se van a insertar las políticas de evaluación dentro de la estructura institucional que se está ultimando para el diseño y reparto de las políticas con fondos europeos.

Airef

Las mismas voces que detectan los déficits reconocen el valor del trabajo de la Airef. La evaluación no es su espacio original, pero ha venido a ocupar el espacio libre. Su actividad evaluadora comenzó con dos encargos a nivel regional: la evaluación de empresas y fundaciones públicas de Cantabria y del Eix Transversal C-25 en Cataluña. Luego recibió el encargo por parte del Gobierno, a instancias de la Unión Europea, del llamado “spending review”, revisión del gastospending review, y ahora sigue recibiendo encargos de comunidades como Andalucía, Castilla León y Aragón. Sus trabajos son “sólidos”, destaca Eloísa del Pino, aunque recalca que no es una agencia concebida para este fin y que su entrada en la evaluación ha sido “sobrevenida”. “Su mandato no es este. Le faltan recursos y capacidades”, añade Hugo Cuello, que, no obstante, cree que la Airef es ejemplo de institución pública independiente.

A juicio de Villoria, la clave de la inadecuación de la Airef está en su enfoque esencialmente económico. “Hace evaluaciones, pero no sistemáticas”, señala. Sigue faltando el elemento clave: la “institucionalización” de la evaluación. Villoria apunta al Tribunal de Cuentas y a la Intervención General de la Administración del Estado (IGAE) como dos focos de resistencia al progreso de la actividad evaluadora en España. “Piensan que esa es su tarea, cuando no lo es. La IGAE hace auditoría de organismos púbicos, no evaluación. Y el Tribunal de Cuentas menos todavía. Es una institución anclada en el siglo XIX, totalmente burocrática, que hace sus análisis con lo que le mandan, sin ir más allá, y que no ha descubierto casos como Gürtel”, explica Villoria.

Hugo Cuello apunta a un problema de mentalidad. “La evaluación se sigue viendo como un coste”, lamenta. Y lanza una reflexión: las “costosas políticas de sustitución de coches”, de las que “la evidencia nos dice que no funcionan”, continúan renovándose. ¿Cuál es el dinero mal empleado, el de una política errónea o el de una evaluación ex-ante o de resultados que evite ponerla en marcha o reincidir en ella? “España ha gastado más de 6.000 millones de euros en políticas activas de empleo que no han funcionado. Esto es algo que hay que plantearse con el gasto social. Siempre merece la pena asegurarnos de que el gasto llega a quien lo necesita y tiene resultados”, añade. Precisamente la Airef ha diagnosticado graves deficiencias en las políticas activas de empleo. Pero no hay mecanismos estables para hacer cumplir las indicaciones de la Airef. Eso sería la institucionalización. Sin ella, queda la voluntad política.

A España aún le faltan datos: el Estado hace política a oscuras en áreas clave por su histórico déficit estadístico

Ver más

A juicio de todos los profesionales y académicos consultados, es un momento de creciente necesidad de evaluación. “Si queremos usar los fondos para cambiar el modelo productivo, tenemos que saber si los fondos sirven para hacerlo o no. Sin planificación, no va a haber transformación”, explica Marga León. Y también que los responsables políticos acepten el resultado de las evaluaciones.

La crisis sanitaria ha puesto de relieve la necesidad de introducir reformas sanitarias, en las residencias de mayores, educativas, económicas, sociales... Ahí está el Ingreso Mínimo Vital (IMV), que precisamente se presentó con el marchamo de política diseñada milimétricamente pero que está teniendo diicultades para su puesta en marcha. Es lo normal, coinciden todos los expertos consultados, que una política compleja tropiece. Lo debería ser menos no tomar nota de los errores y reincidir. Lo deseable es detectar los errores y corregirlos en base a los hechos, sin dejarse paralizar por el pavor a las críticas, coinciden los consultados.

Así la evaluación, concretamente la evaluación de impacto, “ha permitido a Finlandia experimentar con la Renta Básica Universal, a Reino Unido diseñar programas de empleo mucho más baratos y eficaces, o a Dinamarca mejorar la recolección de impuestos por medio del uso de nuevas tecnologías”, como ha escrito Hugo Cuello. Escrivá, antes presidente de la Airef y hoy ministro de Inclusión, citaba en una presentación a Louis Pasteur: “Duda siempre de ti mismo, hasta que los datos no dejen lugar a dudas”. A día de hoy es difícil decir si hay más dudas o datos para hacer política.