PAÍS
A pesar de que todos los años los programas públicos evaluados por la Dirección de Presupuestos (Dipres) obtienen mayoritariamente una baja calificación, no se observan cambios relevantes que subsanen los problemas detectados. En el Congreso hay resistencia a considerar las evaluaciones de la Dipres, porque los parlamentarios las consideran excesivamente técnicas o alejadas de lo esencial a evaluar. En ese tira y afloja por la evaluación, se siguen gastando miles de millones del erario público en programas que nadie garantiza que cumplan los objetivos trazados en su creación. Ad portas de la discusión presupuestaria 2020 en el Congreso, las cifras sorprenden: en 2019 solo 1 de los 19 programas evaluados pasó la prueba, representando un 7% de los montos evaluados este año.
No cuentan con un registro preciso de su gasto ni son parte de la contabilidad pública. Aun así, el sistema de medición de desempeño de la Dirección de Presupuestos en Chile (Dipres) los tiene como foco principal: los programas gubernamentales. Están en el centro de las evaluaciones y del monitoreo de ese servicio, y por una razón sencilla: son la expresión más precisa que existe hoy en día para indicar qué hace el Gobierno de turno con los fondos públicos.
Hay programas gubernamentales que se evalúan cada ciertos años, y otros que nunca pasaron por una evaluación. Algunos fueron evaluados muchos años atrás, por lo que no cuentan con un registro reciente de evaluación, sino solo con datos de monitoreo. Lo que en todos esos casos no hay, es un juicio evaluativo respecto de dicho seguimiento, ni información de gasto rigurosa.
En pocos días más, los presupuestos de la mayoría de los programas cuya evaluación ha sido negativa, o cuya evaluación ni se conoce, volverán a ser puestos sobre la mesa del Congreso como parte de las negociaciones acerca de la Ley de Presupuestos para el año 2020. Diputados y senadores deberán discutir si bajar o subir los presupuestos de cada uno de estos programas.
No obstante, la evidencia muestra que normalmente no hay mucha consecuencia posterior a malas evaluaciones. Quizás en ello influye un problema principal: los programas gubernamentales no están explicitados claramente en la Ley de Presupuestos, la que usa otra clasificación: los programas presupuestarios. Estos últimos, en general, carecen de objetivos, metas y medición de resultados. Tampoco cuentan con un marco metodológico transversal ni explícito para su estructuración. Su creación es arbitraria.
¿Cuál es el problema? Desde el Gobierno reclaman que no hay interés de los congresistas en las evaluaciones de los programas públicos, mientras que en el Congreso acusan a esas evaluaciones de ser excesivamente técnicas y financieras, y de no considerar el “factor social”.
Como sea, en esa disputa por endosarse responsabilidades, es probable que los programas mal evaluados sigan viendo aprobados sus presupuestos e, incluso, aumentados. Puede que se mantenga el gasto para programas cuya eficacia ni siquiera se conoce.
No hay consecuencias claras cuando un programa público es mal evaluado. Esa evaluación, gestionada por Dipres, excede por mucho la medición de su ejecución presupuestaria, dado que revisa objetivos, indicadores, diseño y pertinencia de los programas. En esa medición global, la mayor parte de los programas públicos sale mal parada.
Uno de los “niños símbolo” de las malas evaluaciones es Prodesal. Tanto en el Gobierno como en el Congreso lo usan como ejemplo cuando se les pregunta por programas mal evaluados que siguen vivos y coleando. Prodesal, iniciativa gubernamental que busca apoyar a pequeños y medianos campesinos, fue evaluado por la Dipres por primera vez en 2008, cuando se recomendó que el programa sufriera un “rediseño sustantivo”.
Los principales problemas hallados en esa ocasión fueron que el diseño del programa no contaba con instancias de evaluación de resultados de sus beneficiarios y que el único seguimiento al desempeño que hacía apuntaba solo a aspectos administrativos y financieros y, por tanto, no establecía en qué momento un beneficiario podía egresar del programa. También hubo críticas a la eficacia: “No se genera evidencia de impacto del programa tanto a nivel de resultados intermedios como finales”. Aunque los beneficiarios del programa son campesinos, en su mayoría vulnerables, que efectivamente requieran del apoyo del Estado, la pregunta es si el programa evaluado, Prodesal, es la mejor respuesta a los problemas y contexto que afectan a dicha población.
En 2012 la Dipres reiteró que el diseño del programa resultaba inadecuado. Seis años después, en 2018, el programa completo fue calificado con “mal desempeño”. Entre los principales problemas detectados estaba la falta de evidencia de los resultados obtenidos y que, a diez años de haber sido advertido, Prodesal continuaba sin tener una política de egreso de sus beneficiarios.
En 2018 se evaluó también un rediseño del programa y los resultados no fueron mejores: fue objetado técnicamente por no cumplir con ninguno de los pilares básicos exigidos. A pesar de la constante evaluación negativa, y según la información disponible, Prodesal ha mantenido su presupuesto anual, entre 2014 y 2018, en torno a los $45 mil millones por año.
¿Por qué los recursos públicos destinados a ese programa se renuevan año a año si la Dipres advierte que su evaluación es negativa?
Prodesal no es el único caso. Lo mismo ocurre con la “Beca de apoyo a la retención escolar”. En 2015 y 2018 ese programa fue mal evaluado: se objetó que no se sabía cuántos estudiantes no cobraban su beca, que no había metas asociadas a sus indicadores y que se discriminaba negativamente a su población objetiva al limitarla a aquellos estudiantes matriculados en “liceos focalizados”. En 2015, la Dipres puntualizó en su evaluación que “el 75% de los jóvenes en situación de vulnerabilidad no está matriculado en un liceo focalizado”.
Otro ejemplo es el programa “Quiero mi barrio”, el que fue evaluado negativamente en las dos ocasiones en las que se lo consideró, 2010 y 2017. En su segunda evaluación, y la última disponible en la base de datos pública de la Dipres, se hallaron falencias graves: “El programa no cuenta con registros respecto del nivel de gasto aportado por el municipio. Esto dificulta la determinación de estándares y costos por unidad (…). Los plazos de cada una de las fases del programa no se cumplen, lo que genera una situación permanente de barrios en arrastre que se mantienen en ejecución, sin lograr su cierre”. La Dipres también cuestionó que no se asegura la sostenibilidad en el tiempo de los logros del programa y que este «no cuenta con metas que permitan guiar el trabajo realizado”.
A inicios de julio pasado, la Dirección de Presupuestos (Dipres) envió a la Comisión Especial Mixta del Congreso un informe con los resultados de la evaluación ex post (posterior a su ejecución) a programas gubernamentales correspondiente a 2019: solo 1 de los 19 programas evaluados tuvo “buen desempeño”. Mientras tanto, casi el 70% de los recursos incluidos en la evaluación estuvo clasificado de “mal” o “bajo” desempeño. Esa conclusión reafirmó la tendencia: la mayoría de los programas evaluados por Dipres durante los últimos años reprueba la evaluación.
Fuentes del sector mencionan que los criterios de selección de este conjunto de programas determina un sesgo para seleccionar: se seleccionan aquellos sobre los que hay antecedentes o “intuición” de bajo desempeño. No obstante, hay quienes afirman que los programas a evaluar se determinan según consenso entre el Congreso y el Ejecutivo, no necesariamente por historial de malas evaluaciones. En todo caso, hay programas que nunca se han evaluado, por lo que su desempeño es una incógnita.
La situación es crítica. Si se analiza la versión anterior de ese mismo informe de la Dipres, se constata que para 2018 se presupuestaron mil millones en programas con evaluación positiva y otros $536 mil millones en programas con desempeño medio, bajo o malo.
Y aunque en años anteriores el abismo monetario entre esas categorías no es tan profundo (en 2016 los programas con “desempeño suficiente” gastaron $168 mil millones y los de “desempeño insuficiente” $130 mil millones), las cifras denotan que las constantes evaluaciones negativas de buena parte de los programas evaluados por la Dipres no tienen consecuencias significativas y tampoco es claro cómo deberían ser estas consecuencias. Un muestreo de programas realizados para este reportaje mostró, en general, que hay pocas variaciones presupuestarias cuando un programa es reprobado en su evaluación. Por más que un programa sea reprobado cada vez que se evalúa, puede que ese mal resultado no tenga ninguna consecuencia práctica.
Los llamados a fiscalizar cómo se gasta el dinero público son los parlamentarios, quienes año a año deben legislar el presupuesto propuesto por La Moneda. ¿Cuán interesados están diputados y senadores en la evaluación de los programas gubernamentales y en su posterior seguimiento? Conversamos con varios de ellos y encontramos desde miembros de la Cámara Alta que no conocen el funcionamiento del sistema de evaluación hasta quienes critican que esa evaluación es meramente técnica.
Estas evaluaciones comentadas (Evaluación de Programas Gubernamentales, EPG) no corresponden a ‘evaluaciones de impacto’ de los programas, y ese es uno de los aspectos que critican los parlamentarios, quienes agregan que el criterio evaluador de la Dipres tiene un marcado sesgo financiero.
Lo que no comentan en voz alta diputados y senadores son los conflictos de interés que varios de ellos cargan en la mochila. Por una parte, son los encargados de visar con su voto el presupuesto que financiará los programas y, por la otra, participan en las ceremonias de entrega de recursos públicos de esos mismos programas a pobladores, campesinos y emprendedores. Evalúan con la misma mano con la que después sacan rédito político.
Incluso si ese conflicto de interés que cargan algunos no existiera y todos los parlamentarios fueran sinónimo de virtud política y eficacia legislativa, tampoco podrían hacer un buen seguimiento al gasto público: la estructura del sistema no lo permite. Anualmente solo se evalúa el desempeño (ex post) de 20 o 30 de los más de 600 programas gubernamentales que hasta ahora fueron identificados por la Dipres. Tampoco hay una periodicidad para las evaluaciones, por lo que nadie sabe cuándo un programa volverá a evaluarse.
La selección de los programas a evaluar anualmente por la Dipres no es aleatoria. Tampoco hay una metodología clara ni criterios objetivos para escogerlos. La Dipres aseguró para este reportaje que se determinan según decretos del Ministerio de Hacienda. Pero fuentes del gobierno y del Congreso aseguraron que los programas a evaluar se consensuan entre representantes del Ejecutivo y los parlamentarios, durante la tramitación de la Ley de Presupuestos. O al menos así funcionaba hasta hace un tiempo. Según fuentes que conocen bien esas conversaciones, los últimos dos años los congresistas no han puesto sobre la mesa programas para ser evaluados. “Al parecer no hay interés”, dicen en Hacienda.
La comisión investigadora de la Cámara de Diputados que el año pasado indagó en el sistema de evaluación de los programas gubernamentales, criticó este tipo de acuerdos por considerar que añaden un “componente político” al proceso de evaluación de los programas. Pero diputados y senadores dijeron para este reportaje que ese “factor político” es lo determinante al momento de pensar en evaluar los programas públicos.
Tanto prima el interés político por sobre el criterio técnico del dinero bien gastado que hay parlamentarios que no saben cómo funciona el sistema. Algunos de sus asesores respondieron a las preguntas formuladas para este reportaje asegurando que la evaluación de los programas se limita a medir su ejecución presupuestaria anual, lo que está lejos de la verdad. “Algunos parlamentarios las leen”, respondió un senador cuando se le preguntó si las evaluaciones de la Dipres a los programas gubernamentales eran consideradas en el Congreso.
La respuesta de ese senador coincidió con la de todo el resto de los consultados. La mala evaluación de un programa puede incidir en el voto parlamentario a su presupuesto. Pero siempre depende. Y depende de factores políticos: impacto social, interés del parlamentario, órdenes desde La Moneda. No hay un estándar sobre qué hacer con los programas mal evaluados – reforzado por el hecho de que los respectivos presupuestos, además, son solo relativos y difíciles de fiscalizar, dado que no están vinculados a la contabilidad pública-. Es un desorden. Y ese desorden parte desde el origen.
Es difícil monitorear la evaluación de los programas públicos, porque la información no está integrada. Para este reportaje se compararon distintas evaluaciones de los mismos programas para saber si había una correlación en el tiempo, pero a veces se evalúa un factor y otras veces otro. En ocasiones se evalúa el programa dentro de un pack y otras en solitario.
Un ejemplo de ello es el programa “Inserción de Investigadores Conicyt”, que fomenta que investigadores se incorporen a la academia o a las empresas, el que fue mal evaluado en 2013. Las conclusiones fueron catastróficas: “El Programa no logra dimensionar la magnitud del problema que busca solucionar ni logra operacionalizar sus principales dimensiones; no dispone de un buen diagnóstico que defina la naturaleza y alcance de las brechas que busca disminuir y tiene, por consiguiente, enormes dificultades para definir sus parámetros principales como población potencial, población objetivo, cobertura y focalización”. Además se constató que tenía una “escasísima cobertura”. Desde ahí que el programa comenzó a ser monitoreado, pero sus reformulaciones fueron objetadas, al menos, en 2014, 2015 y 2019. A pesar de aquello, el presupuesto del programa ha aumentado, de $4 mil millones en 2013 a $5,7 mil millones en 2017 (para el presupuesto estimado de 2018 y 2019, no hay datos disponibles aún).
Los parlamentarios despliegan una batería de argumentos a la hora de preguntarles por qué la evaluación negativa de un programa no incide en su cancelación o en una reformulación estructural: dicen que no siempre tienen claro si un programa está funcionando cuando tienen que votar el presupuesto; señalan que el sistema es en extremo presidencialista y que aunque ellos voten para disminuir el presupuesto de un programa mal evaluado, después el gobierno puede trasladar presupuesto de un ítem a otro y “saltarse” la decisión del Congreso; dicen también que las evaluaciones de la Dipres muchas veces son solamente técnicas y que no toman en cuenta el “componente social”.
Según el diputado de la Comisión de Hacienda de la Cámara, Giorgio Jackson (RD), la estructura de la evaluación que realiza el Estado está caduca: “Existe un grave problema en la arquitectura de información asociada al presupuesto. Las asignaciones presupuestarias no responden necesariamente a los programas y no existen mecanismos nítidos para advertir de sus evaluaciones al momento de la discusión presupuestaria”.
Para el senador Carlos Montes (PS) habría un sesgo financiero en las evaluaciones de la Dipres: “Nosotros no tenemos un lugar donde se discutan los programas… esto se discute solo con Presupuesto y Presupuesto siempre los mira financieramente, pero no necesariamente tiene tan presentes los objetivos (de los programas)”.
Hay parlamentarios que son más optimistas. El también miembro de la Comisión de Hacienda de la Cámara, Patricio Melero (UDI), plantea que hay algunos casos donde la mala evaluación de un programa sí ha tenido consecuencias: “El ‘Más Capaz’, que era un programa estrella del gobierno de Michelle Bachelet, empezó a tener mala evaluación y progresivamente se le fue reduciendo el aporte. Eran $300 mil millones, después bajó a $100 mil millones y fracción, y ahora el gobierno de Piñera lo eliminó”. Ese ejemplo dado por el diputado Melero es una excepción. De todos los programas mal evaluados revisados para este reportaje, ninguno vio reducido su presupuesto, ni menos amenazada su continuidad.
Hay algunos parlamentarios que cuestionan la evaluación. El senador José García Ruminot (RN), que participa de la comisión de Hacienda del Senado, es uno de ellos: “Hay veces en que la evaluación no es pertinente. No siempre los parámetros con que se miden los beneficios de un determinado programa guardan relación con lo que uno ve en las regiones. Hay discrepancias, porque muchas veces la evaluación se hace con un criterio estrictamente técnico, donde lo social queda un poco de lado. Eso genera divergencias entre lo que opina la Dipres en sus evaluaciones con lo que opinamos nosotros como parlamentarios”.
En todo caso, tiene un punto el senador. Una cosa es que el diseño de un programa tenga deficiencias técnicas, y otra distinta es que no signifique un beneficio para las personas que necesitan esos recursos públicos. Pero en este caso: ¿no habría que rediseñar el programa, para que sus resultados estén acordes a sus objetivos? También hay matices. Un monitoreo rápido por archivos de prensa arroja que diputados y senadores de todo el espectro político participan en la entrega de los cheques del programa Prodesal a campesinos de distintas regiones. Les sirve políticamente para aparecer “bajando” recursos a sus electores, aunque esa función no tenga nada que ver con la labor parlamentaria. Queda como interrogante si la semana distrital de los congresistas debería ser mejor regulada, con el fin de evitar conflictos de interés.
Solo a modo de ejemplo: en mayo pasado el diputado Iván Norambuena (UDI) estuvo presente en dos ceremonias de entrega de recursos de Prodesal a campesinos de Los Ángeles y Tucapel; en el mismo mes, los diputados Frank Sauerbaum (RN), Carlos Abel Jarpa (PRSD) y Jorge Sabag (DC), participaron de la entrega de cheques en Pemuco y Yungay; un mes antes (abril de 2019) lo hicieron los diputados Pedro Álvarez Salamanca (UDI), Pablo Prieto (RN) y Alexis Sepúlveda (PRSD) en la comuna de Empedrado.
La diputada Alejandra Sepúlveda (FRVS) es una de las defensoras de Prodesal. A su juicio, no es un problema que los parlamentarios participen en la ceremonia donde se entregan los recursos: “¿Por qué va a ser conflicto de interés? Ir a esas actividades te permite saber cuánto es lo que se está entregando, también saber en qué se están utilizando esos recursos y chequear si a los beneficiarios les gusta o no les gusta lo que está pasando con esto. Eso también es fiscalización”.
En marzo pasado, la Comisión de Agricultura de la Cámara analizó la mala evaluación de Prodesal. Allí el diputado Sauerbaum (uno de los que participa en las ceremonias de entrega de recursos) cuestionó la evaluación de la Dipres sobre el programa: “Siento que es un diagnóstico hecho desde el escritorio, desde una realidad más bien urbana. Nosotros que tenemos cercanía con quienes usan los recursos del Indap, a través del Prodesal, que es un acuerdo entre la municipalidad y el Ministerio de Agricultura, sin duda tenemos una visión distinta».
Más allá de los eventuales conflictos de interés que pueda tener un parlamentario que utiliza políticamente la entrega de recursos públicos y que, a la vez, defiende el funcionamiento de un programa constantemente mal evaluado, pareciera ser que ya es hora de modernizar el sistema presupuestario como tal.
Dada la falta de vinculación con la Ley de Presupuestos de los programas gubernamentales, es difícil hacer el seguimiento al gasto total en el que incurren los programas gubernamentales. Muchos de ellos reciben financiamiento de distintas fuentes y ese gasto total no está integrado en la información que se les entrega a los parlamentarios para la discusión del presupuesto, por lo que reciben una información incompleta y en parte, solo estimativa.
También hay problemas en la calidad de la data de los programas, que se basa en la forma con la cual Dipres gestiona la respectiva información. A modo de ejemplo: a veces, se registra el gasto de todos los componentes de un programa y, otras, solo de una parte, perteneciente a un servicio público; en otras ocasiones se ven problemas de datos en los informes, como es el caso del presupuesto del programa Cooperación Sur-Sur, para el cual Dipres informó erróneamente en su documento ejecutivo con una cifra de 7 “millones de millones” de pesos, pero que debiese ser “miles de millones”.
Para el diputado Giorgio Jackson lo que se debe hacer es “concitar la voluntad política para repensar este sistema de rendición y seguimiento de cuentas, para actualizarla hacia estándares del siglo XXI”. El senador José García Ruminot está de acuerdo, aunque plantea que existen dificultades: “El ideal sería que fuera una evaluación externa, pero naturalmente eso tiene costos mucho más elevados. Pero creo que debiéramos tender a eso, a que las evaluaciones sean externas y que estén bien determinados los parámetros que se miden. Cuando a uno le digan que hay un programa mal evaluado, que eso coincida con lo que uno ve en la realidad. Y ahí se podría establecer una suerte de obligación de que el programa mal evaluado una o dos veces, simplemente, no se le pueda seguir asignando recursos”.
El senador Carlos Montes coincide en que la labor evaluadora se separe de la Dipres: “El mayor defecto que esto tiene, es que la Dipres es la gerencia de finanzas y también la gerencia de desarrollo. La evaluación debiera hacerla una entidad que discute las conclusiones con las instituciones involucradas, y recién después de eso que esa evaluación tenga un efecto presupuestario”. La diputada Alejandra Sepúlveda aboga por la misma idea, para que se mida el impacto social de los programas y no solo su rendimiento financiero. Dice ella que además hay problemas metodológicos en las evaluaciones de la Dipres y que para subsanarlos debiera mejorarse la calidad de la información que entregan los ministerios sobre los programas.
En el Gobierno reconocen que la evaluación tiene problemas. Uno de esos problemas es de coordinación. Actualmente los programas “sociales” son evaluados en su diseño y monitoreados por el Ministerio de Desarrollo Social, mientras que el resto de los programas «no sociales» es evaluado en cuanto a diseño y monitoreo por la Dipres. Desde el Ejecutivo explican que no existe un diálogo entre ambas instituciones evaluadoras. “Evaluar es caro”, subrayan esas mismas fuentes, a lo que agregan que están preparando mejoras al sistema de evaluación, aunque ninguno de los anuncios deslizados para este reportaje considera un cambio estructural al sistema. Tampoco están en carpeta reformas que imiten lo hecho por países desarrollados, donde el desempeño del gasto se mide utilizando datos en línea y de manera semiautomatizada.
Es probable que en el futuro se incremente la presión sobre el gasto público. El envejecimiento de la población, y el consiguiente mayor gasto en salud, la Reforma a las Pensiones y los efectos de la automatización del empleo podrían influir en esa mayor presión. Frente a ese escenario, un sistema robusto de evaluación y monitoreo del gasto público podría ser clave. Consensuar este con los diferentes actores que usan la información de desempeño, será parte de dicho desafío.
*Este reportaje fue elaborado por el Observatorio de Gasto Fiscal.
