Introducción

La evaluación de políticas y programas de gobierno es, en buena medida, una materia aún pendiente en varios países de América Latina. Aunque es cada vez más frecuente escuchar declaraciones respecto de la necesidad e importancia de avanzar en el análisis sistemático de los resultados de las políticas, ello sólo se realiza para un conjunto pequeño de acciones, y aun en esos casos se ha puesto en cuestionamiento si su uso es efectivamente un mecanismo de mejora de la gestión. Las evaluaciones, en aquellos casos en que efectivamente se realizan, suelen tener escasas consecuencias para políticos, directores y sus organizaciones, e incluso existen pocos incentivos para su difusión.¹ Como consecuencia, resulta difícil establecer un vínculo entre la toma de decisiones y los resultados de las evaluaciones. Por otra parte, son escasas las experiencias de integración con otros sistemas de gestión y monitoreo de las políticas, limitando su utilidad como herramienta.²

Los análisis sobre evaluación de políticas, suelen hacer énfasis en la necesidad de construir capacidades técnicas entre los funcionarios y en el desarrollo de robustos sistemas de información. Sin embargo, no han hecho foco sobre la naturaleza eminentemente política de este proceso y cómo esta dimensión ha influido en la institucionalización del monitoreo y evaluación en el sector público latinoamericano.³

Lo descrito anteriormente es válido para el caso uruguayo, incluso puede señalarse que este país ha avanzado menos que otros de la región. Ello representa una paradoja dadas las características de su sistema político y su administración pública: un régimen de gobierno estable, con un sistema de partidos fuerte y un sector público con buenos indicadores de desarrollo del servicio civil⁴ y bajos niveles de corrupción.⁵

En su experiencia, han existido al menos desde la década de 1990, intentos por desarrollar una cultura que incorpore mecanismos de evaluación en la gestión de políticas y programas. Pero es recién con el cambio de gobierno en el 2005 y la asunción del Frente Amplio que el tema comenzó a abrirse espacio en la agenda de gobierno en ese mismo año, asociado principalmente con los procesos de reforma estatal y con la reconstrucción de la matriz de bienestar, en particular con la creación del Ministerio de Desarrollo Social. El caso más paradigmático de este proceso es el vinculado con la evaluación del Plan de Atención Nacional a la Emergencia Social (PANES) que por su novedad, relevancia y recursos involucrados marcó un precedente sustantivo en el desarrollo de una cultura de evaluación dentro del sector público, aunque -como se retomará más adelante- no suficientemente replicada en otros ámbitos públicos.

El artículo busca describir el marco organizativo de la administración pública en Uruguay y su impacto en los sistemas de la evaluación; así, intenta responder algunas interrogantes básicas: ¿en qué momento histórico-político las evaluaciones se han desarrollado en el país y qué causas motivaron su impulso? y ¿cuáles fueron, cómo surgieron y qué cometidos tenían las organizaciones que han llevado adelante las iniciativas evaluadoras de programas en Uruguay? A su vez, se pretende responder a otra pregunta clave: ¿por qué Uruguay no avanza sustantivamente en materia de evaluación? Para intentar una respuesta a esta pregunta, el artículo desarrolla dos argumentos principales, planteados en términos de hipótesis, que futuras investigaciones podrán comprobar, pero que aquí intentan esbozar algunas aproximaciones. Por una parte, la existencia de factores asociados con la construcción institucional del sector público del país condicionan el desarrollo del sistema evaluador. Por otra, paradójicamente, la influencia de los buenos niveles de transparencia y la confianza en el Estado por parte de la ciudadanía pueden ser planteadas como una de las razones que lleven a reducir los incentivos por evaluar políticas. A la luz del caso uruguayo, se incorporan elementos y dimensiones de análisis que permitan comprender algunos de los factores que inciden en la institucionalización y el uso de evaluaciones en el sector público.

Si bien este estudio se centra en un caso particular, podría ser de utilidad para el análisis de estas dimensiones en otros casos, permitiendo posteriormente establecer líneas de investigación y análisis comparativos. Finalmente, en las conclusiones se pretende contestar una pregunta que sirva de reflexión final sobre el fondo del tema: ¿puede avanzar el sistema de evaluación en Uruguay?

Aportes teóricos para entender el caso uruguayo y sus potenciales impactos en los sistemas de evaluación

La literatura sobre monitoreo y evaluación de políticas ha identificado una serie de variables que influyen en su desarrollo e integración en el sector público. Este artículo no busca hacer un recorrido exhaustivo por cada una, sino plantear nuevos argumentos que puedan ayudar a comprender los factores político-institucionales. Sin embargo, es necesario plantear algunas variables que han sido trabajadas. En primer lugar, un punto destacado ha sido la importancia del liderazgo por parte de actores políticos demandantes de información de evaluación.⁶ Ello se relaciona con la capacidad de demandar información, pero también principalmente para desarrollar políticas y crear una institucionalidad acorde con el desarrollo de sistemas de monitoreo y evaluación.

Fuertemente asociado con ello, se encuentra el desarrollo de capacidades públicas entendidas en términos de habilidades técnicas para la evaluación.⁷ Es decir, la creación de cuerpos profesionalizados especializados en “el arte” de la evaluación. A un nivel externo, incluso la cooperación internacional puede funcionar como un agente de presión en tanto la transferencia de fondos se encuentra condicionada a un mayor escrutinio.⁸ Todo lo mencionado impacta en el nivel y ritmo de institucionalización de la evaluación en el sector público.

Lo cierto es que los sistemas de monitoreo y evaluación también se insertan en estructuras administrativas con características institucionales y culturas de funcionamiento particulares que tienen consecuencias para el uso de las evaluaciones como herramientas de gestión. Ello representa factores propios e internos a las administraciones públicas y de relacionamiento entre políticos y burocracia.

En este sentido resulta relevante señalar que algunos de los atributos de la administración pública en Uruguay influyen sobre este fenómeno. Este apartado se centra principalmente en las características de la burocracia, la construcción histórica del modelo institucional de gestión y, asociado con ello, el modelo de rendición de cuentas.

La consolidación de la administración pública uruguaya estuvo asociada desde comienzos del siglo XX con la expansión de los servicios públicos tanto en materia social como económica. Dicha expansión fue a su vez fuertemente dependiente del control de los partidos políticos. Así, aunque algunos rasgos de corte weberiano fueron consolidados, lo referido limitó en buena medida un aparato público con niveles de autonomía respecto de los partidos, conformando un vínculo sobre la base de relaciones de patronazgo y clientelismo en los distintos niveles del aparato estatal. Este mecanismo de construcción de la burocracia y el uso de la maquinaria estatal como moneda de negociación entre partidos, privilegió la primacía de lógicas políticas y consensos sobre la construcción de una racionalidad técnica en la gestión de las políticas.⁹

Sin embargo, la burocracia uruguaya no debe ser entendida como débil en cuanto a su capacidad política. En Uruguay las reformas y la inclusión de nuevos procesos de gestión deben ser negociadas con una burocracia que ha demostrado capacidad para darles su sello propio e incluso bloquearlas. La burocracia en Uruguay, por su nivel de organización y cohesión interna, ha tenido en varias ocasiones la capacidad para construir una agenda propia de reformas y, sobre todo, de resistir frente a intentos externos. Esto ha evitado lo que se denomina coloquialmente “llenar botellas vacías”: la incorporación de nuevas prácticas de gestión sin conflicto o que tiendan a barrer con valores y/o prácticas anteriores.¹⁰ Tal característica tiene cara de Jano ya que ha propiciado un freno a la realización de “paquetes” de reformas, como las de corte neoliberal extendidas en la región durante las décadas de 1980 y 1990, pero impidiendo de igual manera la incorporación de cambios en los procesos de políticas orientados a su fortalecimiento, como lo son el monitoreo y la evaluación.

Lógicamente el paisaje de la administración pública uruguaya no es homogéneo. Dentro del mismo Estado y en ocasiones de la misma organización, es posible identificar diferentes tipos de estructuras y culturas burocráticas. Por un lado, las más modernas presentan una mayor tendencia a utilizar evidencia como parte intrínseca del análisis de políticas; normalmente son aquellas creadas más recientemente o de base profesional. En estas organizaciones es frecuente encontrar áreas dedicadas exclusivamente a la evaluación o bien, una lógica frecuente de “compra de evaluaciones” en entidades externas. Éstas conviven con organizaciones cuya cultura burocrática presenta dinámicas de incorporación de evidencia más lentas y/o nulas. En estos casos, la evaluación, cuando existe, suele tener un rol fuertemente sancionatorio asociado con la desconfianza respecto de lo actuado.

En relación con las características del Estado uruguayo, también es relevante señalar que las mismas se identifican con el denominado “modelo continental europeo”,¹¹ el cual otorga un lugar central al Estado como conductor de la sociedad, principalmente a partir de la regulación y la aplicación de la ley. La ejecución de leyes y procedimientos es en este esquema la principal preocupación de las burocracias. Estos modelos fuertemente legalistas otorgan una determinada cultura de funcionamiento y de las propias políticas públicas. Por tanto, es esperable que este tipo de administraciones públicas presenten dificultades para modificar sus pautas de comportamiento hacia lógicas basadas en la evaluación de políticas y no simplemente de ejecución de procesos.

Por ello, en Uruguay las principales instancias de rendición de cuentas del sector público han sido históricamente basadas en instrumentos legales y administrativos. La tipología de Romzek y Dubnick¹² distingue cuatro tipos de rendición de cuentas: jerárquica, legal, profesional y política. Cada una depende del grado de control directo: bajo en caso de menor control y discreción en la ejecución de procedimientos, alto en el opuesto; y las fuentes de control: interna en el caso donde los controles se realizan dentro de la organización y externa cuando son hechos fuera.

Fuente: basado en Barbara Romzek y Melvin Dubnick, “Accountability in the Public Sector...”, op. cit.

Cuadro 1 Tipos de rendición de cuentas 

La administración pública uruguaya ha privilegiado históricamente los modelos jerárquicos y legales de rendición de cuentas. Aquellos asociados con la ejecución de procesos y aplicación de normas que han demostrado ser instrumentos relativamente confiables para controlar o supervisar a la administración.

Tomando como punto de partida un sistema basado en el control jerárquico y legal con foco en los procesos y procedimientos, las reformas estatales tendientes a la institucionalización de herramientas de monitoreo y evaluación implican un corrimiento a sistemas con mayor énfasis en el desempeño de las políticas. Pero además suponen un cambio de enfoque en términos de rendición de cuentas y, por tanto, una natural tensión con las estructuras de origen. En Uruguay este tipo de procesos ha sido desarrollado sólo tímidamente. Una muestra de ello es la reducida presencia de mecanismos formales de rendición de cuentas sobre el desempeño de políticas y la escasa creación de áreas de monitoreo y evaluación en los diversos organismos públicos tanto a nivel nacional como subnacional.

El Banco Interamericano de Desarrollo (BID)¹³ ha estudiado los avances en la puesta en marcha de herramientas de gestión por resultados en América Latina con base en cinco componentes. De éstos, los que presentan una menor calificación en Uruguay son el monitoreo y la evaluación, y en contraposición están aquellos relacionados con el núcleo más duro y procedimental, como la gestión financiera, auditoría y adquisiciones, donde alcanza sus mayores niveles de desarrollo.

Fuente: Roberto García López y Mauricio García Moreno, La gestión para resultados en el desarrollo..., op. cit.

Cuadro 2 Índice de gestión por resultados (BID) 

Una referencia aparte merece el hecho de que en general la sociedad uruguaya considera al sistema político y la administración pública relativamente confiables. Uruguay es el país de América Latina mejor ubicado respecto de la percepción de corrupción por parte de la ciudadanía (Gráfica 1).

Fuente: Transparencia International, Corruption perceptions index 2015, op. cit.

Gráfica 1 Índice de percepción de corrupción (2015) 

Por tanto, aunque puedan existir reclamos respecto de la calidad de algunos servicios públicos, las demandas por mayor transparencia en la gestión no suelen ser un asunto central de la opinión pública.

Etapas del sistema evaluador en Uruguay

El sistema de evaluación en Uruguay no ha logrado un desarrollo sostenido en el tiempo y, de hecho, han sido escasos los intentos que, desde la esfera pública, impulsan la necesidad de contar con mecanismos que permitan conocer cómo se llevan adelante las acciones y qué impacto han tenido. A grandes rasgos, se pueden identificar tres periodos fundamentales de desarrollo del sistema evaluador. Éstos refieren a diferentes momentos histórico-políticos y económicos del país, lo que complejiza identificar una evolución homogénea del sistema. Cada reforma se enmarcó en su propio paradigma de Estado y en consecuencia su percepción de cómo se debe entender el problema y la utilidad de la evaluación. Sin duda, tal perspectiva se convierte en una desventaja a la hora de pensar en un desarrollo sostenido del sistema evaluador porque, como se verá a continuación, cada reforma presentó una faceta refundacional que cortó y eliminó en parte lo que se estaba realizando anteriormente en esta materia.

El primer periodo se ubica en 1967 con la introducción del presupuesto por programa y la evaluación de los incisos en el Presupuesto Nacional. Con este fin se creó la Oficina de Planeamiento y Presupuesto (OPP) como entidad encargada de asistir al Poder Ejecutivo en la formulación de planes y programas de desarrollo y, en ese marco, controlar el gasto de dichos programas. Asimismo, efectuar una evaluación sobre el grado de cumplimiento de metas y objetivos de todas las áreas del gobierno nacional.¹⁶

Esta estructura de control y gasto de manera planificada fue influenciada por las ideas de la época, por ejemplo las formuladas por la Comisión Económica para América Latina y el Caribe (CEPAL), basadas en una planificación centralizada que se traduce en programas presupuestales. De todas formas, “[...] la originalidad del caso de Uruguay aparece plasmada en el carácter plurianual del presupuesto y en el rango constitucional que tiene la metodología de formulación del presupuesto. El Presupuesto por Programas tiene como componente importante la necesidad de realizar una evaluación del logro de objetivos para retroalimentar la planificación”.¹⁷ Por tanto, resultó novedoso para América Latina, pero durante muchos años no se progresó en ningún sentido en materia de evaluación.

El otro avance se registra recién en la segunda mitad de la década de 1990 y principios del 2000, con la introducción al aparto estatal del Sistema de Evaluación de la Gestión Pública por Resultados (SEV), con responsabilidad del Comité Ejecutivo para la Reforma del Estado (CEPRE) y con sede en la Oficina de Planeación y Presupuesto.

Este sistema no se puede entender sin enmarcarlo en un proceso mucho más amplio de reforma del Estado que tuvo dos grandes componentes: por un lado, la reducción del Estado y, por otro, la reconstrucción institucional para poder adaptarlo a los cambios tecnológicos, económicos y políticos que debía enfrentar. Tal idea estaba fuertemente impulsada por el paradigma de la nueva administración pública (New Public Managment, NGP), dominante en la administración pública en esos años¹⁸ y asociada con estas nuevas exigencias es que se forma el CEPRE. A partir de esta comisión se crea el Sistema de Evaluación de la Gestión Pública por Resultados. Algo a destacar de esta reforma y del sistema de evaluación que se llevó a cabo, a partir de la Ley de Presupuesto 16.736 (1995-1999), es que las evaluaciones promovidas se centraron en el desempeño de las Unidades Ejecutoras, sin considerar la evaluación de políticas y el desempeño de funcionarios. A su vez, el sistema evaluador se encontraba fragmentado y sectorializado dado que el Poder Legislativo, las empresas públicas, intendencias departamentales y bancos públicos quedaron por fuera.¹⁹

Las principales contribuciones que ha tenido este sistema para el fortalecimiento de la gobernabilidad se encuentran relacionadas con la mejora de la calidad del gasto público y la mayor transparencia en el uso de los recursos públicos, pero no en el impacto de las intervenciones.²⁰

En síntesis, como señala Ramos, “[...] este sistema de control que ha comenzado a implementar la reforma es pues consistente con el nuevo paradigma de gestión para el sector público y su orientación en general, o sea, el desarrollo de la lógica de mercado en los servicios públicos”.²¹ Así, por ejemplo, es difícil encontrar un paradigma que entienda la evaluación como herramienta de mejora del proceso de la política. Este autor, siguiendo la misma línea, señala que estos sistemas “[...] se concentran en el control y evaluación por resultados en sus aspectos cuantificables: la eficiencia y en los aspectos definibles en unidades de medida cuantitativas de la eficacia”.²²

Un tercer momento de la evaluación llega con la asunción del gobierno por parte del Frente Amplio en el 2005, donde el sistema tomó mayor impulso encuadrándose en un nuevo proceso de la reforma del Estado. Si bien no puede decirse que haya existido un plan general, sistemático y gradual para llevar a cabo sistemas de evaluación, algunos cambios fueron notorios y tuvieron cierto impacto en la administración central.²³

A diferencia del paradigma anterior, donde la base se encontraba en el criterio eficientista de la evaluación, en esta nueva reforma se parte de la utilización de la evaluación para medir resultados o como herramienta de mejora de las políticas. Uno de esos cambios fue la creación de la, ya mencionada, AGEV dentro de la OPP sustituyendo al anterior SEV y modificando la estructura de evaluación realizada hasta el momento. Esta área se creó con un perfil mayormente técnico y contó, en sus inicios, con un equipo de académicos y ex funcionarios de organismos internacionales de gran prestigio en América Latina que, identificados con el proyecto de izquierda en el país, ingresaron en la administración central para colaborar en la gestión del primer gobierno frenteamplista.

La misión de la AGEV es: “Promover los procesos de mejora y evaluación de la gestión pública, mediante el asesoramiento y apoyo a los organismos públicos, operando transversalmente y contribuyendo a generar capacidades”.²⁴ Esta oficina, sin embargo, no logró avanzar bajo una lógica de conducción o rectoría del sistema de evaluación en el Estado uruguayo. En la actualidad, AGEV se ha especializado en las evaluaciones de Diseño, Implementación y Desempeño (DID), así como en el desarrollo de sistemas de información presupuestal e información de indicadores.

Otro de los componentes fundamentales de esta reforma fue la creación del Ministerio de Desarrollo Social (Mides) que ha destacado por distintos motivos, como un avance en la evaluación de programas sociales en Uruguay.

La ley 17.866 crea al ministerio y establece entre sus cometidos la obligación de evaluar las intervenciones sociales en el país: “Sin perjuicio de las competencias de otros Ministerios y organismos formular, ejecutar, supervisar, coordinar, programar, dar seguimiento y evaluar las políticas, estrategias y planes en las áreas de juventud, mujer y familia, adultos mayores, discapacitados y desarrollo social en general”.²⁵

La misma ley también crea la Dirección Nacional de Evaluación y Monitoreo (Dinem), primera dirección nacional de evaluación. Esto muestra un avance notorio en relación con los otros ministerios. Durante los primeros dos años de gestión de la Dinem (2005-2007) el trabajo se centró en la evaluación del Plan de Atención Nacional a la Emergencia Social (PANES). Luego, el foco de atención de esta dirección se expandió, en parte, por los buenos resultados de las evaluaciones de este plan de emergencia social.

Además del Mides también se avanzó en materia de evaluación en una arena de políticas que ha estado en constante debate público en los últimos 10 años: la educación. En este sentido, y como consecuencia de un acuerdo interpartidario, se creó el Instituto Nacional de Evaluación Educativa (Ineed) que tiene como tarea central “aportar al debate y la construcción de políticas educativas en nuestro país, sobre una base de información relevante y rigurosa, construida desde una posición de independencia y transparencia, que contribuya a la articulación de las diversas perspectivas y valoraciones acerca de la educación”.²⁶

El “Ineed logró sortear con éxito dos requisitos fundamentales para el buen funcionamiento: el reclutamiento de recursos humanos con un buen nivel de especialización y la disponibilidad de recursos materiales para el monitoreo, la evaluación y la investigación, que son siempre actividades costosas”.²⁷ Aunque existe cierta independencia del instituto en relación con la administración formal de la educación, ya que es una institución que se rige en el régimen del derecho privado, presenta ciertas trabas que dan lugar a la presencia de conflictos entre el equipo técnico y político. Como ejemplo: la Comisión Directiva integrada por cargos políticos tiene por debajo a la Dirección Ejecutiva, lo que genera ciertos problemas a la hora de distinguir entre el poder político y el componente técnico.

Resumiendo, dentro de estas tres grandes etapas se pueden identificar cuatro momentos en los que se buscó consolidar el sistema de evaluación en Uruguay. El siguiente cuadro resume dichos momentos con base en el periodo histórico, el enfoque, el programa/proyecto y los productos.

Parecen evidentes los avances en materia de evaluación en sectores específicos de políticas sociales vinculadas con el Mides y con la educación, aunque también se pueden reconocer otros avances como el desarrollo de observatorios de políticas y esfuerzos de evaluación en diferentes organismos. No obstante, este progresivo grado de institucionalización no siempre encuentra correlato en su utilización como parte del proceso de políticas. A modo de ejemplo, un informe del BID señala:

Aun cuando los sistemas de información estadística pública sobre la situación social y económica son confiables y de buena calidad, no se los usa para monitorear el cumplimiento de los objetivos y las metas de gobierno. Respecto de la evaluación de resultados de la gestión pública hay mucho por hacer: no existe una ley que establezca la necesidad de evaluar políticas, los programas y los proyectos; no existen metodologías ni instrumentos para ejercer dicha función, y no se dispone de recursos humanos y financieros para esta actividad.²⁸

Claves para entender el caso uruguayo

En los capítulos anteriores se esbozaron algunas características del Estado uruguayo y cómo su construcción institucional condiciona y determina la consolidación de los sistemas de evaluación como un factor de peso en el diseño y ejecución de las políticas públicas. Sin ánimo de ser exhaustivos se ha expuesto una serie de propiedades institucionales y políticas que, combinadas entre sí, han dado como resultado un panorama actual de la evaluación en el Uruguay que encierra ciertas paradojas respecto a lo esperable a partir de las propias características del Estado uruguayo y expone sus singularidades en referencia a la región.

Fuente: elaboración propia.

Cuadro 4 Evolución del sistema evaluador en Uruguay 

No es posible ponderar cada una de las características ni establecer cuáles puedan ser más determinantes que otras en el estado general de la evaluación. Sin embargo, es relevante dar una mirada analítica al funcionamiento y retroalimentación entre éstas, con el objetivo de identificar claves que permitan comprender el caso.

Como se señaló, la construcción de la maquinaria estatal en Uruguay ponderó la primacía de la lógica de negociación política frente a la racionalidad técnica en la construcción de la institucionalidad. Uno de los efectos directos del proceso de institucionalización y el triunfo de una racionalidad sobre la otra, ha sido la deficiencia en la capacidad de profesionalización del cuerpo burocrático administrativo y, por lo tanto, en su capacidad de diseño, planificación y regulación de políticas.

Una orientación de tal tipo tiende a reforzar las prácticas más conservadoras en la administración e impone importantes dificultades para desarrollar una burocracia con capacidad de generar agendas propias de cambio y que, por lo tanto, demande la incorporación de procesos de transformación y mejora en la gestión de la política pública. En síntesis, la construcción de una tecnocracia no en un sentido peyorativo del término, sino como un cuerpo administrativo con altos niveles de formación²⁹ y capacidad de recomendar líneas de reformas en la administración.

Un caso que sirve de ejemplo en el sentido inverso es la creación del Ministerio de Desarrollo Social en el 2005, que incorpora, desde sus inicios, una burocracia con niveles técnicos superiores al promedio de la administración pública uruguaya y genera una simbiosis muy fuerte con los cuadros políticos. Dicho ministerio nace además fuertemente asociado con la agenda de la izquierda en materia de políticas sociales. Es probable que esta nueva burocracia comprenda e incluso se beneficie de los alcances del desarrollo de un “mercado” de la evaluación. Tanto el cuerpo burocrático como el político identifican en la construcción de una agenda de evaluación, un recurso político que le otorgue legitimidad frente a otras organizaciones públicas (normalmente más poderosas en términos de recursos) y a la opinión pública. Con esto último nos referimos a que los programas asociados a la pobreza, en particular con las transferencias monetarias, tienen incentivos extras para ser evaluados. Esto se da como consecuencia de la presión social respecto a qué se realiza con ese dinero, así como del gobierno para mostrar resultados.

En capítulos anteriores destacamos que una de las cualidades del aparato burocrático le ha permitido hacerse de un recurso político de gran relevancia. Tal cualidad es su fortaleza en términos de capacidad política y, por ende, su alto margen de incidencia en los procesos de implementación de reformas (tanto las que afectan al propio cuerpo administrativo, como aquellas que implican cambios en el hacer y sentido de las políticas), esto es: un alto nivel de cohesión, capacidad de organización y movilización.

Asimismo, nos referimos a que la propia configuración y el sistema de incentivos imperante tendían a reforzar las facetas más regresivas de la cultura institucional, por lo que no es extraño encontrarnos con un escenario donde el aparato administrativo burocrático presenta resistencias a la incorporación de cambios y transformaciones que puedan afectar intereses, exponer debilidades o transformar el hacer institucionalizado. Esto se ve reforzado en el marco de la compartimentación de las áreas de política, en tanto este formato de gestión ha matrizado al cuerpo burocrático dentro de una lógica vertical y orientado su quehacer hacia la rutinización y reproducción de procesos y tareas.

A grandes rasgos podemos argumentar que la construcción institucional determinó una forma de hacer las políticas basadas en la compartimentación sectorial. Dentro de ese esquema organizativo, las agencias centrales de evaluación no cuentan con los recursos institucionales o les resulta difícil encontrar los mecanismos para derramar una prédica pro evaluación que permita producir cambios en los organismos encargados de la ejecución de políticas.

Ahora bien, si la capacidad del aparato burocrático administrativo para influir e incluso bloquear reformas puede y ha operado en tal sentido, es necesario mirar frente a qué incentivos se enfrentan los cuerpos de dirección política. Si miramos el problema desde una perspectiva de nueva gestión pública, cuando la conducción política se enfrenta a burocracias que entienden, presentan bajos niveles de desempeño, la lógica implicaría el refuerzo de acciones tendientes a la realización de herramientas de gestión por desempeño, entre éstas la evaluación. Sin embargo, en el caso uruguayo se presentan al menos dos razones que operan como incentivos negativos a su incorporación.

Por un lado, la integración de cambios en la gestión, como podría ser la incorporación de evaluación u otros procesos y herramientas de mejora, puede afectar el relacionamiento de la burocracia con la dirección política y la “paz sindical” necesaria para el desarrollo y puesta en práctica de las políticas. Es decir, es posible entender que los políticos privilegiarán la ausencia de conflictos que permitan hacer más fácil la realización de sus programas de políticas, aun a costo de resignar cierta capacidad de controlar los aparatos administrativos en cuanto a su desempeño.

Por otra parte, y actuando como refuerzo de lo anterior, la conducción política no paga altos costos por no integrar procesos de evaluación en tanto no es demandada por el sistema político en general, excepto en casos puntuales de alta relevancia; lo mismo puede señalarse desde el “afuera”. En la medida en que el sistema político y el Estado en general son entendidos como actores relativamente confiables, la presión social, por resultados tangibles, disminuye. Al menos en las áreas de políticas que no forman parte de la agenda cotidiana de discusión como la seguridad ciudadana, las transferencias monetarias a sectores pobres o la educación.

En tanto los procesos de evaluación, así como otros mecanismos de revisión y rendición de cuentas, implican abrir a la participación a múltiples actores e intervinientes y exponen los qué y cómo de la acción de políticas, una compartimentación en la gestión con altos índices de independencia y un cuerpo burocrático con capacidad de resistencia a los cambios, se constituyen un núcleo duro de incentivos negativos a la incorporación de procesos como la evaluación. En contraposición, los incentivos positivos desde el afuera de la gestión, las demandas del sistema político y la sociedad civil, no logran constituirse aún como contrapeso fuerte para la incorporación de estos procesos.

En síntesis, el caso uruguayo ofrece algunas pistas para comprender porqué los sistemas de evaluación se desarrollan en algunas áreas de la administración pública y no en otras. Existen elementos institucionales vinculados con la construcción del aparato estatal así como el vínculo entre políticos y burócratas que operan sobre los incentivos de los actores. A su vez, aunque resulta paradójico, la confianza en las instituciones podría operar como un freno al desarrollo extendido de la evaluación.

A ello se le suman otros elementos contextuales (ej. desempeño de la economía) que ayudarían a explicar qué favorece o limita el desarrollo de sistemas de monitoreo y evaluación. En cualquier caso, las claves de la experiencia uruguaya no son necesariamente un factor explicativo en otras latitudes y aún en Uruguay sería necesario profundizar en su investigación. Sin embargo, el análisis de algunas de estas dimensiones podría ayudar al desarrollo de hipótesis que echen luz sobre las dimensiones políticas e institucionales que afectan a este fenómeno.

La metaevaluación del PANES: un caso exitoso de evaluación en Uruguay

En páginas anteriores se mostró que Uruguay ha tenido diversas trabas para conformar un sistema de evaluación efectivo. Una de las razones que puede llevar a fallas en esta materia tiene que ver con la escasa acumulación de recursos humanos capacitados y en la calidad de los productos. Siguiendo los cometidos de este artículo, el presente apartado busca mostrar que no han sido una dificultad sustancial para el caso uruguayo, por el contrario, la metaevaluación que se presenta a continuación, realizada sobre uno de los programas prioritarios del gobierno frenteamplista 2005-2010 (el PANES), muestra que las evaluaciones logran alcanzar un alto grado de calidad. En estas páginas se analiza la metaevaluación del PANES, sobre todo en materia de diseño y organización, con el objetivo de mostrar el complejo proceso y la generación de capacidades.

El PANES, junto a la creación de un Ministerio de Desarrollo Social, fue uno de los buques insignia de la izquierda durante la campaña electoral rumbo a las elecciones de 2005. Por tanto, desde sus comienzos ha sido la política de mayor importancia y ambición que ha tenido el Mides y el gobierno frenteamplista en materia social. Este plan de asistencia a la emergencia social, que se inició en el 2005 y culminó en el 2007,³⁰ tuvo dos grandes cometidos. Por un lado, proporcionó asistencia a la población que se encontraba en los quintiles más pobres por medio de transferencias monetarias, transferencias alimenticias y mejoramiento del estado de las viviendas y, por otro, persiguió un cometido de largo plazo, la reinserción e independización de los hogares vulnerables y excluidos.³¹

Centrándonos en el sistema de evaluación del plan, se debe destacar que todo el andamiaje puesto en marcha comenzó desde cero, al ser el Mides un organismo nuevo en la administración central. Así, lo primero que buscaron los técnicos encargados del proceso fue el apoyo de expertos en la materia. Para ello se creó un convenio con el fin de elaborar el diseño y puesta en práctica, financiado en parte con los fondos propios del PANES y mediante un crédito del Banco Mundial (BM). En este convenio se incluye además a la Universidad de la República (UdelaR).³² Con la intervención de la academia uruguaya en el diseño de evaluación se invitó, a su vez, a diferentes expertos latinoamericanos (argentinos, chilenos, colombianos) y europeos (italianos y españoles) a participar en la discusión sobre cómo evaluar la política. En este sentido, el diseño fue expuesto en seminarios y mesas de trabajo para recoger las diversas opiniones. Este método de trabajo dio como resultado que el proceso de transparencia se viese fortalecido de manera sustantiva y fuera un factor importante para superar la escasa experiencia en evaluación de políticas y programas del gobierno uruguayo.

Previamente, también existió una negociación entre el equipo de evaluación de la Dinem y las autoridades políticas del Ministerio. El problema radicaba en que, para las autoridades, la prioridad al comienzo de la gestión no pasaba por pensar en la evaluación de la política, sino en el diseño y puesta en práctica de la misma. Parece ser un razonamiento acorde con la clásica “cultura” institucional que se tiene de la evaluación en las esferas políticas latinoamericanas. Sin embargo, a raíz de un largo proceso de negociación, las autoridades finalmente comprendieron la necesidad de incorporar desde el inicio el diseño de la evaluación, lo que facilitó la firma del acuerdo entre el MIDES, el BM y los académicos de la Universidad de la República.

Otro punto interesante a destacar es que, si bien las evaluaciones fueron externas, el trabajo fue coordinado de manera continua con el equipo de evaluación del Mides e incluso asiduamente con la participación de sus autoridades. Para llevarlo adelante se realizaron comisiones mixtas que habilitaron que el sistema de evaluación, pese a contar con recursos humanos externos, siempre fuese dirigido por la Dinem. El resultado del trabajo conjunto fue, en una primera instancia, el diseño de evaluación; en una segunda, la ejecución del diseño y, por último, la difusión de los resultados.

A su vez, estas instancias tuvieron como efecto que en la elaboración del sistema de evaluación se contemplaran tanto los de tipo cuantitativo como los del cualitativo con el objetivo de lograr complementariedad entre ambos. Por tanto, no es posible entender las evaluaciones realizadas al PANES por separado, sin tomar en cuenta que forman parte de un sistema que desde su diseño comprendió que las diferentes evaluaciones debían complementarse para poder darles un mejor uso.

Figura 1 Sistema de evaluación del PANES 

Esta estructura demuestra la importancia que se le ha dado a la evaluación en un programa prioritario y eso se plasmó en un sistema efectivo que contó con diversos componentes. A su vez, dichas evaluaciones y, especialmente las intermedias, han sido de utilidad para modificar las reglas de operación de la política. Si se analizan de manera concreta los resultados considerando la calidad de las evaluaciones, se observa que el sistema cuenta con productos que contienen un excelente análisis de la metodología utilizada y da cuenta de los impactos que ha tenido la intervención de la política de emergencia social a sus beneficiarios. En este sentido, en su mayoría los criterios analizados son cubiertos satisfactoriamente.

Discusión: ¿puede avanzar el sistema de evaluación en Uruguay?

Este trabajo ha buscado identificar algunas dimensiones poco tradicionales en el estudio de los sistemas de evaluación que, sin embargo, pueden tener un impacto relevante en su consolidación. Concretamente, para el caso uruguayo se han señalado algunas características de su construcción institucional y dinámica política que parecen influir en la débil institucionalización de la evaluación en el sector público y, por otra parte, aquellas asociadas al vínculo entre el Estado y la sociedad (organizada o no). Desde un punto de vista normativo cabría preguntarse: ¿cómo puede avanzar el sistema de evaluación en Uruguay?

Es evidente la existencia de un repulso a las evaluaciones debido a que se las suele asociar con la sanción. La posibilidad de evaluar el trabajo predispone a una mirada de tono negativo en tanto puede exponer la brecha entre las funciones que se deben cumplir y la capacidad de los funcionarios para cumplirlas. Como resultado la cooperación para desarrollar este mecanismo, aunque discursivamente puede estar presente, suele ser baja en la práctica. A esto se le suma la existencia de estructuras resistentes a las transformaciones con fuerte inercia hacia lo procedimental, que habilitan un funcionamiento aislado y opaco de las administraciones en términos del hacer de la política.

Tal funcionamiento endógeno tampoco presenta fuertes incentivos para los hacedores. Aunque los resultados de una evaluación no fuesen públicos implican como práctica poner en cuestión “el cómo se hace” y, en mayor o menor medida, expone tanto al aparato burocrático administrativo como a la dirección política. Una ventana de oportunidad para la evaluación se abriría si esa coincidencia de intereses entre la burocracia y los políticos se rompiese o, al menos, resquebrajase.

Otro punto de relevancia se refiere a la percepción que los ciudadanos tienen sobre el funcionamiento del Estado y su gestión. Si se revisan los informes de satisfacción con los servicios que éste brinda, se puede concluir que Uruguay es el país latinoamericano en donde los ciudadanos consideran de manera más positiva su rendimiento. En el informe realizado por el Latinobarómetro en 2007 se puede apreciar la situación de Uruguay: 39% de la población se encuentra satisfecha con los servicios que otorga el Estado, en comparación con un promedio de 22% que presenta el conjunto de América Latina. A su vez, 50.9% de la población uruguaya considera que el funcionamiento del Estado es bueno y muy bueno, mientras que solamente 8.6% lo evalúa de manera mala y muy mala.³³

¿Esto puede afectar en algún sentido? Evidentemente la evaluación, más allá de ser una herramienta para mejorar la gestión de las políticas y sus impactos (componente técnico), también lo es para rendir cuentas a la ciudadanía (componente político). En la medida en que los ciudadanos se encuentran satisfechos con el funcionamiento del Estado y con los servicios que brinda, es posible plantear la pregunta si la necesidad de conocer los resultados de las intervenciones públicas será menor que en casos en donde la ciudadanía no ve con buenos ojos la gestión. Por tanto, la escasa demanda de los ciudadanos de contar con evaluaciones que muestren las fallas en la gestión podría ser una de las posibles causas que limitan la formación de una “cultura de la evaluación” en Uruguay.

Ante la pregunta de si es posible lograr un desarrollo del sistema evaluador uruguayo, evidentemente no hay una respuesta cierta, pero parecen existir desafíos importantes. Se pueden encontrar cuatro factores: el primero relacionado con el marco normativo; el segundo, y muy vinculado con el anterior, refiere a la dependencia que el sistema evaluador tiene con la coyuntura política. El tercero está asociado con un cambio de mayor entidad ya que implica lograr cambios en la cultura institucional del buro. Por último, la poca experiencia en materia de evaluación lleva a que no existan suficientes recursos humanos capacitados y formados.

Contar con un marco normativo es quizás el primer y fundamental paso para avanzar hacia una mejor estructura institucional del sistema evaluador. La única normatividad que se puede encontrar en el marco legal uruguayo que refiera a la evaluación se encuentra en las leyes de Presupuesto. También dentro de los cometidos de la ley de creación del Mides se encuentra la evaluación de su gestión y, como fue señalado, se creó una dirección al respecto, siendo un caso excepcional dentro de la administración central.

Sin embargo, no existe una ley específica que regule la evaluación de la gestión de toda la administración central como sucede en otros países latinoamericanos, un ejemplo: el caso de México. Si bien esto no garantiza obtener evaluaciones de buena calidad que realmente sean útiles para mejorar la gestión, es una carencia a la hora de pensar en un sistema de evaluación homogéneo, estructurado y, sobre todo, con aspiraciones de largo plazo que puedan superar los cambios políticos y económicos muy recurrentes en el país.

Un segundo paso, que dificulta la creación de un sistema de evaluación, tiene que ver con los cambios políticos. Como se observó, el sistema ha sido modificado de acuerdo con las intenciones políticas de los gobiernos de turno, fragmentando el proceso y sin poder alcanzar uno de largo plazo. Este proceso se vio permeado por el contexto internacional, por lo que las reformas de la década de 1990 se realizaron con base en el paradigma imperante en esa época: el NPM. Con el gobierno de izquierda se intentó romper con esta visión y se llevaron a cabo cambios donde el componente participativo estuvo presente con un peso relativamente importante.

El tercer paso supera incluso las buenas intenciones que pueda tener la creación de un marco normativo. Romper con la cultura institucional tradicionalista del aparato burocrático y de las autoridades políticas que no incorporan la evaluación, hace difícil pensar en la creación de un sistema de largo alcance. Sin dudas, el caso del Mides es nuevamente una excepción dentro de la administración central en lo que a la estructura burocrática se refiere. Como se mencionó, el hecho de ser un organismo creado recién en 2005 y contar con una gran cantidad de personal técnico de perfil social, ha facilitado que se incorporara también una cultura de evaluación. En este sentido, el mencionado caso del PANES marcó un hito de carácter simbólico en tanto se podría decir que da comienzo a una nueva forma de entender las políticas sociales en el país en materia de evaluación de políticas.

Por último, la escasa experiencia de los recursos humanos es un tema de urgente atención. No existen en Uruguay cursos de formación específicos sobre la materia, lo que obliga a los evaluadores a formarse a medida que van adquiriendo práctica. Las dificultades para el desarrollo e incorporación de herramientas de gestión como la evaluación en la administración pública uruguaya son, por su actualidad y relevancia, uno de los principales desafíos que enfrenta el país en materia de eficiencia de sus políticas, calidad del gasto público, rendición de cuentas y transparencia. Un desafío que excede estrictamente la gestión de las políticas y pone en juego su calidad democrática.