Introducción

A medida que se moderniza la gestión pública, la evaluación de impacto se configura como una herramienta que contribuye a la implementación de políticas basadas en la evidencia debido a que es a través suyo que se pueden obtener elementos comprensivos respecto del funcionamiento de una intervención pública y los factores que convergen en el cambio social.

En lo que se refiere a políticas sociales, es fundamental contar con evaluaciones sensibles y situadas, y con este fin las metodologías de evaluación deben ser adaptadas a la medición de intervenciones sociales, las cuales se han definido como multidimensionales, contingentes y contextuales, diferenciándolas de las evaluaciones de otras intervenciones públicas en donde lo “social” no tiene significancia. Debido a esto se visualiza la necesidad de generar un cambio cualitativo en términos ontológicos y epistemológicos de las metodologías que orientan los procesos evaluativos, de tal manera que sean idóneas para evaluar la complejidad de lo que se define como “social”.

Este ensayo acentúa la necesidad de adoptar nuevas perspectivas metodológicas para la evaluación del impacto de los programas de transferencias condicionadas (PTC), en tanto es de sumo interés para la gestión pública. Por un lado, porque el fenómeno en cuestión, la pobreza y la superación de esta, ha implicado un esfuerzo importante durante las últimas décadas por parte de los gobiernos latinoamericanos, pero sin conseguir resultados a gran escala; y, por otro, porque los PTC son intervenciones de primera línea dentro de las políticas de desarrollo social en la mayor parte de los gobiernos de la región y las evaluaciones de estos programas no han logrado determinar con precisión los efectos a mediano y largo plazos.

Dicho esto, cabe señalar que los PTC se enmarcan en las políticas de protección social y consisten en la entrega de recursos monetarios y no monetarios a familias que se sitúan en situación de pobreza o pobreza extrema. Esta entrega de recursos está supeditada al cumplimiento de acciones que fomenten el desarrollo del capital humano familiar. Estos compromisos que adquieren las familias se relacionan con el área de la educación y la salud de sus hijos, es decir, que se orienten a mejorar las condiciones de salud y nutrición de estos y a su asistencia regular a la escuela. La población objetivo de este tipo de intervención es la familia en su conjunto, en la cual debe haber hijos menores de edad y, en algunos casos, también considera la presencia de adultos sin empleo, adultos mayores o personas con capacidades diferentes. Así mismo, muchos programas de estas características incluyen la entrega de recursos no monetarios tales como suplementos alimenticios o útiles escolares (CEPAL, 2011). En definitiva, estos programas buscan superar la pobreza actual de las familias beneficiarias a través del aumento del consumo en el hogar mediado por la transferencia. De igual forma, con estos programas se espera prevenir la pobreza futura, por medio del fortalecimiento de capital humano al interior de la familia. Se entiende entonces que, en la medida en que los hijos menores de edad se encuentren escolarizados y con un adecuado estado de salud y nutricional, podrán hacer frente a situaciones de vulnerabilidad en el largo plazo, se fomentará la movilidad social y una inserción adecuada en el mundo laboral, entre otras cosas.

Los PTC son intervenciones de alta validación en los gobiernos regionales. Esto se ve reflejado en su implementación en la mayoría de los países de América Latina y el Caribe, por lo que su evaluación adquiere relevancia. Durante la última década, son variadas las evaluaciones, principalmente de impacto, que se han realizado de estos programas, dándose incluso una sistematicidad de la práctica que otros programas sociales no poseen. Las evaluaciones de impacto dan la posibilidad de detectar la necesidad de realizar cambios y mejoras a los programas y de proveer información objetiva y transparente a los ciudadanos, lo que puede asegurar la continuidad de programas exitosos, pese a las transiciones políticas (^{González de la Rocha, 2010}).

Respecto a las evaluaciones de impacto de los PTC, las conclusiones refieren buenos resultados a corto plazo, relacionadas con el aumento del consumo en el hogar, escolarización de hijos e hijas menores de edad, y mejora en la salud y nutrición. Sin embargo, los efectos a mediano y largo plazos son poco concluyentes en lo relativo a la identificación de elementos de intervención que expliquen el cambio social y desarrollo del capital humano. Dicha dificultad se puede explicar por la adopción de metodologías de evaluación que impiden estudiar en profundidad los impactos asociados a la intervención. Así, es fundamental establecer nuevas perspectivas de evaluación que permitan identificar, describir, explicar y comprender el impacto de los PTC.

Aquí se abordan dichos aspectos y se propone una nueva perspectiva metodológica. Para ello, primero se hace un relevamiento exploratorio del panorama actual de la evaluación de políticas sociales en América Latina y el Caribe, para luego profundizar en la evaluación de los PTC y las metodologías de impacto. Finalmente, se plantea una nueva perspectiva metodológica para evaluar el impacto de los PTC.

La evaluación de las políticas sociales en la región latinoamericana

Durante las últimas décadas, la evaluación se ha posicionado en el sector público de toda América Latina. Esto se explica por la trascendencia de la implementación de las políticas y programas sociales basados en la evidencia y el modelo de administración pública de gestión por resultados que los gobiernos latinoamericanos han ido adoptando paulatinamente para llevar a cabo su quehacer (^{Cohen et al., 2001}). En este escenario, la evaluación se configura como una herramienta que permite articular los contenidos que están en la base de la formulación de políticas sociales con su implementación, la administración de recursos y los efectos sociales. La evaluación asimismo se concibe como una herramienta técnica y política que contribuye a la mejora de la gestión pública a través de la medición y el análisis de las políticas y programas sociales.

En el sector público, los esfuerzos por introducir la práctica evaluativa se visualizan notoriamente en las áreas de educación, salud y nutrición infantil (^{Rawlings & Rubio, 2006}). Sin embargo, la práctica evaluativa posee diferentes niveles de desarrollo debido a la dispar penetración de una cultura evaluativa, al grado de institucionalizarla, lo mismo que al soporte técnico, los recursos destinados y las estructuras internas de los gobiernos (^{Lautieur, 2001}). Se ponen de manifiesto así la carencia de sistematicidad de la praxis, su utilización irregular en la toma de decisiones y en la rendición de cuentas y que, en algunos casos, las experiencias evaluativas carecen de rigor metodológico.

Los principales avances que se observan en estas materias en América Latina y el Caribe, se vinculan con las transformaciones de las estructuras y los procesos de las instituciones del sector público, por medio de la creación de sistemas de evaluación, seguimiento y/o monitoreo, cuyo objetivo ha sido desarrollar nuevos sistemas de gestión, integrando componentes de medición e información que sirvan de insumo para las decisiones estratégicas respecto a políticas y programas sociales, además de ser una herramienta para la rendición de cuentas del gasto público (^{CEPAL, 2014}). La conformación de tales sistemas de evaluación, monitoreo y seguimiento se sustentan en la premisa de dar mayor racionalidad a los ajustes de la intervención pública dentro de un marco de modernización. A su vez, estos sistemas responden a la necesidad de los gobiernos locales de legitimarse ante la ciudadanía y responder a la alta demanda por servicios efectivos con respuestas sostenibles (^{CEPAL, 2014}). En esta lógica, los gobiernos se ven obligados a mejorar su desempeño.

Mediante la institucionalización de la evaluación se han logrado avances en cuanto al carácter legislativo de la práctica, y la creación de organizaciones públicas encargadas de regular y administrar las funciones evaluativas cimentadas sobre criterios de valor público, sin perder de vista referentes como la eficacia y la eficiencia. De igual modo, ha permitido conectar la evaluación y sus resultados con el poder ejecutivo para asegurar que, en efecto, la evaluación actúe como una herramienta para la toma de decisiones de los gobiernos y los parlamentos (^{Ruiz, 2012}). La institucionalización de la evaluación entonces implica instaurar la práctica en el sistema gubernamental de tal manera que se perciba como parte del proceso de la gestión pública y que, en consecuencia, sea parte del ciclo de las políticas públicas. Por lo anterior, la institucionalización se define como “un proceso político por el que se legitima un marco normativo adecuado para el desarrollo de la función evaluadora a partir de la estructuración de espacios e instancias de las administraciones públicas a las que encargar tal función, ubicándoles en niveles de gobierno y según las distintas actividades o sectores a evaluar” (^{Garde, 2006, p. 4}).

En cuanto a las experiencias de institucionalización de la evaluación en América Latina y el Caribe, algunos países han incorporado la práctica evaluadora en el proceso de la gestión pública creando sistemas de evaluación y monitoreo. Dicha inclusión incide sobre todo en la toma de decisiones presupuestarias y para corregir cumplimientos de metas. Destacan en esto Chile, Colombia, Brasil, Costa Rica y Uruguay; mientras que Honduras, Paraguay, Perú y Nicaragua poseen un desarrollo incipiente y de baja sistematicidad (^{Feinstein, 2012}).

Cuando se analizan las experiencias de los países latinoamericanos en materia de evaluación y de sus sistemas de evaluación y monitoreo, se concluye que, durante los últimos cinco años, el 56% han creado o mantenido sistemas de evaluación y monitoreo conformados normativamente; no obstante, solo 32% se encuentra operativo y desarrollando procesos evaluativos que después se utilizan en alguna etapa de la gestión pública (^{Bello, 2014}). Este panorama podría explicarse por el nivel de modernización de los Estados.

Por otro lado, en la mayoría de los países de la región, los sistemas de evaluación y monitoreo operan vía órganos estatales como secretarías de planificación, oficina de la presidencia, secretarías de hacienda o secretarías mixtas hacienda-planificación (^{Máttar y Cuervo 2017}). Por ejemplo, en los casos de Chile, México y Perú, los sistemas de evaluación y monitoreo actúan desde la Secretaría de Hacienda; en Colombia, Costa Rica, Ecuador, Guyana, Paraguay, Venezuela, y Trinidad y Tobago, se ejecutan desde la Secretaría de Planificación; en El Salvador, Guatemala, Honduras, Jamaica, Nicaragua y Panamá operan desde la Oficina de la Presidencia; en Brasil, República Dominicana y Uruguay operan desde Finanzas y Planificación, y en Argentina y Bolivia existen consejos o comités especiales para los sistemas de evaluación.

La función de los sistemas de evaluación y monitoreo es uno de los aspectos más relevantes, puesto que la forma en que se utiliza la información resultante de los procesos evaluativos permite dar sentido a este ejercicio y deja en evidencia su incidencia en la gestión político-administrativa. Las líneas de actuación pública en las que la evaluación puede influir son las siguientes: en los procesos de toma de decisiones presupuestarias, en la planificación, en la gestión de programas, en la formulación y/o mejoramiento de estos, y en la rendición de cuentas. Cabe señalar que la evaluación tiene menor alcance en los procesos de mejora de las políticas y programas públicos, por lo que se podría especular que la práctica evaluativa no se fija como propósito la medición de los efectos y la magnitud de la intervención pública sobre la población objeto y, por tanto, no hay insumos que permitan replantear el curso de una política o un programa. Por ello se torna relevante enfatizar la importancia de las evaluaciones de impacto social de las políticas, debido a que permiten prever las repercusiones sobre la sociedad y determinar si se aminoran los problemas sociales por los que se constituyó una política pública (^{Valdés & Espina, 2011}).

La evaluación de programas de transferencias condicionadas en América Latina y el Caribe: balance y evidencias

Establecida la trascendencia de las evaluaciones de políticas públicas y, en particular, de las evaluaciones de políticas y programas de desarrollo social, vale centrar el análisis en la evaluación de impacto de los PTC, puesto que durante los últimos años se han posicionado como pilar fundamental de los programas de superación de pobreza en los países de América Latina y el Caribe hasta ser una oferta pública de gran alcance.

Los PTC surgen en la región a mediados de los años noventa, con las primeras experiencias en diversas municipalidades de Brasil. En 1997, se implementan en México y con la llegada del año 2000 se convirtió en una intervención social en gran parte de América Latina y el Caribe, con distintos niveles de centralidad en los sistemas de protección social (^{Levy & Rodríguez, 2005}).

En la actualidad, los métodos más habituales para medir el impacto de los PTC son las evaluaciones experimentales o cuasi experimentales que examinan los distintos aspectos de la intervención mediante grupos de control o contrafactuales. Las evaluaciones cualitativas han sido igualmente utilizadas para enriquecer y complementar el análisis, puesto que posibilitan la comprensión de los procesos desencadenados por los programas (^{Rawlings & Rubio, 2005}).

A propósito de las evaluaciones realizadas, los resultados de intervención revelan que se han producido avances en los objetivos intermedios respecto al desarrollo de capacidades humanas. Algunos indicadores que dan cuenta de estos logros son el acceso a la escuela y a los servicios de salud. En el componente educación, los efectos se concentran en el incremento en la matrícula escolar, que es más relevante en los países donde los niveles de referencia eran más bajos. También destaca en este mismo componente la diferencia que produce la “condicionalidad” en la probabilidad de asistir a la escuela.

En la misma línea educacional, otras evaluaciones de los PTC de México, Jamaica, República Dominicana y Paraguay muestran avances significativos en la disminución de la deserción escolar, el aumento de la matrícula escolar y el mejoramiento de las calificaciones (^{Sedesol, 2008}; ^{Levy & Ohls, 2007}). Sin embargo, no hay información que permita concluir asociaciones entre los objetivos intermedios y los objetivos finales de desarrollo humano, tales como el aprendizaje y la mantención a largo plazo en los sistemas educacionales de niños y niñas (Castiñeira, Nunes & Rungo, 2009).

Respecto a los hallazgos en la línea salud, en los indicadores de pobreza y de consumo el panorama es similar: se carece de conclusiones sobre los objetivos finales y/o medición de efectos a largo plazo que evidencien el cambio social esperado a partir de la intervención. Para el caso de los componentes de salud y nutrición se observan aumentos de cobertura en controles de crecimiento para niños y preventivos. Para Colombia en específico se concluye que la prevalencia de desnutrición crónica ha disminuido 1% (^{Attanasio, Trias & Vera-Hernández, 2008}), pero el impacto a largo plazo en el estado de salud y nutrición es heterogéneo y poco concluyente (^{Hoddinott & Basset, 2009}). Cabe preguntarse: ¿cuál es el estado de salud/nutrición de los beneficiarios en la instancia posterior al egreso del programa?, ¿el programa incide positivamente en la mantención de un estado de salud y nutrición óptimos en el largo plazo?

Acerca de la medición de los indicadores de pobreza, la conclusión se ubica en la línea de macrodatos y de manera muy superficial se abordan aspectos cualitativos que expliquen la disminución de los indicadores de pobreza. Por otro lado, las evaluaciones se dividen en las que se centran en sus efectos desde el punto de vista de los usuarios y las que miden sus consecuencias en los índices de pobreza a nivel nacional. La ^{CEPAL (2010)} muestra que las transferencias condicionadas representan alrededor del 10% del ingreso per cápita de los hogares beneficiarios; no obstante, se carece de información precisa y sistemática sobre la mantención, aumento o disminución del nivel de ingresos posterior al egreso del programa.

Para la línea del consumo, las evaluaciones de los PTC de Brasil, Colombia, México, Nicaragua y Paraguay muestran que el consumo de los hogares aumenta como resultado de su participación en los programas (^{Cecchini & Madariaga, 2011}).

En relación con la evaluación de impactos indirectos de los PTC sobre determinados indicadores, tales como generación de ingresos, trabajo infantil y/o empoderamiento de las mujeres, los resultados concluyen que, en la habilitación laboral, los beneficiarios no logran insertarse en el mercado laboral de modo sostenible. En el programa Chile Solidario, por ejemplo, uno de los componentes con mayor incumplimiento (83.3%) es el egreso con al menos uno de los integrantes del hogar trabajando de forma regular y con ingresos estables. En Brasil, los usuarios que logran encontrar trabajo no perduran por periodos superiores a once meses (^{Cecchini & Madariaga, 2011}). Esta situación se explica por factores estructurales que el programa de transferencia condicionada no logra modificar debido a su campo de acción. En lo relativo al trabajo infantil, los efectos son variables y en general muestran la tendencia de las familias a combinar las dimensiones de trabajo y asistencia a centros escolares. Para el empoderamiento de las mujeres, con base en las evaluaciones cualitativas del programa de México, se observa que se ha incrementado la autoestima de las mujeres y su posición dentro de la comunidad, al ser receptoras de los beneficios de la intervención (^{Veras Soares & Silva, 2010a}, ^2010b).

Frente al análisis de los impactos indirectos de los PTC cabe recalcar que no es fácil medir el mejoramiento de los indicadores que solo tienen incidencia indirecta. Por tanto, las metodologías de evaluación debiesen ser adaptadas, considerando la especificidad del programa evaluado, su contexto y condiciones específicas. Por ejemplo, cuando se miden indicadores de generación de ingresos cabe preguntarse: ¿son las características propias de los PTC las únicas responsables del aumento de los ingresos o de la inserción laboral? O ¿qué características propias de los beneficiarios incide en el logro de estos resultados?, ¿cuáles son las condiciones políticas, sectoriales y las ofertas de empleo local?, ¿el trabajo infantil disminuye a propósito del programa o es la combinación de este en conjunto con otras condiciones, en el contexto en el que se desenvuelven los beneficiarios de la intervención?

Esta falta de información concluyente (de los efectos a largo plazo) se podría explicar por la escasez de evaluaciones de impacto en esa medida de tiempo, y por la carencia de metodologías refinadas y sensibles para medir efectos a largo plazo. Desde el punto de vista estrictamente metodológico, llama la atención el déficit de proyectos de evaluación de impacto orientados a medir indicadores de cambio social a largo plazo, entendiendo que el desarrollo de capacidades humanas es un proceso que necesariamente requiere de tiempo para consolidarse al interior de las familias, al igual que la superación de la pobreza y la esperada movilidad social. Frente a esto, surge la pregunta de si las metodologías tradicionalmente utilizadas y validadas, debido a sus componentes específicos, permiten estudiar, identificar y concluir resultados de cambio social. A partir de esta inquietud, es preciso señalar que las metodologías con diseños experimentales y/o cuasi experimentales no es que carezcan de rigurosidad, sino que es necesario repensar en metodologías que permitan ampliar los campos comprensivos para entender cómo opera la intervención, determinar si se producen efectos a largo plazo y cuáles son los mecanismos que inciden en los procesos de cambio social.

Metodologías de evaluación de impacto

En este apartado se profundiza en el análisis de las metodologías de evaluación de impacto que se han venido utilizando a lo largo de estos años para medir los efectos de los PTC, dado que es relevante sostener una posición crítica frente a ellas a propósito de la carencia de resultados a mediano y largo plazos y en la medición de indicadores de cambio social.

En cuanto a los diseños metodológicos de evaluación de los PTC, estos son preponderantemente experimentales o cuasi experimentales y han utilizado grupos contrafactuales. También se utilizan, en menor medida, evaluaciones de carácter cualitativo para mejorar la comprensión de los procesos del programa. Las principales experiencias de evaluación de programas de transferencias condicionadas provienen de México, mientras que en otros países como Chile (Chile Solidario) y Brasil (Bolsa Família) se han presentado dificultades en la evaluación, debido a que no cuentan con datos comparables o la disponibilidad y calidad de información es restringida.

La supremacía de los diseños experimentales y cuasi experimentales en la práctica evaluativa de políticas públicas se relaciona con la necesidad de las administraciones por mejorar su gestión y modernizar el Estado, en congruencia con el modelo de administración de gestión por resultados y por la importancia de las políticas basadas en evidencia. Con este razonamiento, la relevancia de establecer indicadores con virtudes comparativas, la búsqueda de causalidad, la obtención de resultados medibles lo más objetivos posible y que puedan generalizarse conlleva la adopción de perspectivas epistemológicas basadas en el empirismo. Los diseños experimentales y cuasi experimentales apuntan precisamente a la generación de datos fiables, medibles y con propiedades generalizables.

Sin embargo, estas prácticas evaluativas deben sortear dos barreras extrapolables a otras experiencias de evaluación. La primera se refiere a la dificultad de coordinar las evaluaciones de impacto con los cronogramas de implementación de los programas, y la segunda es el desafío de hacer un llamado de apoyo político necesario para lograr implementar efectivamente una evaluación de impacto. Cuando se ejecutan programas de características complejas como estos, el proceso de implementación puede sufrir retrasos, lo que a su vez altera el proceso de evaluación. Así mismo, los cambios en la situación política, como el cambio de gobierno, elecciones o modificaciones en el aparato administrador de los programas, pueden afectar el diseño e implementación tanto del programa como de la evaluación. Otra dificultad es el retraso en la entrega de beneficios del programa y que el sistema de información administrativa no pesquise dicho evento y, peor aún, que dicha situación no sea considerada en el proceso de evaluación, provocando así una alteración en la medición. Ejemplo de esto último es el caso del PTC de México, en el que los registros de pago del programa Progresa reveló que el 27% de la población en condiciones de participar de la intervención e incorporada a la muestra de evaluación, no había recibido beneficios luego de casi dos años de operación (^{Rawlings & Rubio, 2006}). Pese a que las evaluaciones experimentales o cuasi experimentales recogen datos que permiten depurar el análisis y anular variables de confusión, en la práctica esta virtud de la evaluación no ha sido utilizada para el manejo de dichas contingencias.

Por otro lado, la multiplicidad de métodos utilizados en la evaluación de impacto genera un importante debate en el mundo académico y técnico, a propósito de un abanico de consideraciones que se deben contemplar al plantear un diseño metodológico para evaluar. Algunas de las variables que entran en juego en tal debate son: el grado de objetividad de los métodos elegidos, la profundidad de la investigación, el referente valorativo, el nivel de tecnicismo y de participación, el enfoque unidisciplinar o multidisciplinar que se adopte, el objetivo subyacente a una evaluación, el grado de énfasis que se otorgue a la teoría y a las evidencias, el grado de construcción de evaluación bajo parámetros estandarizados o de caso único y el grado de énfasis por métodos cuantitativos, cualitativos o mixtos (^{Cardozo, 2011}).

Estos debates logran cierta claridad en la medida en que la misma se da en los supuestos onto-epistemológicos que subyacen a los procesos evaluativos.

Así, por una parte están los enfoques positivista y neopositivista que, en términos generales, provienen de las ciencias exactas y en sus postulados enfatizan la distancia impuesta respecto del objeto de análisis preocupándose por la validez interna y externa, la confiabilidad del diseño metodológico, la objetividad, la importancia por la cuantificación y/o la utilización de la experimentación o la modelización; esta última generalmente usada por los economistas. En el ámbito del positivismo, las hipótesis son planteadas en forma de proposiciones y se sujetan a verificación empírica. Bajo este paradigma, la realidad se plantea como una sola a la que es necesario descubrir y conocer, mientras que la percepción se configura como la única base admisible del conocimiento humano y del pensamiento preciso. El positivismo solo acepta conocimientos que provienen de la experiencia, es decir, de datos empíricos y concibe al conocimiento como independiente del tiempo y el contexto, lo que permite generalizar y establecer leyes de causa-efecto (^{Labra, 2013}). El neopositivismo, en cambio, es una corriente que cobró auge en el siglo XX, sobre todo en el área anglosajona, pese a que surgió en Viena. Esta perspectiva realiza una crítica a la metafísica, al descartarla como saber absoluto. Se trata de una tendencia filosófica influenciada por el empirismo que sostiene la importancia del análisis del lenguaje y que apuesta por readaptar la terminología de la diversidad de ciencias para establecer leyes fundamentales y, posteriormente, leyes particulares para cada una de ellas.

Por otro lado, el constructivismo sostiene que la realidad es múltiple y que existen tantas como individuos. Por lo tanto, se aleja de la visión objetiva del positivismo y se centra en fenómenos que conectan lo micro y lo macro, considerando el contexto y la multidimensionalidad de los problemas. Basada en esto, se interesa por la investigación cualitativa, en ocasiones complementada con la estadística. El constructivismo, que tiene sus primeros cimientos con Immanuel Kant en el siglo XVIII, sostiene que las clasificaciones no reflejan cómo es el mundo, sino que son formas convenientes de representarlo (^{Della Porta & Keating, 2013}), por tanto, el mundo que se conoce es construido por la mente humana. Las cosas en sí existen, pero las personas las aprecian de acuerdo a cómo son capaces de percibirlas. Otro autor relevante de este paradigma es Max Weber, quien habla del término comprender, el cual alude a reconocer que, además de la descripción y medición de variables sociales, deben considerarse los significados subjetivos y la comprensión del contexto donde ocurre el fenómeno (^{Della Porta & Keating, 2013}). De esta manera, el constructivismo postula que no existe la realidad objetiva y que se le construye socialmente. El conocimiento también es construido socialmente por las personas que participan en una investigación, la cual es resultado de los valores del investigador y no puede ser independiente de ellos. Este enfoque postula además que no es posible determinar generalizaciones. Omitiendo el contexto y el tiempo en que se sitúa un fenómeno, se basa en razonamientos hermenéuticos y dialógicos, procesos que permiten la construcción de la realidad (^{Zúñiga, 1993}).

Dicho esto, al plantear un diseño de evaluación de impacto, es fundamental preguntarse: ¿la base epistemológica subyacente a las evaluaciones permite desarrollar procesos orientados a identificar y estudiar los mecanismos que explican el cambio social?, ¿la base ontológica es la pertinente para obtener una mirada ampliada de los efectos de una intervención?, ¿en las evaluaciones se toman en cuenta las condiciones contextuales particulares y situadas en donde se desenvuelve una intervención que además puede incidir y/o explicar la generación de efectos?

Lo primero que cabe señalar es que para la implementación de evaluaciones de impacto es necesario considerar y poner en relieve las características de los fenómenos que intentan resolverse a partir de los programas de intervención. Para el caso de las evaluaciones de los PTC es esencial admitir que la pobreza es un fenómeno multidimensional que opera como un sistema abierto; es decir, que la pobreza está inserta en un sistema social multidimensional en sus causas, mantenimiento y efectos. Consecuentemente, la transversalidad de un PTC siempre producirá diferencias cuantitativas y cualitativas de acuerdo a las particularidades de los beneficiarios, a los mecanismos personales de cada uno de ellos para responder a la intervención, al contexto y el periodo en que se desenvuelve la intervención, y a las características sociales, geográficas, territoriales e incluso las políticas interministeriales locales.

Lo segundo es que todas las evaluaciones de políticas y programas sociales cumplen una función político-administrativa dado que debieran configurarse como un insumo para la mejora sistemática de la gestión pública. Desde esta perspectiva, las evaluaciones deben reportar elementos específicos y estructurales, cuantitativos y cualitativos, relativos al funcionamiento de las intervenciones y proporcionar información prescriptiva a los órganos legisladores.

En tercer lugar, las evaluaciones debiesen ser una radiografía del funcionamiento de los programas de intervención y proporcionar elementos diferenciadores de las intervenciones, a propósito de su implementación.

Observando todo esto resulta sesgado plantear una metodología de evaluación solo por sus propiedades de validación, generalización o comparación de datos. Además, una evaluación debe proponer la búsqueda ampliada de marcos comprensivos acerca de la intervención y de sus impactos.

Para constatar las características de los procesos evaluativos y la tendencia en la utilización de metodologías, se llevó a cabo un relevamiento exploratorio de las experiencias de evaluación de programas de superación de la pobreza en países de América Latina y el Caribe. Para ello se analizaron 88 informes de evaluación de programas de superación de la pobreza de Chile, Argentina, Brasil, Colombia, Nicaragua, Costa Rica, Panamá, México, Perú, Bolivia, Paraguay, Ecuador, El Salvador, Honduras, Uruguay, Jamaica y Guatemala. Dentro de los programas de superación de la pobreza destacan los PTC, generación de empleos, inversión en infraestructura (vivienda) y subsidios alimenticios. La Gráfica 1 resume el porcentaje de informes de evaluación por países y la Gráfica 2 el porcentaje de programas evaluados según su tipología.

Fuente: Elaboración propia.

Gráfica 1 Porcentaje de evaluaciones de impacto de programas de superación de pobreza por países de América Latina y el Caribe 

Fuente: Elaboración propia.

Gráfica 2 Porcentaje de evaluaciones de impacto según su tipología 

Las experiencias de evaluación de impacto de programas de desarrollo social en la región evidencian el interés que han despertado los PTC, pues cerca del 70% de los informes de evaluación pertenece a este tipo de intervención. Colombia, México, Brasil y Chile son los países que más han desarrollado procesos de evaluación, totalizando más del 60% de los informes de evaluación analizados en este apartado. En este escenario, el aporte técnico y la financiación de organismos internacionales como el Banco Mundial es indispensable en la incidencia que pueden realizar en las instituciones públicas para aumentar la práctica evaluativa en el resto de la región y, más aún, visualizar la evaluación como una herramienta de transformación y mejora de políticas y programas sociales, lo cual podría replicarse en el monitoreo y fiscalización de dichos procesos.

En cuanto a los diseños de evaluación de impacto, se concluye que, de la totalidad de informes, 20.4% da cuenta de procesos de evaluación bajo diseños experimentales, 72.3% con diseños cuasi experimentales y 6.8% con diseños no experimentales. Este predominio de los primeros se explicaría por la complejidad de establecer diseños experimentales, y porque los cuasi experimentales permiten una alta validación y aceptación para determinar los efectos de un programa o intervención. Por otra parte, 45.4% del total de informes analizados tiene un diseño prospectivo y 54.5% retrospectivo.

En cuanto a los métodos de estimación de contrafactual, el más utilizado es el método de pareamiento, con 37.7%, cuando son diseños cuasi experimentales. En un porcentaje menor aparece el método diferencia en diferencia y métodos combinados, ambos con casi 15%. La Gráfica 3 muestra el porcentaje de uso de los distintos métodos de estimación de contrafactual para evaluaciones de impacto de programas de superación de pobreza de América Latina y el Caribe. Cabe señalar que, dentro de los métodos combinados para estimar contrafactual, el más utilizado es el de diferencia en diferencia/regresión discontinua con 44.4% y el método regresión discontinua/pareamiento con 22.2%.

Fuente: Elaboración propia.

Gráfica 3 Porcentaje de utilización de métodos para estimar contrafactual en evaluaciones de impacto de programas de superación de la pobreza en América Latina y el Caribe 

Todos los programas analizados son ejecutados como parte de la oferta de políticas de desarrollo social de los distintos países de la región; no obstante, los encargados del proceso de evaluación provienen de distintos sectores. De esta forma, se aprecia que 85.2% de las evaluaciones las desarrollan equipos externos, entre los que predominan consultoras autónomas y, en otros casos, el Banco Mundial, el PNUD y universidades. El 7.9% son evaluaciones desarrolladas por equipos internos. Y 6.8% son evaluaciones con evaluadores mixtos, es decir, evaluaciones con participación de equipos internos y asesoría técnica y logística de equipos externos. Esto podría explicarse, en parte, por el déficit de capacidades técnicas de los equipos internos en materia de evaluación, por la falta de sistemas de monitoreo y seguimiento que se ejecuten desde el aparato gubernamental o porque la financiación proviene de organismos externos o con la intención de asegurar procesos confiables.

Otro elemento conveniente de analizar son los instrumentos de recogida de datos, por ser fundamentales para la estimación de los efectos de un programa. De los informes analizados, la totalidad utiliza diversos instrumentos de recogida de datos, dependiendo de la naturaleza de la información recopilada. Destaca el uso de datos provenientes de censos y datos panel (13.6%), y de encuestas sociodemográficas a nivel nacional (23.2%), generalmente provenientes del instituto nacional de estadísticas de cada país u organismos con funciones similares. Otros instrumentos corresponden a cuestionarios y encuestas ad hoc (53.4%), datos y registros propios del programa evaluado (4.1%) e instrumentos estandarizados (5.4%), tales como test de inteligencia, desarrollo cognitivo, y exámenes nutricionales y de aprendizaje, entre otros.

Por último, otro aspecto relevante de analizar son las sugerencias y recomendaciones que se desprenden de los resultados obtenidos, dado que es esencial para repensar las políticas y programas que se ejecutan. Como el objetivo de una evaluación de impacto es determinar el efecto de una intervención se configura como herramienta para mejorar las políticas públicas y la gestión político-administrativa. Así, el aporte de las conclusiones que se extraen de un proceso de evaluación es importante para conectar el lado técnico de una evaluación con el lado político de la misma.

Sin embargo, una de las principales carencias de los informes analizados es que cerca del 63% de los informes no desarrolla sugerencias ni recomendaciones orientadas a la mejora de los programas evaluados. Es probable que esto se explique porque el objetivo de las evaluaciones no necesariamente está ligado a aportar para la mejora de programas, sino a fines de control y auditoría debido a que son financiados por organismos internacionales. Se trata de un aspecto crítico, puesto que en apariencia lo resultante de una evaluación tiene incidencia escasa en la gestión político-administrativa y, por consiguiente, la función evaluadora no se cumple a cabalidad. En cuanto a los informes con recomendaciones (37.5%), se registraron las siguientes características:

A la luz del análisis descriptivo de los informes de evaluación de impacto, se acentúa la necesidad de repensar en metodologías y procesos de evaluación capaces de integrar elementos comprensivos acerca del funcionamiento de las intervenciones, los mecanismos de cambio social, la capacidad prescriptiva de las evaluaciones y, por sobre todo, resolver la escasez en el estudio de resultados de mediano y largo plazos de los PTC.

Necesidad de nuevas perspectivas metodológicas

A propósito de la necesidad aquí planteada de repensar en metodologías de evaluación capaces de ampliar los campos comprensivos acerca del estudio de los efectos a corto, mediano y largo plazos de los PTC, en este apartado se profundiza en algunos paradigmas metodológicos que pueden ser alternativos a los que se han venido utilizando en las últimas décadas.

Lo primero consiste en reivindicar la adopción de metodologías mixtas para procesos evaluativos, de corte cuantitativo y cualitativo, sin que esto signifique abandonar la búsqueda de patrones de resultados que lleven a la validación y generalización.

Lo segundo es plantear supuestos ontológicos y epistemológicos que conformen la base de la premisa de integración de diferentes elementos necesarios de un proceso evaluativo. Esto es, conciliar la necesidad de establecer indicadores comparativos, con la búsqueda de causalidad o identificación de probabilidades de ocurrencia, y con las mediciones objetivas con cierto grado de generalización con la búsqueda ampliada, específica y diferenciada de elementos que expliquen el cambio social. Esto último, en total concordancia con la teoría de los sistemas abiertos, dinámicos, multidimensionales y contextuales que debiesen estar en la base del estudio de la pobreza y de la evaluación de programas orientados a superarla.

Para ello es esencial introducir nuevas orientaciones metodológicas con fundamento en lo ontológico y lo epistemológico. Aquí se propone un salto cualitativo en dichos términos, en materia de evaluación de impacto. Presenta a la escuela filosófica del realismo crítico como una alternativa ontológica para hacer frente a las limitaciones del positivismo, su superficialidad ontológica y las consecuencias sobre su pertinencia epistemológica, el reduccionismo y la falta de profundidad filosófica.

¿Qué hallazgos obtendríamos si las evaluaciones transitaran de enfoques positivistas a otros propios del realismo crítico?, ¿por qué el realismo crítico podría convertirse en el enfoque que esté en la base de las evaluaciones de impacto?, ¿qué avances epistemológicos podrían obtenerse con un enfoque de estas características?

El realismo crítico es un enfoque perteneciente a corrientes pospositivistas y con paradigmas más abiertos y flexibles en cuanto lo epistemológico. Surge a mitad del siglo XIX y sus exponentes más importantes son Wilhelm Dilthey, Williams James y Karl Popper. Este enfoque sostiene que existe una realidad, pero solo puede ser conocida de manera imperfecta o parcial a causa de las limitaciones humanas del investigador. El valor de la objetividad es solamente un estándar que guía la investigación, por lo que el investigador debe estar atento y tratar de procurar la neutralidad, para evitar que sus tendencias incidan en el estudio, además de seguir procedimientos prestablecidos y estandarizados (^{Della Porta & Keating, 2013}).

La principal promoción del realismo crítico versus el positivismo tradicionalmente utilizado en las evaluaciones de impacto de programas sociales y, específicamente de los programas de transferencias condicionadas, es que el primero defiende la teoría de sistemas abiertos propios de los fenómenos sociales, mientras que el segundo está supeditado a la condición implícita de un sistema cerrado, por lo que la búsqueda de la causalidad es lineal y debe ser estrictamente medible y cuantificable (^{Bhaskar, 1998}).

Esta forma filosófica de comprender los fenómenos sociales introduce el concepto de emergencia social estratificada, con el cual se reconoce que todo fenómeno social es producto de la conjugación de aspectos de la realidad que a su vez dan nacimiento a nuevos fenómenos, cuyas propiedades no se pueden simplificar a las de sus elementos originales (^{Sayer, 2000}). En la sociedad todo evento será el resultado de la interacción de propiedades estructurales con propiedades de los individuos que ejercen o no una labor (^{Parra, 2016}). Esta idea supone el planteamiento de nuevos procesos de evaluaciones; específicamente, se trata de reformular la manera de entender la búsqueda de impactos, la forma de medir y de comprender los resultados y efectos de una intervención.

En términos metodológicos, los supuestos del realismo crítico se alejan del positivismo. La noción de estratificación y sistemas abiertos cuestiona las lógicas de inferencia deductiva o inductiva puestas al servicio del análisis social (^{Lawson, 1997}; ^{Wuisman, 2005}). Las explicaciones que derivan de dichas lógicas positivistas realmente no explican nada, solo describen una relación estadística e identifican las tendencias en un comportamiento observable. El realismo crítico, en cambio, adhiere a un modo de inferencia que conduce al investigador de la superficie de los fenómenos a sus causas, es decir, a niveles más profundos de la realidad. Según esta lógica, se da importancia a razonamientos como la abducción y la retroducción.

La abducción “requiere de un proceso de razonamiento creativo que permita al investigador discernir sobre relaciones y conexiones que no son evidentes, ni obvias” (^{Danermark, Mats, Liselotte & Jan, 2002, p. 92}). Dicho esto, la abducción se circunscribe a la interpretación y asociación de fenómenos observables con sus posibles explicaciones causales. Por tanto, implicaría la teorización a partir de la lectura y la interpretación de las percepciones y los imaginarios de los actores sociales que forman parte del objeto de estudio (^{Blaike, 2007}).

Por su parte, la retroducción es un “modo de inferencia en la que los eventos son explicados por medio de la postulación y la identificación de los mecanismos capaces de producirlos” (^{Sayer, 1992, p. 107}). Es decir, este método se constituye desde un pensamiento transfáctico, en tanto su interés es develar las condiciones necesarias y suficientes para la ocurrencia de fenómenos sociales.

En el marco de estos planteamientos, el realismo crítico introduce otro elemento diferenciador de las perspectivas positivistas respecto al análisis social y en concreto en la búsqueda de causalidad. Mientras que el positivismo plantea una causalidad lineal (causa-efecto), haciendo referencia casi exclusiva al estrato empírico, el realismo crítico refiere que la causalidad lineal es al menos un tanto reduccionista y que se aleja de la esencia transfáctica de los fenómenos sociales. Así mismo, plantea una causalidad generativa que se explica no solo por la presencia de una intervención, sino que se trata de esta en conjunto con la activación de mecanismos en un contexto determinado, los cuales explican la ocurrencia de un fenómeno o los resultados de una intervención (^{Willmott, 2002}).

Siguiendo esta lógica, el paradigma de realidad que el realismo crítico sostiene guía el proceso epistemológico para entender lo social. Lo real es en esencia inobservable y eso conlleva centrar el estudio en los mecanismos implícitos que activan el proceso de cambio. Del mismo modo, y a propósito de los sistemas abiertos, se deben tomar en cuenta los microcontextos en que se desarrolla un fenómeno o intervención para comprender cómo dichos contextos inciden, potencian o explican un proceso de cambio (^{Parra, 2016}). Lo social ocurre contextualmente.

A partir de los planteamientos expuestos, cabe preguntarse: ¿por qué el realismo crítico puede ser la alternativa a los enfoques positivistas? La respuesta es clara: el realismo crítico posibilita un salto cualitativo en el estudio de lo social y, en materia de evaluación, da la posibilidad de profundizar, identificar, conocer y comprender los mecanismos implícitos y los contextos en que se produce el cambio social. La promoción de esta escuela filosófica se encuentra precisamente en lo ontológico más que en la adopción de técnicas de investigación. Lo ontológico permite reformular las lógicas epistemológicas y probablemente las técnicas de investigación no deban abandonarse dado que permiten acceder al campo comprensivo.

El cambio ontológico también abre nuevas oportunidades para la evaluación, ya que, al comprender el proceso de cambio y los elementos que convergen para generar dicho cambio, se pueden trazar lineamientos (basados en la evidencia) para reformular los programas de transferencias condicionadas y sus características particulares, y a su vez mejorar la gestión pública.

Discusiones

Es probable que la discusión que despierte el planteamiento de una nueva perspectiva de evaluación de impacto se desarrolle por lo menos en dos líneas de pensamiento. La primera se relaciona con la pertinencia/utilidad de nuevas perspectivas en la gestión pública; la segunda, a la defensa de nuevos enfoques frente a la validación de los enfoques positivistas.

En cuanto a la pertinencia y utilidad de repensar nuevas perspectivas metodológicas para la evaluación de impacto en la gestión pública, tiene asidero a propósito del modelo de administración pública-gestión por resultados, que los gobiernos latinoamericanos han ido adoptando en la última década y en donde lo central es la implementación de políticas y programas basados en la evidencia. Desde esta perspectiva, es un asunto de primer orden posicionar la evaluación como una herramienta técnica y política que contribuya a la mejora constante de la gestión pública y, en particular, que se configure como una radiografía del funcionamiento, la eficiencia y la eficacia de los programas sociales. Además de este posicionamiento, dicha evaluación debe ser capaz de profundizar en los mecanismos explicativos y específicos del cambio social.

Respecto a la defensa de nuevos enfoques frente a los enfoques positivistas (por cierto, altamente validados), el argumento central radica en el debate acerca de la necesidad de alternativas que se hagan cargo de las limitaciones del positivismo para explicar y generar así reformulaciones y recomendaciones de los PTC sustentadas en una comprensión profunda de fenómenos políticos, económicos y sociales que afectan a las personas. Tal vez el reduccionismo del positivismo encuentra su explicación en lo ontológico.

En términos realistas, concebir un mundo estratificado y abierto supone retos en la forma en que puede ser estudiado, retos que no podrán superarse por medio de enfoques pragmáticos y simplificadores. En este supuesto, se visualizan dos implicancias concretas en materia de evaluaciones: a) posicionar la filosofía como base en el estudio de las ciencias sociales, y b) atender los problemas sociales con soluciones que armonicen lo abstracto/inobservable con lo observable.

Repensar metodologías de evaluación de impacto no solo conlleva posicionarse ontológicamente, también requiere de identificar enfoques de evaluación concordantes con los paradigmas del realismo crítico. Frente a esto, la discusión debe centrarse en los enfoques más idóneos en términos de adaptabilidad, viabilidad económica, técnica y metodológica. Si bien en este texto no se pretende desarrollar directrices metodológicas, sí se plantean algunas propuestas.

La evaluación basada en la teoría, la evaluación realista y el análisis de la contribución pueden configurarse como enfoques complementarios para construir una propuesta metodológica para la evaluación de impacto de PTC. Dichos enfoques son concordantes con el realismo crítico en cuanto a las premisas de sistemas abiertos, la búsqueda de causalidad generativa y la búsqueda de contribución que los programas de transferencias condicionadas, en conjunto con mecanismos implícitos de las personas, generan sobre los impactos evaluados.

Por último, conviene abordar las eventuales resistencias a la sustitución de enfoques altamente validados en el campo académico y las agencias de evaluación. Es probable que las resistencias se disipen en la medida en que las acumulaciones de experiencias evaluativas validen nuevas formas de llevar a cabo este quehacer y, por otro lado, parámetros como la validez interna y externa de un proceso evaluativo (y necesarios de alcanzar por los positivistas) sean resueltos en estos nuevos paradigmas en donde posiblemente también deban repensarse en tanto se renuncia a la búsqueda de causa-efecto, lo observable, lo estrictamente cuantificable y lo explícito. Por lo pronto, la instauración del concepto de contribución puede resolver estas materias.

Conclusiones

Este ensayo defiende y pone en relieve algunos elementos que debiesen ser centrales en materia de evaluación de políticas públicas. Lo primero es posicionar la evaluación como una herramienta técnica y política que contribuye a la gestión pública y a la mejora de las intervenciones del Estado en materia social a través de la consolidación de programas de intervención basados en la evidencia. La evaluación, en efecto, permite estudiar, identificar, describir y comprender la eficiencia y eficacia de una acción pública y, a su vez, prescribir elementos que promuevan la mejora de la intervención en términos de restructuración de sus componentes, aumentar o perfilar la focalización, sectorizar y reprogramar las intervenciones, entre otras cosas.

Desde esta premisa y para que en efecto la evaluación sea una herramienta de carácter técnico y político, deben cumplirse dos hitos estructurales que le proporcionen consistencia. Por una parte, la institucionalización de la práctica evaluativa y, por la otra, definir procesos evaluativos con bases ontológicas y epistemológicas que posibiliten el estudio ampliado y refinado de los factores que operan en el cambio social.

Acerca de la institucionalización de la evaluación y, en específico, de la institucionalización de la evaluación en los países de América Latina y el Caribe, este hito brinda la posibilidad de constituir una estructura autonómica con recursos técnicos, económicos y de infraestructura que den paso al desarrollo de procesos evaluativos al interior de la gestión pública; así mismo, contribuye a fortalecer el modelo de administración pública-gestión por resultados que muchos países latinoamericanos han ido adoptando, lo cual tiene alta congruencia a propósito de la necesidad de implementar políticas basadas en la evidencia. En definitiva, la institucionalización genera cultura evaluativa al interior de la acción pública y con ello vincula esta praxis con los poderes ejecutivo y legislativo y la valida en los gobiernos locales, regionales y subregionales.

En cuanto a las metodologías de evaluación de impacto, estas deben orientarse a producir conocimiento relativo a la comprensión de los efectos de cambio social que una intervención genera en la población y para ello dichas metodologías deben proporcionar información precisa, refinada y válida. En la actualidad, las metodologías de evaluación de impacto de los programas de transferencias condicionadas tienden a ser de carácter experimental o cuasi experimental lo que posibilita que sean evaluaciones con un alto grado de confiabilidad; sin embargo, presentan bajos reportes concluyentes respecto a los efectos a largo plazo y la identificación de indicadores de cambio social son poco sólidos. Frente a esto, este texto enfatiza en las bases ontológicas y epistemológicas que deben estar en la estructura de una evaluación de impacto, puesto que dichas bases orientan el posicionamiento filosófico de una evaluación y el carácter técnico para llevarlas a cabo. La reflexión filosófica es fundamental y pierde su valor si no contribuye a mejorar el bienestar de las sociedades, su omisión origina la producción de evaluaciones espurias, carentes de significado y de utilidad para la gestión pública.

Repensar nuevos enfoques metodológicos para la evaluación de los PTC desde lo ontológico y epistemológico, no implica el abandono de métodos recurrentes, sino más bien la invitación es a dar profundidad y contexto a las herramientas disponibles para que en efecto contribuyan a identificar, describir, explicar e informar los impactos a corto, mediano y largo plazos de estos programas y ampliar los campos comprensivos de los efectos sociales que se producen en el marco de la intervención.

La propuesta concreta es saltar cualitativamente a paradigmas del realismo crítico, en tanto se reconoce que fenómenos sociales como la pobreza y las intervenciones para superarla, requieren de un paradigma capaz de situar el dinamismo que los caracteriza. El realismo crítico propone una serie de principios necesarios para abordar la complejidad del mundo social y significan una ruptura con los modelos positivistas, específicamente en la búsqueda de causalidad y el paradigma de los sistemas abiertos.

La causalidad es entendida como generativa puesto que existen mecanismos y contextos particulares que explican la respuesta de beneficiarios hacia la intervención. Una intervención por sí sola no explica su eficacia; más bien es la intervención en convergencia con otros elementos externos la que contribuye al cambio social. Por ello cobra relevancia hablar de la contribución de un programa más que hablar de causalidad.

Por otra parte, el paradigma de los sistemas abiertos -contrario a los sistemas cerrados de los que hablan los modelos positivistas- instala la noción de que los fenómenos sociales son abiertos y, por tanto, dinámicos, contingentes, contextuales y multidimensionales en su origen, mantenimiento y cambio. Por eso pensar que una intervención por sí sola genera cambios en la población es reduccionista.

Enmarcados en el realismo crítico, se encuentran el enfoque de evaluación basado en la teoría, la evaluación realista y el análisis de contribución que aquí se han visualizado como eventuales enfoques capaces de dar respuesta a la búsqueda ampliada sobre los efectos de cambio social que los programas de transferencias condicionadas producen a corto, mediano y largo plazos.

Probablemente, el debate sobre las alternativas al positivismo en las ciencias sociales es complejo porque los diseños experimentales y cuasi experimentales tienen una alta validación a propósito de sus virtudes de validación y generalización de datos y por la ausencia de una clara operacionalización de un proceso evaluativo bajo el paradigma ontológico del realismo crítico, en tanto no existe acumulación de experiencias evaluativas. No obstante, sí está claro que es prioritario generar evaluaciones sustentadas en la búsqueda de una comprensión profunda de los fenómenos políticos, económicos y sociales que afectan la vida de millones de personas. Para ello, el énfasis debe estar puesto en tomar en serio la reflexión filosófica como base en las ciencias sociales y en la evaluación de impacto. El reto es profundizar en la operacionalización de un proceso evaluativo bajo los supuestos del realismo crítico y del enfoque de la evaluación basada en la teoría, la evaluación realista y el análisis de la contribución para observar cómo se comporta este nuevo modelo de evaluación.

En este escenario, una recomendación práctica es articular el relevamiento sobre la masa crítica de evaluaciones haciendo distinciones por tipo de evaluaciones, por país, recursos implicados y bases conceptuales subyacentes a la praxis evaluativa. Esta articulación permite mejorar no solo la evaluación sino también poner en discusión la función de la práctica evaluativa en la mejora de la gestión pública y en fomentar la cultura evaluativa necesaria para la implementación de políticas basadas en evidencia.