La evaluación de políticas y programas públicos. El caso de los programas de desarrollo social en México*

Gerardo Torres Salcido**

* Myriam Irma Cardozo Brum, La evaluación de políticas y programas públicos. El caso de los programas de desarrollo social en México: Cámara de Diputados–Porrúa, México, 2006, 374 pp.

** Profesor adscrito al Centro de Investigaciones Interdisciplinarias en Ciencias y Humanidades, (CIICH), UNAM. Dirección electrónica: tsalcido@servidor.unam.mx

Recepción del original: 31–08–06 ]]> Recepción del artículo corregido: 31–04–07

En el dominio de las políticas públicas y de las tareas de gobernar cotidianas en las acciones administrativas, el establecimiento de acuerdos, convenciones y consensos requiere de normas, leyes y reglamentos que permitan tener marcos comunes para establecer las llamadas "buenas prácticas de gobierno" y distinguirlas de aquellas consideradas como nocivas o perniciosas. Como el acto de gobernar no puede exigir definiciones tajantes, las buenas prácticas demandan una identificación constante, una corrección y un rediseño para adaptarse a las condiciones políticas, de eficiencia administrativa y de formación de consenso.

En este sentido, la evaluación permite en primera instancia establecer en qué medida tiene lugar el cumplimiento de metas; cuál es la eficiencia operativa; el costo–beneficio de los programas; su adecuación a las normas operativas y la correspondencia entre gasto y objetivos.

Hasta aquí, como parte de un proceso y conclusión de la política pública, la evaluación podría ser considerada como un elemento técnico de las tareas de administración. Bajo esta concepción, se establece un flujo entre los conceptos guía de la política, las variables operativas de los programas, la construcción de indicadores y los índices de cumplimiento de los mismos, sin que ello signifique un conflicto mayor en las áreas responsables de la administración. No obstante, aún en ese sentido técnico de la evaluación, siempre existen temores y desconfianzas derivados de regímenes clientelistas; de funcionarios autoritarios y acostumbrados a la opacidad, que ven la evaluación como una amenaza. De ahí que las actitudes ante la evaluación sean francamente contrarias a este ejercicio en amplias esferas gubernamentales (locales y federales). Por ello, dicho práctica puede dar lugar a la simulación. Frente a la exigencia de la opinión pública y más aún de la vigilancia de organismos financieros internacionales, la evaluación puede ser adoptada de mala gana. Pocas son las dependencias y los funcionarios encargados que consideran la evaluación como un instrumento de corrección, desarrollo y crecimiento.

Sin embargo, este juego no se sustraen los propios evaluadores (aquellos considerados como externos) más por su adscripción institucional que por las miras, propósitos y fines de su acción. Son muchos los factores involucrados en este juego y rejuego de la acción de evaluar: la situación histórica –países sin una tradición democrática de evaluación de resultados–, técnicas predeterminadas de evaluación que se convierten en una maraña de poder entre evaluador y evaluados; los recursos económicos destinados a los ejercicios de evaluación y las capacidades intelectuales de los equipos de evaluación.

Hasta aquí hemos tratado la evaluación como un acto en el cual la administración y el evaluador externo juegan en una arena en la que pueden establecerse reglas de poder, competencia y sobrevivencia. Sin embargo, si tomamos en cuenta a los destinatarios de las acciones de gobierno en el sentido no sólo del cumplimiento de los objetivos de la política pública sino en el de las metas de los programas y su impacto real en la vida de la población denominada objetivo, el panorama se vuelve cada vez más complejo, pues en la arena aparecen otros jugadores –los reales– a los que a veces el ejercicio de la evaluación apenas si los toma en cuenta bajo un rubro general y vago llamado "satisfacción de los usuarios".

Por ello, frente a una forma de evaluación cuantitativa; dominante, el ejercicio permanente de la gobernanza exige una evaluación construida por los sujetos del desarrollo.

Ello demanda una serie de cuestiones planteadas por Cardozo en su libro. Por ejemplo, ¿quién determina las normas, reglas, técnicas, instrumentos, presentación de resultados y aplicación? ¿Cuál es el fundamento de los criterios legales y de los conceptos que guían las peticiones de evaluación? ¿Cómo se incorporan los puntos de vista de los usuarios y de los beneficiarios de los programas al diseño evaluativo?

Estas son algunas de las preguntas que guían el libro de Myriam Cardozo, y sugieren que aún a pesar de la corta historia de la evaluación en México, es posible enjuiciar la evaluación misma.

Así, el tema abordado por el libro es relevante y pertinente para la Administración Pública actual y para los procesos de ajuste democrático que está experimentando el país. Además, es original, pues no existen, hasta el momento, estudios que analicen la evaluación en el ámbito de los programas sociales, aunque estos sean relativamente numerosos en el ámbito de la educación. A propósito de esto último, llama la atención que Myriam Cardozo sólo tenga una referencia bibliográfica de evaluación educativa y ninguna sobre metaevaluación, como un antecedente en el ámbito de las políticas públicas y los programas de desarrollo social.

No obstante, es meritorio el que su investigación se encuentre sólidamente sustentada en los desarrollos de la teoría de la evaluación y el papel de ésta en las nuevas corrientes de la Administración Pública como el New Public Management, lo cual motiva a cuestionar la validez intemporal que pretende darse a las evaluaciones basadas en técnicas econométricas.

Sin embargo, aún a pesar del interés gubernamental por impulsar la evaluación cuantitativa basada en métodos cuasi experimentales con técnicas econométricas, se enfrenta a deficiencias y dogmatismos en el uso de esa metodología y en su aplicación técnica. Las hipótesis establecidas por Myriam Cardozo –agrupadas en un conglomerado de carácter descriptivo y, en otro, de carácter explicativo– pueden resumirse en la afirmación de que las evaluaciones de políticas y programas públicos en México, sobre todo los concernientes al desarrollo social, con la excepción de las evaluaciones iniciales del PROGRESA, adolecen de calidad técnico–metodológica. Ello tiene su origen en factores múltiples, entre los cuales destacan los cognoscitivos relativos a la formación y profesionalización de los evaluadores, así como a su independencia y autonomía. Hubiera sido pertinente añadir a estos factores la importancia de la participación social en las evaluaciones, abordada en el capítulo 11 del libro; capítulo central que permite al lector observar los resultados sintéticos de la investigación.

El libro se encuentra estructurado en dos partes:

En la primera se aborda la evaluación y su importancia para la Administración Pública; las aportaciones y el debate teórico en la ciencia de las Políticas Públicas; la construcción histórica de la evaluación en América Latina y el papel desempeñado por los organismos financieros internacionales en este proceso. Al final de la primera parte, Myriam Cardozo sugiere los elementos que debe contener una metaevaluación, con base en criterios epistemológicos relacionados con una perspectiva compleja y panorámica, o "total". Así, frente a una definición inicial de metaevaluación, como un tipo de evaluación que enjuicia "...la calidad y el mérito de lo que hacen los evaluadores profesionales "en busca del perfeccionamiento de la selección de los evaluadores, de las técnicas y métodos de la evaluación", señala, en la página 138, que la llamada metaevaluación enjuicia no sólo el trabajo de los evaluadores "(...) sino de todo el sistema (...) incluyendo el papel jugado por otros actores e instancias que inciden en la calidad del proceso (...) y del informe final".

La segunda parte –la más importante– es una metaevaluación de las evaluaciones realizadas a 31 programas de desarrollo social gestionados por la Secretaría de Desarrollo Social durante el 2002. En esta parte se establece lo que la autora entiende por "calidad de las evaluaciones", las cuales incorporan variables relacionadas con:

a) Las fuentes de información;

b) La pertinencia de los programas; recursos utilizados en las evaluaciones;

]]> c) El análisis de procesos, coberturas, resultados, impactos;

d) La satisfacción social y participación, y

e) La utilización de resultados y recomendaciones, entre otros.

En este sentido, es meritorio que Cardozo avance en el establecimiento de criterios de la metaevaluación. Sin embargo, considero como tarea pendiente la reflexión sobre el desarrollo de un modelo para calificar el informe final del proceso evaluativo, aunque sin olvidar las condicionantes históricas y epistemológicas impuestas por las nociones interpretativas.

Derivado de lo anterior, la aportación de Cardozo es el cuestionamiento a la calidad de la evaluación en función de los recursos económicos. Si bien a primera vista dichos recursos parecen estar relacionados con la calidad de los productos, la correlación es muy débil. La calidad de las evaluaciones se relaciona más estrechamente con variables de coordinación de equipos y de integración interdisciplinaria y multidisciplinaria de los equipos de trabajo. También influye la independencia real del investigador, la metodología utilizada y la formulación de un juicio valorativo fundado. Estas conclusiones derivan de un esquema que enmarca la metaevaluación en un análisis "foda" (Fortalezas, Oportunidades, Desafíos y Amenazas) de la evaluación de programas sociales.

Las conclusiones del libro, lejos de ser un resumen de lo dicho con anterioridad, se formulan como un debate sobre los escenarios y la prospectiva de la evaluación desde los más diversos ángulos, lo que le permite estructurar una propuesta para llevar a cabo metaevaluaciones periódicas de los programas sociales en México.

Sólo una cuestión que es necesario retomar en estos comentarios finales: la participación social en la evaluación, la cual no es desglosada más que desde el punto de vista del formalismo jurídico o la visión ambigua de la satisfacción social. Es hasta cierto punto incomprensible que en un régimen democrático no se evalúe el cumplimiento de las metas de participación social y ciudadana y que los ejercicios de evaluación y de metaevaluación haya reflexionado poco sobre las formas en que los sujetos–actores de los beneficios se involucran en los programas sociales, los hacen suyos e imponen dinámicas de densificación de redes sociales o de interacción con la burocracia; como lo han demostrado otros estudios, que aunque no financiados por la Secretaría de Desarrollo Social, corresponden, por igual a evaluaciones desde el punto de vista de un juicio fundado. Una reflexión más amplia sobre la forma en que la sociedad civil se involucra en la construcción de las valoraciones de los programas y de la ardua tarea de administrar y gobernar sería muy saludable para la profundización democrática; una reflexión sobre las formas y las categorías de la participación es también una tarea urgente.

El libro de Myriam Cardozo es una refrescante llamada de atención sobre los problemas urgentes de la evaluación y será, indudablemente, una referencia en los estudios futuros sobre la evaluación de programas sociales en México.