Estudios

 

La institucionalización de una cultura de la evaluación en la administración pública mexicana: avances y desafíos pendientes

 

Myriam Cardozo Brum

 

Universidad Autónoma Metropolitana–Xochimilco, México. E–mail: mcardozo@correo.xoc.uam.mx

 

Envío a dictamen: 17 de octubre de 2008.
Aprobación: 30 de enero de 2009.

 

Abstract

Facing the limited development of assessing culture in Mexican Public Administration during the last century, and the few works published in order to analyze said situation, the present article analyzes the recent evolution of the processes of external evaluation of the social development programs so as to value their contribution to institutionalization in the aforementioned culture. This works concludes that, to date, there has been important advancement in the evaluation's normative framework; nonetheless, in the rest of the reviewed aspects only lesser words are heard, and the background problems detected early in the process prevail.

Key words: evaluation, meta–evolution, social development, public administration, Mexico.

 

Resumen

Ante el limitado desarrollo de la cultura evaluativa en la administración pública mexicana durante el siglo pasado, y los pocos trabajos publicados para analizar dicha situación, el presente artículo examina la evolución reciente de los procesos de evaluación externa de los programas de desarrollo social, para valorar su contribución a la institucionalización de la mencionada cultura. El trabajo concluye que, a la fecha, ha habido importantes avances en el marco normativo de las evaluaciones; sin embargo, en el resto de los aspectos revisados sólo se perciben mejoras menores, subsistiendo los problemas de fondo detectados al inicio del proceso.

Palabras clave: evaluación, metaevaluación, desarrollo social, administración pública, México.

 

Introducción

Ante el limitado desarrollo de la cultura evaluativa en la administración pública mexicana durante el siglo pasado, y los pocos trabajos publicados para analizar dicha situación, el presente artículo examina la evolución reciente de los procesos de evaluación externa de los programas de desarrollo social, para valorar su contribución a la institucionalización de la mencionada cultura.

La metodología empleada para la exploración del caso se basó en el análisis documental y la realización de once entrevistas con base en una muestra intencionada dirigida a informantes–clave: autoridades de la Secretaría de Desarrollo Social (Sedesol) y del Consejo Nacional de Evaluación de la Política de Desarrollo Social (Coneval), así como ex funcionarios de las instancias operativas de programas, funcionarios de otras secretarías de Estado, evaluadores externos y diputados.

El artículo concluye que se ha avanzado en el proceso de institucionalización de una cultura de la evaluación, pero que aún subsisten importantes problemas por resolver, y explora sus perspectivas inmediatas.¹

 

Breve marco referencial

La evaluación consiste en una investigación, de tendencia interdisciplinaria, cuyo objetivo es conocer, explicar y valorar, mediante la aplicación de un método sistemático, el nivel de logros alcanzado (resultados e impactos) por las políticas y programas públicos, así como aportar elementos al proceso de toma de decisiones para mejorar los efectos de la actividad evaluada (Cardozo, 2006).

Contar con una evaluación integral permite a los gobiernos dirigir y ajustar estratégicamente sus políticas y programas hacia el logro de sus objetivos y metas, a partir de la comprensión de sus resultados o out puts (productos o servicios) e impactos o outcomes (efectos provocados por los productos o servicios en el problema que se trata de resolver). Para ello, resulta necesario conocer las características de los recursos empleados (cantidad, calidad, oportunidad, etcétera) y de los procesos que han permitido su transformación en resultados (productividad, eficiencia, etcétera), así como sus principales condicionantes contextuales (económicas, sociales y políticas).

A partir de los ochenta, la mayoría de los países ha intentado aplicar la evaluación, en particular en América Latina, la región más desigual del mundo en donde persisten problemas de pobreza, desempleo, bajos salarios, salud, educación, vivienda, etcétera.

Por su parte, las políticas sociales constituyen un tipo particular de políticas públicas, cuyo objetivo final es el logro del bienestar social mediante estrategias y programas de redistribución de la riqueza y del ingreso, para mejorar de manera continua las condiciones de vida de la población (Cardozo, 2000). Al finalizar la Segunda Guerra Mundial, éstas fueron impulsadas en el marco de los Estados de bienestar europeos y, en menor medida, por los latinoamericanos, y tendieron a ampliar los derechos sociales y procurar condiciones aceptables de vida para el conjunto de la sociedad. México desarrolló múltiples programas sociales en este periodo.

Sin embargo, en los años setenta y ochenta, el modelo de Estado de bienestar fue cuestionado y entró en crisis. En respuesta a esta situación se propusieron nuevas combinaciones de lo público y lo privado en la provisión de servicios sociales, en gran parte inspiradas en las ideas defendidas por el New Public Management (NPM): reducción del tamaño del Estado, desmantelamiento del intervencionismo estatal, aplicación de políticas de descentralización y de privatización de empresas públicas, y empleo del mecanismo de mercado como nueva centralidad.

Al finalizar la década de 1980, el anterior énfasis en políticas universales había sido sustituido por programas focalizados en la atención de la pobreza extrema, cuya medición en México mostraba magnitudes alarmantes (Hernández, 1991). En este contexto, en los últimos 15 años, se han aplicado múltiples programas con esta orientación, entre los que destacan el Programa Nacional de Solidaridad de 1988 a 1994 (Pronasol), el Programa de Salud, Alimentación y Educación de 1997 a 2002 (Progresa) y el Programa de Desarrollo Humano Oportunidades de 2002 a la fecha.

En la actualidad, ante la persistencia de los problemas de la pobreza, resulta necesario evaluar las políticas y programas sociales, y valorar nuevas formas de gestión pública y social.

 

La cultura evaluativa en la administración pública mexicana

La evaluación y metaevaluación se encuentran aún en proceso de desarrollo: cuentan con mayores avances en países como Estados Unidos o el Reino Unido, tienen algunas experiencias importantes en Canadá, Francia y España, y están poco desarrolladas en América Latina en general.

En México, las preocupaciones en torno a la evaluación datan de 1917 y se intensifican a finales de los sesenta. Los intentos de reformas, especialmente dirigidos a los procesos de planeación de los que la evaluación formó parte, comienzan en la administración de López Portillo, y su origen podría ubicarse en los trabajos realizados, desde 1965, por la Comisión de Administración Pública (CAP), a la que pertenecieron tanto él como varios colaboradores suyos.

Sin embargo, la lógica sexenal hizo que cada administración llegara con su nuevo personal público y reorientara los programas gubernamentales para ponerles su sello propio, provocando el desinterés por evaluar lo hecho por la anterior, situación que prevaleció hasta iniciado el siglo XXI. De esta forma, lo realizado en materia de evaluación fue poco, parcial y de carácter punitivo (en lugar de priorizar la generación de aprendizajes constructivos), desconociéndose realmente los niveles de eficiencia y de impacto de los programas gubernamentales en los problemas que pretendían resolver.

A partir de 1997, con la creación del Progresa, el proceso de evaluación de programas gubernamentales comenzó a instrumentarse de manera sistemática. El mismo se generalizó obligatoriamente para todos los programas gubernamentales sujetos a Reglas de Operación, con base en la decisión incluida en el Presupuesto de Egresos de la Federación (PEF) aprobado por la Cámara de Diputados en el año 2000; en particular, los dirigidos a la reducción de la pobreza que se encuentran a cargo de la Sedesol.

A pesar del esfuerzo realizado en los últimos años para que los informes final es de evaluación de programas resulten accesibles por Internet, la ciudadanía cuenta con poca información publicada sobre los procesos de evaluación emprendidos, especialmente los métodos y técnicas aplicados, la relación costos/calidad de los resultados alcanzados, y el nivel de utilización de dichos resultados en los procesos decisorios. Estos aspectos pueden ser investigados mediante el desarrollo de una metaevaluación, un tipo particular de evaluación, cuyo objetivo es enjuiciar la calidad y el mérito de lo que hacen los evaluadores profesionales, persiguiendo el perfeccionamiento de sus trabajos y promoviendo una mejor comprensión de los mismos (Cardozo, 2006). Para ello toma como objeto de análisis al proceso de evaluación aplicado a los programas sociales: sus insumos, procedimientos, métodos, resultados e impactos.

En México, ante la limitada difusión inicial de las evaluaciones y la ausencia de metaevaluaciones, se realizó un primer trabajo (Cardozo, 2006) para diagnosticar el estado de la evaluación de las políticas y los programas de desarrollo social con base en la información disponible sobre la gestión fiscal de 2002 (metaevaluación transversal). En el presente artículo se analiza la evolución de los procesos anteriores en el periodo 2001–2008, especialmente los cambios introducidos con la expedición de la Ley General de Desarrollo Social y su reglamento, y la creación del Coneval. Recientemente, han sido publicados otros dos nuevos trabajos de este tipo (Vargas, 2007; Schwentesius et al., 2007), pero ambos se refieren a las evaluaciones de los programas de desarrollo rural.

 

Evolución de las características del sistema de evaluación 2001–2008

En 2001–2004 las características del sistema de evaluación fueron bastante estables y estuvieron guiadas por el "Acuerdo por el que se expiden los requisitos mínimos que las dependencias y entidades de la Administración Pública Federal deberán considerar para seleccionar a las instituciones académicas y de investigación u organismos especializados, de carácter nacional o internacional, interesados en realizar la evaluación de resultados de los programas gubernamentales sujetos a Reglas de Operación en el ejercicio fiscal 2002", firmado por la Secretaría de Hacienda y Crédito Público (SHCP) y la entonces Secretaría de la Contraloría y de Desarrollo Administrativo (Secodam), y publicado en el Diario Oficial de la Federación el 30 de abril de 2002 (Segunda Sección: 4–7).

En el anterior se especificaba que la evaluación debía incluir como mínimo: el porcentaje de cumplimiento de los objetivos generales y particulares del programa, especialmente el grado de satisfacción de la población objetivo y la cobertura alcanzada, el cumplimiento de las reglas de operación, los beneficios económicos y sociales que resultaran de la aplicación de recursos; el costo–beneficio de los recursos asignados al programa, el cumplimiento de sus metas físicas y financieras, la presentación del escenario prospectivo, la opinión sobre la permanencia o conclusión del programa, y conclusiones y recomendaciones.

En 2005 se solicitó lo que Sedesol denominó metaanálisis de las evaluaciones y que consistió en un análisis comparativo de las evaluaciones efectuadas hasta ese año. En 2006 se volvió a la realización de evaluaciones globales anuales, incluyendo: diseño, cobertura y focalización, operación, resultados y percepción.

En 2007 algunos programas hicieron evaluaciones de diseño con información de gabinete, respondiendo 34 preguntas binarias referentes a las características del programa, su contribución a los objetivos estratégicos, su matriz de indicadores, las Reglas de Operación (RO), así como las coincidencias, complementariedades o duplicidades con otros programas. Además, se iniciaron evaluaciones de consistencia y resultados, que comprendieron 100 preguntas binarias,² y finalizaron en 2008.³ Éstas implicaron un diagnóstico sobre la capacidad institucional, organizacional y de gestión de los programas, y también se basaron exclusivamente en información de gabinete. Por otro lado, el Coneval solicitó directamente evaluaciones de cinco programas: Abasto Social de Leche, Apoyo Alimentario, Abasto Rural, Hábitat y Oportunidades. En 2008, sólo se llevaron a cabo las solicitadas por los propios programas.

A continuación se revisan los principales cambios acaecidos en el periodo 2001–2008 y la percepción de los diferentes actores vinculados con la evaluación.

Cambios en la normatividad

Un parteaguas en este sentido lo constituye la Ley General de Desarrollo Social (LGDS), publicada el 20 de enero de 2004 que, en sus artículos 72 y 81, previó la creación del Coneval como organismo público descentralizado, encargado de revisar periódicamente el cumplimiento de objetivos de programas y acciones, por sí mismo o a través de uno o varios organismos, independientes del ejecutor del programa. La citada ley agrega que se buscará medir cobertura, calidad e impacto, y se emplearán indicadores de resultados, gestión y servicios. Los resultados de las evaluaciones deberían ser publicados en el Diario Oficial de la Federación y se entregarían a las Comisiones de Desarrollo Social de las Cámaras de Diputados y Senadores del Congreso de la Unión y a la Sedesol (art. 79). Con base en dichos resultados, el Coneval podría emitir sugerencias y recomendaciones al Ejecutivo federal y hacerlas del conocimiento público (art. 80).

Si bien su reglamento debió haberse expedido en un plazo no mayor de 90 días naturales (art. segundo transitorio) y el Coneval haberse conformado en un plazo de 190 días naturales de la entrada en vigor de la LDGS (art. tercero transitorio), estos eventos se produjeron a inicios de 2006. En el caso del reglamento, su expedición provocó serias discrepancias motivadas por las modificaciones que introdujo a la LGDS, lo que estuvo a punto de transformarse en una controversia constitucional.⁴

En marzo de 2007, la SHCP presentó a la Cámara de Diputados, en observancia de lo previsto en la Ley Federal de Presupuesto y Responsabilidad Hacendaria, su Propuesta de Sistema de Evaluación del Desempeño (SED). La Comisión de Presupuesto y Cuenta Pública (CPyCP) reconoció su contribución al diseño de nuevos mecanismos para la asignación de presupuesto, pero estuvo en desacuerdo porque no se incluían los mecanismos de participación de la Cámara de Diputados —a través de sus Comisiones Ordinarias coordinadas por la CPyCP—, se confería al Ejecutivo federal un papel de "juez y parte", daba facultades exclusivas a la SHCP y al Coneval en detrimento de las correspondientes a la SFP y se corría el riesgo de priorizar los objetivos de control del gasto sobre los del desempeño.

Por otra parte, la Comisión de Presupuesto consideró importante rescatar la experiencia de la Auditoría Superior de la Federación (ASF) en la realización de auditorías de desempeño desde 2001, improcedente la propuesta de transformar al Coneval en un Consejo Nacional de Evaluación de las Políticas Públicas, y refrendó las facultades evaluatorias de sus Comisiones Ordinarias (CCEDRSSA, 2008).

En resumen, el Comité del Centro de Estudios para el Desarrollo Rural Sustentable y la Soberanía Alimentaria (CCEDRSSA) considera que el SED, concebido como parte del modelo de NPM que la SHCP promueve aplicar, implica despolitizar la formulación de políticas y del presupuesto, incorporando mecanismos jurídicos (a diferencia del sistema propuesto durante la presidencia de Ernesto Zedillo) y técnicos para condicionar dichos procesos a los resultados obtenidos en las evaluaciones y controles correspondientes. Pero, en la práctica, considera que el Ejecutivo implementó el SED al generar nuevos indicadores, criterios de evaluación, metodologías para el rediseño de programas públicos y mecanismos de seguimiento a las recomendaciones.

Finalmente, el Decreto de Presupuesto de Egresos de la Federación 2008 estableció que se efectuaría un diagnóstico y consulta a los agentes involucrados para adecuar al marco constitucional la legislación que regula las funciones de fiscalización y evaluación del gasto público de sus Comisiones Ordinarias y sus órganos técnicos, previendo mecanismos que propicien la interrelación en estas materias con el poder ejecutivo, los gobiernos de las entidades federativas y los congresos locales (arts. vigésimo y vigésimo segundo).

El Coneval, en tanto organismo público descentralizado encargado de revisar periódicamente el cumplimiento de objetivos de los programas y de las acciones de la política de Desarrollo Social, publicó el 30 de marzo de 2007 en el Diario Oficial de la Federación, conjuntamente con la SHCP y la Secretaría de la Función Pública (SFP), los "Lineamientos generales para la evaluación de programas federales de la Administración Pública Federal", en sustitución del acuerdo de 2002. Su objetivo es regular: la evaluación de los programas federales, la elaboración de la matriz de indicadores y de los sistemas de monitoreo, y la definición de los objetivos estratégicos de las dependencias y entidades de la administración pública federal.

En lo que se refiere concretamente a las evaluaciones, los lineamientos la definen como "[...] el análisis sistemático y objetivo de los programas federales y que tiene como finalidad determinar la pertinencia y el logro de sus objetivos y metas, así como su eficiencia, eficacia, calidad, resultados, impactos y sostenibilidad" (cap. I, art. tercero, numeral IV). Esta definición deja fuera la parte interpretativa y valorativa propia de la evaluación, y en ella parece repetirse el criterio de eficacia, que no es otra cosa más que el logro de objetivos y metas, mientras que el gran ausente es el relativo a la equidad.

Las evaluaciones son clasificadas en dos tipos: estratégicas y de programas federales (cap. I, art. décimo sexto). Las primeras se aplican a las estrategias, políticas e instituciones relacionadas con un programa o conjunto de programas; mientras que dentro de las segundas se identifican:

– Evaluación de consistencia y resultados: analiza el diseño, desempeño global y resultados basados en el seguimiento de indicadores, mediante trabajo de gabinete.

– Evaluación de indicadores: analiza la pertinencia y el alcance de los indicadores para la medición de resultados, incluyendo trabajo de campo.

– Evaluación de procesos: revisa la eficacia y eficiencia de los procesos operativos y su contribución al mejoramiento de la gestión.

– Evaluación de impacto: mide cambios en los indicadores de resultados atribuibles a la gestión del programa, con base en metodologías revisadas por la Sedesol, la SFP y el Coneval.

– Evaluación específica: todas las no comprendidas en los tipos previos, que pueden implicar tanto trabajo de gabinete como de campo.

Se mantiene como posibilidad la criticada exigencia previa de que las evaluaciones externas sean pagadas con cargo al presupuesto de la dependencia o entidad responsable del programa, cuestión que casi todos los entrevistados están de acuerdo en que es una limitante de la libertad del investigador. Se agrega la opción de que lo haga el Coneval, en el ámbito de su competencia y cuando él así lo determine.

También se establece la obligación de publicar un Programa Anual de Evaluaciones en el que se den a conocer los programas por evaluarse y el tipo de evaluación por efectuarse (cap. I, art. décimo séptimo), de dar seguimiento a las recomendaciones llevadas a cabo por los evaluadores con base en el convenio de compromisos de mejoramiento de la gestión para resultados (cap. VII, art. vigésimo quinto) y de publicar los informes de las evaluaciones en las páginas electrónicas de las dependencias y entidades responsables de los programas y en el portal del Sistema de Evaluación del Desempeño (cap. VII, art. vigésimo sexto y vigésimo séptimo).

Una innovación importante en términos de transparencia es la información complementaria (antes muy difícil de obtener) que también debe publicarse con datos generales como: nombre del coordinador de la evaluación externa y los miembros principales de su equipo, unidad administrativa que da seguimiento a la evaluación, forma de contratación, tipo de evaluación contratada, bases de datos, instrumentos de recolección de información, nota metodológica, resumen ejecutivo y costo total de la evaluación, incluyendo su fuente de financiamiento (cap. VII, art. vigésimo octavo).

Finalmente, el cap. III establece los requisitos mínimos de elegibilidad de los evaluadores externos y los procedimientos de contratación que deben mantenerse apegados a la Ley de Adquisiciones, Arrendamientos y Servicios del Sector Público.

Ante la pregunta formulada a evaluadores y ex funcionarios de los programas de desarrollo social entrevistados sobre el realismo, apego a la LGDS y utilidad de los procesos de evaluación parcial previstos en los lineamientos, todos concuerdan en la conveniencia técnica de realizar distintos tipo de evaluaciones parciales y la mayoría no percibe contradicción legal alguna, al considerar que la LGDS no exige la integralidad de la evaluación externa.⁵

Conde (2007) expresa su optimismo ante los cambios de normatividad presentados, no sin reconocer varios elementos preocupantes: presidencia del titular de Sedesol en todos los órganos creados por la LGDS, riesgo de que las normas no se cumplan, tintes políticos en la elección de los miembros académicos del Comité Ejecutivo del Coneval, entre otros. En particular, considera que los nuevos lineamientos evitan solicitudes erróneas o no factibles (p. ej. medición de impacto en periodos muy reducidos, análisis costo–beneficio o desgloses detallados de cobertura). Sin embargo, menciona que el trabajo de evaluación se ha centrado apresuradamente en la matriz de indicadores, sin dar tiempo suficiente a los programas para aprender su diseño y utilización, o bien, desperdiciando sus avances por retrocesos decididos por la SHCP.

En torno a la creación misma del Coneval, los entrevistados reconocen como sus mayores aportaciones:

– La existencia de una instancia externa a los programas que impulse, norme, coordine, contrate y valore la evaluación de los programas sociales, porque la reconoce como una estrategia de la política social, como una herramienta para definir la eficacia de los programas y apoyar las decisiones sobre su permanencia o sobre ajustes necesarios para mejorar los resultados y/o impactos.

– El Programa Anual de Evaluación como un paso adelante en términos de una estrategia, a más largo plazo, para la evaluación integral de la política social.

– La uniformidad lograda en los contenidos de las evaluaciones y los términos de referencia (TR).

– La aplicación de la metodología del marco lógico y la capacitación en ella de operadores y evaluadores.

Entre las limitaciones señalan:

– Tiempo insuficiente para las tareas encomendadas e integración "al vapor" de su personal.

– Riesgo de burocratización, en el sentido de que la evaluación se norme, se programe, se contrate y realice con estándares técnicos aceptables, pero que no se utilice para diseñar una política social dirigida a mejorar las condiciones de vida de la población ni a operarla eficazmente.

– Riesgo de falta de información suficiente para evaluar.

– Peligro de que no se tomen en cuenta las opiniones de los evaluadores para mejorar los instrumentos que se están aplicando.

Mecanismos de selección, contratación y pagos

La contratación de los evaluadores se efectúa en el marco de la Ley de Adquisiciones, Arrendamientos y Servicios del Sector público en su relación con el sector privado. Se trata de una ley pensada para la contratación de bienes, no de servicios, y menos de evaluación. Aunque ésta ha sufrido algunos cambios,⁶ los entrevistados afirman que prácticamente aquéllos no han mejorado la situación que nos interesa. Sin embargo, una evaluadora refiere dos modificaciones relevantes que podrían facilitar los procesos de selección de evaluadores, al mismo tiempo que podrían provocar contrataciones discrecionales, no fundamentadas en razones técnicas:

– La fracción III del artículo 36 que permite considerar para la adjudicación no sólo el precio más bajo sino la calidad de la propuesta.⁷

– La fracción X del artículo 41 que permite contratar adquisiciones, arrendamientos y servicios, sin sujetarse al procedimiento de licitación pública, a través de los procedimientos de invitación a cuando menos tres personas o de adjudicación directa cuando se trate de servicios de consultorías, asesorías, estudios, investigaciones o capacitación, debiendo aplicar el procedimiento de invitación a cuando menos tres personas, entre las que se incluirán instituciones de educación superior y centros de investigación. Si la materia de los servicios se refiriese a información reservada, en los términos establecidos en la Ley Federal de Transparencia y Acceso a la Información Pública Gubernamental, podrá autorizarse la contratación mediante adjudicación directa.

Desde que inició trabajos el Coneval, éste afirma haber empleado el mecanismo del concurso para elegir a los evaluadores, pero reconoce que esta afirmación no es válida para las contrataciones directas hechas por los responsables de programas, que podrían haber incrementado los procesos de asignación directa cuando ya han tenido buenas experiencias previas con algún evaluador y prefieren mantenerlo. Evaluadores, ex funcionarios de programas y funcionarios de la SFP señalan que la tendencia se ha mantenido en el sentido de utilizar el mecanismo de invitación restringida con invitación a cuando menos tres instituciones. Uno de los entrevistados agrega que en este último caso no se ha cumplido rigurosamente el procedimiento indicado en la ley, en relación con sesiones de dudas, levantamiento de actas, sesión de apertura de propuestas, etc. También que, aún en los casos en que el monto del contrato exigiría una licitación pública, ésta no se ha realizado.

Con base en las entrevistas aplicadas, se puede afirmar que los informes se apegan mejor a los TR, porque éstos se han vuelto más realistas y adecuados a los programas sociales, lo cual facilita la aprobación de los pagos correspondientes.

El hecho de que, antes de la existencia del Coneval, la selección, contratación y pago fueran siempre procesos realizados por el propio programa, es considerado por los entrevistados (evaluadores, ex funcionarios de programas y funcionarios de la SFP) como una limitación a la autonomía del evaluador⁸ o, al menos, un alto riesgo de que así sea. Sin embargo, se reconoce que esto ha mejorado debido a la diferenciación al interior del programa de una unidad convocante y otra contratante; aunque también lo ideal es que lo haga otra institución (p. ej. Coneval).

Recursos para evaluar

Hasta fechas recientes, el monto de recursos financieros para evaluar se establecía en función del presupuesto disponible por los propios programas, con el límite máximo de 7% del presupuesto total que establece el PEF para gastos de operación.

Las autoridades del Coneval opinan que actualmente hay más recursos financieros para hacer evaluaciones porque a los que tradicionalmente dedican los propios programas se han unido los dedicados por el Consejo, y también porque hay nuevos recursos en proceso, los cuales aportaría la SHCP en el marco del SED. Los evaluadores concuerdan con esta idea y agregan que existen menos diferencias entre programas, especialmente en el caso de los que dependen de la Sedesol, que en 2007 estableció el mismo techo financiero para todos. Las diferencias pueden ser mucho más marcadas entre las otras instituciones. De todas formas, habría una mejor estimación de costos, especialmente en función de que sea o no necesario realizar trabajos de campo. Sin embargo, una de las evaluadoras insistió mucho en que los recursos siguen siendo insuficientes cuando solicitan trabajo de campo con una muestra nacional muy dispersa, lo cual obliga a sustituir poblaciones por otras más agrupadas para ahorrar recursos. Agrega que, aunque no es científico, todos los evaluadores lo hacen para que el presupuesto alcance, y muy especialmente en el caso de la Sedesol que negocia los presupuestos más que otras secretarías.

Debido a que no existe un fondo común para todas las evaluaciones por llevar a cabo, su distribución no es racional, en función de la complejidad del trabajo. El funcionario de SFP considera que hay programas que cuentan con exceso de recursos mientras que en otros son insuficientes; por eso piensa que se deberían clasificar para decidir qué tipo de evaluación conviene y es posible en cada caso (p. ej. de impacto o simplemente de seguimiento de indicadores).

Con base en la información del Coneval, en 2007, las cinco evaluaciones de diseño, efectuadas sólo con trabajo de gabinete, costaron en promedio $262,057.41; por su parte, las 16 de consistencia y resultados realizadas en 2008, también de gabinete, insumieron en promedio $554,060.60. Si comparamos estos datos con el costo promedio de las 31 evaluaciones en 2002 de $1,695,000.00 (Cardozo, 2006), resulta obvio que, en total, se están dedicando menos recursos a la evaluación que en el pasado ($8,864,969.55 en 2008 frente a $20,294,004.70 en 2002) debido a la ausencia actual de trabajo de campo.

A nivel de los recursos humanos también hay acuerdo en que éstos han venido perfeccionándose en la práctica,⁹ no por la realización de estudios formales, que son prácticamente inexistentes en el país. Algunos equipos se han consolidado a partir de su experiencia previa en la aplicación de encuestas y muestreos, otros, en forma autodidacta o tomando cursos como los ofrecidos por el BID.¹⁰ También se menciona que la mayoría de los evaluadores se han especializado en evaluaciones de procesos, gestión y percepción; pero son muy pocos los que lo han hecho en medición de impactos. En particular, el Coneval junto con la Comisión Económica para América Latina (CEPAL) y, por otro lado, la SHCP, han estado capacitando intensamente en torno al diseño del Marco Lógico.

En el caso particular de los entrevistados, cuatro tenían grado de doctor (de los cuales tres eran evaluadores), tres eran maestros, un especialista, un ingeniero y dos diputados. En general, predominaban los estudios en economía, y en el caso de los funcionarios de la SFP, las formaciones en estadística, econometría e investigación de operaciones. Sólo dos habían participado en diplomados y cursos específicos relacionados con la evaluación de programas. Todos contaban con muchos años de experiencia.

En relación con los insumos de información se menciona que aunque su disposición y sistematización ha ido mejorando en los últimos años, su confiabilidad, suficiencia y oportunidad varían sustancialmente de un programa a otro. También hay problemas con la introducción de cambios en los campos de las bases de datos o en la apertura programática que dificultan o imposibilitan la comparación entre diferentes ejercicios fiscales. Las necesarias depuraciones disminuyen el tiempo disponible para realizar las evaluaciones, por eso se considera que aún se requiere mejorar mucho más.

Difusión y utilización de los resultados de las evaluaciones

A pesar de la obligación establecida en el numeral vigésimo sexto de los Lineamientos, en el sentido de ofrecer el acceso por Internet a todas las evaluaciones a más tardar en el mes de septiembre, a la fecha son muchas las dependencias y entidades que no las publican. La Sedesol tiene en su página las evaluaciones efectuadas hasta 2006 y el Coneval cuenta con un concentrado de las anteriores y las de 2007–2008, si bien una de las entrevistadas afirma que no están completas y que no cumplió con el plazo establecido por su propia normatividad para publicarlas en Internet. De acuerdo con la LGDS, los informes también deberían publicarse en el Diario Oficial de la Federación, pero esto encontró mucha resistencia por parte de los operadores de programas por razones de costo y no se ha cumplido. Finalmente, se señala que no se han implementado canales para dar a conocer los resultados de las evaluaciones a los beneficiarios y usuarios de los programas.

En relación con su utilización por los mismos programas, una evaluadora afirma que existen informes (no de Coneval) que ni siquiera son leídos por las unidades responsables de la operación del programa o la contratante de la evaluación, dependencias que no distribuyen las evaluaciones entre las instancia responsables en las entidades federativas, ni efectúan propuestas para tomar en cuenta sus recomendaciones. En sentido opuesto, el funcionario de Sedesol entrevistado asegura que dichos informes han sido utilizados y que próximamente se publicará un libro en que se recupera esta experiencia, especialmente en los programas de combate a la desnutrición: Abasto Social de Leche, Abasto Rural, Apoyo Alimentario y Oportunidades.

Sólo la Sedesol contaba con un Sistema de Seguimiento a Evaluaciones Externas (Sisee) y vigilancia estrecha de los compromisos asumidos y sus tiempos. Sin embargo, el mecanismo anterior sólo parece haber sido efectivo al inicio de su aplicación, ya que nos informan que poco a poco los funcionarios fueron disminuyendo la magnitud de sus compromisos en los convenios correspondientes o se limitaron a hacerlos meramente formales (p. ej. envío de un oficio solicitando algo acordado) ante el temor de que la SFP o la ASF pudieran acusarlos de incumplimiento.

Otra entrevistada considera que lo más frecuente es que los programas implementen las recomendaciones y den seguimiento al proceso; sin embargo, su tratamiento es muy burocrático, lento y formal, y se reporta en términos de "porcentaje de cumplimiento", sin valorar si la implementación de la recomendación efectivamente contribuyó a mejorar el asunto para el que fue realizada.

A nivel de la SFP, la opinión es que existe un avance en el uso de recomendaciones pero aún muy insuficiente, por lo que a través de los Programas de Mejoramiento de la Gestión que se intentan introducir se incluiría un nuevo mecanismo de seguimiento de recomendaciones. La idea seguiría siendo la que instrumentaba la Sedesol: que los operadores expresen cómo las tendrán en cuenta y en qué plazo, o bien, que argumenten las razones que no hacen factible su aplicación y propongan una solución diferente. También podrían fundamentar su rechazo no sólo a la solución propuesta, sino al problema mismo identificado. Se piensa que de todas las evaluaciones actuales (fueron 116 de consistencia y resultados), Coneval, SHCP y SFP elegirían unas 10 o 15 para iniciar el proceso y probar su funcionamiento. Algunos entrevistados esperan, y el Coneval informa que se hará, la difusión de los convenios de recomendaciones y sus resultados después de su implementación.

Finalmente, no se perciben avances en la utilización que de las evaluaciones hacen los diputados. Al ser entrevistados, algunos demuestran no saber ni siquiera que existen evaluaciones externas y confundirlas con las auditorías realizadas por la ASF. También hay discrepancias, como ya se mencionó, entre el Ejecutivo y el legislativo en torno a la instancia responsable del SED. En la práctica, éste ya está operando en el Ejecutivo, pero todavía no ha sido aprobado por la Cámara.

Principales problemas

Al preguntarle a los entrevistados sobre los dos principales problemas actuales en la realización de las evaluaciones, expresaron lo siguiente:

– Las evaluaciones son vistas como un requisito administrativo más, en relación con la asignación presupuestal, una actividad que se debe cumplir pero que no es considerada una herramienta de trabajo fundamental para mejorar el diseño y la gestión y así lograr los resultados para los cuales se estableció el programa. La evaluación no está integrada en el proceso de vida de los programas. Esto se agudiza debido a la separación organizacional entre las áreas de evaluación y planeación, que genera más fricciones que colaboraciones. Es necesario trabajar a distintos niveles administrativos y políticos para conseguir que se entienda el sentido, la necesidad y la utilidad de la evaluación, con el fin de dirigir la política social hacia una manera más efectiva de mejorar las condiciones de vida de las personas. Ante similar identificación del problema, uno de los funcionarios entrevistados en SFP propone sistematizar los resultados de las evaluaciones, de modo que constituyan una variable del SED y no una información aislada.

– La inconveniencia de evaluar anualmente los programas sin dejarlos madurar.

– La carencia de diagnósticos que sirvan de punto de partida para el diseño del programa y la definición de sus alcances.

– La cantidad de recursos disponibles para evaluar y la necesidad de clasificarlos para solicitar evaluaciones diferenciadas en función de los tipos que se determinen.

– La falta de claridad de las unidades contratantes acerca de lo que puede hacerse en el tiempo que proponen y con los presupuestos que asignan (sobre todo las que no estaban en el Programa Anual de Evaluación). Los TR muchas veces demuestran que no saben lo que quieren ni cómo pedirlo.

– La falta de acceso, oportunidad y calidad de la información: las bases de datos siguen teniendo muchos errores y los informes presentan agregaciones que no permiten la evaluación de los aspectos relevantes.¹¹ Además, hasta 2006 la información no se tenía tiempo (el 15 de enero aún no llegaba el cierre de los estados) y la evaluación tenía que acabar en marzo. En 2007–2008 lo cambiaron y se dispondrá de mayor tiempo. Por otro lado, los registros eran incompletos y no sistematizados.

– Riesgo de que las evaluaciones se vuelvan una simulación en la medida en que la instancia evaluada tenga capacidad de veto sobre el informe final.

Adicionalmente, otro serio problema tiene que ver con los conocimientos evaluativos en el medio. En el apartado de recursos, mencionamos los problemas de formación y capacitación de los evaluadores, pero éstos son aún más críticos entre funcionarios ligados a la evaluación en los organismos que operan los programas y entre los diputados que deben tomar en cuenta las evaluaciones para asignar presupuestos. Al respecto, los entrevistados opinan que la mayoría de los anteriores son personas sin formación especializada, que, en el caso de la administración pública, ocupan puestos ligados con evaluación a diferentes niveles jerárquicos, que han mejorado un poco sus conocimientos mediante cursos virtuales, lecturas autodidactas y, en algunas secretarías, talleres sobre marco lógico. En cuanto a los diputados, consideran que se requiere un verdadero proceso de concientización que se agrava por su continua renovación, a pesar de que se habría impartido un diplomado en el tema.

En particular, como señala una de las entrevistadas, la medición de impacto es un problema porque hay pocos especialistas y su medición es compleja. El Coneval planea retomarlas el próximo año dentro de su Plan Anual de Evaluaciones; las haría con recursos propios, incluiría unos cinco programas, y se aplicaría el enfoque contrafactual, que a la fecha casi no se ha ejecutado con éxito. Los responsables de programas están cada vez más interesados en este tipo de trabajos; sin embargo, muchas veces no están conscientes de sus implicaciones: contar con un grupo de control, una línea basal y, mucho menos aún, de los problemas éticos que implica. Por esta razón, algunos especialistas opinan que sólo se debe realizar este tipo de evaluaciones a un número reducido de programas que gozan de mayor presupuesto, aplicar diferentes métodos, y estar conscientes de que en todos los casos lo que se logra, por razones metodológicas, sólo son aproximaciones al impacto del programa.

Institucionalización de una cultura de la evaluación

Los entrevistados identifican cambios mínimos en el tema de este título, localizados en las dependencias y entidades de la administración pública,¹² en menor grado en el poder legislativo y casi nulo entre la ciudadanía que desconoce su existencia, contenido, utilidad, etcétera.

No hay una adecuada coordinación entre el ejecutivo y el legislativo que facilite el desarrollo de la cultura evaluativa, cada uno de los poderes persigue su propio interés al tratar de contar con su sistema de evaluación. Uno de los evaluadores, a diferencia del resto de los entrevistados, manifiesta haber encontrado motivación por estos trabajos en algunos presidentes de comisiones de la Cámara de Diputados.

Las instituciones académicas se interesan y llevan a cabo investigaciones, pero el ciudadano común no cuenta ni siquiera con la información mínima para participar.

La única participación de los beneficiarios y otros actores sociales en las evaluaciones consiste en responder encuestas, cuando se hacen; los entrevistados están de acuerdo en que debería haber una participación social más efectiva y no perciben avances. Las contralorías sociales funcionan "en el papel", los evaluadores recogen testimonios que muestran que los beneficiarios firman actas sin saber de qué se trata.

 

Conclusiones y perspectivas

A la fecha ha habido fuertes modificaciones positivas en el marco normativo de las evaluaciones, como consecuencia del trabajo efectuado por el Coneval. Sin embargo, en el resto de los aspectos revisados sólo se perciben mejoras menores, subsistiendo los problemas de fondo detectados al inicio del proceso:

— Limitaciones importantes de los recursos institucionales (presupuestales y de información) para el desarrollo de trabajos de calidad. Actualmente, se dispone de más recursos financieros y han disminuido las diferencias injustificadas entre evaluaciones, pero siguen siendo insuficientes para realizar trabajos de campo con muestras nacionales dispersas. También ha mejorado la disposición y sistematización de la información, pero su confiabilidad, suficiencia y oportunidad siguen siendo muy variables.

— Mercado de evaluación aún en formación, contando con una oferta, también restringida, de profesionalización en el tema. Las capacidades especializadas se han ido perfeccionado en la práctica, ya que la oferta formativa casi no ha crecido. Subsisten problemas especialmente en materia de evaluación de impacto.

— Imprecisiones y ausencias por parte de la demanda (acuerdo, bases y términos de referencia). Se ha producido una sensible mejoría en el marco normativo de las evaluaciones solicitadas a partir de la creación del Coneval, si bien aún existen problemas por corregir (contrataciones sin licitación pública, realizadas y pagadas directamente por el programa evaluado).

— Aplicación de instrumentos a muestras de representatividad desconocida o dudosa, con pocas excepciones. La situación continúa similar.

— Cobertura parcial de los aspectos solicitados y otros de reconocida relevancia para llegar a conclusiones bien fundamentadas. La mayor precisión de los aspectos solicitados (inclusión del diseño, eliminación de escenarios prospectivos, por ej.) ha mejorado su cobertura en los informes, aunque no siempre se incluye el contenido esperado, especialmente si se solicita la evaluación de impacto.

— Emisión de pocos juicios explícitos de valoración fundamentada del programa analizado. Este problema continua vigente, aún hay evaluadores que no los emiten ni siquiera parciales.

— Muy limitada difusión de los resultados de evaluación y uso casi nulo. Se han ampliado de manera importante los mecanismos de difusión vía Internet, no así otros canales más accesibles para la información a la ciudadanía en general y en especial a los beneficiarios. También ha mejorado la utilización de los resultados para retroalimentar la gestión de los programas; sin embargo, ésta todavía es insuficiente, por eso se están diseñando nuevos mecanismos.

— Lenta institucionalización de la cultura de la evaluación. Los avances percibidos son muy limitados y restringidos a la administración pública, persiste la realización de evaluaciones más como requisito administrativo para la obtención de presupuesto (riesgo de simulación), que como una actividad de aprendizaje y mejoramiento de la gestión.

La constitución del Coneval significa un gran paso adelante en la mejor organización del sistema de evaluaciones externas y la calidad de los trabajos; sin embargo, sigue siendo necesario contar con un fondo independiente de recursos para contratar evaluadores al margen del programa evaluado, hacerlo siempre mediante licitación pública, avanzar en la realización de evaluaciones participativas centradas en el aprendizaje de funcionarios y ciudadanos, mejorar los esquemas de muestreo, emitir valoraciones fundamentadas sobre la gestión del programa, efectuar evaluaciones de impacto plurianuales y de conjuntos de programas, profesionalizar el campo, aplicar metaevaluaciones, y llevar a cabo un mayor esfuerzo por institucionalizar la cultura de la evaluación.

Además de la tendencia y perspectivas identificadas por la evaluación de programas federales, comienza a hacerse evidente el empeño de algunas entidades federativas por avanzar en la materia. En particular, resultan de muy especial interés los acontecimientos recientes vividos en el marco del gobierno del Distrito Federal (GDF):

— Reglamentación de la Ley de Desarrollo Social (aprobada en el año 2000), en noviembre de 2006.

— Creación de un Consejo de Evaluación del Desarrollo Social como organismo público descentralizado, con personalidad jurídica y patrimonio propio, así como autonomía técnica, de gestión y presupuestaria, en septiembre de 2007.

— Última reforma a su Ley de Desarrollo Social, en febrero de 2007.

— Expedición de su Ley de Transparencia y Acceso a la Información Pública el 28 de marzo de 2008.

— Conformación de un Comité de Evaluación y Recomendaciones integrado por seis consejeros ciudadanos de extracción académica, en mayo de 2008.

Éste y otros avances a nivel subnacional sugieren que comenzarán a utilizarse en México nuevos enfoques, métodos y tipos de evaluación, que contribuyan al enriquecimiento de las aportaciones que esta última es capaz de realizar para mejorar la función pública, razón por la cual será relevante intensificar los trabajos de metaevaluación correspondientes.

 

Bibliografía

Cardozo, Myriam (2006), La evaluación de políticas y programas públicos. El caso de los programas de desarrollo social en México, México: Cámara de Diputados, Porrúa, Colección Conocer para Decidir.         [ Links ]

Cardozo, Myriam (en prensa), Evaluación y metaevaluación en los programas mexicanos de desarrollo social, México: División de Ciencias Sociales y Humanidades de la Universidad Autónoma Metropolitana, Xochimilco.         [ Links ]

Conde, Carola (2007), "Evaluación de programas sujetos a reglas de operación. ¿Un ejemplo de rendición de cuentas horizontal?", en Colección Documentos de Investigación, México: El Colegio Mexiquense.         [ Links ]

Consejo Nacional de Evaluación de la Política de Desarrollo Social (Coneval), Secretaría de Hacienda y Crédito Público (SHCP), Secretaría de la Función Pública (SFP) (2007), Lineamientos generales para la evaluación de los Programas Federales de la Administración Pública Federal, marzo.         [ Links ]

Hernández Laos, E. (1991), Crecimiento económico y pobreza en México. Una agenda para investigación, México: Universidad Autónoma Metropolitana.         [ Links ]

Schwentesius, Rita et al. (2007), "Metaevaluación de tres evaluaciones oficiales de la Sagarpa del programa de pagos directos (Procampo) a la agricultura mexicana", en Revista Estudios Sociales, julio–diciembre, año/vol. 15, núm. 030, Sonora, México: Universidad de Sonora.         [ Links ]

Vargas, Germán (2007), Metaevaluación de los programas de la Secretaría de Agricultura (Sagarpa), dirigida a productos agrícola básicos. Resultados generales, México: CEDRSSA.         [ Links ]

 

Documentos

CCEDRSSA (2 de abril de 2008), "El papel del Congreso en la evaluación de las políticas públicas rurales", documento presentado en la mesa redonda del mismo nombre, México: Cámara de Diputados.         [ Links ]

Decreto de Creación del Consejo de Evaluación del Desarrollo Social del DF. Disponible en: <http://cgservicios.df.gob.mx>(13 de junio de 2008).         [ Links ]

Ley de Adquisiciones, Arrendamientos y Servicios del Sector Público, en Diario Oficial de la Federación, 4 de enero de 2000.         [ Links ]

Ley de Desarrollo Social para el DF. Disponible en: <http://www.sds.df.gob.mx/sector/legislacion.htm> (13 de junio de 2008).         [ Links ]

Ley de Transparencia y Acceso a la Información Pública del DF. Disponible en: <http://www.om.df.gob.mx/transparencia> (13 de junio de 2008).         [ Links ]

Ley General de Desarrollo Social. Disponible en: <http://www.diputados.gob.mx> (21 de agosto de 2008).         [ Links ]

Reglamento de la Ley General de Desarrollo Social. Disponible en: <http://www.diputados.gob.mx> (21 de agosto de 2008).         [ Links ]

 

Notas

¹ El presente artículo forma parte de un trabajo más amplio que se encuentra actualmente en prensa (consultar en la bibliografía).

² En realidad, para los evaluadores muchas de las preguntas dicotómicas podían recibir una diversidad de respuestas, y ahí surgieron discrepancias de criterio en cuanto a qué es lo que debería hacerse en estos casos.

³ Este proceso duró aproximadamente nueve meses, bastante más que los predecesores.

⁴ Boltvinik, Julio et al., del 26 de agosto de 2005 al 19 de mayo de 2006, columna "Economía moral", del periódico La Jornada.

⁵ Se recuerda que la LGDS exige evaluaciones anuales (art. 78) y que "[...] de manera invariable deberán incluir los indicadores de resultados, gestión y servicios para medir su cobertura, calidad e impacto" (art. 78). Sin embargo, el reglamento correspondiente indica que las evaluaciones de impacto podrían ser multianuales.

⁶ Nos referimos a las reformas y/o adiciones del 13 de junio de 2003, 7 de julio de 2005, 21 de agosto de 2006, 20 de febrero de 2007, 5 de septiembre de 2007 y 1 de octubre de 2007.

⁷ Tratándose de servicios, podrá utilizarse el mecanismo de puntos y porcentajes para evaluar las propuestas, en el que el rubro relativo al precio tendrá un valor porcentual del cincuenta por ciento, indicando en las bases la ponderación que corresponderá a cada uno de los demás rubros que serán considerados en la evaluación, de acuerdo con los lineamientos que para tal efecto emita la Secretaría de la Función Pública. Asimismo, cuando sea necesario, en el caso de servicios se solicitará el desglose de precios unitarios, precisando de qué manera será utilizado éste.

⁸ Un evaluador refiere casos concretos en que otro evaluador habría sido presionado a cambiar los resultados para que se le autorice el pago final. Otro plantea la existencia de empresas evaluadoras que se subordinan a lo que el programa les impone.

⁹ El funcionario entrevistado en SFP insistió en indicar que la mejoría es muy pequeña.

¹⁰ Sin embargo, hay situaciones en que se desconoce la validez del diseño metodológico y otras en que éste se muestra muy débil: por ejemplo, en 2006 de 15 evaluaciones realizadas sólo seis especificaron el tamaño de sus muestras y una de las encuestas se aplicó telefónicamente.

¹¹ Por ejemplo, los municipios de menor Indice de Desarrollo Humano frecuentemente aparecen sumados en un solo grupo o por entidad federativa, y se desconoce siquiera en cuáles están interviniendo, las acciones realizadas o el presupuesto ejercido.

¹² Uno de los evaluadores argumenta que no hay una cultura de la evaluación, donde las instituciones presionan para que se cambien los resultados y la evaluación se toma como un requisito molesto.

 

Información sobre el autor(a)

Myriam Cardozo Brum. Realizó estudios de licenciatura en Contaduría Pública en la Universidad de la República (Uruguay) y es licenciada en Administración por la Universidad Nacional Autónoma de México (UNAM). Cuenta con una maestría en Administración Pública del Centro de Investigación y Docencia Económicas A.C. (CIDE) y es Doctora en Ciencias Políticas y Sociales con orientación en Administración Pública por la Facultad de Ciencias Políticas de la UNAM. Es miembro del Sistema Nacional de Investigadores. Actualmente se desempeña en la Universidad Autónoma Metropolitana (UAM–X). Ha publicado numerosos trabajos en México, Estados Unidos, Argentina, Venezuela y Reino Unido, entre los que destaca La evaluación de políticas y programas públicos. El caso de los programas de desarrollo social en México, Colección Conocer para Decidir, México (2006). Líneas de investigación: evaluación de políticas y programas públicos.