Ilustración de las políticas neoliberales

 

Neoliberalismo y eficiencia de los programas sociales en México

 

Myriam Irma Cardozo Brum*

* Universidad Autónoma Metropolitana, Unidad Xochimilco, México.
Dirección electrónica: myriamcardozo@hotmail.com

 

Recepción del original: 26/01/05.
Recepción del artículo corregido: 29/08/05.

 

Resumen

Se analizan los cambios introducidos en las políticas sociales por el neoliberalismo y particularmente su preocupación por la eficiencia, la cual se traduce en un marcado interés por evaluar los programas sociales en búsqueda de los mejores desempeños en términos de costo-beneficio. Se revisan también las evaluaciones realizadas en 2002-2003 a la gestión de los programas de desarrollo social y se concluye que se ha tenido un avance significativo en la materia, pero que aún subsisten problemas importantes por resolver para que las evaluaciones sean metodológicamente confiables y útiles,

Palabras clave: neoliberalismo, política social, México, evaluación y eficiencia.

 

Abstract

This paper analyzes the changes that were introduced into social policies by neoliberalism, and particularly said policies' concern for effectiveness. In turn, such concern resulted in a heightened interest in reviewing social programs in hopes of securing the best performance possible in terms of cost-benefit. The paper also looks at the assessments that were carried out during the years 2002-2003 to review the management of social development programs. A conclusion was reached that significant improvements have been achieved on the matter, yet significant problems remain to be solved in order for the assessments to be methodologically reliable as well as useful.

Keywords: neoliberalism, social policy, México, assessment and effectiveness.

 

INTRODUCCIÓN

El neoliberalismo introdujo modificaciones sustantivas en las políticas sociales, en particular una preocupación por la eficiencia en la aplicación de recursos que se traduce en un marcado interés por evaluar los programas sociales. México dispone a la fecha de los informes correspondientes a las evaluaciones realizadas en los cuatro últimos años, de los cuales se analizan aquí los finalizados en 2003 y varios de los presentados en 2004 a la Secretaría de Desarrollo Social,1 destacando sus aciertos y también sus omisiones y problemas técnico-metodológicos, algunos directamente ligados al enfoque de evaluación impulsado.

Más allá del grado de éxito alcanzado por los programas, queda pendiente la discusión sobre la necesidad de crear un entorno económico favorable a la creación de empleos y la generación de ingresos suficientes para la población de los estratos más bajos, pues resulta insostenible mantener permanentemente a la población en pobreza extrema mediante este tipo de programas.

 

NEOLIBERALISMO Y TRANSFORMACIÓN DE LAS POLÍTICAS SOCIALES

Las políticas sociales tienen por objetivo explícito mejorar las condiciones de vida de la población. Durante la vigencia del Estado de bienestar, modelo impulsado fundamentalmente en los países desarrollados después de la Segunda Guerra Mundial y replicado parcialmente en América Latina, se trataron de resolver los más diversos problemas del conjunto de la sociedad: desempleo, subempleo, bajos salarios, analfabetismo o escasa escolaridad, insuficiente capacitación para el trabajo, hacinamiento en viviendas, carencia de servicios básicos como agua potable, drenaje y energía eléctrica, enfermedades y muertes evitables, inseguridad ciudadana, etcétera. Esto implicó la superación de la situación de igualdad formal de los ciudadanos ante la ley para transformarla en una igualdad real, en términos de las condiciones sustantivas de vida y mayor cohesión social. Para eso, el Estado amplió su campo de acción y creó nuevas instituciones, transformando la acción gubernamental en el eje del modelo.2

De esta forma, las políticas sociales constituían mecanismos de redistribución de recursos que trataban de compensar las desigualdades sociales guiadas por el criterio de equidad, al margen de los mecanismos de mercado, ofertando bienes y servicios en materia de salud, educación, vivienda, alimentación, transporte, etcétera, disponibles en forma gratuita o a precios subsidiados, que permitían un acceso universal (al menos en el discurso) a todos los integrantes de la sociedad que lo requirieran.

El Estado de bienestar asumió también entre sus funciones la ampliación de los derechos sociales. Éstos permitieron la realización de importantes avances en la seguridad social: pensiones de retiro, seguros contra accidentes, enfermedades y discapacidades vinculadas al trabajo, protección contra el desempleo y atención a la salud.

En el periodo 1970-1980 se produjo la crisis fiscal del Estado, evidenciando la insuficiencia de los ingresos para solventar los gastos sociales y la contradicción entre los procesos de acumulación y legitimación. Se identificó como su causa una excesiva intervención del gobierno en la economía y, como solución al problema, las reformas de "primera generación" o ajuste estructural,3 centradas en la reducción del tamaño del Estado en beneficio de la actividad privada y el mecanismo de mercado, propias de la denominada estrategia neoliberal. Los Estados de América Latina priorizaron el objetivo de eficiencia, el establecimiento de prioridades claras, la reducción de costos administrativos y el incremento de la productividad de la inversión, entre otros.4

En la década de 1990, los procesos de globalización y liberalización de mercados no contribuyeron a disminuir la pobreza y la desigualdad, como planteaba su discurso. América Latina sufrió el surgimiento de nuevas disparidades e incertidumbres que se combinaron con cambios demográficos, por lo que los Estados aplicaron reformas de "segunda generación".5 La búsqueda de mecanismos innovadores y más eficientes que había conducido al abandono del universalismo propio de la política social del Estado de bienestar, obligó a los gobiernos a replantearse la necesidad de su intervención, ahora limitada a la focalización (en el ámbito de los territorios, grupos e individuos) de quienes han quedado al margen del mercado (pobreza extrema) para ofrecerles "oportunidades" en materia de educación, salud, vivienda, etcétera.

La intención eficientista de "hacer más con menos" ha provocado también un marcado interés por la evaluación de los programas que reciben recursos fiscales con el objetivo de seleccionar los más eficientes y eliminar los improductivos. A pesar de la importancia de los mecanismos de descentralización, externalización y focalización implantados, Cohen manifiesta que no existe claridad sobre los beneficios de su aplicación.6 Su hipótesis es que esto se debe al traslado acrítico de estrategias de intervención que han sido exitosas en países europeos industrializados que intentan avanzar en formas de organización y gestión "posburocráticas", cuando América Latina aún está permeada por todos los vicios "preburocráticos" y no existen condiciones que permitan recrear y regular los escenarios de mercado para el buen funcionamiento de la externalización. El Banco Mundial también reconoce la falta de información sobre el impacto causado por los programas sociales en los países en desarrollo.7

La ideología neoliberal aplicada por Reagan en Estados Unidos y por Thatcher en el Reino Unido, comenzó a inspirar las reformas mexicanas durante el gobierno de Miguel de la Madrid y se agudizó en el periodo salinista. Se trataba de lograr de inmediato la firma del Tratado de Libre Comercio, controlar la inflación alcanzada en el sexenio previo e imponer la disciplina fiscal; al mismo tiempo que, en el largo plazo, se buscaba que la gran burguesía, "que el estatismo mantuvo por tanto tiempo dependiente y débil", se convirtiera en la clase estratégica, aunque se volviera una burguesía trasnacional.8 Con el rótulo de "liberalismo social" y ante la pobreza y desigualdad crecientes, tuvo que ser acompañada del Programa Nacional de Solidaridad (Pronasol).

Los procesos de evaluación de los programas sociales, si bien existen antecedentes aislados, comenzaron en forma sistemática en 1997 con su aplicación al Programa de Educación, Salud y Alimentación (Progresa) y fueron generalizados a todos los programas gubernamentales desde 2001.

Considerando que los programas sociales se caracterizan por requerir del mediano y el largo plazos para alcanzar sus objetivos redistributivos, por ser afectados por múltiples variables contextuales, una gran variedad de actores participantes con intereses en conflicto y una fuerte atribución de importancia a la participación social, a la transparencia y la responsabilidad de la gestión, al menos en el discurso,9 su especificidad debe tenerse en cuenta en su evaluación. A continuación se revisa la forma en que dicha evaluación se ha llevado a cabo en el caso de los programas mexicanos de lucha contra la pobreza.

 

ANÁLISIS DE LAS EVALUACIONES DE PROGRAMAS SOCIALES10

En este apartado central del artículo se procede al análisis del contenido del conjunto de informes de evaluación de los 31 programas sociales que la Secretaría de Desarrollo Social (Sedesol) tuvo a su cargo durante el 2002 y fueron evaluados en el 2003,11 así como algunas modificaciones identificadas en las evaluaciones realizadas en el siguiente año. Se empieza analizando las fuentes de información y las técnicas de tratamiento de datos empleadas para luego revisar los aspectos incluidos y excluidos en los informes.

Los Términos de Referencia señalan, en forma general, los métodos de recolección y tratamiento de datos que en todos los casos revisados incluyen trabajo de gabinete, con base en la información secundaria disponible y trabajo empírico, debiendo emplear análisis costo-beneficio, costo-eficacia, etcétera. Casi la totalidad de las 31 evaluaciones revisadas incluyeron, entre sus fuentes de información, documentos y bases de datos estadísticos, y aplicaron encuestas y entrevistas, con pleno cumplimiento de los lineamientos normativos revisados.

Respecto de la información secundaria entregada por las autoridades de los programas, casi la mitad de los evaluadores manifiestan diversos problemas: insuficiencia, poca confiabilidad, mala calidad y falta de oportunidad. En el caso de las entrevistas, éstas se dirigen a informantes-clave (funcionarios y, en menor medida, miembros de las comunidades de los beneficiarios), mediante una selección dirigida especialmente a quienes disponen de información privilegiada.

Por el contrario, en el caso de las encuestas con pretensiones de representatividad (como sucede en la mayoría de la evaluaciones), éstas requieren de la correcta determinación del tamaño muestral y la composición de la misma, de manera que todos los individuos tengan igual probabilidad de ser seleccionados mediante la aplicación sistemática de algún método de muestreo (aleatorio simple, aleatorio estratificado, por conglomerados, etcétera).

Cabe señalar que, si bien en determinadas condiciones no se toma en cuenta el tamaño del universo de estudio para la determinación del correspondiente a la muestra, el listado del mismo facilita la composición aleatoria de ésta. Sin embargo, dicha información no se encuentra disponible en la mayoría de los casos. Esta situación se agrava debido a la ausencia casi total de exposición del método empleado en su determinación. Sólo siete de los programas analizados disponen de la cuantificación de su población objetivo, misma que, en varios casos, coincide aproximadamente con la estimación realizada por Sedesol de 19 225 833 habitantes en las 263 regiones prioritarias definidas, lo que muestra que no ha sido calculada específicamente para el programa en cuestión. En la tercera parte de las evaluaciones no se presenta información completa sobre el tamaño muestral y sólo en dos es posible conocer el porcentaje de beneficiarios que fue encuestado y así contar con una idea aproximada de su rango de representatividad, el cual resulta sumamente bajo, variando entre dos y seis encuestados por cada 100 000 personas. Concluyendo sobre este aspecto, puede afirmarse que el fundamento metodológico de lo que se reporta en los informes, sobre la base de la aplicación de encuestas, resulta de una debilidad muy grande.

En cuanto al tratamiento de la información, prácticamente todos los programas combinan el análisis cuantitativo y el cualitativo, por lo que sólo pueden plantearse diferencias de énfasis. Únicamente se incluyen tres informes donde el trabajo es fuertemente descriptivo, pero se limita a ordenar los datos en cuadros y gráficas, en lugar de ser analítico. Son también muy pocos los que intentan aplicar algunos métodos específicos, los que en varios casos no resultan claros o definitivamente presentan problemas en la selección de la información utilizada en el cálculo. En resumen, se evidencia un énfasis en la aplicación de entrevistas y encuestas de representatividad pocas veces fundamentada, que se complementa con un tratamiento medianamente aceptable de los datos recogidos.12

Los Términos de Referencia de 2002 solicitaron la inclusión del análisis de: 1) los costos y gastos de operación y el cumplimiento de metas financieras, 2) el apego a la normatividad del programa, 3) el análisis global y desglosado de la cobertura y su variación respecto del año anterior, 4) el cumplimiento de las metas físicas, 5) la determinación de beneficios económicos y sociales provocados por el programa, 6) la satisfacción de los beneficiarios, 7) los escenarios prospectivos, y 8) la opinión sobre la permanencia o finalización del programa, conclusiones y recomendaciones. Estos ocho aspectos fueron cubiertos en distintos grados por los 31 informes de evaluación.

En cambio no solicitaron el estudio de: 1) la pertinencia y el diseño del programa, 2) la disposición de recursos no financieros, 3) los procesos de gestión operativa, 4) los resultados no vinculados a la programación de metas, 5) el impacto logrado por el programa en la solución del problema que le dio origen, 6) la participación social, 7) el seguimiento de las recomendaciones de evaluaciones previas, y 8) la emisión de un juicio valorativo sistemáticamente fundamentado sobre la gestión del programa y sus logros.13

A continuación se revisan detalladamente todos los aspectos que deberían formar parte del contenido del informe de evaluación, incluyendo tanto los solicitados como los no solicitados por los Términos de Referencia. Los mismos se analizan siguiendo una secuencia lógica de inclusión en dicho informe.

 

Pertinencia y diseño del programa

Los Términos de Referencia no solicitaban el análisis de los elementos de este apartado, con lo cual estarían suponiendo que los programas están bien diseñados, por lo que sólo valía la pena evaluar sus resultados e impactos. Dada la crítica situación socioeconómica de casi 20 millones de pobres extremos y otros 30 millones de pobres moderados, es de esperar que cualquier programa dirigido a esta población tendrá algún grado de pertinencia; sin embargo, en los informes de evaluación se encuentran pocas referencias específicas al respecto.

En relación con las necesidades comprobadas que justifican la existencia del programa, se analiza el tamaño de la población afectada y la magnitud de los problemas que la aquejan únicamente en 14 casos. Sólo seis informes describen las características de la población beneficiada y nueve analizan la congruencia del programa con el Plan Nacional de Desarrollo (PND) (2001) y el Programa Nacional de Desarrollo Social (2001).

Correspondería luego analizar si el programa incluye un buen diseño de objetivos, pero, por lo general, los informes se limitan a enunciarlos. A veces, su definición resulta tan general e indiscutible como "contribuir al logro de mejores condiciones de vida para los beneficiarios" o "aumentar las oportunidades de empleo e ingreso", por lo que, probablemente, los evaluadores no consideran relevante su análisis. En estos casos resultaría conveniente avanzar hacia el estudio de objetivos más operativos. Luego sería necesario analizar la congruencia entre las estrategias aplicadas y los objetivos previos, y finalmente, sería relevante verificar si el diseño de las Reglas de Operación respeta la filosofía, los objetivos y las estrategias del programa.

En resumen, hay referencias concretas a esta parte del diseño del programa en sólo siete informes. Además, el análisis de coherencia entre objetivos y necesidades se ve limitado por la insuficiente identificación de las últimas. En cuanto a la congruencia entre las estrategias aplicadas y los objetivos previos, nuevamente sólo la mitad de los informes la consideran explícitamente. En conclusión, se hace muy poca evaluación del diseño de los programas,14 salvo en el aspecto de su focalización, que si bien sólo es solicitado explícitamente por el programa de Abasto Social de Leche, constituye la principal estrategia aplicada a los programas de superación de la pobreza.

En torno a la citada focalización, son los mecanismos de identificación y recertificación de beneficiarios los que más se revisan (15 informes), aunque a menudo, más que analizar su diseño, se verifica su cumplimiento. En 13 casos se describen las características de la población atendida para verificar sus márgenes de pobreza; sin embargo, esto no resulta suficiente porque tampoco garantiza que los atendidos sean los más pobres o que toda la población objetivo tenga la asistencia necesaria. Algo muy similar sucede con los casos en que sólo se verifica la pertenencia a zonas de alta y muy alta marginación. En una tercera parte de los informes se intenta, con mayor o menor precisión, calcular el índice de focalización y los errores de inclusión y exclusión.

 

Recursos utilizados por el programa

Los costos y gastos de operación y el cumplimiento de metas financieras son solicitados en los Términos de Referencia, por lo que en todos los informes de evaluación se encuentra alguna referencia total o parcial al tema. Un análisis completo del punto debería hacer alusión al gasto total programado y al ejercido, su evolución en los últimos años y su distribución por tipo de apoyo, estados, etcétera, así como su monto promedio por beneficiario y población objetivo. Sin embargo, no todos estos elementos se solicitan, por lo que muchos informes incluyen información parcial al respecto.

En menor grado que los insumos financieros, pero de importancia relevante para el funcionamiento del programa, es el resto de los recursos disponibles, que tampoco es solicitado a los evaluadores y se incluye en pocos casos. Se hace referencia a los tradicionales recursos humanos y materiales, así como los menos tradicionales, vinculados a la información y la capacidad gerencial.

 

Análisis de procesos

Los Términos de Referencia tampoco mencionan explícitamente este análisis, por lo que los procesos desarrollados quedan ocultos en una "caja negra" cuya revisión no parece interesar en aspectos como la productividad, calidad y eficiencia con que los insumos son transformados en productos o servicios. A pesar de su limitada solicitud, todos los evaluadores incluyen referencias a los mismos. En su revisión detallada destacan las referencias a los procesos de difusión y promoción del programa y sus convocatorias; recepción de recursos, marcada por una fuerte insistencia en sus retrasos (12 casos); requisitos y formalidades del proceso de solicitud y dictamen; selección y recertificación de proyectos y beneficiarios, altas y bajas de los padrones; control y generación de información institucional, así como coordinación con otras instancias.

Más allá del número limitado y diverso de procesos que se analizan en cada evaluación, puede considerarse que se realiza una revisión aceptable, incluyendo la discusión de los principales problemas identificados. Este análisis podría homogeneizarse, para facilitar comparaciones, mediante un guión de aspectos a considerar, sin perder de vista las particularidades de cada programa evaluado.

Aunque con amplitud muy diversa, cumplen en revisar el apego de los procesos a las Reglas de Operación que regulan los programas y su transparencia, si bien existe mucha dificultad para su verificación, lo que sólo puede hacerse en función de las percepciones de la muestra seleccionada o mediante el estudio de expedientes. Con base en los últimos, es posible revisar aleatoriamente los resultados de dichos procesos, pero no los procesos mismos en que se tomaron las decisiones. En muchos casos, la información disponible es insuficiente y, prácticamente, se requeriría haber actuado como observador en los procesos para poder fundamentar plenamente un juicio al respecto. Resulta más factible la verificación de los requisitos de elegibilidad exigidos entre los beneficiarios encuestados.

 

Medición de cobertura

El análisis de la cobertura, su variación respecto del año anterior y su desglose por tipo de apoyo otorgado, por entidad federativa y por núcleo de población o tipo de empresa, son solicitados por los Términos de Referencia. Se trata de una expectativa bastante ambiciosa, que requiere disponer de buenas fuentes de información institucional, ya que el evaluador sólo puede verificar la cobertura en los lugares seleccionados para la realización de trabajo de campo. Si el dato no existe, el evaluador no puede obtenerlo porque éste requiere de un trabajo censal.

En casi todas las evaluaciones se incluye la cantidad de población atendida como cálculo de la cobertura, aun cuando lo más importante es su porcentaje, que relaciona la población anterior con la población objetivo total, siempre y cuando la primera forme parte de la última, ya que se dan casos en que se atiende a personas con características diferentes a las definidas por el programa. Como ya vimos, es muy común que el dato relativo al tamaño de población objetivo no esté disponible, lo que impide contar con información suficiente para valorar el esfuerzo que aún resta por hacer.

En resumen, 27 de las 31 evaluaciones hacen alguna medición de cobertura. Resultan muy pocos los casos (5) en que se calcula el porcentaje de cobertura, que es realmente el dato útil; la razón puede estar en que los Términos de Referencia no especifican el tipo de medición de cobertura esperado. En los 15 casos en que se revisa la población atendida, existe la posibilidad de que ésta coincida sólo parcialmente con la población objetivo, lo que sólo una de las evaluaciones revisa. La distribución y la evolución de la cobertura también son muy poco consideradas (8 y 5 casos respectivamente). De esta forma, puede afirmarse que el rango de cumplimiento de los informes en relación con lo solicitado es bastante bajo, lo que, en algunos casos, es responsabilidad del evaluador, pero en muchos se debe a la insuficiente información institucional.

 

Resultados alcanzados

Los Términos de Referencia solicitan el resultado de la evaluación en campo del cumplimiento de las metas físicas; sin embargo, el diseño de éstas resulta tan limitado y parcial que todos los informes incluyen otros elementos adicionales. El análisis de los informes de evaluación muestra en este apartado:

• Una descripción del número de servicios brindados, en casi todos los casos (28);
• un análisis de la eficacia alcanzada en el logro de objetivos, en una amplia mayoría de los programas evaluados (24);
• se estudia la distribución de las acciones realizadas por regiones o estados en pocos casos (8);
• se analiza la evolución del número de acciones realizadas (7 casos), y
• se resalta el análisis de la equidad de género (6 evaluaciones).

En general, hay un tratamiento suficiente de los servicios brindados y el cumplimiento de metas, con pocas excepciones. Son muy pocos los que profundizan en el análisis de su evolución y distribución. Un buen número de casos (9) analiza críticamente tanto la información que se solicita como los indicadores propuestos para su sistematización. Excepcionalmente se perciben confusiones conceptuales como la presentación de resultados bajo el título de impactos, o errores en la manera de calcular la eficacia y el costo-efectividad.

 

Impactos provocados

En términos de impactos, los Términos de Referencia solicitan analizar los beneficios económicos y sociales que resultan de la aplicación de los recursos asignados a cada programa; no se refieren al análisis del efecto logrado en la solución del problema encarado por el programa, que corresponde estrictamente al impacto. También requieren el costo-beneficio de los recursos asignados al programa, en función de los costos y gastos unitarios en que se incurre para operar el programa.

La descripción de los beneficios económicos y sociales se cubre, con diferente grado de detalle, en casi todos los programas, si bien algunas evaluaciones los confunden con los resultados (número de acciones, proyectos, becas, etcétera). Pero lo que provoca dificultades es el intento por identificar y medir realmente los impactos, y el análisis costo-beneficio que algunos intentan sin realizar una aplicación correcta del método. En conclusión, se cuenta con un esfuerzo muy variado por realizar algo más que una mera descripción de beneficios económicos y sociales, que las dos terceras partes de las evaluaciones intentan mediante mediciones de impacto, con distinto grado de objetividad.15 Sin embargo, en este trabajo no se considera realista pretender su medición anual.

 

Participación y satisfacción social

La participación social y ciudadana es una de las estrategias privilegiadas por el PND; no obstante, los Términos de Referencia sólo la solicitan expresamente en dos de los programas evaluados. A pesar de esto, casi la mitad de los informes mencionan la ausencia de participación o los bajos índices alcanzados por la misma:

• En la gestión de los programas hay referencias a aportaciones de dinero o trabajo, pero éstas son mínimas en lo que atañe a la participación en la toma de decisiones.
• En casi todos los programas se cuenta con una limitada participación de los beneficiarios, y en algunos casos de otros actores sociales, pero sólo en calidad de informantes, mediante la respuesta a encuestas y entrevistas.
• No hay ninguna referencia en el análisis a la participación social y ciudadana, ni una valoración de los procesos, resultados e impactos de los programas.

La situación anterior fue confirmada por los diversos actores entrevistados.16 Ante esta falta de participación de los beneficiarios en la toma de decisiones y los procedimientos de evaluación, surgió la inquietud de investigar si alguna organización de la sociedad civil (también promovida en el discurso de los planes y programas gubernamentales) participaba en los procesos de evaluación gubernamental. Ninguna de las 15 organizaciones y consultoras especializadas en ellas que fueron entrevistadas había tenido relación alguna con los procesos de evaluación anual externa de los programas gubernamentales en estudio. Sólo se localizaron dos: una que había sido contratada para realizar otro tipo de evaluación a un programa gubernamental, y otra que realizó una evaluación independiente al Progresa, dentro de la campaña "El Banco Mundial en la Mira de las Mujeres". En conclusión, puede afirmarse que la participación de los beneficiarios y las organizaciones de la sociedad civil es mínima en el contexto de la gestión y evaluación de programas sociales.17

 

Escenarios prospectivos

El requerimiento de su presentación es recogido en diversos Términos de Referencia; sin embargo, son muy pocas las evaluaciones que los intentan:

• Cuatro evaluaciones incluyen el diseño de un escenario tendencial y otro alternativo;
• tres informes organizan otros tipos de escenarios;
• cuatro presentan tendencias o previsiones mínimas, sin construir escenarios, y
• tres presentan argumentaciones, no muy convincentes, de por qué no se incluyeron.

Como puede percibirse, éste constituye el aspecto menos cubierto de todos los solicitados y hace suponer que, o bien los evaluadores no tuvieron tiempo suficiente para realizarlo, ya que es el último paso del proceso solicitado, o bien hay muy poca expertise desarrollada en el tema.

 

Seguimiento de recomendaciones

Este aspecto no solicitado permitiría dar continuidad a los trabajos realizados, así como detectar la utilidad práctica de las recomendaciones efectuadas. Se aclara que siete de los programas revisados comenzaron a funcionar en 2002, y otros dos dan la impresión de no haber sido evaluados previamente, aunque esto no se menciona. En consecuencia, en estos casos, el punto carece de sentido. De los 22 programas restantes, su cumplimiento se verifica sólo en 12 informes. Esto deja 10 programas que, a pesar de tener antecedentes de evaluación previa, no refieren si sus resultados se han utilizado, presentándose como un esfuerzo aislado.

 

Valoración global del programa

Toda evaluación supone, para ser considerada como tal, la elaboración final de un juicio valorativo, sistemáticamente fundamentado, sobre la gestión del programa y sus logros. Los Términos de Referencia solicitan al respecto: opinión sobre la permanencia o conclusión del programa, conclusiones y recomendaciones. Once trabajos cumplen plenamente con este juicio valorativo explícito y lo acompañan de recomendaciones para su continuación, y 17 casos se limitan a realizar recomendaciones que, implícita o explícitamente, suponen la continuidad del programa. En los dos restantes no se incluye juicio valorativo ni recomendaciones. En conclusión, siendo rigurosos, sólo la tercera parte de los trabajos cumplen con este requisito indispensable para ser consideradas verdaderas evaluaciones y existen tres casos absolutamente insuficientes en materia de conclusiones.

 

Algunos cambios identificados en las nuevas evaluaciones realizadas

Salvo los casos de Oportunidades Productivas, Atención a Jornaleros Agrícolas e Iniciativa Ciudadana 3 x 1, que presentaron importantes incrementos de costos probablemente debidos a que se integraron con algunos de los 14 programas desaparecidos en 2003, ninguna de las evaluaciones de las que se dispone de información en 2002 y 2003 incrementó sus costos en la forma en que lo hizo Oportunidades, incluso algunas los disminuyeron (véase cuadro). Los incrementos alcanzados por Abasto Social de Leche y por Abasto Rural se justifican además por la aplicación de técnicas adicionales de recolección de información (nuevos grupos focales, etcétera).

 

 

En consecuencia, mientras la gran mayoría de las evaluaciones nacionales (debido a sus limitados recursos) emplean sólo técnicas de encuesta aplicadas a una muestra de beneficiarios con mínima representatividad, entrevistas a funcionarios, observación directa y cálculo de algunos indicadores socioeconómicos, Progresa-Oportunidades ha contado con recursos suficientes para ser evaluado mediante un diseño experimental.

No obstante, su definición de escuelas, centros de salud y municipios incorporados al programa requiere de una urgente reconceptualización para que sus resultados sean creíbles.18 Además, es imprescindible que la evaluación cualitativa que estos programas han empleado en forma complementaria sea integrada por Oportunidades al análisis efectuado por temas (salud, educación, etc.), en lugar de mantenerla por separado.

Si los pequeños programas no justifican que se cuente con recursos suficientes (financieros, de información, etcétera) para alcanzar el modelo ideal de Sedesol (experimentación), resulta imprescindible que su normatividad especifique requerimientos diferentes y viables.19 Eso no significa que la evaluación se haga mal, sino que sea menos ambiciosa en sus pretensiones. Sin pretender que los tres informes entregados en 2004 que fueron revisados20 sean representativos de todas las evaluaciones realizadas, éstos muestran una peligrosa tendencia a la disminución de la calidad del trabajo efectuado.

En relación con el impacto de las evaluaciones en el rediseño de programas, la Dirección General de Evaluación de la Sedesol menciona un avance importante: en coordinación con la SFP se ha comenzado a exigir a los responsables de los programas que planeen cómo implementar las sugerencias recibidas de los evaluadores o justifiquen por escrito las razones de su imposibilidad, y posteriormente, que informen de las acciones realizadas y resultados obtenidos.

 

REFLEXIONES FINALES

Cabe entonces preguntarse por qué, a medida que los equipos ganan en experiencia, no se está logrando mejorar la calidad. Además de los recursos financieros disponibles, habría que estudiar, por un lado, el grado de desarrollo del capital humano alcanzado en la materia; en segundo lugar, los mecanismos de selección entre las propuestas recibidas en las convocatorias para ver hasta qué punto garantizan la calidad del proyecto ganador; y por último, la generación de incentivos suficientes por parte del sistema de evaluación organizado para que dicho equipo emplee al máximo el conocimiento adquirido.

En torno al primero, parece indiscutible que se ha realizado un aprendizaje, aunque éste podría no ser tan significativo como sería deseable, ya que: 1) no existen mayores recomendaciones fundamentadas por parte de la Dirección de Evaluación de la Sedesol, la SHCP, la SFP, la Cámara de Diputados, o reuniones de discusión entre evaluadores y con los beneficiarios, que permitan la retroalimentación de los procesos, 2) en el interior de los equipos se ha sustituido a investigadores especialistas en el tema y con amplia experiencia, por otros que carecen de algunos de esos dos requisitos o de ambos, 3) los evaluadores externos desconocen los resultados a que llega la Auditoría Superior de la Federación cuando ésta audita el desempeño del programa, mismos que podrían enriquecer su trabajo, y 4) tampoco se cuenta con programas universitarios que contribuyan a esta formación de evaluadores.

Respecto de los mecanismos de selección, existen varios aspectos que podrían estar limitando los avances en calidad: 1) la escasa difusión de convocatorias y el empleo de algunos mecanismos de adjudicación directa que limitan una mayor competencia técnica entre los equipos disponibles, 2) la obligación impuesta por la Ley de Adquisiciones de contratar al equipo que, cumpliendo a priori con los requerimientos, ofrezca el precio más bajo, lo que no permite tomar en consideración expectativas de calidad, y 3) la cuestionada capacidad de las comisiones formadas ad hoc para seleccionar mediante licitación a los candidatos participantes.

Finalmente, en cuanto a los incentivos para no utilizar a fondo el aprendizaje logrado, las razones podrían ser también diversas: 1) un cierto esclerosamiento de los equipos de trabajo que comienzan a aplicar en forma mecánica los mismos procedimientos a programas diferentes, 2) una tendencia de los mismos a acumular evaluaciones, para realizar economías de escala que se traduzcan en mayor rentabilidad, con el consecuente riesgo de no atenderlas todas en la forma deseable, y 3) la percepción de que los informes son muy poco utilizados, por lo que esto deja de ser un aliciente para realizar un buen trabajo.

Si bien el Banco Mundial considera que México ha sido pionero en la aplicación de evaluaciones de impacto del Progresa, las que permitieron al gobierno mexicano contar con evidencias de su éxito y fomentaron la creación de programas similares en otros países de América Latina (Honduras y Nicaragua con diseños experimentales, y Colombia y Brasil con cuasiexperimentos), consideramos que en la actualidad subsiste una diversidad de problemas que no es posible soslayar. Los recursos institucionales (presupuéstales y de información) presentan limitaciones importantes para el desarrollo de trabajos de calidad y un mercado de evaluaciones aún en formación, contando con una oferta, también restringida, de capacidades especializadas en el tema. A esto se agregan imprecisiones y ausencias por parte de la demanda (Bases y Términos de Referencia). En este contexto, y salvo pocas excepciones, se desarrollan evaluaciones con base en la aplicación de instrumentos a muestras de representatividad desconocida, se cubren parcialmente los aspectos solicitados y otros de reconocida relevancia para arribar a conclusiones bien fundamentadas, y se emiten pocos juicios explícitos de valoración del programa analizado.

Es importante destacar que el juicio anterior no se dirige exclusivamente a la calidad del trabajo de los evaluadores, sino a la alcanzada por el informe final presentado, misma que depende del conjunto de factores esbozados en el párrafo anterior, algunos de los cuales son de responsabilidad gubernamental. En suma, encontramos que, por el momento, existe poca contribución de las evaluaciones al incremento de la eficiencia de los programas sociales que preocupan al neoliberalismo, aunada al desinterés de este modelo de promover la participación social y los enfoques cualitativos que permitan realizar de manera exhaustiva el estudio de los problemas.

 

1 Es importante resaltar la existencia de otras dependencias de la Administración Pública Federal que también coordinan programas sociales como las secretarías de Educación Pública, de Salud o de Agricultura, Ganadería, Desarrollo Rural, Pesca y Alimentación. Sin embargo, sólo la Secretaría de Desarrollo Social será objeto del estudio realizado en el presente artículo. Regresar

2 Myriam Cardozo Brum, "Las empresas y su responsabilidad en el campo social", Economía, Sociedad y Territorio, vol. IV, núm. 13, enero-junio, El Colegio Mexiquense, 2003.         [ Links ]Regresar

3 Myriam Cardozo Brum, "Actitud de las empresas frente a las condiciones de vida de la sociedad. Análisis del caso mexicano", Revista Ciencias de Gobierno, año 6, núm. 12, Venezuela, julio a diciembre de 2002.         [ Links ]Regresar

4 Sara Gordon Rapoport, "Pobreza y programas de política social en México", Revista de Trabajo Social, núm. 23, México, Escuela Nacional de Trabajo Social-UNAM, 1999.         [ Links ]Regresar

5 Myriam Cardozo Brum, "Evaluación de políticas de desarrollo social", Política y Cultura, núm. 20, otoño, México, UAM-X, 2003.         [ Links ]Regresar

6  Ernesto Cohén, "Reforma del Estado, modernización administrativa y evaluación del desempeño de la gestión", Los desafíos de la reforma del Estado en los programas sociales: tres estudios de caso, Chile, CEPAL (Serie Políticas Sociales, núm. 45), 2001.         [ Links ] Con base en un trabajo realizado en la Comisión Económica para América Latina (CEPAL), en 1998, el autor plantea que los beneficios reales en términos de impacto y eficiencia derivados de la introducción de las dos primeras estrategias citadas en cinco programas sociales de la región latinoamericana, serían marginales o incluso nulos, cuando no se implementan correctamente. Regresar

7 Banco Mundial, La pobreza en México: una evaluación de las condiciones, las tendencias y la estrategia del gobierno, México, Banco Mundial, 2004.         [ Links ]Regresar

8 Lorenzo Meyer, Liberalismo autoritario. Las contradicciones del sistema político mexicano, México, Océano, 1995.         [ Links ]Regresar

9  Myriam Cardozo Brum, "Gerencia pública y participación social", Acta Sociológica, núms. 28-29, enero-agosto, México, Facultad de Ciencias Políticas y Sociales-UNAM, 2000.         [ Links ]Regresar

10 En este apartado se sintetizan los resultados presentados en Myriam Cardozo Brum, "La evaluación de políticas y programas sociales en México. 1998-2004", tesis para obtener el grado de doctora en Ciencias Políticas y Sociales-UNAM, 2005.         [ Links ]Regresar

11 Sedesol (2003), Informes de evaluación de programas sociales, disco compacto entregado por el Instituto Federal de Acceso a la Información Pública (IFAI). Regresar

12 Myriam Cardozo Brum, "Procesos de evaluación y participación social en el marco de la gerencia pública necesaria para América Latina", Revista Venezolana de Gerencia, año 10, núm. 29, enero-marzo, Venezuela, Universidad del Zulia, 2005.         [ Links ]Regresar

13 Ibidem. Regresar

14 Dicho diseño comenzó a ser solicitado por los Términos de Referencia a partir de 2003. Regresar

15 De manera independiente a la realización de las evaluaciones externas, la Sedesol realiza estimaciones de la evolución de la pobreza por medio del Comité Técnico para la Medición de la Pobreza; sin embargo, tampoco ésta es una medición de impacto de programa alguno, ya que las modificaciones reportadas pueden ser explicadas en función de un conjunto de factores: la reducida inflación, las remesas del exterior, las transferencias de varios programas sociales entre los que destaca Oportunidades, etcétera. Regresar

16  Dichas entrevistas fueron aplicadas al Director de Metodología de Evaluación de la Sedesol, evaluadores, miembros de la SHCP y SFP y del Poder Legislativo. Regresar

17 Myriam Cardozo Brum, ibidem. Regresar

18 Se recuerda que basta con que una escuela cuente con un niño becado para que se considere integrada al programa; basta con que un municipio cuente con una localidad apoyada para que suceda otro tanto, etc. (véase informes de evaluación 2002 y 2003). Regresar

19 En el caso de los países en desarrollo, la OCDE (1995) considera que el trabajo debe focalizarse hacia la selección de indicadores-clave en lugar de intentar una excesiva cobertura de los aspectos del programa, sin tener claridad sobre sus interrelaciones y posibilidades de uso. Regresar

20  Dichos casos fueron: Oportunidades, Microrregiones y Desarrollo de las Culturas Indígenas. Fueron seleccionados tratando de considerar situaciones diferentes con base en aspectos como: monto de su presupuesto ejercido, cobertura poblacional del programa, administración directa o sectorizada, recursos empleados por su evaluación, número de organizaciones que lo han evaluado, técnicas de evaluación empleadas, calidad de su trabajo, etcétera. Regresar