Artículos

 

Metaevaluación de tres evaluaciones oficiales de la SAGARPA del programa de pagos directos (PROCAMPO) a la agricultura mexicana

 

Rita Schwentesius Rindermann*, Manuel Ángel Gómez Cruz**, Juan de Dios Trujillo*** y Pedro Durán Ferman****

 

* Coordinadora del Programa Integración Agricultura Industria del CIESTAAM, UACh,
Correo electrónico: rsr@avantel.net.

** Miembro del Programa Integración Agricultura Industria del CIESTAAM, UACh,
Correo electrónico: rsr@avantel.net

*** Catedrático de la Universidad Autónoma de Sinaloa,
Correo electrónico: trujillo@uas.uasnet.mx

**** Alumno del Doctorado en Problemas Económico Agroindustriales del CIESTAAM, Universidad Autónoma Chapingo.
Correo electrónico: p.duran@ebc.edu.mx

 

Fecha de recepción: mayo de 2006.
Fecha de aceptación: septiembre de 2006.

 

Resumen

En esta investigación se analizan las evaluaciones de Procampo para los años 1998, 2001 y 2003, considerando diversos indicadores de operación y gestión. Los resultados de estas evaluaciones señalan al Procampo como un programa exitoso en cuanto a su impacto y efectos multiplicadores sobre los productores beneficiarios. Sin embargo, el análisis crítico detecta pocos elementos que fundamentan esta visión optimista y se puntualizan las inconsistencias de las evaluaciones respecto a los objetivos, la metodología utilizada, la interpretación de resultados y las conclusiones a las que se llega. Por último, se plantean diversas propuestas que podrían reforzar el importante papel que las evaluaciones consistentes e imparciales tienen con relación al manejo y operación de Procampo.

Palabras clave: Procampo, evaluación, análisis, subsidios, productores, beneficiarios.

 

Abstract

The Procampo evaluations in this research cover the years 1998, 2001 y 2003, and take several operating and management indicators into account. The results suggest that Procampo is a successful program when it comes to the impact and multiplying effects it has on the benefited farmers. However, the critical analysis made, hardly detects the elements that support this optimistic vision, but rather describes inconsistencies in evaluations as related to goals, methodology employed, result interpretation, and conclusions reached. Lastly, several proposals are presented which could help to reinforce the important role of having consistent and impartial evaluations regarding Procampo's operations and management.

Key words: farm subsidies, direct payments (PROCAMPO), policy evaluation, grain producers.

 

Introduccción

El Programa de Apoyos Directos al Campo (Procampo) consiste en un subsidio monetario directo al ingreso de los productores rurales. De acuerdo con la normatividad del programa, el apoyo se entrega por hectárea y no discrimina en materia de rendimientos físicos, ingresos, régimen hídrico en el cual se labora, formas de tenencia de la tierra o tamaño de predios, tampoco depende del producto o del volumen de producción. El Procampo comenzó a operar en el ciclo otoño–invierno de 1993 con una vigencia de 15 años, a vencer en el año 2008, pero fue renovado otro periodo más.

De acuerdo con información oficial, el presupuesto asignado al Procampo equivalió en promedio, para el periodo 1995–2002, a cerca de 4.6% del pib del sector agropecuario, y benefició a 2.8 millones de productores, que representaron 35% de la población dedicada al sector primario. De éstos, se subsidiaron 2.3 millones de ejidatarios y comuneros, que representan 69% del total nacional. Asimismo, del total de productores beneficiados en 4.2 millones de predios, 63% fue apoyado en superficies de dos hectáreas o menos y se cubrió 85% de la superficie sembrada con los diez cultivos principales (Claridades Agropecuarias, 2002:112).

Pero si bien el objetivo central de transferencia directa al ingreso está definido, a éste se agregaron otros más tratando de encontrar impacto en la multiplicación del ingreso del productor, la modernización y capitalización de las unidades productivas, la protección del medio ambiente a través de proyectos ecológicos y el aumento de la competitividad al alentar la reconversión productiva, entre otros. En correspondencia, debido a la importancia del presupuesto asignado a dicho programa y su relevancia dentro del marco de política de México, desde su instrumentación han sido utilizados diversos indicadores de operación, gestión e impacto, para dar cuenta del grado de efectividad en el cumplimiento de los objetivos antes mencionados.

En este contexto surgen varias interrogantes acerca de si en verdad el programa ha sido exitoso en el cumplimiento de sus objetivos y ha inducido mejoras sustanciales en los niveles de vida de los productores y sus familias, con respecto a la situación previa a su operación, tal como se afirma en los informes oficiales y en las evaluaciones externas. De la misma forma, y en relación con lo anterior se puede preguntar: ¿Por qué es importante evaluar el Procampo? ¿A qué resultados y conclusiones han llegado las evaluaciones? ¿Qué tan confiables e imparciales han sido estas evaluaciones? Las respuestas permitirían aportar elementos para saber si estas evaluaciones han sido útiles para la identificación de problemas, obstáculos o deficiencias en el manejo y operación del Procampo.

En el presente artículo, se tiene el propósito de abordar tales cuestionamientos, a través de una metaevaluación de las evaluaciones oficiales ya hechas, de las cuales se resumen y analizan los principales hallazgos en los informes de evaluación de 1998, 2001 y 2003, con el fin de detectar el común denominador entre ellas y determinar, tanto el grado de efectividad en el cumplimiento de los objetivos como la calidad y utilidad de dichas evaluaciones. Se pretende aportar elementos para mejorar las evaluaciones para que realmente aporten elementos útiles en la definición de políticas a partir del año 2008.

 

Metodología

La investigación se basa en la metodología de una metaevaluación de las evaluaciones de Procampo, analizando el diseño de indicadores de operación y de gestión en la unidad productiva y considerando la heterogeneidad metodológica encontrada. Para ello se llevó a cabo una revisión de las metodologías aplicadas por instituciones internacionales.

Aunque se presenta una gran variedad de indicadores en las evaluaciones y en el método de la recolección de la información, en este trabajo solamente se utilizan los más relevantes (sombreados), a saber: uso productivo del apoyo, conversión productiva, etc., se dejan de lado aquellos totalmente operativos como CURP, RFC y expedientes digitalizados, entre otros.

En la metaevaluación se trata de analizar la calidad o los méritos de las evaluaciones mencionadas a través de la selección de estos indicadores. Este hecho es acorde a la práctica internacional. Por ejemplo, en la OCEDE (2002, 27) el ejercicio de la metaevaluación tiene como objeto sintetizar constataciones de un conjunto de evaluaciones a fin de juzgar su calidad y/o medir el desempeño de los evaluadores. El Banco Mundial (2002, vii), por su parte, trata la metaevaluación como una revisión de las evaluaciones previas y de las evaluaciones de impacto, en tanto que en la cepal (1999, 91–92) la metaevaluación ayuda a verificar el cumplimiento de los agentes institucionales, sectoriales y territoriales.

Así, desde la perspectiva metodológica de la metaevaluación, se desea saber qué diferencia ha marcado el programa en comparación con los no beneficiarios y qué impacto ha tenido sobre los beneficiarios.

 

Funcionamiento de Procampo

La operación del Procampo está a cargo de la Secretaría de Agricultura, Ganadería, Desarrollo Rural, Pesca y Alimentación (SAGARPA) a través de la agencia de Apoyos y Servicios a la Comercialización Agropecuaria (ASERCA) y sus delegaciones, que se coordinan con los gobiernos de las entidades federativas para su operación, a través de los Distritos de Desarrollo Rural (DDR) y los Centros de Apoyo al Desarrollo Rural (CADER).

El subsidio de Procampo es aplicable cuando el productor siembra la superficie elegible registrada en el programa, o bien la mantiene en explotación pecuaria, forestal, o la destina a algún proyecto ecológico y cumple con lo establecido en la normatividad operativa. Sin embargo, la obligatoriedad de dedicar la tierra a un fin productivo fue abolida posteriormente para productores con menos de cinco hectáreas (Claridades Agropecuarias, 1993/4:1–6).

Por otra parte, tanto el objetivo principal como los colaterales de Procampo, inscritos en el decreto presidencial, firmado en 1994 (DOF, 25.07.1994 y 25.11.1994), fueron planteados dentro de una primera fase, de transición, entre 1994 y 1995.¹ Después de tres ciclos agrícolas, el programa pasaría hacia una forma definitiva conforme a lo contemplado en el Plan Nacional de Desarrollo 1995–2000.² En el esquema de 1996 se precisa, como una necesidad, la reorientación de la política de apoyos directos hacia la promoción de la capitalización y el desarrollo tecnológico de la unidad productiva

Con posterioridad se estableció que para verificar y, en su caso, asegurar la efectividad de este programa sería necesario realizar una serie de evaluaciones sustentadas en fundamentos teórico–metodológicos que garantizaran resultados confiables. Así, la evaluación tiene su base legal en el cumplimiento de los artículos 59, 63 y 64 fracción III, IV; Vb y XII, respectivamente, del Decreto de Presupuesto de Egresos de la Federación (PEF) para los ejercicios fiscales 2001, 2002 y 2003. También se encuentra en las Reglas de Operación del Procampo vigentes para los ciclos agrícolas (O–I) 2001/2002, (P–V) 2002, (O–I) 2002/2003 y (P–V) 2003, publicados en el Diario Oficial de la Federación el 9 de febrero de 2001, el 18 de febrero del 2002 y el 21 de febrero de 2003.³

En la normatividad arriba mencionada se plantea que Procampo debe ser evaluado por una institución académica y de investigación, externa a la administración del programa (ACERCA), la cual debe poner atención en la observancia de las normas de operación, los beneficios económicos y sociales derivados del programa y su efectividad (Claridades Agropecuarias, 2001: 32). No obstante, cabe aclarar que los términos de referencia para las evaluaciones son definidos por acerca y permiten poco margen a las instancias académicas de hacer realmente una evaluación independiente de carácter académico y corresponden más a los intereses de esa instancia, de la Secretaría de Hacienda y del Banco Mundial (ver más adelante).

El presente artículo recurre a dos evaluaciones formales (2001 y 2003) realizadas por instituciones académicas profesionales y a una evaluación interna, realizada por ASERCA en 1998, para fines comparativos. Todas tienen los fundamentos metodológicos necesarios, en términos de muestreo estratificado y selección aleatoria de los beneficiarios.

 

Descripción de las evaluaciones oficiales de Procampo

La evaluación interna de 1998 respondió a un acuerdo del Consejo Técnico de ASERCA, el cual buscaba medir la percepción de los beneficiarios respecto a los efectos de las subvenciones proporcionadas por Procampo, pero sin determinar relaciones de causalidad. Para ello se contrataron a dos empresas especializadas en encuestas (no se mencionan sus nombres). Sin embargo, la sistematización de la información, la elaboración y presentación de los resultados fueron hechas por personal del mismo ASERCA, lo cual pudo haber restado imparcialidad. No obstante, puede ser tomada como referencia de las evaluaciones posteriores.⁴

La evaluación 2001 estuvo más enfocada a valorar la congruencia con lo dispuesto en la normatividad del programa y en el artículo 70 de la Ley de Presupuesto de Egresos de la Federación (PEF) para ese año. Fue llevada a cabo por el Colegio de Ingenieros Agrónomos de México, el cual presentó el documento denominado Estudio sobre la observancia de las normas de operación de Procampo, los beneficios económicos y sociales y su costo efectividad, basado en los resultados de la operación del programa en el ciclo agrícola (P–V) 2001, y anteriores hasta el año 2000, así como en el comportamiento de los beneficiarios antes del programa, según esto, para tener base de comparación y referencia de los impactos del programa. Sin embargo, aunque se menciona, en el informe final esta parte no está desarrollada con suficientes argumentos.

La evaluación 2003 se centró en la operación de Procampo durante los ciclos agrícolas O–I2001/2002, P–V 2002, O–I2002/2003 y P–V 2003. Fue realizada por la Universidad Autónoma Chapingo, tomando como base los lineamientos propuestos por ASERCA. En esta evaluación se analizaron principalmente los aspectos relevantes del Procampo en cuanto a su operación (el funcionamiento del proceso burocrático) e impactos técnico y económico derivados de su aplicación, hasta donde fue posible por la falta de información.

En esta investigación se plantea la hipótesis que, en general, las evaluaciones mencionadas han tendido a confirmar la eficiencia operativa de Procampo y a justificar su continuidad, usando para ello diversos indicadores, algunos de los cuales suelen ser los mismos que maneja ASERCA en sus informes internos (Claridades Agropecuarias, 2001/97:6–10; 2002/105:56–59; 2004:32–35). Tales indicadores cubren diversos aspectos, como superficie y predios apoyados, número de beneficiarios, mecanización, uso productivo del subsidio, conversión productiva, proyectos ecológicos, beneficio en zonas indígenas, beneficio a mujeres y jóvenes y mejoramiento de competitividad, entre otros. La amplia gama de indicadores y de objetivos ha dado lugar a que las evaluaciones arrojen, al parecer, expectativas favorables en torno a la continuidad del programa.

También se afirma que los resultados de las evaluaciones se derivan básicamente de las percepciones de los beneficiarios encuestados y del análisis lineal de las respuestas. Es decir, no se hace cruce de información, no se utiliza información adicional y tampoco se hace un esfuerzo de análisis cuantitativo para dar fundamento al efecto multiplicador de las transferencias en términos de bienestar del productor, arraigo, empleo y hasta de sus efectos positivos en precios y comercialización. En concreto, las evaluaciones, tal y como fueron hechas, no aportan evidencia concluyente respecto al impacto multiplicador en la actividad productiva y la calidad de vida de los beneficiarios.

A propósito de lo anterior, según Larrú (2003:37) se ha verificado que "en la experiencia internacional de evaluación, una lección señalada por numerosos informes es que cuanto más ambiciosos han sido los objetivos marcados por el proyecto o programa, más difuso se ha hecho, más generalizado se ha formulado y menor impacto y sostenibilidad ha obtenido. La dispersión, permite llegar a más y más beneficiarios, pero resulta contradictorio con el éxito de la acción. Esta misma lección ha aparecido en muchas otras evaluaciones e informes de síntesis: Riddell, 1990; Riddell y Robinson, 1992; CAC1997 y MAE, 2000".⁵

 

Análisis de las evaluaciones de Procampo

En el periodo 1994–1997 no se aplicaron evaluaciones ejecutadas por instancias externas. En cambio la Dirección Operativa de Procampo dependiente de ASERCA presentó informes donde se resaltan los logros obtenidos en cuanto a superficie, beneficiarios, presupuesto, oportunidad, cobertura y aplicación del apoyo durante el lapso 1996–1997. El desglose es específico, pero demasiado descriptivo y de poco alcance en cuanto a la comprobación de los impactos (Claridades Agropecuarias, 1996/38:3–13; 1997/48:3–7; 1998/61:3–7). Las evaluaciones externas debían haber subsanado dichas deficiencias. No obstante, a causa de que estas evaluaciones estuvieron sujetas a términos de referencia rígidos, establecidos por la institución oficial interesada y a la revisión y, en su caso, corrección de los informes finales, no se dejó suficiente espacio de independencia y libertad de juicio a las entidades consultoras. Así, la calidad de las evaluaciones fue socavada y no cumplieron completamente con lo que se esperaba de ellas.

La supervisión estrecha dio lugar a una evaluación burocratizada y dejó poco espacio a consideraciones críticas, lo cual redujo la posibilidad de mejorar la operación del programa, así como su efectividad. Lo antes dicho justifica la conveniencia de hacer una evaluación de las evaluaciones de Procampo, a fin de hacer recomendaciones en cuanto a su pertinencia y transformación al concluir el periodo de vida para el cual fue definido. Así, al análisis de las evaluaciones de Procampo lleva a los siguientes resultados, según nivel:

 

Nivel 1. Los objetivos de las evaluaciones

1. La evaluación de 1998 fue de carácter exploratorio, pues su objetivo era conocer la percepción de los beneficiarios respecto al programa. No se pretendió establecer relaciones de causalidad ni tampoco inferir si Procampo ha sido factor determinante de algún cambio en la unidad de producción que recibe el subsidio. El informe de evaluación no presentó conclusiones ni recomendaciones, como expresión de su sentido marcadamente descriptivo.

2. La evaluación de 2001 asumió más el carácter de auditoría (ver anexo). El análisis cuantitativo (información obtenida por muestreo) se combinó con el análisis cualitativo (opiniones recabadas en talleres participativos), aunque sin mucho éxito al momento de tratar de fundamentar las conclusiones. Aunque no fueron especificados de forma clara los objetivos de la evaluación, hubo la inclinación a derivar impactos socioeconómicos con base en las apreciaciones de los productores.

3. En la evaluación de 2003 se trató de registrar las percepciones de los beneficiarios, pero también de evaluar impactos sobre diversos aspectos, entre los que destacaron los aspectos de conversión productiva, arraigo y generación de empleo y protección de los recursos naturales, entre otros. Esto marca una diferencia metodológica y de tratamiento de la información con respecto a las dos evaluaciones anteriores.

 

Nivel 2. La metodología de las evaluaciones

4. En la evaluación de 1998 fue utilizado el método de estratificación óptima, con un tamaño de muestra de 3,480 beneficiarios. Su principal debilidad metodológica se dio en la estratificación (ver el anexo), pues los estratos de superficie resultaron ser amplios. En el primer estrato fueron clasificados productores de entre 0.1 a 10 ha y se perdió, por tanto, la perspectiva de los pequeños productores de subsistencia de hasta dos ha de superficie, los cuales representan 63% del total de beneficiarios de Procampo.⁶ La estratificación por sí misma dispersa la percepción del grupo mayoritario de productores beneficiarios y la mezcla con las percepciones de productores comerciales. La forma de agregación resta representatividad a los resultados obtenidos, pues las características de los productores de subsistencia de hasta cinco hectáreas son diferentes de las de productores comerciales (más de cinco hectáreas).

5. En la evaluación del año 2001 se pasó al otro extremo, al adoptar una estratificación sesgada hacia los productores de hasta cinco ha, con lo cual se perdió información al dejar fuera a los productores de más de cinco hectáreas. En esta evaluación hubo otras debilidades metodológicas, tanto en el diseño del cuestionario como en la selección espontánea del grupo de control. Dicho grupo, al ser seleccionado en tal forma, no puede contrastarse con productores de una muestra diseñada aleatoriamente, aunque así se hace para ciertos resultados. También se utilizó una categorización de productores por régimen hídrico (riego y temporal), que terminó siendo poco relevante para el análisis.

6. En la evaluación 2003 fue utilizado el método de estratificación óptima (al igual que en 1998), con un tamaño de muestra de 4,017 beneficiarios. La estratificación efectuada fue incluyente y completa, pues en sus ocho estratos fueron considerados tanto productores de subsistencia (de 1, 2 y hasta 5 ha) como grandes productores (de más de 200 ha) (ver anexo). De ese modo se garantizó la representatividad de los resultados obtenidos en las encuestas según el tipo de beneficiarios, si bien no se hizo una regionalización para reflejar la diversidad de condiciones productivas. Es decir, se supuso un productor estándar, usando como criterio el estrato de superficie.

7. Las tres evaluaciones analizadas no son completamente comparables entre sí, pues la definición de los estratos fue diferente, lo mismo que su alcance, objetivos y perspectivas. Esas diferencias inciden en los resultados y en su interpretación.

 

Nivel 3. Los resultados de las evaluaciones

8. Si bien no son completamente comparables los resultados de las tres evaluaciones consideradas, un factor común entre éstas es la conclusión compartida de que Procampo ha sido eficiente en términos operativos, al tener muy bajos costos administrativos. Igualmente en cobertura, tanto de productores como de superficie, así como en entrega oportuna del subsidio, en atención oportuna a los beneficiarios y en la difusión de las reglas de operación para mayor conocimiento de los productores atendidos.

9. No obstante, el resultado de eficiencia administrativa se debe considerar con cuidado en términos de la forma como se calcula el costo administrativo, pues en éste no se incluye el salario devengado por el personal de ASERCA que está directamente involucrado con la gestión y operación del programa. Tampoco incluye los costos indirectos de infraestructura, transporte y demás equipo administrativo.

10. En la evaluación de 1998, si bien no había la pretensión de establecer relaciones de causalidad, fueron atribuidos a Procampo diversos impactos positivos, desde el aumento en el consumo en 38% de los beneficiarios hasta una mejoría en el precio de los productos, de acuerdo a la percepción de 38% de los productores. Con relación al último aspecto, 20% opinó lo contrario. También encontraron que 39% de los beneficiarios mejoraron sus rendimientos debido a Procampo, que 90% atribuían al programa su persistencia como productores y que 29% decía no haber emigrado gracias al subsidio. También fue señalada una alta proporción de productores con consumo improductivo del apoyo de Procampo cerca de 17% en promedio.

11. En la evaluación del año 2001, también estuvo presente la visión optimista, tal vez más que en 1998, al afirmar que Procampo incidía indirectamente en el mejoramiento del nivel de vida de los beneficiarios, aunque tal afirmación no tenía mayor sustento. Lo mismo que la evaluación de 1998, en ésta fueron encontrados impactos positivos de Procampo en el arraigo y el empleo, disminución de la migración, incremento en rendimientos, mejoramiento en las condiciones de compra de insumos y hasta en la recuperación forestal (7% de los beneficiarios). La proporción de uso productivo e improductivo del pago de Procampo resultó ser similar a la encontrada en la evaluación de 1998, es decir 80 y 20%, respectivamente.

12. En la evaluación de 2003 los resultados de índole operativo y administrativo fueron similares a los de las otras evaluaciones, aunque en ésta se presentaron indicadores por régimen de tenencia de la tierra, régimen hídrico, principales cultivos, perfil socioeconómico del beneficiario y desglose de indicadores seleccionados por estados. También los impactos de Procampo en comercialización, empleo y decremento de migración, uso productivo del subsidio, conservación de predios y proyectos ecológicos, así como en algo de organización, los cuales fueron considerados positivos. Sin embargo, un resultado discutible es la afirmación referida a que Procampo incidía favorablemente en el nivel tecnológico de la unidad productiva (al contrastarse beneficiarios y no beneficiarios, la diferencia no es estadísticamente significativa). Además, se registró una mayor frecuencia de uso productivo del subsidio (93%) y en reconversión productiva (26%) que las encontradas en anteriores evaluaciones.

13. En resumen, las evaluaciones reflejan un Procampo efectivo, eficiente y que ha cumplido satisfactoriamente con buena parte de los objetivos establecidos. Incluso con impactos positivos hasta en áreas que no son de su ingerencia directa como la mejoría en precios y comercialización de las cosechas. Hasta en la calidad de vida se concluye una mejoría. De este modo, la operación del programa, de acuerdo con estas evaluaciones, ha sido exitosa y ha cumplido adecuadamente con los objetivos planteados, tanto al inicio del programa como en los periodos posteriores.

14. En las evaluaciones de 2001 y 2003 se intentó hacer el contraste con un grupo espejo de productores no beneficiarios. Las deficiencias en la selección y obtención de la información implicó, no obstante, un uso inadecuado y limitado de estos resultados, los cuales no se pueden utilizar para fines analíticos y de comparación.

 

Nivel 4. Las conclusiones de las evaluaciones

15. En la evaluación de 1998 no se presentaron conclusiones, al ser un trabajo exploratorio y descriptivo, donde interesaba más conocer la operación del programa. Por su parte, en la evaluación de 2001 se concluyó que Procampo ha dado cumplimiento a la normatividad, ha tenido buena cobertura y ha sido eficiente operativamente, con costos bajos de administración. También fueron derivados impactos permanentes en cuanto a regularización de tierras, formalización del comercio de tierras y pago de derechos de uso de agua. Sin embargo, también se destaca que Procampo, por sí mismo, no ha sido suficiente para que los productores puedan competir en el mercado internacional, por lo que es necesario contar con otros programas de apoyo paralelos. Con ello, indirectamente los evaluadores aceptan que el Procampo ha fallado en sus objetivos.

16. En la evaluación del año 2001 fueron presentados impactos insuficientemente apoyados en el trabajo de campo y las encuestas, los cuales fueron denominados efectos transitorios reversibles. Las conclusiones son, en tal sentido, cuestionables. Fueron destacados el fortalecimiento de la economía familiar rural, un incremento sustancial en el uso de insumos, un mejoramiento comercial del productor, mayor arraigo en la actividad agrícola, reducción de la migración y el desempleo. Con relación a estos puntos, no obstante, existe contradicción con la realidad, pues en el tiempo que ha operado Procampo se ha incrementado la intensidad de migración al extranjero y de las remesas enviadas. Esto refuerza la afirmación de que las conclusiones se obtienen exclusivamente de las percepciones y apreciaciones aparentes de los productores al responder a los cuestionarios aplicados.

17. Las conclusiones de la evaluación del año 2003 son más numerosas y de mayor alcance dada la mejor estratificación y el tratamiento por estado, aunque ciertamente también presentó afirmaciones que son cuestionables. Entre éstas se ubican los efectos encontrados en cuanto a organización, conservación ecológica, nivel tecnológico de la unidad de producción y diversificación productiva. Lo relevante es que estos impactos fueron derivados en forma lineal, es decir, sin hacer el cruce de información con otras preguntas para consolidar las respuestas. Por ejemplo, al concluir que el impacto en el nivel tecnológico se debe a Procampo, el sustento es la frecuencia de productores beneficiarios que incrementaron maquinaria y equipo, pero el diseño de la pregunta es sesgado, pues no se especifica si su adquisición fue debido directamente a Procampo. La compra pudo haberse derivado de los ingresos propios o de la recepción de remesas o créditos no conectados con Procampo. No obstante, en la evaluación la mejoría tecnológica es considerada con aspecto que se deriva del programa. De hecho, buena parte de los resultados son cuestionables por establecer el vínculo directo con Procampo.

18. Con este análisis se puede verificar que existe una práctica generalizada de tratar de inferir resultados de impacto a partir de resultados operativos o que no están debidamente cruzados con otras respuestas. Si bien es cierto que un apoyo adicional a los productores es algo que éstos ven como positivo, ello no es fundamento para inferir que se han mejorado las condiciones de producción, de rentabilidad y de arraigo en el empleo, lo cual es algo que difícilmente se puede sostener considerando el bajo monto del subsidio por hectárea ($1,250.00) y que más de 70% de los productores beneficiados tienen menos de cinco hectáreas.

 

Nivel 5. Observaciones críticas a las evaluaciones

19. En general, ninguna evaluación hace un cruce de información (tipo de productor por régimen hídrico, que tiene cesión de derechos y si ha reconvertido su cultivo, por ejemplo). Así, la interpretación lineal de los resultados puede dar lugar a interpretaciones parciales y hasta contradictorias.

20. En la evaluación del año 2003 se señala que 40% de los productores no consideran que el Procampo haya tenido algún efecto sobre sus precios de venta; lo que es de esperarse ya que el objetivo del subsidio no es incidir sobre el precio de venta, pero a 33% de ellos les parece que sus precios han mejorado, y 20% son de la opinión de que han descendido por influencia del programa. Las respuestas reflejan una confusión entre los beneficiarios que fue inducida por una pregunta imprecisa.

21. También señala que una significativa proporción de los beneficiarios del programa han conseguido mejorar las condiciones de comercialización de sus productos por la influencia del apoyo, siendo que Procampo no considera la comercialización en sí como uno de sus objetivos colaterales (más bien considera la organización para la comercialización), también se ha inducido un respuesta sin respaldo real.

22. En todas las evaluaciones aplicadas, los beneficiarios no han podido diferenciar claramente el efecto del apoyo económico de Procampo de otras fuentes de ingreso. Este hecho implica que se inclinen por responder a la pregunta afirmativamente ante el riesgo de que les vayan a quitar el subsidio. Cuando se pregunta directamente ¿Te ha beneficiado Procampo? la repuesta es afirmativa, pues indudablemente representa un apoyo, pero al momento de preguntar acerca del destino del apoyo, los beneficiarios no pueden diferenciar el efecto de los ingresos derivados del pago de Procampo de sus otras fuentes, ya sea de venta de sus productos o fuerza de trabajo, remesas y otras donaciones, créditos o préstamos personales que obtienen.

23. Si bien la mayoría de beneficiarios declara un consumo productivo del subsidio, especialmente los más pequeños, este resultado es cuestionable desde el momento en que se sabe que éstos productores no llevan una contabilidad precisa de sus entradas y salidas y del origen y destino de sus ingresos. Más bien todo lo integran en una sola "canasta". El sentido de las respuestas así lo muestra.

24. La ambigüedad del diseño del cuestionario y la forma de aplicación de las encuestas ha generado que las evaluaciones registren distorsiones severas, como el hecho de encontrar mejorías hasta en aspectos no considerados por Procampo. ¿Cómo se pueden validar los resultados y las conclusiones de las evaluaciones cuando una parte significativa de los beneficiarios carece de suficiente información? Ante esa falta de información, no es complicado inferir que las respuestas son del tipo "integradoras", es decir, que no se distingue el efecto del apoyo específico de las demás entradas que tiene el beneficiario. Esto representa un problema serio en las evaluaciones, las cuales se han basado sustancialmente en percepciones.

 

Conclusiones de la investigación

Con base en el análisis de las evaluaciones en sus diversos niveles (ver anexo), se concluye que si bien Procampo, al proporcionar un pago directo a los productores, implica un efecto positivo en el ingreso de éstos, no hay evidencia fundamentada de que haya sido suficiente como para que mejorar sus condiciones de vida. Con más de 70% de beneficiarios de menos de cinco hectáreas y un subsidio por hectárea no superior a $1,250.00, no se puede inferir que estos productores observen de manera significativa los impactos que los evaluadores imputan a Procampo en modernización y reconversión productiva, protección del medio ambiente, organización para la producción, arraigo y disminución de la migración, competitividad y todo el listado de objetivos colaterales asignados al programa.

Asimismo, el uso de la cesión de derechos y los esquemas de capitalización son de alcance restringido, debido entre otras causas al bajo nivel de organización de los productores y a la atomización de los predios. Su utilización sólo se ha verificado para menos de 2% de los productores beneficiados de Procampo, que casualmente son los más grandes.

Otra conclusión importante es que las evaluaciones examinadas presentan un gran problema de parcialidad debido a la intensa participación de ASERCA en la realización y validación del proceso de evaluación (v.gr., en la orientación de las preguntas del cuestionario a aplicar, en la forma de presentar los resultados y en la redacción final del informe), lo que no deja suficiente espacio de libertad a los evaluadores. Así, la confianza en los resultados obtenidos se ha visto debilitada, por lo que es recomendable dar mayor independencia a las instancias evaluadoras y aceptar los análisis críticos pero constructivos. Se necesita fomentar la cultura de la evaluación crítica y objetiva.

También se concluye que en las evaluaciones de Procampo hay problemas de diseño al conectar el tipo de respuesta con el tipo de productor. Así, resulta que una parte considera el apoyo como detonador del uso de insumos, mientras otra parte señala su insuficiencia para generar un cambio en la productividad. También se muestra que tanto en el diseño del cuestionario como en la aplicación del mismo se da lugar a respuestas que son impresiones más aparentes que reales, lo que hace más difícil detectar los beneficios potenciales y el efecto multiplicador del programa. Es recomendable hacer cruces de información y darle mayor profundidad al análisis.

Otro hallazgo relevante es que hasta ahora las evaluaciones de Procampo no permiten aportar elementos para conocer su pertinencia y la forma que asumiría una vez concluido en programa en el año 2008, pues los resultados se han basado casi exclusivamente en las percepciones de los productores beneficiarios. En este sentido, la recomendación natural a la que se llega en las evaluaciones es que el programa continúe, pero no se argumenta la forma específica que pueda adquirir el apoyo en cuanto a selectividad, regionalización, interacción con otros programas de apoyo instrumentados, etcétera.

Tal como está en su forma actual, Procampo ha sido un programa discriminatorio (donde la mayor parte del subsidio se concentra en pocos productores, al estar en función de la superficie de siembra), que fue diseñado para responder a un enfoque de política poco compatible con la realidad del campo mexicano, donde existe una gran heterogeneidad productiva, de tenencia, de superficie, de ingresos, de régimen hídrico, de tecnología, etc., y consecuentemente un rezago productivo y de calidad de vida evidente para la mayoría de los productores del sector agropecuario.

Por lo anterior, la realidad objeta los resultados positivos y optimistas de las evaluaciones de Procampo dado el nivel de rezago productivo y pobreza extrema en que se encuentra la mayoría de los productores, agudizado por la eliminación de los estímulos a la producción. No se puede sostener que con lo limitado del presupuesto asignado al sector y con la amplitud de objetivos de Procampo, se registren mejoras y efectos multiplicadores consistentes entre los beneficiarios, la mayoría de los cuales son de subsistencia y autoconsumo.

Lo anterior deriva en que mientras las evaluaciones se circunscriban a la lógica de operación de Procampo y a las percepciones de los beneficiarios, no es posible concluir con fundamento la utilidad y conveniencia social de este programa, como tampoco se puede afirmar contundentemente que Procampo haya incidido en la mejoría de los niveles de vida de los beneficiarios, al carecer de un grupo de control para la comparación.

 

Propuestas para evaluaciones que permitan propuestas de políticas que requiere el campo mexicano

De este trabajo se derivan algunas propuestas puntuales:

• Una aplicación de evaluaciones integrales que consideren tanto el impacto de Procampo como de los demás programas operados por ASERCA donde coincida el padrón de productores, como los programas diesel de comercialización, etcétera.

• Estas evaluaciones integrales, por sus características, se pueden aplicar a dos o tres estados o regiones representativos por tipo de productores (de subsistencia, pequeños y grandes) y considerar sólo los productores de maíz y frijol, que son los más representativos a nivel nacional, tanto en superficie como en número.

• Estas evaluaciones y las siguientes que se hagan de Procampo hasta 2008, deben considerar el entorno de los acuerdos de la Organización Mundial de Comercio (OMC) respecto a este tipo de subsidios directos para darle utilidad como elemento de planeación y toma de decisiones y no sólo como obligación legal u oportunismo político respecto a sus resultados.

• Se debe avanzar en los análisis críticos e imparciales, sólo así se puede mejorar lo hasta ahora hecho.

Por último, sólo en la medida en que se dimensione adecuadamente la relevancia de las evaluaciones a los programas públicos se puede calcular de manera más confiable los impactos y efectos multiplicadores de éstos. Sólo con imparcialidad y profesionalismo se puede contar con bases analíticas para plantear ya sea una continuidad de Procampo tal como ha venido operando, su aplicación con modificaciones diversas o, en última instancia, su completo rediseño para dar lugar a otro programa con características distintas.

Por el momento, sólo se presenta una "película" editada en las evaluaciones, donde se matiza lo positivo y se elimina la problemática, donde se presentan resultados exitosos aparentes que a fuerza de repetirlos se quieren dar por verdaderos. Sin embargo, la realidad apunta hacia otro lado, contrariando los exitosos resultados.

 

Bibliografía

DAC (1997) Searching for Impact and Methods: NGO Evaluation Synthesis Study. Helsinki, DAC Expert Group on Aid Evaluation. OECD/dac. Ministry for Foreign Affairs of Finland.         [ Links ]

CEPAL (1999) Control de gestión y evaluación de resultados en la gerencia pública (Metaevaluación–Mesoevaluación). Serie Manuales 3, Santiago de Chile, Dirección de Proyectos y Programación de Inversiones–ILPES.         [ Links ]

Claridades Agropecuarias No. 3, noviembre 1993, pp. 2 y 3.        [ Links ]

No. 4, diciembre 1993, pp. 1–6.

No. 36, agosto 1996, pp. 38–41.

No. 38. octubre 1996, 3° aniversario, pp. 3–13.

No. 48. agosto 1997, 4° aniversario, pp. 3–7.

No. 61. septiembre 1998, 5° aniversario, pp. 3–7.

No.64. diciembre 1998. Evaluación 1998, pp. 4–40.

No. 85, 7° aniversario, septiembre, 2000, pp. 13–16.

No.91. marzo 2001, pp. 32.

No.92. abril 2001, pp. 5–6.

No.97. septiembre 2001, pp. 6–10.

No. 105. mayo, 2002, pp. 56–59.

No. 112, diciembre, 2002, pp. 17–18.

No. 127. marzo 2004, pp. 32–35.

Colegio de Ingenieros Agrónomos de México–ASERCA (2001) Estudio sobre la observancia de las normas de operación de Procampo, los beneficios económicos y sociales y su costo–efectividad. Evaluación de Procampo 2001. Informe Completo.         [ Links ]

Diario Oficial de la Federación (DOF), 25 de julio de 1994 y la Fe de Erratas del 25 de noviembre de 1994.         [ Links ]

Larrú, José María (2003) Análisis de los resultados y metaevaluación del sistema evaluaciones de Europe Aid. Documento para la Discusión 03–01. http://www.cecod.net/paper_ev_final.pdf         [ Links ]

MAE (2000) Programa de subvenciones y ayudas a ONGD en Haití, República Dominicana y Filipinas. Informes de evaluación 8/2000. MAE–SECIPI Madrid.         [ Links ]

OECD (2002) Glosario de los principales términos sobre evaluación y gestión basada en resultados. The Development Assistance Committee (DAC) Working Party on Aid Evaluation, Paris, France.         [ Links ]

Riddell, R. (1990) Judging Success. Evaluating NGO Approaches to Alleviating Poverty in Developing Countries. London, Overseas Development Institute. Working Paper 37.        [ Links ]

Riddell, R. Y Robinson, M. (1992) The Impact of NGO Poverty Alleviation Projects: Results of the Case Study Evaluation. London. Overseas Development Institute. Working Paper 68.         [ Links ]

Universidad Autónoma Chapingo–ASERCA (2003) Evaluación de Procampo 2003. Informe Completo.         [ Links ]

Banco Mundial (2002) The CGIAR at 31: An Meta–Evaluation of the Consultative. Group on International Agricultural Research Volume 3: Annexes.        [ Links ]

 

Notas

¹ Los objetivos colaterales planteados fueron los siguientes:
a) fomentar la reconversión productiva hacia actividades de mayor rentabilidad,
b) compensar subsidios que otros países otorgan a sus productores,
c) estimular la organización de los productores,
d) incrementar la competitividad de las cadenas productivas y
e) frenar la degradación del medio ambiente, propiciando proyectos ecológicos. Para mayor detalle véase Claridades Agropecuarias No. 3, noviembre 1993, pp. 2 y 3

² Procampo se fue adaptando para responder a las nuevas condiciones económicas del país después de la crisis de 1995, ampliando sus objetivos hacia la capitalización y modernización de las unidades productivas beneficiadas bajo un enfoque de conservación del medio ambiente (Claridades Agropecuarias No. 36, agosto 1996, pp. 38–41)

³ Informe Final de la Evaluación de Procampo 2003, realizada por la Universidad Autónoma Chapingo. Apartado 1.1. Fundamentos de la Evaluación.

⁴ El informe completo de esta evaluación se puede consultar en Claridades Agropecuarias No. 64, diciembre 1998, Procampo, pp. 4–40.

⁵ En el trabajo de Larrú se hace una revisión de los informes de evaluación externa encargados por la Unidad de Evaluaciones de EuropeAid, oficina ejecutora de las acciones programadas desde la Dirección General de Desarrollo de la Comisión Europea. Su objetivo es obtener información sobre las buenas y malas prácticas detectadas en las misiones evaluadoras sobre la cooperación al desarrollo comunitario.

⁶ En los diversos informes operativos de Procampo referenciados en este trabajo, invariablemente se hace mención a la orientación social del programa debido a que 63% de los beneficiarios cuentan con una superficie apoyada de dos hectáreas o menos.