nueva página del texto (beta)
Español (pdf)
Artículo en XML
Referencias del artículo
Traducción automática
Enviar artículo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
Introducción
Oficialmente, la evaluación de la gestión pública mexicana ha estado presente en la administración pública desde hace al menos 30 años, aunque se pueden identificar algunas acciones previas a este periodo (Oropeza, 2005; Cardozo, 2012, 2015; Pérez, Maldonado y Hernández 2015; López, 2017). Su aplicación a políticas y programas públicos federales inició en el año 2001 en la Secretaría de Desarrollo Social (SEDESOL) y fue reforzada en 2006 con la integración del Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL), responsable de la realización de evaluaciones en dicho sector, así como con la reforma hacendaria y la Ley Federal de Presupuesto y Responsabilidad Hacendaria (LFPRH) del año 2007 (2015), que han institucionalizado un proceso político-técnico dirigido a elevar la eficacia del gobierno, dando prioridad a elementos como el desarrollo de una plataforma tecnológica para albergar el Sistema de Evaluación del Desempeño (SED) dentro de la estrategia de Presupuesto basado en Resultados (PBR).
También se han invertido recursos para establecer Sistemas de Monitoreo y Evaluación (M&E), desarrollar capacidades institucionales a nivel central y en los gobiernos subnacionales, diseñar la normatividad y metodologías correspondientes, entre otras actividades. A nivel federal, el sistema ha permitido que entre los años 2018 y 2019 se evaluaran 103 programas, habiendo alcanzado cifras superiores respecto a años anteriores (CONEVAL, 2019).
Una preocupación central de los especialistas en el tema ha sido lograr trabajos de calidad, la que se explica por muchos factores, analizados a través de metaevaluaciones, como:
Relativos al trabajo técnico del equipo evaluador (lo más analizado generalmente): datos, fuentes, métodos de análisis, argumentación, conclusiones y recomendaciones.
Vinculados a la organización y planeación del trabajo, así como a la difusión de resultados y al seguimiento de los compromisos. Incluyen desde la normatividad vigente hasta las relaciones con los evaluados, los problemas enfrentados, la transparencia en todos los procesos, etc. (Cardozo, 2006, 2012).
Los factores de este segundo grupo, referido al diseño de estos Sistemas de M&E, los procesos de selección de programas a evaluar, la oferta de capacidades en el mercado de la evaluación, las contrataciones y sus costos, han sido escasamente abordados por académicos y especialistas en la materia.
Al respecto, se puede afirmar que la falta de regulaciones, estándares de calidad y competencia técnica de los evaluadores externos contratados, también puede incidir en el primer grupo de factores, que afecta la calidad de sus trabajos, en función de su conocimiento y/o experiencia del sector público. Además, puede vulnerar la legitimidad del proceso y de las administraciones públicas para valorar el desempeño gubernamental. No obstante, este artículo se limita a analizar el segundo grupo de factores.
A partir de lo anterior, este trabajo realiza un análisis crítico que concibe la evaluación como un sistema compuesto por una amplia gama de elementos que interactúan en su diseño y operación, incluyendo su relación con el incipiente “mercado de evaluación”. Bajo este enfoque, su objetivo consiste en analizar el caso del Sistema de M&E del gobierno del estado de Chihuahua, durante el periodo 2013-2017. Con base en lo anterior y otros aspectos identificados en el proceso, las conclusiones están orientadas a los problemas existentes en el diseño institucional de dicho Sistema de M&E.
Conceptos y métodos
Existen innumerables definiciones sobre evaluación, en función del autor, enfoque, sector y propósito con el cual se aborde. Como complemento del proceso de planeación estratégica, algunos autores la han considerado una herramienta para conocer el desempeño con relación al objetivo perseguido. Otros, la consideran una forma de consejo o asesoramiento que provee información y recomendaciones a los actores involucrados (Hill, 2009). Estudiosos del tema, como Cochran y Malone (2010), agregan que la evaluación busca retroalimentar a los operadores y mejorar la eficiencia y efectividad del programa; mientras que para Uvalle (2004), la evaluación de las acciones administrativas representa la valoración y la memoria institucional de la administración pública, el poder y acción de gobierno.
Algunos autores desglosan el proceso de evaluación y señalan que éste implica medir resultados, compararlos, explicar los niveles de logros alcanzados, valorar dicho desempeño y ofrecer recomendaciones para mejorarlo (Cardozo, 2012). A partir del PBR, se relaciona con el control, monitoreo y evaluación de los recursos públicos autorizados para su operación, en favor de la eficiencia del gasto público, es decir, es una herramienta diseñada con el objetivo de mejorar la eficiencia del proceso presupuestario, y para fundamentar nuevas asignaciones de los recursos públicos.
Aunque el objeto a evaluar puede ser diverso (e.g. gobiernos, instituciones, funcionarios, etc.), el concepto de evaluación aquí estudiado se enfoca en el desempeño gubernamental, mediante la valoración de políticas, programas y proyectos del sector público.
El proceso de evaluación también puede ser estudiado desde un enfoque de sistemas, caracterizado por múltiples elementos interrelacionados que permiten -desde una perspectiva más integral- entender problemas sociales surgidos de la estructura del propio sistema y no necesariamente de factores externos (Aracil, 1983 citado por Gil-García, 2013: 243) tales como: la definición del problema, los actores involucrados en el proceso, el marco legal y normativo, los recursos humanos, financieros e informáticos, la capacidad técnica, los métodos, los usos de las evaluaciones, la transparencia, la rendición de cuentas, la cultura de evaluación y el mercado de evaluaciones, entre los más importantes (González, 2015; López 2017; López-Acevedo, Krause y Mackay, 2012; Mackay, 2007).
Por lo anterior, este artículo analiza el diseño institucional del Sistema de M&E surgido en un proceso de institucionalización de las actividades relativas a su diseño, organización y funcionamiento, en especial con relación al mercado de evaluación, integrado por los aspirantes a evaluadores externos (oferentes), los contratantes (demandantes), sus procesos y productos (evaluaciones). La institucionalización mencionada corresponde a “un proceso de canalización de esfuerzos aislados y espontáneos de evaluaciones a programas hacia un enfoque más sistemático y formal, bajo el supuesto de proveer un mejor entorno para desarrollar el potencial de la práctica de evaluación” (Gaarder y Briceño, 2010: 4).
Entendemos por SM&E un conjunto de principios, lineamientos y prácticas que, ubicados en el marco normativo vigente, permiten organizar, planear e instrumentar las acciones de seguimiento de las actividades planeadas y de evaluación del progreso alcanzado hacia las metas e impactos esperados.
Es importante destacar los arreglos institucionales y elementos necesarios para la construcción político-institucional de un Sistema de M&E: 1) marco organizacional; 2) práctica evaluadora; 3) sustentabilidad del sistema; y 4) uso de los resultados del monitoreo y de las evaluaciones (Aquilino, Potenza, Rubio y Laffaire, 2018); y otros elementos para regularlo como: 1) leyes y normas; 2) agentes que cumplen diversas funciones (organizaciones gubernamentales, privadas o sociales); y, por último, 3) interacciones entre agentes a partir de los mandatos legales, necesidades y aportaciones (Pérez, Maldonado y Hernández, 2015).
En particular, el diseño institucional del sistema constituye un factor indispensable para su efectiva operación (Alkin, 1985 citado por Fleischer y Christie, 2009; Teirlinck, Delanghe, Padilla y Verbeek, 2013; Cardozo, 2012), bajo un enfoque sistemático, formal y legal. Incluso, la revisión de varios Sistemas de M&E de Australia, Colombia, Reino Unido, Japón, España, Perú y Francia (Rist, Boily y Martin, 2011; López-Acevedo, Krause y Mackay, 2012) confirman su importancia y los efectos que produce en los gobiernos democráticos.
Con relación a su actividad administrativa, las organizaciones públicas que coordinan el Sistema de M&E evalúan por sí mismas, o a través de terceros, los programas de la administración pública municipal, estatal o federal. Por ello, de acuerdo con la clasificación de Dunleavy (1989, citado por Johanson, 2014), este tipo de organizaciones públicas se consideran “de servicios”, que proveen a otras entidades públicas.
Esta actividad se relaciona con el enfoque de PbR que vincula la planeación, ejecución y evaluación de políticas, programas e instituciones públicas con el proceso presupuestario (SHCP, 2007:8). Asigna los recursos presupuestales a cada intervención en función de los resultados de sus evaluaciones.
Por otra parte, para explicar el funcionamiento del mercado de evaluación, se abordan las estrategias relativas a los costos para lograr mayor eficiencia del proceso de contrataciones públicas, como las referidas por Johanson (2009: 8): “En el contexto público, el énfasis en los costos, es la característica principal de la competitividad”. Porter (1998 citado por Johanson, 2009) agrega que las estrategias de costos ayudan a identificar si el producto/servicio se ofrece al más bajo precio, agrega valor y cumple con las expectativas del consumidor (operadores de programas públicos). Por lo cual, estos elementos serán importantes para analizar este caso.
Aunque la teoría de costos de transacción se refiere a gastos adicionales a los que se determinan en el mercado, es útil para comprender la estimación de costos. Por ejemplo, Williamson (1979) señala que el oportunismo y la información eficiente son factores inmersos en este proceso. Para Yousuf (2017), el oportunismo representa los beneficios que el proveedor obtiene cuando el contratante no establece protecciones o garantías, mientras que la falta de información fácilmente conduce a tomar decisiones incorrectas, lo cual puede generar altos costos transaccionales “La incertidumbre, la negociación con cantidades mínimas, las asimetrías en la información y el oportunismo originan imperfecciones en el mercado” (Salgado, 2003: 66).
Por lo anterior, en este trabajo se realiza un estudio descriptivo, analítico, valorativo y propositivo, empleando métodos mixtos. En lo cualitativo, se examinará información documental sobre el diseño y organización del Sistema de M&E a nivel estatal, particularmente, los procesos de planeación y contratación de evaluadores, para lo cual, se analizará el caso del Sistema Estatal de Evaluación del Desempeño (SEED) del gobierno del estado de Chihuahua y el proceso de evaluación, que constituye un referente para observar la actuación de los gobiernos subnacionales respecto al mercado de evaluaciones de programas públicos o Programas presupuestarios (PP). El ámbito municipal no será abordado debido a la escasa información disponible.
Por su parte, en lo cuantitativo, se sistematizará la información estadística generada por el gobierno del estado de Chihuahua sobre las contrataciones, evaluaciones realizadas, costos, etcétera, en el periodo 2013-2017, y se procederá a su análisis comparativo. Al respecto, es importante señalar que el periodo revisado considera dos administraciones operadas por distintos partidos políticos.
Mercado de evaluaciones
El proceso de oferta y demanda constituye el “mercado de evaluación”. Las evaluaciones que pueden ser de diferentes tipos; según el ciclo de vida del programa, se clasifican en ex ante, ex dure y ex post. El CONEVAL ha establecido una tipología de las evaluaciones ex post de políticas, programas y proyectos a nivel federal, a partir de otras generadas por organismos internacionales, que incluye: diagnóstico, diseño, consistencia y resultados, específica, específica de desempeño, procesos, estratégica, impacto, integral, complementaria, fichas de monitoreo y de M&E.
En ese sentido, esta tipología ha sido retomada como base y referente para la mayoría de los Sistemas de M&E locales. Con base en la teoría, la siguiente gráfica presenta los tipos de evaluación mencionados vinculado con el ciclo de vida de programa.
Sin embargo, es preciso reconocer que, en México, la mayoría de las evaluaciones -incluso de tipo de diseño o diagnóstico- se realizan en un periodo ex post, es decir, cuando el programa ya está operando.
Fuente: elaboración propia con base en Gobierno del estado de Chihuahua (2013, 2015).
Gráfica 1 Tipos de evaluaciones
Dichos sistemas de M&E, tanto federal como locales, contratan evaluadores externos -e.g. académicos, especialistas, consultores, universidades-, por el periodo específico requerido para realizar la evaluación, con la expectativa -a pesar de que no puede garantizarlo- de lograr imparcialidad y objetividad en su conducción y rigurosidad en las recomendaciones emitidas. Este universo de evaluadores conforma la oferta de capacidades dentro del mercado de evaluación. La siguiente gráfica presenta de forma sencilla el proceso de evaluación a políticas, programas y proyectos públicos.
Fuente: elaboración propia con base en Gobierno del estado de Chihuahua (2013, 2015).
Gráfica 2 Proceso de evaluación a programas públicos
Esta oferta y demanda se organiza de acuerdo con la Ley de adquisiciones, arrendamientos y servicios del sector público (2014), aplicable al nivel federal pero que se constituye en referente para las leyes locales en la materia. Existen tres tipos de contratación: 1) licitación pública; 2) invitación a cuando menos tres personas; o 3) adjudicación directa. Además, según sea el caso (gobierno federal, estatal, municipal), los procedimientos relativos a la demanda los realiza la Secretaría de Hacienda del estado de Chihuahua (Finanzas), el órgano coordinador de la evaluación o los responsables del programa a evaluar (dependencia o entidad).
Al respecto, es preciso señalar que el procedimiento de contrataciones públicas en México es un tema con un alto riesgo de corrupción, y que resulta central en la agenda pública y el discurso político para diversos actores dentro del gobierno mexicano y la sociedad civil organizada. Por ejemplo, organizaciones como Mexicanos Contra la Corrupción y la Impunidad (MCCI), México Evalúa, Gestión Social y Cooperación (GESOC), Instituto Mexicano para la Competitividad (IMCO) y Transparencia Mexicana han hecho señalamientos acerca de los procedimientos de contratación y licitaciones de diversas obras públicas en todos los niveles de gobierno y los presuntos actos de corrupción vinculados a tales procedimientos que deben ser investigados.
En ese mismo sentido, el Sistema Nacional Anticorrupción (SNA), los sistemas estatales, la Ley general del SNA (2016), y la Ley de fiscalización y rendición de cuentas de la federación (2016) en conjunto establecen las disposiciones en el combate a la corrupción, fiscalización y control de los recursos públicos. Aunado a lo anterior, es relevante mencionar que las prácticas evaluativas deben ser congruentes con el objetivo del Presupuesto basado en Resultados (PBR) y el Sistema de Evaluación del Desempeño (SED), es decir, incidir en la eficiencia del gasto público, a través de la evaluación.
Para lograrlo, se establece que la Secretaría con base en el SED verificará, al menos trimestralmente, la eficiencia, economía, eficacia, y la calidad de los programas y presupuestos de las dependencias y entidades, así como el impacto social del ejercicio del gasto público (art. 111, LFPRH).
En un escenario idóneo, los resultados para la sociedad son confiables, si las instituciones de prestigio pueden participar como oferentes en el proceso, con criterios explícitos y en igualdad de condiciones (Cardozo, 2015). Por otro lado, las fallas en su operación conllevan consecuencias negativas que afectan el procedimiento de contrataciones, la eficiencia del gasto y la calidad de las evaluaciones. A continuación, se describe la operación del Sistema de M&E, a nivel local.
El Sistema Estatal de Evaluación del Desempeño de Chihuahua
Un antecedente del Sistema de M&E en Chihuahua lo constituye el hecho de que desde 2006 se ha diseñado y aplicado en el municipio de Chihuahua, a través de su Dirección de Planeación y Evaluación, para analizar el desempeño de su gestión en el marco del Plan Municipal de Desarrollo. Actualmente se integra con un sistema de indicadores de desempeño, una evaluación institucional y una encuesta dirigida a la población (Lozano, 2018).
A nivel estatal, el objeto de estudio de este artículo es la coordinación del Sistema Estatal de Evaluación del Desempeño (SEED) del estado de Chihuahua, la cual está centralizada en la Secretaría de Hacienda del gobierno de esta entidad (en adelante Secretaría de Hacienda), a través de la Coordinación del Presupuesto basado en Resultados y del Sistema de Evaluación del Desempeño (Gobierno del estado de Chihuahua, 2014: Art. 42). A diferencia del nivel federal y otros estatales, no existe un organismo independiente que coordine la evaluación de la política social.
El SEED se implementa principalmente a través de dos instrumentos legales. En primer lugar, los lineamientos generales que regulan la materia fueron publicados en el año 2015 (Periódico Oficial 10/10/2015) -a pesar de que la operación del sistema de evaluación inició desde el año 2013- e incluye, entre otros, el proceso de contratación de evaluadores externos. En segundo lugar, el Programa Anual de Evaluación (PAE), es un documento operativo que tiene como propósito informar acerca de las políticas o programas a evaluar, el tipo de evaluación a realizar, un apartado sobre evaluadores externos (organización, contratación y pagos), el seguimiento a las recomendaciones y la fecha de entrega del informe final de evaluación, entre lo más importante.
Como su nombre lo indica, se publica en cada ejercicio fiscal, habiendo iniciado en el año 2013 (Periódico oficial 5/10/2013), para evaluar el desempeño de un conjunto de programas del ejercicio fiscal 2012. En la siguiente gráfica se muestran los distintos tipos de evaluaciones recomendadas según el ciclo de vida del programa. Todas operan en el estado -excepto las evaluaciones de impacto e indicadores- y cuentan con Términos de Referencia (TDR) adaptados de los diseñados a nivel federal.
Fuente: Gobierno del estado de Chihuahua (2018b).
Gráfica 3 Ciclo de vida del programa y tipo de evaluación recomendada
En este proceso, la decisión de las políticas o programas públicos a evaluar depende de la Secretaría de Hacienda y en ocasiones, se realiza a solicitud de las dependencias y entidades de la administración estatal, aunque la autorización, la otorga en sí la Secretaría de Hacienda. Posteriormente, el PAE se publica, una vez que las unidades responsables de las políticas o programas públicos a evaluar tienen asignado el evaluador externo y firmada (o en proceso) la contratación pública.
Respecto a la contratación de las evaluaciones externas, durante el periodo 2013-2016, la Secretaría de Hacienda fue el área responsable de estas contrataciones, con cargo al presupuesto de la misma Secretaría. No obstante, los PAE emitidos durante 2013-2017, señalan que las contrataciones de las evaluaciones externas se llevarán a cabo con cargo al presupuesto del ente público responsable del programa a evaluar.
Fue a partir del año 2017, con la administración estatal de ese momento, cuando la responsabilidad de la contratación y pago de las evaluaciones externas se confirió a las áreas responsables de los programas a evaluar de la Administración Pública Estatal (APE). Sin embargo, la Secretaría de Hacienda continúa centralizando el procedimiento de selección del evaluador externo (instancia evaluadora), así como el tipo de evaluación contratada.
Finalmente, es oportuno destacar el avance del Sistema de M&E, principalmente en el sector social respecto de otros implementados a nivel nacional. Al respecto, el CONEVAL realiza desde el año 2011, un informe bianual “Diagnóstico del avance en M&E en las entidades federativas”, el cual tiene como objetivo presentar los resultados de la regulación e implementación de los siguientes nueve elementos de M&E en las entidades federativas. Los tres últimos están referidos a la evaluación:
existencia y alcance de la Ley de Desarrollo Social (LDS) o equivalente;
criterios para la creación de programas nuevos;
creación de un padrón de beneficiarios;
elaboración de reglas de operación o equivalente;
difusión de información de los programas;
transparencia en el presupuesto;
elementos de monitoreo y evaluación;
indicadores de resultados y de gestión;
área responsable de realizar la evaluación.
Como se observa en el mapa anterior, en el último informe publicado por el CONEVAL en el año 2017, Chihuahua se encuentra en el grupo de estados con un alto avance en cuanto al Sistema de M&E, que incluye los elementos referidos. El índice de M&E que se presenta en el siguiente mapa ubica el estado de Chihuahua en el quinto lugar con 94.4 % de cumplimiento, cifra por arriba del promedio nacional, que es de 75.3 %.
Respecto a los avances más importantes, la entidad se destaca por hacer una planeación de las evaluaciones del sector social, la cual está actualizada, y especifica tanto los programas que se evaluarán, como los tipos de evaluación y el plazo para realizar las evaluaciones. Para lograr lo anterior, Chihuahua cuenta con indicadores de resultados y de gestión para la política y los programas de desarrollo social, los cuales se utilizan para monitorear y evaluar su desempeño, que lo colocan en segundo lugar a nivel federal; además de que hace públicas sus evaluaciones y dan un seguimiento puntual a los resultados de las evaluaciones (CONEVAL, 2017). La siguiente gráfica refleja este importante avance en el sector social.
Sin embargo, el objetivo de este diagnóstico está enfocado en la política y programas estatales de desarrollo social, y los resultados solamente permiten visualizar el avance de este sector en el estado de Chihuahua.
Las contrataciones en el mercado de la evaluación
A partir de esta información básica sobre el proceso de evaluación, se muestran los principales resultados del proceso de contratación de evaluaciones externas. La oferta en el mercado de evaluaciones del SEED de Chihuahua está compuesta por, al menos, 13 evaluadores externos (contratos adjudicados); la mayoría son despachos de consultoría (8) y, en menor número, participan universidades, instituciones públicas y/o especialistas.
Como se observa en la Gráfica 5, desde el año 2013 -fecha en la que dio inicio la operación del SEED-, se han desarrollado 141 evaluaciones externas a 85 Pp de aproximadamente 37 dependencias u organismos de la APE. Un programa público puede contar con más de una evaluación de los diferentes tipos de evaluaciones previstas en el PAE.
De este total, es decir, las 141 evaluaciones, según los tipos señalados en la Gráfica 5, la mayor parte fueron contratadas durante el año 2016; además, alrededor del 55 % (78 evaluaciones) fueron de tipo Específicas de Desempeño (EED).1
Fuente: elaboración propia con base en Gobierno del estado de Chihuahua (s.f.).
Gráfica 5 Número de evaluaciones según año y tipo
De acuerdo con los TDR, este tipo de evaluación (EED) tiene como objetivo conocer el avance en el cumplimiento de objetivos y metas programadas, mediante el análisis de indicadores del desempeño de los Pp, que permita retroalimentar la operación y la gestión de los mismos.
Realizar este tipo de evaluación (EED) requiere del trabajo de gabinete que involucra la sistematización, análisis, revisión de datos e interpretación de resultados, a partir de la información del programa a evaluar. Lo anterior, no implica necesariamente una revisión de campo o visitas a los lugares, oficinas, etcétera, donde opera el programa. Blaxter, Hughes y Tight (2002) señalan que son procesos de investigación en escritorio y no requieren exploración al exterior, es decir, trabajo de campo con recolección de datos y aplicación de métodos de observación.
Retomando el tema de contrataciones, en este periodo de cinco años (2013-2017), el costo total de las evaluaciones externas contratadas suma un monto de $41 832 957 pesos. Como se observa en la siguiente gráfica, destaca la empresa B, la cual ha desarrollado 40 % del total de las evaluaciones, y la mayoría de las evaluaciones de tipo EED y de procesos. Los evaluadores externos pueden ser académicos, especialistas, consultores y/o universidades y se identifican con una letra “A”, “B”,”C”, etcétera, para proteger su identidad.
Fuente: elaboración propia con base en Gobierno del estado de Chihuahua (s.f.).
Gráfica 6 Evaluadores externos y distribución de sus evaluaciones por tipos SEED 2013-2017
De conformidad con lo señalado en la Ley de adquisiciones, arrendamientos y contratación de servicios del estado de Chihuahua (2018), todas las evaluaciones fueron contratadas a través del procedimiento de adjudicación directa. Al respecto, el artículo 74 de esta Ley señala que, en las adjudicaciones directas, el monto no podrá exceder 36 veces el valor anual de la Unidad de Medida y Actualización (UMA) vigente por cuenta presupuestal sin considerar el IVA. De acuerdo con el INEGI, organismo encargado de publicar la UMA, el valor anual vigente es igual a $30 822 pesos (DOF 10/01/2019).
Si bien es válido el procedimiento, existe gran disparidad de costos entre los evaluadores externos contratados, a pesar de que los programas evaluados son similares en su operación y presupuesto. Para ejemplificar lo anterior, en la Gráfica 7, se muestran los costos de las EED realizadas por los distintos evaluadores, desde el inicio de la implementación del SEED en el año 2013 hasta el 2017.
Fuente: elaboración propia con base Gobierno del estado de Chihuahua (s.f.).
Gráfica 7 Costos de las evaluaciones tipo EED 2013-2017
Como ya se mencionó, destaca la diferencia de aproximadamente $680 000 entre la EED de menor costo $30 000 (C) y la de mayor $710 526 (B). Esto significa que el costo de una EED puede aumentar en un 2200 % dependiendo del evaluador externo que la realice. Incluso, entre los propios entes evaluadores, existen enormes diferencias en los costos con que operan con distintas dependencias. Por ejemplo, en el caso de la empresa C, la evaluación de menor costo es de $30 000 pesos, mientras que la de más alto costo fue de $185 000, esto significa una diferencia de 600 % entre los servicios ofrecidos a diferentes dependencias por el mismo tipo de evaluación (EED).
En este punto, es importante señalar que los costos de las EED y en general, de todas las evaluaciones pueden variar cuando la complejidad del diseño y operación del programa implique mayor tiempo del promedio -tres a cinco meses aproximadamente (PAE 2013-2017). Tal es el caso, por ejemplo, de la evaluación de políticas públicas que requiere la valoración de un conjunto de programas en un contexto más amplio a nivel municipal, estatal, regional y/o nacional.
El caso de la Empresa A también es relevante, debido a que los costos de las evaluaciones EED, varían entre $70 000 hasta $500 000 pesos. Sin embargo, el caso más notorio es la empresa B, la cual, durante el año 2015, asignó un costo fijo unitario para la realización de este tipo de evaluaciones (EED) de $710 526. A esta visión del sector público, se debe agregar que, en este sector, existe limitada información como referente para realizar estimaciones de costos, lo cual genera subestimación o sobrecostos dentro del mercado de evaluación.
Un hallazgo importante durante el proceso de revisión de la base de datos de las evaluaciones realizadas es que la Empresa B fue la consultoría mayormente contratada, principalmente durante el periodo en que la Secretaría de Hacienda estuvo como responsable de la contratación de las evaluaciones, es decir, hasta el año 2016. Esto se conoce como el poder de negociación de los proveedores (Porter, 2000), donde el mercado está dominado por pocos evaluadores y estos influyen en los precios, la calidad y condiciones de la transacción [oligopolio].
No obstante, a partir del año 2017, fecha en que la responsabilidad del proceso de contratación quedó a cargo de las dependencias o entidades responsables de los programas a evaluar, el escenario cambia drásticamente. Como se observa en la siguiente gráfica, y a diferencia de lo que venía ocurriendo en ejercicios fiscales anteriores, en el año 2017, la Empresa B solamente realiza dos evaluaciones tipo EED a dos programas operados por el Colegio de Chihuahua (COLECH), por un costo unitario de $192 871. Lo anterior significa una reducción de 368 % respecto al costo calculado estimado durante el año 2015, como se muestra a continuación.
Fuente: elaboración propia con base en Gobierno del estado de Chihuahua (s.f.).
Gráfica 8 Costos de las EED realizadas por la Empresa B
Por su parte, la evaluación como herramienta para ordenar y racionalizar el funcionamiento de las instituciones, es eficaz a partir de las disposiciones, procesos y acciones que se instrumentan (Uvalle, 2004). Por lo cual, algunos temas pendientes relacionados con esas disposiciones y procesos conciernen al procedimiento de contrataciones públicas.
También es pertinente referir que la Secretaría de Hacienda realizó algunos cambios al proceso de evaluación, reflejados en el PAE 2018, sin embargo, persisten algunos aspectos que requieren especial atención. En primer lugar, se produce una alteración del proceso lógico: a partir de una negociación entre las dependencias, entidades y la Secretaría de Hacienda ocurre el proceso de asignación de las evaluaciones a los evaluadores externos, previo a la publicación del PAE del ejercicio fiscal correspondiente, que incluye la propuesta de programas a evaluar.
Esto significa que los evaluadores externos, quienes son especialistas ajenos a la operación de los programas a evaluar -e.g. académicos, consultores, universidades-, deben establecer contacto con los responsables de los programas a evaluar para solicitar ser considerado en el proceso y enviar la propuesta técnica y económica, según el tipo de evaluación, basados en los TDR correspondientes, antes que el PAE sea publicado y sin que exista una convocatoria pública. Esta fase del proceso no fue definida en la normatividad, lo cual reduce la posibilidad de establecer un proceso de licitación transparente y abierto, en donde participen en igualdad de condiciones evaluadores externos, tanto de la academia, como especialistas y consultores.
Además, la lista de evaluadores externos y los montos contratados, así como el tipo de contratación (licitación pública, invitación a tres, adjudicación directa), se hace pública hasta el momento en que concluye la evaluación, a través del informe final emitido por el evaluador externo. Estas prácticas son contrarias a un proceso de contratación transparente y en favor de la rendición de cuentas.
Adicionalmente, la Secretaría de Hacienda no establece diferencias entre los distintos tipos de evaluaciones como la Evaluación de Consistencia y Resultados (ECYR), EED, de diseño y de procesos, en cuanto a procedimiento, tiempos de ejecución y costos de las mismas. Sin embargo, existen diferencias considerables en estos elementos, debido a las actividades y horas/hombre implicadas según los diferentes tipos de evaluaciones, lo cual impacta en los costos.
Para explicar este punto, el siguiente ejemplo muestra las diferencias entre las EED y las evaluaciones de procesos. Como se ha explicado previamente, la EED tiene como objetivo el “análisis de indicadores del desempeño de los Pp” (Matriz de Indicadores para Resultados MIR, evolución de la cobertura, del presupuesto y de evaluaciones anteriores, entre las más importantes), y se desarrollan mediante trabajo de gabinete y en poco tiempo, comparado con otros tipos de evaluaciones.
En cambio, el propósito de la evaluación de procesos es analizar y valorar la gestión operativa de los Pp (revisión de atributos de los procesos, seguimiento y monitoreo del desempeño y evaluación de resultados, entre otros), estas actividades implican el análisis cualitativo, trabajo de gabinete y de campo para verificar la ejecución de los procesos y realizar entrevistas para obtener información sobre la operación del programa y, en consecuencia, un mayor tiempo para su desarrollo.
A continuación, se muestra un ejemplo de estos tipos de evaluaciones realizadas por diferentes evaluadores externos. Comparativamente, estas evaluaciones (EED y de procesos) implican una diferenciación en su complejidad y tiempos de ejecución y, sobre todo, en los costos implícitos en términos de equipo evaluador, tiempo, logística y transporte. No obstante, la fijación de costos entre estos dos tipos de evaluación es similar.2
Fuente: elaboración propia con base en Gobierno del estado de Chihuahua (s.f.).
Gráfica 9 Costos de las EED y de procesos según el evaluador
Por otra parte, con el objetivo de revisar la competencia técnica, experiencia y/o conocimiento de los evaluadores contratados, se realizó la revisión de las páginas web oficiales de los despachos de consultoría y, destaca que varias de las empresas contratadas son especialistas en temas como inteligencia competitiva (Empresa B), en auditoría, impuestos y servicios financieros (Empresa E), pero no señalan su experiencia en evaluación de programas públicos y/o administración pública. Respecto a las empresas M y B, no se identificaron páginas web oficiales que señalen los servicios que ofrecen, su misión, visión o algún otro tipo de información acerca de su giro y ubicación.
En este sentido, una herramienta importante para mejorar y transparentar el proceso de contratación, es el directorio o registro de evaluadores como por ejemplo, los que opera el Sistema Estatal de Evaluación de Desempeño en Jalisco (Evalúa JALISCO), el Consejo de Evaluación del Desarrollo Social de la Ciudad de México (Evalúa CDMX), el Instituto de Evaluación de Políticas Públicas del estado de Durango (Inevap) o el CONEVAL, los cuales consideran dentro de su proceso, el registro de los evaluadores externos, mediante un padrón público y transparente, con la información básica para comprobar el conocimiento técnico y experiencia en materia de evaluación.
Por último, en cuanto al procedimiento de evaluación es importante señalar que el ciclo de evaluación de políticas y programas públicos prevé una etapa posterior a la evaluación y su respectivo reporte o informe, para establecer un plan de acción y/o agenda de mejora para dar atención a las recomendaciones -Aspectos Susceptibles de Mejora ASM, según CONEVAL- emitidas por los evaluadores. El uso de las evaluaciones y el proceso de implementación de estas recomendaciones se considera un proceso gradual y sistemático (Gobierno del estado de Chihuahua, 2018a; Periódico oficial 27/01/2018), el cual requiere de un tiempo variable para realizar dichas mejoras por parte de los responsables de los programas evaluados.
No obstante, lo que se observa en la operación del SEED, es un proceso repetitivo de evaluaciones, incluso del mismo tipo a los mismos programas en años consecutivos. Por ejemplo, el Fondo de Aportaciones para la Seguridad Pública de los Estados y del Distrito Federal (FASP), bajo la responsabilidad del Secretariado Ejecutivo del Sistema Estatal de Seguridad Pública, ha sido evaluado en forma repetitiva durante todos los ejercicios fiscales de 2014 a 2017 con una ECYR, dos EED y una evaluación integral, respectivamente3. Tomando como referencia el Presupuesto de Egresos del año 2017 (Periódico oficial 31/12/2016), del total de 384 Pp del gobierno estatal, 23 Pp corresponden a la Secretaría de Educación y Deporte. Como se observa en la misma tabla referida del Anexo, son seis los programas evaluados y estos han sido prácticamente los mismos durante tres ejercicios fiscales. Además, destaca que todos pertenecen al rubro de programas federales y cuatro de estos, cifra equivalente al 67 %, han sido evaluados consecutivamente, con el mismo tipo de evaluación
Como estos casos, existen otros programas en la misma situación y el riesgo es que las recomendaciones pueden ser las mismas debido a que no se da tiempo suficiente para implementar las mejoras. Realizar el mismo tipo de evaluación en años consecutivos, reproduce en muchos casos, los mismos resultados y recomendaciones, con costos excesivos a la hacienda pública por cada evaluación contratada. Con el propósito de explicar esta práctica, en la tabla del Anexo 1, se presentan un conjunto de Pp del sector educación, el presupuesto asignado y el costo de las evaluaciones.
Adicionalmente, a partir del objetivo del PBR -el cual busca incidir en la eficiencia del gasto público-, uno de los criterios para determinar qué programas públicos se evaluarán, debe ser los recursos asignados a cada uno. No obstante, en la práctica, este criterio no se aplica. Incluso, existen otros programas estatales con recursos superiores como el caso de los programas de cobertura en educación básica, media superior y apoyo institucional al sistema educativo.
Además, como se observa en el Anexo 1, todos los programas evaluados del sector educación pertenecen a la categoría de programas federales, aun cuando no se identifica la obligatoriedad de evaluarlos anualmente. Al respecto, los artículos 85, 86, 110 y 111 de la LFPRH señalan que los recursos federales que ejerzan las entidades federativas, municipios, etc., serán evaluados. Sin embargo, no señala la temporalidad u obligación de ser evaluados anualmente. Estos resultados, llevan a plantear las siguientes reflexiones para entender el proceso y aportar algunas recomendaciones en beneficio de la operación de los Sistemas de M&E.
Conclusiones
En un contexto tanto nacional como mundial, la evaluación se ha ido arraigando como una práctica capaz de ofrecer información a los tomadores de decisiones -del Poder Ejecutivo o Legislativo- y de facilitar la rendición de cuentas a los ciudadanos. Con ello, a estos se les permite involucrarse en procesos participativos. No basta con analizar la organización y el funcionamiento de los procesos federales, sino que se vuelve relevante conocer el desempeño de los órganos y áreas de evaluación creados prácticamente en todos los estados de país.
Sin duda, se trata de un asunto aún poco encarado por los investigadores en la materia, por lo que la realización de trabajos como el caso que aquí se analizó se vuelve cada vez más necesaria. Los avances en las evaluaciones de políticas y programas realizados en el estado de Chihuahua, que han ameritado el reconocimiento del CONEVAL, se limitan al sector social. Sin embargo, el mercado de evaluación y sus costos, constituyen un tema rezagado dentro de la investigación del diseño institucional del Sistema Estatal de Evaluación del Desempeño (SEED) que muestra diversos desafíos no resueltos. Los problemas en el diseño e implementación institucional del proceso de evaluación, y el Sistemas de Monitoreo y Evaluación (M&E), tienen consecuencias para la administración pública y en el patrón de institucionalidad, en cuanto a su capacidad para articular los conflictos de interés, competencia, productividad y eficiencia, lo cual afecta negativamente su prestigio (Uvalle, 2004).
Generalmente, se da por entendido que el proceso opera eficazmente, ya que existe una estructura normativa y legal como la Ley general del Sistema Nacional Anticorrupción (2016), la Ley Federal de Presupuesto y Responsabilidad Hacendaria (LFPRH) (2015), la Ley General de Desarrollo Social (LGDS), la Ley de Adquisiciones federal y estatal, los Lineamientos generales para la evaluación y el Programa Anual de Evaluación (PAE), los cuales establecen las reglas para su correcto funcionamiento, aunque no garantizan su cumplimiento. No obstante, la revisión del SEED arroja importantes hallazgos a considerar por los coordinadores de la evaluación y otros Sistemas de M&E a nivel subnacional y federal, para mejorar la práctica evaluativa.
Por un lado, la falta de estándares y competencia técnica institucional puede incidir en la calidad de las evaluaciones, con consecuencias en las diversas etapas del proceso de evaluación como: 1) un mal diagnóstico o abordaje del problema público identificado; 2) perspectiva limitada del programa público respecto a su entorno, actuación y relación con otros programas, dependencias y entre niveles de gobiernos (municipal, estatal y/o federal); y 3) definición de recomendaciones poco efectivas o erróneas para el programa.
Además, la calidad es una de las tres características de los Sistemas de M&E exitosos (Mackay, 2012). Por lo tanto, para mejorar la calidad del mercado de evaluadores, se sugiere la creación de un directorio de evaluadores, que facilitaría la selección de especialistas prestigiados por su conocimiento y probidad. Asimismo, es un elemento imprescindible para otorgar transparencia al proceso y fomentar la competencia de los evaluadores externos en igualdad de circunstancias, en favor de la evaluación de calidad de políticas, programas y proyectos públicos.
También se recomienda abrir el proceso a la participación de un mayor número de evaluadores externos -e. g. academia, especialistas y consultores- en igualdad de condiciones. Por un lado, la inclusión de un mayor número de dictaminadores, contribuye a la mejora de la calidad de las evaluaciones por especialistas en el tema y, en consecuencia, a las recomendaciones emitidas. Por otro lado, a pesar del incremento de examinadores en el estado y el potencial para satisfacer evaluaciones de calidad que algunos especialistas señalan (Pérez, Maldonado y Hernández, 2015) en realidad existe una oferta limitada y requiere impulsar la capacitación, particularmente la formación de los evaluadores a nivel local, mercado incipiente comparado con el nivel federal.
Respecto al procedimiento, se propone establecer criterios mínimos para determinar anualmente las políticas, programas, fondos y proyectos a evaluar y publicar en el PAE, los cuales deben hacerse del conocimiento público. Un caso de éxito reconocido por el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) (2016), es el Consejo Evalúa CDMX, que fue distinguido por haber establecido criterios específicos para seleccionar los programas y tipo de evaluaciones en su PAE respectivo. Este procedimiento permite conocer si los programas que se evalúan son los que deberían y, además, como señala la LFPRH, incidir en la eficiencia del gasto público a través de la evaluación.
También es importante desarrollar evaluaciones en congruencia con el ciclo de vida de los programas (Gráfica 3), para obtener información de calidad y en beneficio de los mismos. Asimismo, y con base en lo expuesto en el Anexo 1, se propone establecer un tiempo considerable entre la realización de una evaluación y otra, con el objetivo de dar espacio a los responsables de los programas evaluados para realizar las mejoras correspondientes y dar seguimiento al cumplimiento de recomendaciones acordadas. Estas acciones serán eficaces en la medida que la publicación del PAE se dé con oportunidad y transparencia, es decir, su publicación debe ser el punto convergente entre la oferta y la demanda (evaluadores y coordinadores de las evaluaciones), donde, por un lado, los posibles examinadores, en igualdad de circunstancias, sean considerados en el proceso de selección, y por otro, se reciban las mejores propuestas técnicas en calidad, oportunidad y costos, en favor del programa a evaluar.
De la revisión anterior, también destacan las diferencias entre los costos ofrecidos por distintos dictaminadores externos respecto a las evaluaciones contratadas en programas de similar operación, así como los costos entre los diversos tipos de evaluación considerados en la operación del SEED. La falta de regulación en materia de costos de las evaluaciones e inexistencia de límites máximos, genera entre otros problemas, sobrecostos y monopolización de las mismas por parte de los examinadores externos, debido a su alta rentabilidad. Este factor identificado como oportunismo, según Williamson (1979), conduce a decisiones incorrectas y a altos costos para la hacienda pública. Como resultado, existe una concentración del 62 % del total de las evaluaciones realizadas en el periodo del 2013 al 2017 a dos evaluadores externos (empresas A y B), las cuales fueron asignadas por adjudicación directa en su totalidad.
Adicionalmente, la concentración de las contrataciones públicas de evaluadores externos en pocas empresas o consultorías y la discrecionalidad en la asignación de las mismas, a través de la obtención de contratos de forma expedita, pero sin cumplir con los requerimientos establecidos en las leyes correspondientes, genera un sesgo entre los montos pagados a los dictaminadores externos y los costos reales de las evaluaciones, cuyos efectos adyacentes, son las posibles prácticas discrecionales que llevan implícitos riesgos de corrupción.
Especialistas como Johanson (2009) advierten que cuando en las prácticas administrativas domina el control informal en lugar de contratos formales u obediencia a las reglas, éstas generan ilegalidad en la actividad del sector público e incongruencia respecto a un modelo equilibrado en los costos. Respecto a lo señalado por Salgado (2003) en cuanto al factor ambiental de estos mercados no competitivos, podemos observar que en estos procesos no se advierten altos niveles de incertidumbre para el aumento en los costos, pero sí oportunismo generado por dos factores señalados por Williamson (1979) , tales como información poco eficiente del contexto de intercambio de bienes y servicios -evaluaciones- o intencionalidad racional de los individuos para formular contratos incompletos.
En este punto, es pertinente subrayar que uno de los factores en favor del uso de las evaluaciones, es lo que Cardozo (2015: 441) precisa como “la realización de concursos abiertos y la selección de evaluadores prestigiados por su conocimiento y probidad”. En ese sentido, el ejercicio del gasto público debería ser eficiente para la implementación del Sistema de M&E, el cual tiene entre sus principales objetivos ser una herramienta para “identificar la eficiencia, economía, eficacia y la calidad de la Administración Pública Federal y el impacto social del gasto público” (art. 111, LFPRH) (DOF 30/12/2015).
En síntesis, y siguiendo una congruencia con las conclusiones presentadas, se recomienda que el área coordinadora de la evaluación de políticas y programas públicos implante un procedimiento de contrataciones públicas, con la finalidad de imprimir imparcialidad, transparencia y legitimidad al proceso. Incluso, el estudio de Balthasar (2009) sobre la experiencia del gobierno suizo, asume que un proceso competitivo fortalece el uso de las evaluaciones por la independencia de los resultados.
De esta forma, se evita la concentración de las contrataciones públicas en pocos entes -monopsonio y oligopsonio-, además de justificar y mejorar las condiciones de los costos de las evaluaciones externas según los distintos tipos existentes. Al respecto, se sugiere revisar el proceso de evaluación del Sistema de M&E del estado de Durango, coordinado por el Instituto de Evaluación de Políticas Públicas del Estado de Durango (INEVAP), el cual realiza convocatorias públicas y transparentes, incluyendo reuniones con todos los evaluadores externos registrados en el padrón de evaluadores, para dar a conocer el proceso de contratación, señalando los límites máximos de los recursos disponibles para los diferentes tipos de evaluaciones. Lo anterior también implica establecer costos y límites máximos de las evaluaciones externas de acuerdo al tipo de evaluación a desarrollar. Al respecto, Yousuf (2017) señala que algunos factores que incrementan los costos (de transacción) derivan de la falta de un proceso de producción, es decir, un proceso específicamente diseñado para establecer estos costos y límites máximos. Sin embargo, en el caso de los operadores del SEED -de forma similar a otros coordinadores de la evaluación en el país-, los funcionarios públicos desarrollan por sí mismos evaluaciones a programas públicos conocidas como “evaluaciones internas”, esto es, conocen el proceso de producción.
Este procedimiento, además de fortalecer las capacidades institucionales de los coordinadores en la evaluación, permite establecer estimaciones acerca de los requerimientos para desarrollar los distintos tipos de evaluaciones señalados en la Gráfica 3. Con base en lo anterior, los costos -como cualquier consultoría- se pueden definir entre ciertos rangos considerando los recursos necesarios para su ejecución, e.g. financieros, materiales y recursos humanos (horas/hombre), los cuales son un buen referente para los coordinadores del proceso de contratación respecto a las propuestas técnicas recibidas. También existen buenas prácticas y estudios en los servicios de auditoría para ser considerados en este procedimiento. Por ejemplo, el estudio del Sistema electrónico de contratación pública de México de la Organización para la Cooperación y el Desarrollo Económicos (OCDE) (2018), el Banco de Buenas Prácticas Internacionales en el Combate a la Corrupción (s.f.) del SNA y Jaramillo, García y Zorio (2012) , ofrecen información y procedimientos validados por otros países en esta materia. Incluso, en un esfuerzo por parte de los coordinadores de la evaluación con las acciones a nivel nacional para combatir la corrupción, se puede implantar el procedimiento de testigos sociales en las contrataciones públicas. En ese sentido, las Leyes de adquisiciones federal y estatal prevén la participación de testigos sociales, pero únicamente en los procedimientos de licitación pública.
Sin embargo, para fortalecer el proceso de contratación, los coordinadores del proceso de evaluación podrían ampliar el ámbito de participación de estos testigos a los otros procedimientos; principalmente las adjudicaciones directas, las cuales representan la mayoría del monto de las contrataciones públicas; lo anterior, con base en la Agenda de competencia en contrataciones públicas emitida por la Comisión Federal de Competencia Económica (COFECE), señala que, del total de contratos públicos en el año 2017, 78 % se realizaron mediante adjudicación directa (COFECE, 2018).
La inclusión de la figura de los testigos en las contrataciones de evaluaciones externas dentro del SEED permitiría ir a la vanguardia y en congruencia con la propuesta de la Política Nacional Anticorrupción (PNA), propuesta por el Comité de Participación Ciudadana (CPC) del Sistema Nacional Anticorrupción (SNA) (Comité de Participación Ciudadana, 2018), como control activo de la corrupción. Evidentemente, lo dicho hasta ahora muestra que el nuevo proceso de contratación que opera el SEED a partir del año 2017, a cargo de las dependencias o entidades responsables de los programas a evaluar, no es el óptimo.
Con relación a la responsabilidad de la contratación y pago de las evaluaciones, Balthasar (2009) señala que establecer distancia entre evaluadores y evaluados garantiza la independencia del procedimiento, aunque no haya consenso al respecto. Incluso se advierte un riesgo cuando el organismo público encargado del programa a calificar debe erogar el recurso para el pago de la evaluación, debido a que este pago puede estar condicionado a los resultados del informe final de dicho procedimiento presentado por el evaluador externo, o contratar examinadores “a modo”, cuya objetividad sería cuestionable.
Otro aspecto que se debe tener en cuenta es la tendencia a evaluar sólo el desempeño de los programas federales en el Estado, cuando lo recomendable es que se avance hacia la valoración interna y externa de programas estatales. De ahí que el CONEVAL esté trabajando a nivel subnacional para apoyar en materia de vinculación, capacitación, asesoría técnica y difusión. También se identifica la necesidad de avanzar hacia una mayor interacción con quienes son evaluados, en evaluaciones con trabajo de campo, como CONEVAL ha introducido recientemente en las de diseño que se encuentran en proceso, y hacia las de impacto de los principales programas estatales, con metodología experimental o no, cuantitativa o cualitativa, atributiva o contributiva, pero que permita conocer razonablemente los efectos que el programa ha provocado en la población beneficiaria.
Finalmente, un asunto muy relevante está relacionado con los órganos de evaluación, los cuales deben generar acuerdos y dar seguimiento de las recomendaciones surgidas de los informes para mejorar el diseño, la operación y principalmente los resultados de los programas, evitando recomendaciones recurrentes. Este conjunto de propuestas tiene como propósito incidir en la eficiencia del gasto público, a través de evaluaciones de calidad realizadas eficaz y eficientemente, según lo ordena la normatividad, y en congruencia con el propósito de la evaluación. En ese sentido, la práctica profesional de la evaluación debe privilegiar la ética, evitar caer en una práctica rutinaria y no perder de vista los objetivos nacionales.
