Evaluating the complex: Atribution, Contribution and Beyond*
Myriam Cardozo Brum
Doctora en ciencias políticas y sociales por la Universidad Nacional Autónoma de México (UNAM). Entre 1980 y 1994 trabajó en el Centro de Investigación y Docencia Económicas y en el Instituto Nacional de Salud Pública. A partir de 1994 es investigadora del Departamento de Política y Cultura de la Universidad Autónoma Metropolitana, Unidad Xochimilco [mcardozo@correo.xoc.uam.mx].
Continuando con la colección de trabajos de vanguardia en materia de evaluación de políticas y programas públicos, Comparative Policy Evaluation nos ofrece un nuevo ejemplar de gran valor para los interesados en la realización de trabajos evaluativos de objetos complejos, o por lo menos, complicados.
]]> En el prólogo, Elliot Stern,1 recorre los antecedentes de las diversas corrientes de pensamiento ligadas al estudio de la complejidad, que han criticado al reduccionismo, el determinismo y la lógica lineal, propios de la ciencia "tradicional", para poner atención en los sistemas "dinámicos".2 El importante ascendiente de estas ideas en el campo de la gestión le permite hacer el puente con una de sus relevantes funciones, la evaluación, cuyos objetos pueden variar entre extremos de simplicidad y complejidad. En su opinión, son las políticas, que los tomadores de decisiones desean controlar y cuya efectividad requieren demostrar para justificar sus presupuestos, las que pueden resultar complejas. En consecuencia, es muy difícil identificar y medir con seguridad cuál es la parte del cambio observado en un problema que puede considerarse como impacto de cada una de sus unidades administrativas por separado; tema que podría modificarse profundamente en caso de asumirse el enfoque de la complejidad, lo que implicaría un nuevo rol y habilidades diferentes de los evaluadores, que se debería considerar en sus entrenamientos. Concluye planteando que el impacto continuará siendo incierto, puede tener distintas consecuencias para el futuro de su evaluación, también incierta, como lógica consecuencia de un mundo de interdependencias, propiedades emergentes, cambios impredecibles e impactos indeterminados.El libro consta también de una excelente introducción (presentada como capítulo 1) a cargo de dos de sus editores, Kim Forss y Robert Schwartz,3 que centran el tema debatido en las diferentes aportaciones recogidas por el libro, desarrolladas en contextos nacionales diversos. Se trata fundamentalmente de analizar las contribuciones que el estudio de la complejidad puede ofrecer en la realización de evaluaciones. Para ello se ofrece un panorama de la evolución reciente en el campo evaluativo y se precisa su relación con el concepto de complejidad y otros cercanos como sistemas caóticos, entropía, dinámica no lineal, etcétera.
Se parte de la importancia que desde el siglo pasado han adquirido las políticas públicas nacionales y supranacionales para contender con los grandes problemas de pobreza, hambre, morbilidad, desigualdad, seguridad, medioambiente, inmigración, etcétera, y del reconocimiento de su "complejidad", ya que incluyen a menudo programas y proyectos dirigidos a distintos aspectos de estos problemas y a variados grupos poblacionales. Pero también de que otras áreas más rutinarias como educación, salud pública o planeación urbana están utilizando intervenciones complejas y articuladas porque los programas son insuficientes para responder a todas las necesidades. En consecuencia, existe una demanda creciente para evaluar de manera efectiva estas políticas complejas a todos los niveles (internacional, nacional y local). Las razones de este incremento se explican con base en tres argumentos: transparencia, administración por resultados, y decisiones de políticas basadas en evidencias.
En torno a la transparencia, se percibe una explosión de las demandas ciudadanas por información gubernamental, pero como los altos funcionarios no sienten que disponen de controles que les generen suficientes datos, recurren a la realización de evaluaciones y auditorías, en particular sobre el impacto de sus políticas. Tantas presiones por transparentarlo requieren entender largas cadenas de interacciones y bucles de retroalimentación que vuelven más complejo el trabajo de los evaluadores.
La administración por resultados, impulsada por el enfoque de la Nueva Gerencia Pública, ha llevado a que los gobiernos y las organizaciones no gubernamentales que antes justificaban sus servicios sólo en función de la relevancia y legitimidad simbólica de sus objetivos, hoy necesiten demostrar los logros obtenidos con sus recursos. Ante la limitada utilidad práctica de la cantidad de indicadores generados (que guardan una relación no lineal), se requieren evaluaciones de resultados e impactos, aunque a menudo se descuide su verdadera relación con las intervenciones realizadas (problema de atribución).
Finalmente, hace 20 años que la necesidad de sistematizar el conocimiento en el campo médico, inició el movimiento por contar con evidencias, principalmente en el Reino Unido y Estados Unidos; sin embargo, esto pronto se trasladó a otros países y áreas, especialmente en el campo social y educativo. Se trata de disponer de las mejores investigaciones científicas posibles, que utilicen métodos válidos y confiables, los que muchos consideran que sólo se pueden obtener por vía experimental. Al respecto se ha desarrollado un prolongado debate entre los evaluadores de distintas corrientes: mientras los métodos experimentales han sido claramente exitosos en muchas ciencias naturales y usados en algunas ciencias sociales, sobre todo en economía, en el resto de ellas predominan los métodos cualitativos. En todo caso, la demanda de evidencias también contribuye al incremento de los trabajos de evaluación.
Sin embargo, a menudo estas evaluaciones se transforman en procedimientos operativos estándares, incluidos automáticamente en los presupuestos y planes de trabajo. Además muchos esfuerzos dejan un sentimiento de frustración porque no se alcanza a lograr el conocimiento suficiente. Los autores afirman que es evidente que las herramientas disponibles son suficientes para evaluar programas y proyectos, pero se cuestionan sobre la forma de evaluar la complejidad de las políticas, preocupación que tiene pocos años de vida4 y que constituye el objeto del libro.
A continuación se enfrentan a la necesidad de conceptualizar lo que se entiende por la "complejidad", para diferenciarla de la "complicación" (interconectada, difícil, intrincada) que el sentido común toma por su sinónimo, y que algunos evaluadores retoman al identificarla con políticas multifacéticas e intersectoriales así como ciertos proyectos ordinarios. Para ello los autores retroceden hasta los desarrollos conceptuales de la teoría de sistemas, el trabajo de Ilya Prigogine sobre las propiedades termodinámicas de los sistemas que actúan alejados del equilibrio (que le valiera el Premio Nobel de Química en 1977) y los desarrollos de la teoría del Caos. Por este camino arriban a definir los sistemas complejos como aquellos constituidos por diferentes partes interconectadas entre sí a través de relaciones no lineales. Deducen que no hay proporcionalidad en sus relaciones causa-efecto y que las partes del sistema no son intercambiables.
Retomando a Mainzer,5 identifican como propiedades de los sistemas no lineales: que pueden alcanzar varios posibles estados de equilibrio en lugar de uno final y estable, que son capaces de reforzar por sí mismos procesos de retroalimentación positiva y autoorganizarse, y que presentan fenómenos de emergencia que no dependen de su composición por un gran número de elementos sino de sus interacciones no lineales. De Uphoff6 resaltan algunas consecuencias como la multicausalidad, la posible amplia demora entre causas y efectos, la coexistencia de retroalimentación positiva y negativa, entre otras; todas de gran relevancia en la evaluación de políticas complejas, razón que los lleva a abrazar las ideas desarrolladas desde el enfoque de la complejidad, que los autores identifican con la ciencia de los sistemas complejos, si bien no lo manifiestan explícitamente.
Forss y Schwartz insisten en que si bien la evaluación misma podría ser compleja, en el libro no es eso lo que se trata sino las políticas como objeto complejo evaluado. Finalmente, para enfocar esta complejidad anticipan que se ofrecerán diversos desarrollos conceptuales y teóricos, así como ejemplos prácticos. Sin embargo, si bien el pasado puede resultar inspirador para un evaluador, muchas situaciones son únicas, por lo que se necesita entender concretamente qué tan compleja es la evaluación, una gran capacidad de inventiva metodológica, una actitud flexible ante posibles explicaciones teóricas alternativas y un conocimiento específico del tema a evaluar, por encima de las habilidades metodológicas. La planeación de la evaluación en estos casos se vuelve un arte, donde la experiencia y la intuición pueden resultar más efectivas que un conjunto de procedimientos analíticos; no hay manuales aplicables.
]]> El capítulo 2, escrito por Patricia J. Rogers,7 profundiza en la diferenciación de lo simple, lo complicado y lo complejo para luego analizar el diseño y conducción de las evaluaciones en cada caso, en términos de tres aspectos: medición y descripción, análisis causal, e informes y uso de hallazgos. Después de una amplia revisión de autores, resalta la importancia de no confundir "simple" con "fácil" y expresa que los aspectos de una intervención se consideran simples si es realizada por una sola organización, estable, estandarizada, con procesos bien definidos, que tiene sus impactos esperados claramente establecidos y una estrategia causal simple para alcanzarlos; pero además, sin que existan contribuciones significativas de intervenciones de otras organizaciones o factores externos. Un ejemplo de intervención simple sería el de un programa de vacunaciones.En el caso de intervenciones con aspectos complicados, éstos presentan múltiples componentes que necesitan avanzar juntos para alcanzar los impactos planeados, por lo que la coordinación de todos es crucial. Pueden considerarse "paquetes causales" cuyos resultados dependen de la combinación de diferentes intervenciones y condiciones contextuales favorables o bien donde existan diversas relaciones causales múltiples que permitan alcanzar los objetivos. El programa Oportunidades, con estrategias de salud, alimentación y educación, sería un buen ejemplo de una intervención complicada.
Finalmente, conceptualiza a las intervenciones como complejas cuando se caracterizan por fenómenos dinámicos y emergencias que no siguen un patrón preestablecido. Serían posibles ejemplos de estos casos aquellos en los que el impacto de la política depende de la imprevisible respuesta de la población, por ejemplo, en programas de salud preventiva como la detección temprana del cáncer intrauterino o mamario.
A diferencia de lo esperado, el último apartado del capítulo es mucho más pequeño que el anterior, y aunque maneja suficientemente el tema de la dinámica de cambio en el programa, toma en cuenta muy poco el asunto de la no linealidad, y sobre todo, considero que no interpreta adecuadamente el tema de la emergencia. La autora refiere a esta última como cambios en el sistema evaluado, provocados por modificaciones de variables contextuales; sin embargo, considero que
la emergencia en los sistemas complejos se refiere a la aparición de nuevas estructuras o funcionamientos generados por el propio sistema, que no pueden ser previstos en el corto plazo por su comportamiento previo, ni son provocados por factores externos.
Por su parte, John Mayne8 presenta, en el capítulo 3, una alternativa a la atribución simple de relaciones causa-efecto en las evaluaciones de impacto realizadas mediante mediciones experimentales que pretenden ofrecer "evidencias", deslindando los efectos de una intervención de los provocados por otras o por factores externos. Se trata del análisis contributivo, adecuado para los casos en que la política o programa evaluado se consideran complejos, que se basa en la disposición de una teoría del cambio que explica y guía la intervención.
Se procede verificando el logro de los efectos esperados y analizando la posible influencia que sobre ellos pudieran haber tenido otros factores, de manera de reducir la posible incertidumbre. No se trata de medir el impacto como en los trabajos experimentales sino de identificarlo, explicarlo y fundamentar cualitativamente el grado de contribución estimado que la intervención evaluada tuvo en los efectos observados. Se trata, entonces de una evaluación basada en la teoría, no en evidencias, que renuncia a una medición positivistamente rigurosa, poco factible, que no mide las sinergias del sistema, y resulta inapropiada en casos de complejidad, por otra menos precisa pero factible y con mayor valor explicativo.
A partir del capítulo 4 se presentan ocho casos concretos de evaluación que responden a las situaciones de complejidad definidas y exploran alternativas metodológicas. 1) El primero, escrito por Mita Marra,9 se refiere al campo del desarrollo económico y las políticas estructurales; propone estudiar las dimensiones de los procesos de cambio a nivel micro, meso y macro, realizando un análisis crítico de los fundamentos y las metodologías de evaluación vigentes. 2) El capítulo 5, analiza por parte de Jacques Toulemonde, Douglas Carpenter y Laurent Raffier10 las barreras de evaluabilidad del impacto provocado en la reducción de la pobreza por los fondos europeos de cooperación bilateral para el desarrollo, particularmente en el caso de Tanzania. 3) Peter Wilkins11 es el encargado de exponer en el siguiente capítulo un caso australiano de evaluación de la política social dirigida a las personas sin hogar. 4) El octavo capítulo está referido a problemas de salud y bienestar social, concretamente a la evaluación de la política suiza de prevención del hábito del cigarro, y es presentada por Markus Spinatsch.12 5) El mismo tema anterior es retomado por Robert Schwartz y John Garcia,)13 en el caso de la evaluación de la estrategia de libertad de fumar de Ontario, Canadá. 6) El capítulo 9, presentado por Kim Forss,14 también se refiere a salud, bienestar y cooperación para el desarrollo en el caso de la evaluación de la respuesta frente a la emergencia global del VIH-Sida. 7) Burt Perrin y Peter Wichmand15 analizan en el siguiente capítulo la evaluación de las estrategias dirigidas a contender con el trabajo infantil en el marco de las políticas multilaterales de desarrollo. 8) El último caso aparece presentado en el capítulo 11 por Jos Vaessen16 quien discute también el papel de los experimentos aleatorios frente de la complejidad en la evaluación de impacto de intervenciones de la cooperación para el desarrollo.
El libro finaliza con un capítulo de carácter general, a cargo de Mita Marra,17 en el que la autora se propone valorar la contribución de las ciencias de la complejidad para la evaluación de las políticas, y analizar las perspectivas de su desarrollo futuro. Dice retomar la definición de políticas complejas de Rogers, que estarían caracterizadas por la presencia de múltiples objetivos integrados en un mismo enfoque o intervención, la diversidad de estructuras de gobierno vinculadas entre sí, y la decisión de, no sólo medir los resultados, sino de analizar también los procesos de implementación. En mi opinión, esta caracterización es más cercana a la definición de "complicación" de Rogers que a la de "complejidad", ya que aquí no se menciona para nada la emergencia de nuevos patrones ni la dinámica no lineal del sistema, cuestión que aparece recogida con mayor precisión en la introducción de Forss y Schwartz. Sin embargo, más adelante, Marra reconoce que los casos incluidos en el libro responden tanto a situaciones complicadas como complejas, y ahí menciona los rasgos de incertidumbre y emergencia antes omitidos, aunque continúa sin referir la no linealidad, a cuyas cadenas causales dedica un apartado posterior. Otro asunto por lo menos discutible es su afirmación de que los sistemas complejos pueden volverse complicados y viceversa.
A pesar de que la autora concluye llamando la atención sobre la forma en que los sistemas complejos se autoorganizan para adaptarse e innovar en situaciones dinámicas e impredecibles, para lo cual las ciencias de la complejidad proveen a los evaluadores un rico esquema para entender el proceso de cambio y de coordinación, insiste mucho en recodarnos que no toda evaluación es compleja y que en dichas situaciones es mejor utilizar los métodos clásicos, ya que los propios de las ciencias de la complejidad son adecuados principalmente cuando aparecen implicadas preguntas sobre innovación y adaptación ante cambios impredecibles del contexto. En mi opinión, repite el error de considerar que los fenómenos de emergencias se provocan por causas externas, y que las respuestas corresponden a metas estratégicas predeterminadas, lo que contradice la definición de sistemas complejos.
]]> Además, a pesar de que Marra reconoce las contribuciones de la ciencia de la complejidad, plantea que ésta genera desafíos importantes a los evaluadores debido a que se trata de un conjunto de ideas que, considera, no constituyen una teoría y a que los evaluadores no están acostumbrados a su lenguaje, metáforas y al uso de términos científicos, así como a los múltiples experimentos requeridos que resultan difíciles de realizar en el mundo real. Nuevamente parece discutible su opinión sobre la no constitución de una teoría de la complejidad. En cuanto a la referencia a las metáforas lleva a pensar más bien en la utilización que de éstas se hace en el pensamiento complejo de autores como Edgar Morin, ya que no son utilizadas por las ciencias de la complejidad. Por último, la referencia a los experimentos responde justamente a métodos utilizados en casos simples de evaluación.Además, la autora plantea que la evaluación de intervenciones complejas desplaza la atención de la medición a los procesos deliberados y emergentes, que utilizan métodos semiestructurados y proveen guías semicoherentes, se vuelven mecanismos de coordinación de actores y organizaciones en escenarios complejos. Nuevamente, este discurso desplaza la complejidad del sistema a su entorno.
Finalmente, Marra señala que se necesita más investigación para comprender los sistemas complejos, sus logros y sus impactos para engendrar el cambio social y consolidar la democracia.
Sintéticamente, valoramos la importante contribución del libro al entendimiento de la complejidad de las políticas públicas y a la presentación de métodos para contender con ella, ejemplificados en los diversos casos analizados; pero identificamos también las resistencias que genera, incluso en la autora encargada de cerrar un libro dedicado a evaluar lo complejo.
* Kim Forss, Mita Marra y Robert Schwartz (eds.), Evaluating the Complex: Attribution, Contribution, and Beyond. Comparative Policy Evaluation, vol. 18, Transaction Publishers, Nuevo Brunswick/Londres, 2011.
1 Ex presidente de la Sociedad Europea de Evaluación, presidente actual de la Sociedad de Evaluación del Reino Unido, profesor de la Universidad de Lancaster y autor de diversos libros sobre el tema.
2 Entrecomillados en el original.
3 Kim Forss es doctora por la Stockholm School of Economics y se ha especializado en la investigación y docencia en materia de evaluación, en especial en la realización de estudios comparados, así como en su aplicación en diversas organizaciones suecas y del sistema de Naciones Unidas. Robert Schwartz es profesor de Dalla Lana, School of Public Health de la Universidad de Toronto, editor del Canadian Journal of Program Evaluation y director de evaluación y monitoreo de la investigación científica del Ontario Tobacco Research Unit. Dirige múltiples trabajos de evaluación, incluyendo los relativos a iniciativas de estrategias complejas.
]]> 4 M.Q. Patton, Qualitative research and evaluation methods, Sage, Londres, 2002.5 F. Mainzer, Thinking in complexity: The complex dynamics of matter, mind and mankind, Springer Verlag, Berlín, 1994.
6 N. Uphoff, Learning from Gal Oya. Possibilities for participatory development and post-Newtonian social science, Cornell University Press/Ithaca, Nueva York, 1992.
7 Patricia J. Rogers realizó su posdoctorado en evaluación de programas para la infancia en la Universidad de Harvard y es profesora de evaluación del sector público del Royal Melbourne Institute of Technology de Australia. Su trabajo se focaliza en la búsqueda de evidencias en la evaluación de impacto.
8 John Mayne formó parte hasta 2003 de la Office of the Auditor General of Canadá y actualmente es consultor independiente en materia de desempeño del gobierno canadiense, ha publicado varios libros relacionados con la evaluación de programas.
9 Mita Marra es doctora en políticas públicas por la George Washington University, profesora de la Universidad de Salerno, Italia, y miembro del Comité Editorial de la Revista Italiana de Evaluación. Actúa como consultora del Banco Mundial y de la Organización de las Naciones Unidas en torno a programas de género y desarrollo institucional.
10 Jacques Toulemonde es profesor de la Universidad de Lyon, Francia, donde coordina la Maestría en Evaluación de Políticas y Programas Públicos, también es director y cofundador de Eureval, así como miembro del Directorio de la Sociedad Francesa de Evaluación. Ha realizado evaluaciones en múltiples organizaciones y países, especializándose en temas relacionados con la profesionalización de esta actividad. Douglas Carpenter cuenta con una amplia experiencia en asuntos de evaluación, desarrollada en parte mientras estuvo a cargo de la cooperación de Estados Unidos con las políticas del Este de África. Actualmente se desempaña como coordinador de las relaciones del European External Action Service con Belarus, Moldava y Ucrania. Laurent Raffier se graduó en ciencias políticas y evaluación de políticas públicas, ha realizado evaluaciones en varios países para Europeaid y trabaja en Eureval y el Instituto de Estudios Políticos de Lyon, Francia. Se especializa en áreas de ayuda para el desarrollo y salud pública.
11 Peter Wilkins ha trabajado en Canadá, Inglaterra, Australia y Malasia como administrador del sector público, investigador, consultor y también como ingeniero. En el Oeste de Australia actuó como responsable de verificar la eficiencia y efectividad de las agencias del sector público. También es profesor en la School of Accounting y el Institute of Public Policy John Curtin de la Universidad Curtin de Tecnología.
12 Markus Spinatsch es doctor en sociología, trabajó durante muchos años en organizaciones no gubernamentales ligadas a la promoción de la salud y a problemas de abuso y dependencia de drogas; fue responsable de diversos proyectos de la cooperación suiza en Bangladesh. Actualmente es consultor de administración y políticas públicas en Berna, Suiza, donde dirige evaluaciones de políticas y programas públicos para el Parlamento Suizo.
13 Véase cita al pie núm. 3 de Robert Schwartz. John Garcia fue director de la Population Health Unit en el Department of Prevention and Screening at Cancer Care Ontario, y primer Director de Ontario Government's Chronic Disease Prevention and Health Promotion Branch, en Canadá. Es profesor de salud y gerontología de la Universidad de Waterloo, en la que dirige la Maestría en Salud Pública, y también de la Dalla Lana School of Public Health de la Universidad de Toronto. Además se desempeña como coinvestigador principal en la Ontario Tobacco Research Unit.
]]> 14 Véase nota al pie núm. 3 de Kim Forss.15 Burt Perrin es consultor independiente en Francia en temas relacionados con la gestión, planeación y evaluación gubernamentales. Es miembro de la Canadian Evaluation Society y de la European Evaluation Society. Su mayor preocupación es lograr que la evaluación se vuelva realmente útil para mejorar la vida de las personas. Peter Wichmand estudió desarrollo económico, economía internacional y administración, es egresado de la Universidad de Cambridge. Se ha dedicado a la administración, planeación y evaluación, así como a la profesionalización en estos campos, trabajando para organizaciones no gubernamentales, Naciones Unidas y empresas privadas. Es tesorero de la European Evaluation Society. Actualmente encabeza el International Programme on the Elimination of Child Labour, con sede en Ginebra, Suiza.
16 Jos Vaessen es doctor por la Universidad de Maastrich, Países Bajos. Ha trabajado para organizaciones bilaterales y multilaterales como el Banco Mundial. Actualmente se desempeña como especialista en metodología de evaluación, sistema de monitoreo y evaluación, y cooperación para el desarrollo internacional en la Unesco.
17 Véase nota al pie núm. 6 de Mita Marra.
]]>