Reflexiones epistemológicas y metodológicas para la evaluación de políticas públicas

Epistemological and Methodological Reflections for The Evaluation of Public Policies

Carlos Bueno Suárez* y José Luis Osuna Llaneza**

* Doctor en Economía Regional. Profesor Ayudante Universidad de Sevilla. Asesor Científico del Instituto de Estudios de Economía, Evaluación y Empleo. Coordinador de Investigación de la Cátedra Carlos Román en evaluación de políticas públicas de la Universidad de Sevilla. Correo electrónico: carlosbueno@ie3e.es

Fecha de recepción: 7 de mayo de 2012.
Fecha aprobación: 19 de diciembre de 2012.

Resumen

No existe una metodología de evaluación de políticas públicas plenamente consensuada y de aceptación generalizada. Este artículo aborda el reto que implica determinar un marco metodológico que permita orientar la labor de evaluación como juicio crítico y a su vez constructivo de la intervención pública; siempre desde el cumplimiento estricto del rigor científico exigible. Se aportan algunas reflexiones teóricas de utilidad desde el marco epistemológico para clarificar los principios, el enfoque y el método, así como la opción de técnicas e instrumentos analíticos que han de conformar, en la práctica, la base de los procesos de evaluación de las políticas públicas.

Palabras Clave: Evaluación, políticas públicas, metodología, epistemología.

Abstract

Key words: Evaluation, public policy, research methods, epistemology.

INTRODUCCIÓN: LA ADECUACIÓN Y ORIENTACIÓN DEL MÉTODO AL OBJETO DE EVALUACIÓN DE LA INTERVENCIÓN PÚBLICA

En el marco general de la investigación en un determinado dominio o área de la ciencia se suele dar una respuesta analítica mediante una habitual ortodoxia relativa a un "marco concreto de procedimientos metodológicos" (Rebolloso, Fernández-Ramírez y Cantón, 2008: 21). No obstante, no se puede negar que la evaluación se nutre de campos diversos, adquiriendo un carácter multidisciplinar. De este modo, la evaluación de políticas públicas responde a la visión multiparadigmática que se hace de las propias ciencias sociales. Tanto la observación, como el análisis y la conceptualización, y evidentemente, las formas de acceso a la información relativa al contexto e intervención presentan una amplia diversidad de formas y maneras de ser abordadas. Así pues, en evaluación de políticas públicas, posicionamientos epistemológicos, enunciados científicos y técnicas empíricas van a mostrarse de forma múltiple y diversa (Bericat, 1998).

Precisamente, a través del siguiente artículo se presentan, desde una aproximación analítica teórico-descriptiva, posibles alternativas metateóricas, teóricas y empíricas, asociadas a los principios, paradigmas, enfoques y técnicas desde los que abordar, con las correspondientes exigencias de rigor científico, procesos de evaluación de políticas públicas en el ámbito de las Ciencias Sociales. Se pretende, como objetivo, clarificar de forma estructurada y concisa la multiplicidad de posibilidades analíticas que dispone, e incluso exige, la evaluación de políticas públicas. Considerando la relevancia del paradigma tradicional positivista y su evolución en el campo de la evaluación de políticas públicas, y la necesidad, por su aportación al enriquecimiento científico que entraña, de la complementariedad entre planteamientos, el presente artículo se centra, no obstante, en las posibilidades y alternativas que se presentan desde el paradigma constructivista.

Las orientaciones o enfoques metodológicos de la evaluación pueden diferir en virtud del modo en que son concebidas y establecidas las propias políticas públicas; o en función de los requerimientos y las necesidades de información de los decisores públicos; de la disposición de sistemas de gestión de información orientados a la evaluación; del ámbito funcional o temporal al que ésta se dirige; o siendo determinadas por las titulaciones, conocimientos, experiencias y preferencias analíticas de los propios evaluadores. También, por supuesto, en función de los recursos financieros disponibles para acometerla. De hecho, Rossi y Freeman reconocían que la evaluación situaba su ámbito de investigación social dentro de los marcos políticos y éticos, y se sometía a las limitaciones que imponían el tiempo, la financiación y los recursos humanos a disposición del equipo evaluador (Rossi y Freeman, 1993).

Asimismo, en el ámbito de las ciencias sociales los debates metodológicos están mucho más abiertos y son más dinámicos e intensos. Por esta razón, desde una perspectiva teórica, se desarrollan y reflexionan cuestiones habitualmente tratadas relativas al positivismo, al uso de paradigmas deductivos o inductivos y constructivistas, al uso de herramientas cualitativas y/o cuantitativas, o a las formas en las que deben ser considerados los juicios.

El hecho de que la evaluación deba adecuarse a los parámetros y cánones propios de la investigación científica en ningún caso puede ser interpretado como la aceptación de un único paradigma o un único método. Bustelo establece que el evaluador debe ser capaz de dar diferentes respuestas metodológicas en virtud de cada contexto (Bustelo, 2007). Las posibilidades de delimitar, analizar y responder, de forma rigurosa, a las cuestiones que se determinen y deriven de las evaluaciones de políticas públicas exige disponer de un diversificado elenco de instrumentos y metodologías prestos a ser aplicados. Más aún cuando se acepta una concepción holística e integradora de la evaluación ligada a su finalidad, en tanto que la sitúa en todas y cada una de las fases asociadas a la acción pública.¹

Asimismo, es necesario considerar la complejidad de las políticas públicas y, por tanto, el traslado de ésta a sus análisis y evaluaciones. La política pública es a veces entendida como un "tratamiento" a suministrar a un colectivo de beneficiarios bajo la hipótesis de que si éste está bien "dosificado" sus "males" serán, en principio, resueltos (Heckman, 2001: 713). Esto lleva a que las políticas sean concebidas bajo condiciones de racionalidad, donde, determinado el diagnóstico del contexto, se establecen los objetivos y estrategias que hacen frente a los "padecimientos" del mismo. La evaluación se establecerá bajo una metodología que verifique, con veracidad, el alcance de "curación". No obstante, quizás sea ésta una forma simplificada, próxima a la modelización de la misma, que si bien puede ser de utilidad analítica y explicativa no dejará de estar limitada. Y es que los elementos que conforman la realidad sobre la que se interviene no suelen ser tan simples. De este modo, la política pública debe ser entendida como un sistema de intervención dirigido a la resolución de problemas complejos y en el que las estrategias acometidas y los propios resultados son susceptibles de evolucionar a lo largo del proceso de ejecución. Es necesario, asimismo, considerar que dichos resultados estarán no sólo asociados a la intervención, sino a múltiples elementos que incluso son ajenos a la misma; "Ante todo, es importante tener en cuenta que hay un conjunto de factores que operan simultánea y sucesivamente en la realidad, en una realidad compleja, y que, por lo tanto, generalmente hay múltiples causas y no causas únicas" (Feinstein, 2007: 20-22). También se habla de un "triángulo complejo de relaciones", al referirse a los programas y políticas públicas donde se cruzan las variadas dimensiones sectoriales sobre las que se interviene; la multiplicidad y heterogeneidad de actores implicados; así como diferentes escalas administrativas de gestión y ejecución de las actuaciones y su estructura política (Osuna, et al, 2005).

HACIA UNA PROPUESTA METODOLÓGICA DE EVALUACIÓN : LA ASUNCIÓN DE PRINCIPIOS Y LA OPCIÓN ENTRE PARADIGMAS, ENFOQUES Y TÉCNICAS

Cuando Shaw se introduce en el campo de la metodología de la evaluación empieza refiriéndose a las actitudes que se tiene ante éstas, calificándolas a la vez de "bendición" y "pesadilla" (Shaw, 2003: 117). Se refiere a la necesidad de hacer frente a lo que califica como purismo metodológico y justifica sus dudas hacia el hecho de que las evaluaciones estén regidas exclusivamente por la metodología. No obstante, si bien hay que reconocer que un método determinado no lo puede ser todo en la evaluación —en tanto que no tiene por qué ser el que permita dar respuestas a las cuestiones que en cada caso se propone—, no se puede obviar que la conformación y adecuación metodológica a la intervención pública objeto de evaluación ha de ser un pilar esencial de la misma.

Consecuentemente, parece razonable la afirmación de Guba y Lincoln cuando establecen que no se puede especificar una metodología definitiva para llegar a conocer lo que acontece (Guba y Lincoln, 1989). Pero no cabe duda de que la evaluación de políticas públicas exige la conformación de conocimiento científico en el marco de las ciencias sociales, al tiempo que requiere de su valoración; todo ello sustentado en pautas metodológicas que garanticen su máximo rigor. Y esto será desde el reconocimiento, de las limitaciones de los métodos aplicables y desde la consideración de que la propia evaluación dispone de pautas metodológicas específicas.

Así, se entiende que la evaluación de políticas públicas requiere, desde el pragmatismo y el rigor, establecer una triangulación tanto de fuentes de información como de métodos a aplicar (Feinstein, 2007). La referencia al pragmatismo debe ser considerada desde dos vertientes: por una parte, desde el posibilismo analítico y por otra desde la utilidad y funcionalidad de la evaluación, aceptando que "La utilidad es la fundamentación de la evaluación" (Weiss, 1998: 15). El pragmatismo, aplicable tanto desde el positivismo como desde el constructivismo, se asocia esencialmente tanto a las técnicas aplicables como al enfoque.

Como todo trabajo científico, la evaluación exige una adecuación metodológica orientada no sólo a los objetivos que persigue sino también a los recursos disponibles; poniendo de manifiesto el alcance y las limitaciones del proceso de investigación como elemento esencial de rigurosidad y veracidad.

La opción del método en evaluación puede estar determinada por tres niveles básicos adoptados de aquellos que se establecen en el marco de la investigación social; Dichos niveles son los siguientes: El metateórico (paradigma), el teórico (enfoque) y el empírico (técnica). La determinación del método a aplicar nos exige una elección concreta, en cada uno de estos niveles, dada la multiplicidad y variedad de opciones disponibles. Asimismo, el método a aplicar exige que la selección por la que se opte en cada uno de estos niveles, sea, en su conjunto, "coherente", garantizando con ello un cuerpo metodológico "integrado" (Bericat, 1998: 19). Cierto es que la posibilidad de optar se deriva de la aceptación de cuatro principios² esenciales:

Principio de consenso metodológico previo.

Se trata de delimitar con claridad, con los actores de la evaluación, el marco metodológico a desarrollar, explicitando los límites, tratando de evitar, a priori, dudas sobre los resultados que se deriven de la evaluación por un cuestionamiento de la metodología. El evaluador optará en virtud del valor que otorgue a cada metodología aplicable, y explicitará sus actos respecto a las acciones o pautas a acometer.

De modo que la preocupación por el rigor metodológico guíe continuamente la investigación evaluativa; lo que exige un método que evite, a priori, el establecimiento de posicionamientos que pudiesen "conducir" la labor de evaluación a conclusiones erróneas. La opción metodológica debe, por tanto, constituir un cuerpo integrado al amparo de un sistema de acciones o pautas coherentes (Bericat, E. 1998: 19). Con ello, serán las observaciones y los análisis los que determinen o concluyan los resultados de la evaluación y no a la inversa.

Principio de pluralismo metodológico.

La confrontación de experiencias, la combinación de aproximaciones cualitativas y cuantitativas, la disposición de información diversa, obtenida de técnicas y fuentes diversas, deben ser entendidos, en los procesos de evaluación, como una buena estrategia para alcanzar conclusiones sólidas y contrastadas. Un autor enumera, conscientemente de forma muy entremezclada, entre otras, las siguientes: "marcos lógicos de coherencia, contrafactualidad, input-output, paneles de expertos, DELPHI, DAFO, grupos de discusión, análisis coste-beneficio, coste-efectividad, coste-eficacia y de frontera, pruebas experimentales, mapas contractuales, mapas de impactos, etcétera" (Román, 2006: 5).

Principio de adaptación de métodos.

Hay que aceptar la aplicabilidad de diversas metodologías que cumplan los principios deontológicos de cientificidad, y que den respuesta rigurosa a las cuestiones cognitivas y normativas que se propone la evaluación. No obstante, los métodos deben adaptarse a los objetos de estudio, a los sistemas de información, los recursos disponibles y a las hipótesis planteadas.

Con todo ello, la propuesta metodológica de la evaluación a abordar debe superar aquellos dogmatismos que abogan por una exclusividad de enfoques aplicables, y que se establecen de forma independiente a los objetos de análisis. De hecho, la Comisión de Expertos para la creación de la Agencia Estatal de Evaluación de la Calidad de los Servicios y las Políticas Públicas (AEVAL) establecía que "superado ya el monopolio de ciertos paradigmas, no parece oportuno aferrarse a priori a la defensa de ciertos modelos o técnicas de evaluación, en gran medida, porque la práctica de la evaluación así lo ha aconsejado".³

EL NIVEL METATEÓRICO: LA OPCIÓN ENTRE PARADIGMAS

También se muestra interesante la distinción entre paradigmas propuesta por Shaw al referirse al positivista, pospositivista, constructivista y, finalmente, al de la teoría crítica. Es precisamente éste último, al que el autor denomina de forma más específica evaluación crítica, el que suscita un mayor interés en tanto que establece un llamamiento a la reflexión al considerar que "los problemas se conceptualizan como parte de los patrones sociales, políticos y culturales en los que se forma el evaluando". Y esto implica la necesidad de reconocer que a través de la evaluación no sólo se produce conocimiento sino que se producen valores en si mismos, "la producción de conocimientos es la producción de valores" (Shaw, 2003: 77-78).

El reconocimiento de los juicios intrínsecos que acompañan al evaluador no debe mermar su capacidad y rigor de análisis; pero al mismo tiempo, obliga a ser conscientes de que todo el proceso está indisolublemente condicionado por los patrones sociales y morales en los que el evaluador-persona se forma como tal. Ello exige la adopción de una metodología hermenéutica y dialéctica en la que se puedan detectar y comprender las interpretaciones de la realidad que presentan los múltiples actores de la acción, al tiempo que se asume una perspectiva integral y holística de la evaluación de políticas públicas.

Esta opción no está reñida con lo que se denomina como el "paradigma de elecciones" en tanto rechaza la ortodoxia metodológica exclusivista "a favor de la adecuación metodológica como criterio básico para juzgar la calidad del método" (Patton, 1990: 38,39). Cierto es que en la actualidad tanto el paradigma constructivista como el positivista específicamente aplicado a la evaluación de políticas públicas admiten, ya no sólo la asunción de enfoques plurales de los métodos científicos, sino también la diversidad de posibilidades y variedades de usos de sus técnicas (Stake, 2006).

EL NIVEL TEÓRICO: LA OPCIÓN ENTRE ENFOQUES

El objeto de evaluación requerirá la adecuación coherente de los enfoques por los que se opta por dar respuesta al paradigma y posibilitar la aplicación de las técnicas adecuadas para conformar ese cuerpo metodológico integrado que avale científicamente la evaluación acometida. La opción del enfoque se sitúa en una dimensión teórica asumiendo, que si bien la evaluación se entiende como una ciencia práctica "como ciencia y como práctica requiere teoría" (Bickman, 1987: 1).

La diversidad de enfoques exige, en determinados casos, optar de forma dicotómica, y en otros, compartir y compatibilizar modelos. Quiere esto decir que se exigirá optar, por ejemplo, entre un enfoque de evaluación libre de objetivos tal y como proponía Scrivens o un enfoque referido a objetivos propuesto por Tyler. No obstante, una vez establecida la opción correspondiente, se deberá compatibilizar con otras elecciones tales como enfoques participativos, enfoque experimental, enfoque descriptivo, enfoques orientados, entre otros.

Se entiende que la opción de enfoque más coherente con el paradigma constructivista pasa por aproximarse a las propuestas metodológicas que desarrollan los enfoques participativos, libre de objetivos, basada en la teoría o de aproximación clínica y orientada a la toma de decisiones.

Enfoques participativos

La evaluación participativa engloba una diversidad de formas, aunque todas establecen un enfoque que aúna investigación, acción y participación. El uso específico que se hace de este enfoque en cada evaluación diverge en tanto que no siempre es instrumentado bajo los mismos principios de implicación, asunción de control, utilización de conocimiento y valoración. Esto implica que, bajo el enfoque de evaluación participativa, coexistan múltiples modelos evaluativos (Díez y Setién, 2005).

La asunción de un enfoque participativo, puede ir desde los posicionamientos metodológicos en los que los niveles de implicación requieran del evaluador la labor de incorporar know-how propuestos por los propios actores en la formulación de la investigación, hasta extremos maximalistas de involucración de actores como los que se proponen en los modelos de evaluación pluralista, dotándolos de poder de negociación hacia la formulación de recomendaciones consensuadas para la intervención (Monnier, 1995). Tratan de introducir entonces, en los procesos de evaluación, la ponderación y el equilibrio entre intereses con la pretensión de facilitar la toma de decisiones y fortalecer la transparencia en la rendición de cuentas (Hemmati, 2002).

No obstante, la evaluación participativa que se limita a la coproducción define con mayor claridad el papel del evaluador frente a las pluralistas o emancipatorias (Bertrana e Ysa, 2007). Con ello, se comparte el valor de la asunción de enfoques participativos en tanto que faciliten la obtención de información y promueva dinámicas de transparencia como pautas a seguir en los trabajos de análisis por parte de los evaluadores, sin que ello deba exigir, necesariamente, la asunción de las conclusiones y recomendaciones propuestas por parte de los decisores públicos (Osuna, et al. 2005).

La relevancia que este enfoque adquiere en evaluación se debe a múltiples razones, entre las que podrían destacarse las siguientes: a) permite la generación de información más plural; b) facilita la posibilidad de detectar los conflictos de interés, así como las relaciones de cooperación o dependencia entre actores implicados en la intervención; c) impulsa procesos de retroalimentación de información de gran utilidad, no sólo para la evaluación, sino también para el saber hacer de los propios actores implicados; d) genera dinámicas de transparencia y de democratización; e) sirve como medio de legitimación, tanto del proceso como de los resultados que del mismo se obtienen (Osuna y Bueno, 2007).

Enfoque libre de objetivos

La evaluación bajo el paradigma constructivista evita establecer hipótesis predeterminadas. Scriven recomendaba que el proceso de evaluación obviase, de forma deliberada, el conocimiento a priori de los objetivos explicitados por la intervención pública. Él se refería a la "goal free evaluation" en la que la referencia sobre la que enjuiciar la acción pública se situase en las necesidades de la población objeto y no tan sólo en los objetivos que se hubiesen explicitado en la política. Se trató, en su momento, de una propuesta muy innovadora, que todavía en la actualidad es debatida, y que se enfrenta, de forma evidente, a todas aquellas que exigen la explicitud y cuantificación previa de los objetivos como parámetros necesarios para la determinación de la eficacia como objeto esencial de evaluación (Scriven, 1983). Guba y Lincoln, al referirse al paradigma constructivista, parecen querer asumir los planteamientos de Scriven cuando requieren de los evaluadores que "obvien lo que saben" (Guba y Lincoln, 1989: 175). De igual modo, se reconoce la necesidad de asumir un enfoque libre de objetivos al aceptar este paradigma la determinación de la incidencia de factores y de la aparición de efectos no previstos previamente. La superación de los límites impuestos por el enfoque tyleriano otorgaba al proceso de evaluación un mayor campo de investigación y una mayor capacidad para la pluralidad de enfoques.

Enfoques basados sobre la teoría del problema o de aproximación clínica

El problema a enfrentar se erige como un primer elemento de análisis sobre el que desarrollar el proceso de investigación de la posible acción, que determine sus posibilidades de solución. Es necesario diferenciar la teoría del problema de la teoría de la implementación y de la del programa: a través de la primera se pretende explicar los factores causales y las consecuencias del problema social que se detecta en el contexto; con la segunda se explica la lógica en la que se establecen los fines-medios; mientras que con la tercera se explican las razones por las que determinadas actividades inciden o no en los resultados y efectos previstos (Rebolloso, et al. 2008). No obstante, si se considera que "El evaluador tiene que descubrir los efectos de un programa" y "comparar los efectos con las necesidades de aquellos a los que afecta" (Scriven, 1983: 235), una lógica asociación entre ambos enfoques se muestra como algo analíticamente necesario.

Enfoques basados en la teoría de la implementación

Enfoques basados en la teoría del programa⁵

El paradigma constructivista parece asumir la necesidad de conocer dichas condiciones y razones bajo las que "funciona" o no una política pública, más allá de los efectos que pudiera generar. De hecho, Bustelo, al referirse a este paradigma, establece que es el que posibilita analizar los procesos de aplicación de las políticas públicas frente a la exclusividad analítica del enfoque positivista,⁶ restringida al alcance de resultados (Bustelo, 2007). La adopción de este enfoque teórico orienta la evaluación hacia la determinación de las razones que explican el logro o no de determinados objetivos, así como de la aparición de determinados efectos no esperados; y explica, asimismo, la interacción entre las acciones, los resultados y los cambios en el contexto. Y se hace referencia a la determinación de relaciones causa-efecto y a la necesidad de conocer las razones y circunstancias por las que se llegan a generar cambios; y considera que, a través de la evaluación basada en la teoría, se pueden abordar dichos requerimientos (Díez y Setién, 2006).

No obstante, las relaciones de causalidad existentes entre la iniciativa evaluada y los cambios habidos en su contexto de intervención son elementos de elevada complejidad analítica. Este tipo de evaluación, al igual que el enfoque del marco lógico, se apoya en lógica de programación o la teoría del programa, e indaga además en las relaciones causa-efecto (Bustelo, 2007). El postulado sobre el que se construye esta aproximación es que, si se consigue establecer cuáles son los factores determinantes del alcance de la intervención y de qué modo se interrelacionan, es posible decidir qué pasos deben supervisarse (Banco Mundial, 2004), e incluso qué aspectos del diseño de las propias políticas pueden ser cuestionados (Aguilar y Bustelo, 2010).

Desde este enfoque se acepta aquella consideración en la que se establece que la evaluación debe demostrar la validez y rigurosidad del argumento que sostiene el diseño de su aplicación. De este modo, el enfoque basado en la teoría, tanto si se aplica la teoría del problema como la teoría de la implementación, la del programa o las tres, exige que el juicio evaluativo responda a una lógica en las que se establezcan argumentos coherentes, consistentes y sólidos. Esto es, argumentos en los que las afirmaciones respondan a una secuencia concatenada de relaciones causa-efecto, en el caso de la teoría causal del problema, fines-medios, en el caso de la teoría de la implementación, y factores condicionantes (hipótesis causales e hipótesis de acción) en la teoría del programa. Argumentos que no presenten contradicciones; y que surgiendo de premisas contrastadas puedan conducir a conclusiones asimismo contrastadas. Son numerosos los autores que coinciden en la necesidad de incorporar estos análisis en la evaluación tal y como puede verse en los trabajos de Davidson (2000), Chen (2005), Díez y Setién (2006) y Bueno (2006). Subirats llega incluso a vertebrar en su planteamiento este enfoque y el siguiente, el orientado a la toma de decisiones, al afirmar que "las evaluaciones que tienen en cuenta estos elementos de procesos puedan llegar a ser notablemente más potentes y útiles que las que se centran exclusivamente en el tema resultados" (Subirats, 2006: 33).

Enfoques orientados a la toma de decisiones

Asumen un punto de vista más pragmático, otorgando una especial relevancia a la utilidad de la evaluación. Se comparte una concepción utilitarista de la evaluación al considerar que tienen un valor, y un uso, muy limitado aquellas evaluaciones que simplemente valoran el mérito de las acciones realizadas en el marco de un programa y que, sin embargo, no aportan información que posibilite mejorar los programas. Con ello, se entiende que la evaluación de programas y políticas públicas debe satisfacer, al mismo tiempo, necesidades de valoración y necesidades de mejora, y no acotar su utilidad simplemente a juzgar el mérito de las actuaciones (Chen 2005). Es precisamente por ello por lo que se concibe la evaluación "como un proceso dinámico que parte de la posibilidad de que exista un cambio de dirección en los programas" (Vélez, 2007: 156).

Cierto es que la evolución de la evaluación, tal y como Guba y Lincoln la describen, responde a unos requerimientos de practicidad en sus usos, tratando de adecuar los requerimientos temporales y de información de los decisores públicos a las aplicaciones y orientaciones metodológicas aplicadas. También Monnier insiste en los usos de la evaluación, de modo que la valoración del éxito o fracaso de la evaluación como proceso de negociación vendrá dado por los resultados obtenidos para la intervención (Monnier, 1995).

No obstante, sigue estando de actualidad el planteamiento que hiciera Cronbach relativo a la considerable influencia que las evaluaciones tienen sobre las políticas, reconociendo que ésta es indirecta, a largo plazo, secundaria y conceptual (Cronbach, et al. 1985). Se reconoce con ello que la evaluación se erige como un elemento más y de utilidad para clarificar la toma de decisiones. Siendo consciente de que ésta, finalmente, estará condicionada por una multiplicidad de elementos y criterios que incluso pueden responder a parámetros y lógicas muy diferenciadas a las establecidas por los estudios de evaluación. Subirats y Gomá también se refieren a esta cuestión al reconocer que si bien "en un primer momento se pensó en su "directa" y "decisiva" influencia en los procesos y mecanismos de decisión, pasándose después a posiciones contrarias en las que negaba cualquier utilidad posterior de esos estudios, la realidad ha ido demostrando cómo, en la mayoría de ocasiones, la evaluación viene a ser usada como un input más en el proceso decisional" (Subirats y Gomá, 2002: 196).

Stake (2006), Monnier (1995), Shaw (2003), no obstante, apuntan, en su concepción negociadora de la evaluación, que también estas cuestiones deben formar parte del propio proceso, con objeto de poder establecer oportunamente la viabilidad de las estrategias y sus limitaciones. No obstante, habría que tener en cuenta, por una parte, que no siempre es factible transparentar los criterios sobre los que, decisores y gestores públicos, orientan su intervención; y por otra parte, que puede ser cuestionable que determinados criterios deban formar parte de la evaluación, cuando éstos posiblemente nada tengan que ver con la lógica de la intervención establecida bajo los parámetros de análisis de esta investigación social aplicada a las políticas públicas. Tampoco se puede obviar que los propios procedimientos de desarrollo legislativo y de negociación y concertación política y social, bajo el que también se concretan las políticas públicas, condicionarán, y no siempre según los parámetros de la evaluación, las decisiones que finalmente se lleven a cabo. En relación a esta cuestión, se establece que "existen pocos casos en los que las decisiones se basan sólo en los resultados de la evaluación, aunque si estos resultados son convincentes y los estudios son defendibles desde el punto de vista del rigor, pueden dominar la toma de decisiones" (Rossi, 1989: 36).

Pero la evaluación no debe prescindir de su orientación a facilitar la toma de decisiones. Desde la lógica racional y coherente a los criterios establecidos por la evaluación, ésta deberá concluir acerca de cuáles deban ser las respuestas estratégicas a ejecutar por parte de los decisores públicos. Y ello, a pesar de los planteamientos de Monnier, será independiente del resultado final de la decisión, en el bien entendido que el término independiente sitúa: 1) en los decisores políticos y en sus procesos procedimentales y legales la toma de decisión que se establezca; 2) y en las conclusiones de la evaluación como un elemento más, que no el único, sobre el que establecer criterios para tales decisiones. Por tanto, la evaluación se ha de orientar hacia la toma de decisiones, con planteamientos posibilistas reconociendo que su utilidad estriba en servir de referencia a los gestores. Asimismo, la evaluación orientada hacia la toma de decisiones no esta reñida con el hecho de que ésta sea concebida como una herramienta indicativa, que no imperativa.

EL NIVEL EMPÍRICO: LA OPCIÓN ENTRE TÉCNICA

Las técnicas estarán orientadas hacia opciones más cuantitativas, más cualitativas, o de integración, bien sea bajo formas de "triangulación, combinación o complementación" (Bericat, 1998: 38). Se establece como principio la aceptación de que tanto las técnicas cuantitativas como las cualitativas pueden aplicarse bajo el paradigma y los enfoques teóricos propuestos sin menoscabar rigor y cientificidad a la evaluación. En este sentido, no existe un posicionamiento en favor de una única opción de técnicas como forma metodológica empírica exclusiva, si bien se reconoce que las aproximaciones al conocimiento de la realidad desde parámetros exclusivamente cuantitativos obvian importantes elementos que la conforman y que no pueden ser mesurables. Del mismo modo, en el campo de la evaluación de políticas públicas, sobre todo desde la superación del experimentalismo, son muchos los autores que en absoluto coinciden con que sólo desde las técnicas cuantitativas pueden ser contrastadas y justificadas las hipótesis de partida. Asimismo, salvo ante programas de intervención muy específicos y muy minoritarios, tampoco parece suficiente sustentar el análisis en una mera observación cualitativa como parece sugerir Stake en su defensa por un enfoque de evaluación comprensiva; si bien es cierto que él mismo reconoce que "es un malentendido habitual suponer que para la evaluación comprensiva es necesaria la investigación naturalista, el estudio de casos o los métodos cualitativos" (Stake, 2006: 149).

Más allá del reclamo de legitimidad científica que para sí pretenden apropiarse tanto los cuantitativistas puros como los cualitativistas, lo cierto es que, en evaluación de políticas públicas, los requerimientos derivados de la complejidad que caracteriza el objeto de análisis, lleva a numerosos autores, a combinar, en un mismo proceso, técnicas de los dos signos.

Por tanto, es necesario, de una parte, reconocer explícitamente el valor y utilidad de cada una de las técnicas respectivas aplicadas en procesos de evaluación, sean éstas cuantitativas o cualitativas; y por otra parte, reconocer las mayores capacidades analíticas que para la evaluación de políticas públicas ofrece la integración vertebrada de diversas técnicas de investigación. En este sentido, responde a una lógica coherente entender que la inclusión de técnicas cualitativas, que no exija renunciar a las cuantitativas, parece congruente con una lógica inductiva de aproximación constructiva a la realidad del contexto y de la política objeto de evaluación (Vélez, 2007).

La legitimidad científica de la integración de técnicas cuantitativas y cualitativas está propuesta, en el ámbito específico de la evaluación de políticas públicas, por Cook y Reichardt (1986), entre otros muchos. Esencialmente se pueden distinguir tres estrategias básicas de integración:

• La estrategia de complementación de técnicas cuantitativas y cualitativas. En realidad, en este caso el grado de integración metodológico es relativo en tanto que cada una de las técnicas se centra en aspectos diferentes de la realidad, si bien se entiende que se aplicarán con sentido diferenciado.

]]> • La estrategia de combinación de técnicas cuantitativas y cualitativas. Propone una integración subsidiaria de una técnica cualitativa en otra cuantitativa o viceversa. Se pretende obtener una óptima combinación metodológica de forma que se fortalezcan las técnicas a partir del aprovechamiento de las sinergias derivadas de su combinación.

• La estrategia de triangulación de técnicas cuantitativas y cualitativas. Su aplicación a la evaluación de políticas públicas exige utilizar, de forma independiente, ambos tipos de técnicas orientadas al mismo objeto de análisis. En este caso, la legitimidad analítica se sustenta en la aplicación de dos tipos de técnicas para analizar el mismo fenómeno. Esto otorga una mayor confianza en la convergencia de resultados obtenidos a través de "caminos" diferentes, y en la veracidad del contraste de las hipótesis de partida.

CONCLUSIONES

En el ámbito de la evaluación de políticas públicas la complementariedad a nivel metateórico se hace tan necesaria como dar cumplimiento a las exigencias de coherencia metodológica entre la aplicación de las técnicas y la asunción de los enfoques.

De la misma manera que Bericat establece que el problema a investigar determina el método de investigación, debiera extenderse, esta afirmación, al ámbito específico de la evaluación, de forma que podría afirmarse igualmente que el objeto a evaluar determina el método de evaluación. De hecho, Suchman, ya hace más de cuatro décadas, afirmaba que situaciones distintas necesitaban distintos métodos evaluativos (Suchman, 1967).

Asimismo, la diferencia de la evaluación de otros modos de investigación social no está tanto en el método como en su finalidad (Weiss, 1998). No obstante, desde el reconocimiento que la evaluación se inserta en el marco de las ciencias sociales, es necesario aceptar que la complejidad y multiplicidad de objetos de evaluación requieren propuestas epistemológicas plurales en las que paradigma, enfoque metodológico y técnicas aplicadas se adecuen con rigor y tratamiento científico al ámbito específico de cada análisis. Todo ello desde la consideración de que la evaluación debe permitir detectar y analizar con rigor las bondades y limitaciones del objeto de la intervención y ayudar a detectar posibles soluciones para su mejora.

FUENTES CONSULTADAS

Aguilar, L. F., y Bustelo, M. (2010), "Gobernanza y evaluación: una relación potencialmente fructífera", en GAPP. Revista de Gestión y Análisis de Políticas Públicas, núm. 4, Julio-diciembre, Madrid: Nueva Época, pp. 23-51.         [ Links ]

Banco Mundial (2004), Seguimiento e instrumentos, métodos y enfoques, disponible en línea: http://www.worldbank.org/ieg/.         [ Links ]

Bericat, E. (1998), La integración de los métodos cuantitativo y cualitativo en la investigación social, Barcelona: Ariel.         [ Links ]

Bertrana, X., e Ysa, T. (2007), "Los retos de la evaluación de políticas públicas: Entre la participación y la responsabilidad", en Nuevas Políticas Públicas. Anuario multidisciplinar para la modernización de las Administraciones Públicas, núm. 3, Evaluación de Políticas Públicas, Sevilla: Instituto Andaluz de Administración Pública / Consejería de Justicia / Administración Pública Junta de Andalucía.         [ Links ]

Bickman, L. (1987), "The Functions of Program Theory", en Bickman, L., (ed.), Using Program Theory in Evaluation. New Directions for Program Evaluation, vol. 33, San Francisco: Jossey-Bass, pp. 25-27.         [ Links ]

Bueno, C. (2006), "Propuesta metodológica para el análisis de estrategias empresariales: Contextualizar para el análisis ex ante de políticas de empleo", en Revista SEE -valuación, núm. 2, Sevilla: Sociedad Española de Evaluación, pp. 4-11.         [ Links ]

Bustelo, M. (2001), La evaluación de las políticas públicas de igualdad de género de los gobiernos centrales y autonómicos en España: 1995-1999, Tesis Doctoral, Madrid: Universidad Complutense de Madrid.         [ Links ]

---------- (2007), La teoría del programa y la evaluación del diseño. Material didáctico del Master en Evaluación de Programas y Políticas Públicas 2007, Madrid: Universidad Complutense de Madrid.         [ Links ]

Campbell, D.T. (1970), "Considering the Case Against Experimental Evaluations of Social Innovations", en Administrative Science Quarterly, núm. 15. Nueva York: Cornell University, pp 110-113.         [ Links ]

Cook, T. D., y Reichardt, C. S. (1986), Métodos cualitativos y cuantitativos en investigación evaluativa, Madrid: Ediciones Morata.         [ Links ]

Cronbach, L. J., Ambron, S. R., Dornbusch, S. M., Hess, R. D., Hornik, R. C., Phillips, D. C., Walker, D. F., & Weiner, S. S. (1985), Toward Reform of Program Evaluation, San Francisco: Jossey-Bass.         [ Links ]

Chen, H. T. (2005), Practical Program Evaluation: Assessing and Improving Planning, Implementation and Effectiveness, California: Sage.         [ Links ]

Chen, H. T., y Rossi, P. H. (1989), "Issues in theory-driven perspective", en Evaluation and Program Planning, vol. 12, núm. 4, pp. 299-306.         [ Links ]

Davidson, E.J. (2000), "Ascertaining Causality in theory-based evaluation", en Rogers, P., et al. (ed.), Program Theory in Evaluation: Challenges and Opportunities, núm. 87, San Francisco: New Directions for Program Evaluation, pp. 17-26.         [ Links ]

Díez, M. A. y Setién, M. L. (2005), "La evaluación del proyecto Itun-Equal: Efectos y procesos de cambio", en Inguruak: Soziologia Eta Zientzia Politikoaren Euskal Aldizkaria, núm. 41, Bilbao: Universidad de Deusto, pp. 33-56.         [ Links ]

---------- (2006), "Bases Metodológicas para la evaluación de proyectos de inserción social y laboral", en Ekonomiaz La evaluación de las políticas públicas en el País Vasco, núm. 60 (2), Vitoria: Servicio Central de Publicaciones del Gobierno Vasco, pp. 111-137.         [ Links ]

Feinstein, O. (2007), "Evaluación Pragmática de Políticas Públicas", en Información Comercial Española ICE . Evaluación de Políticas Públicas, núm. 836, Madrid: Ministerio de Industria, Turismo y Comercio, pp. 19-31.         [ Links ]

Guba, E. G., y Lincoln, Y. S. (1989), Fourth Generation Evaluation, California: Sage Publications/Newbury Park.         [ Links ]

---------- (1994), "Competing Paradigms in Qualitative Research", en N.K. Denzin e Y.S. Lincoln, Handbook of qualitative research, Thousand: Sage, pp. 105-117.         [ Links ]

Heckman, J. (2001), "Micro Data, Heterogeneity, and the Evaluation of Public Policy: Nobel Lecture", en Journal of Political Economy, vol. 100, núm. 4, Chicago: University of Chicago, pp. 673-748.         [ Links ]

Hemmati, M. (2002), Multi-stakeholder Process for Governance and Sus-tainability, Londres: Erathscan Publications Ltd.         [ Links ]

Monnier, E. (1995), Evaluación de la acción de los poderes públicos, Madrid: Instituto de Estudios Fiscales.         [ Links ]

Osuna, J. L., Murciano, J., y Vélez, C. (2005), "Programación y evaluación pública: un triángulo complejo", en Ekonomiaz La evaluación de las políticas públicas en el País Vasco, núm. 60 (1), Vitoria: Servicio Central de Publicaciones del Gobierno Vasco.         [ Links ]

Osuna, J. L., y Bueno, C. (2007), "La evaluación de las Políticas Públicas: El caso de las Políticas de Fomento del Empleo Estable", en Información Comercial Española ICE. Evaluación de Políticas Públicas, núm. 836, Madrid: Ministerio de Industria, Turismo y Comercio, pp. 75-83.         [ Links ]

Patton, M. Q. (1990), Qualitative evaluation and research methods, Newbury Park: Sage Publications.         [ Links ]

Planas, I. (2005), "Principales mecanismos de evaluación económica de políticas públicas", en Economías La evaluación de las políticas públicas en el País Vasco, núm. 60 (1). Vitoria: Servicio Central de Publicaciones del Gobierno Vasco.         [ Links ]

Rebolloso E., Fernández-Ramírez B., y Cantón P. (2008), Evaluación de programas de intervención social, Madrid: Síntesis.         [ Links ]

Román, C. (2006), "Otro Estado", en Revista SEE-valuación, núm. 1. Sevilla: Sociedad Española de Evaluación, pp. 4-5.         [ Links ]

Rossi, P. H,, y Freeman H. E. (1989), Evaluación: un enfoque sistemático para programas sociales, México: Trillas.         [ Links ]

---------- (1993), Evaluation: a systematic approach, Londres: Sage Publications.         [ Links ]

Scriven, M. (1983), "Evaluation Ideologies", en Madaus, G. F., Scriven, M., y Stufflebeam, D. L. (eds.), Evaluation Models: Viewpoints on Educational and Human Services Evaluation, Boston: Kluwer-Nijhoff, pp. 229-260.         [ Links ]

Shaw, I. F. (2003), La evaluación cualitativa, Barcelona: Paidós Básica.         [ Links ]

Solarte, L. (2004), Las evaluaciones de políticas públicas en el estado liberal, Santiago de Cali, Montreal: Universidad del Valle.         [ Links ]

Stake. R. E. (2006), Evaluación comprensiva y evaluación basada en estándares, Colección Crítica y Fundamentos, Barcelona: GRAO. (Crítica y Fundamentos)        [ Links ]

Subirats, J. (2006), "Algunos puntos sobre evaluación de políticas públicas con especial referencia al caso de las políticas sociales", en Revista SEE-valuación, núm. 2, Sevilla: Sociedad Española de Evaluación, pp. 24-35.         [ Links ]

Subirats, J., y Gomá, R. (2002), "Evaluación de políticas públicas", en Planificación y evaluación en políticas de información, Coleción UOC/La universidad Virtual, Barcelona: Fundació per a la Universitat Oberta de Catalunya, pp. 151-167.         [ Links ]

Suchman, E. A. (1967), Evaluative research: Principles and practice in public service and social action programs, Nueva York: Russell Sage Foundation.         [ Links ]

Vélez, C. (2007), "El cambio de paradigma en evaluación de políticas públicas: El caso de la Cooperación al Desarrollo", en Nuevas Políticas Públicas. Anuario multidisciplinar para la modernización de las Administraciones Públicas, núm. 3, Evaluación de Políticas Públicas, Sevilla: Instituto Andaluz de Administración Pública / Consejería de Justicia / Administración Pública.         [ Links ]

Weiss, C. H. (1998), Evaluation. Methods for Studying Programs and Policies, Nueva Jersey: Prentice Hall.         [ Links ]

NOTAS

¹ Una definición integradora ampliamente referenciada es la que hicieran Rossi y Freeman considerando lo que se conoce como comprehensive evaluation que "Es la aplicación sistemática de los procedimientos de la investigación social para valorar la conceptualización y el diseño, la ejecución y la utilidad de los programas de intervención social" (Rossi y Freeman, 1989: 18). Destaca por la relevancia que otorga al análisis de los resultados, pero también a otras facetas relativas tanto al diseño como a la gestión y procedimientos de implementación de las intervenciones públicas. Por esta múltiple orientación exige acometer evaluaciones a medida.

² Adaptado de Benhayoun, G. y Lazzeri, Y. (1998: 29,30).

⁴ Otro autor hace referencia a las diversas aportaciones metodológicas que se desarrollan, desde el paradigma positivista, en el ámbito específico de las evaluaciones aplicadas en el campo de la economía (Planas, I. 2005).

⁵ Con diversas adaptaciones teóricas, este enfoque recibe diversas denominaciones tales como evaluación basada en la teoría; evaluación sobre la teoría del programa; teoría del cambio.

⁶ No se puede obviar que el enfoque basado en la teoría también fue utilizado bajo el paradigma positivista (Chen y Rossi, 1989).

INFORMACIÓN SOBRE LOS AUTORES:

Carlos Bueno Suárez. Profesor Ayudante Universidad de Sevilla. Departamento de Economía Aplicada II. Coordinador y Docente del Módulo Evaluación de diseño, del sistema de gestión, de resultados e impactos del Máster Iberoamericano de Evaluación de Políticas Públicas en la Universidad Internacional de Andalucía (UNIA) de la Rábida-Huelva. Miembro del Directorio de Evaluadores Externos 2010 del Consejo de Evaluación de Desarrollo Social del Distrito Federal. EVALUA DF-México. Ha participado a lo largo de su trayectoria como investigador en más de 33 proyectos de investigación en el ámbito de la evaluación de programas y políticas públicas.

José Luis Osuna Llaneza. Catedrático E. U. de la Universidad de Sevilla. Departamento de Economía Aplicada II. Presidente de la Sociedad Española de Evaluación de Políticas Públicas, en cuya Junta Directiva ha ocupado los cargos de Vicepresidente (2005-08) y Secretario General desde (2000-05). Miembro del Consejo Rector de la Agencia Estatal de Evaluación de las Políticas Públicas, nombrado de conformidad con el Art. 12.5 del RD 1418/2006, en calidad de "profesional independiente de reconocido prestigio", con fecha 16 de marzo de 2011. Ha sido Consultor Internacional de Naciones Unidas para el Gobierno de Ecuador con el encargo de elaborar un Programa Máster para Altos Funcionarios de la Secretaría Nacional de Planificación y Desarrollo (SENPLADES) en "Seguimiento y Evaluación de la Gestión Pública por Resultados".