De la gestión a la metaevaluación

 

Esquema de evaluación para instrumentos de política ambiental

 

Mariana Bobadilla*, Martha Ileana Espejel Carbajal**, Francisco Lara Valencia***, Saul Álvarez Borrego *, Sophie Ávila Foucat** y José Luis Fermán Almada***

 

* Estudiante del Doctorado en Medio Ambiente y Desarrollo, Universidad Autónoma de Baja California, Ensenada [hylabobadilla@gmail.com].

** Profesora-investigadora de la Facultad de Ciencias, Universidad Autónoma de Baja California, Ensenada [ileana.espejel@uabc.edu.mx].

*** Investigador de la Universidad Estatal de Arizona [franciscolara@asu.edu].

* Investigador del Centro de Investigación Científica y de Educación Superior de Ensenada, Baja California [alvarezb@cicese.mx].

** Investigadora del Instituto de Investigaciones Económicas, UNAM, México [savila_1@yahoo.com.mx].

^*** Profesor-investigador de la Facultad de Ciencias Marinas, Universidad Autónoma de Baja California, Ensenada [jlferman@uabc.edu.mx].

 

Artículo recibido el 31-10-12
Artículo aceptado el 20-09-13

 

Resumen

La evaluación de la política ambiental ha avanzado lentamente en México por varias razones que incluyen la novedad y rápida evolución de los instrumentos de política ambiental; la complejidad de los problemas ambientales y la inexistencia de modelos de evaluación estandarizados para los evaluadores de dicha política. Este artículo propone un esquema metodológico para la evaluación en tres etapas de los instrumentos de política ambiental. El método identifica la funcionalidad del instrumento desde su origen. Se espera que los instrumentos de política ambiental vigentes se evalúen antes de crear nuevos instrumentos para la solución de un problema ambiental recurrente.

Palabras clave: esquemas de evaluación, instrumentos de política ambiental, FPEIR, eficacia, política de conservación.

 

Abstract

The progress of environmental policy evaluation in Mexico has been slow, because the novelty and rapid change of policy instruments, the complexity of environmental problems and the lack of standardized evaluation frameworks guiding the practice of those doing environmental policy evaluations. A three-stage methodological framework to evaluate environmental policy instruments is presented to assess the functionality of environmental policy instruments. This framework would evaluate and recalibrate environmental policy instruments before creating new ones to solve a recurrent environmental problem.

Key words: evaluation framework, environmental policy instruments, DPSIR eficiency, conservation policy.

 

INTRODUCCIÓN

La evaluación es considerada parte esencial del proceso de gestión pública.¹ Consiste en el análisis de la actuación de los poderes públicos sobre realidades sociales determinadas, donde se busca producir mejoras relacionadas con un problema previamente identificado. Es un método sistemático cuyo objetivo es obtener información sobre las actividades, características y resultados de las políticas públicas para aportar elementos al proceso de toma de decisiones y ofrecer una descripción de su desempeño para determinar su mérito o valor.² Las políticas públicas se pueden evaluar por sus resultados e impactos, pero también a través de sus programas y planes, mismos que definen con precisión los objetivos operativos, los medios para alcanzarlos y las acciones a realizar en un cierto tiempo.³ En el contexto neoliberal, la evaluación cobra importancia dado que la nueva forma de gobernar promueve la participación y exige la transparencia y la rendición de cuentas.⁴ En el tema ambiental, donde las actividades humanas tienen un impacto potencial sobre el capital natural (biodiversidad, recursos naturales, etcétera), la evaluación es vista como un instrumento de ayuda para decidir sobre iniciativas de conservación que hagan sinergia con el desarrollo. Asimismo, la evaluación de políticas ambientales pretende consolidar el desarrollo sustentable, el cual a diferencia de otras políticas sectoriales no contemplan. Si bien se ha discutido la pertinencia de querer abordar los problemas ambientales y socioeconómicos en la política ambiental,⁵ desde la creación del concepto de desarrollo sustentable se han hecho muchos esfuerzos por buscar su implementación en instrumentos normativos, de planeación y económicos. Aunado a lo anterior, las políticas públicas en materia ambiental han evolucionado de ser reactivas y correctivas para dar cabida a planteamientos progresivamente más preventivos, participativos e incluyentes; en especial destacan todos los esfuerzos para evaluar ex ante las Políticas, Planes, Programas y Proyectos (PPPP) ambientales como se explica actualmente en la Evaluación Ambiental Estratégica.⁶ Sin embargo, la gestación de las políticas ambientales es apenas a finales de la década de 1980 y todavía ahora hay confusión entre PPPP ambientales. De hecho, en algunos de ellos no es posible su evaluabilidad.⁷ En particular en el caso de México, es hasta la creación del Consejo Nacional de Evaluación de la Política de Desarrollo Social (Coneval) en el 2004 que se formaliza la obligatoriedad de la evaluación, basada principalmente en la metodología de marco lógico, la cual permite analizar la congruencia entre objetivos de la política, acciones y resultados, pero es deficiente en relación con el análisis de los detonantes y de la pertinencia de la problemática identificada. Por ello, este artículo es un primer acercamiento a la metaevaluación con la finalidad de mejorar los esquemas de evaluación de política pública en México. Esto toma mucha relevancia en el caso de la política ambiental debido a que responden a realidades complejas, por lo que se requieren diseños, implementaciones y evaluaciones acordes con esta complejidad. La relación entre sociedad, economía y ambiente requiere de considerar esquemas de evaluación más integrales.

Por ende, el objetivo de este artículo es que después una lectura multidisciplinaria sobre el tema de evaluación de políticas ambientales y esquemas metodológicos para evaluar el desarrollo sustentable, que es el tipo de desarrollo que incorpora el desarrollo ambiental (además del desarrollo social y económico) de una forma integrada, reflexionamos colectivamente y conjuntamos algunas ideas sobre el estado de la evaluación de las políticas ambientales en México. Como resultado, vimos la necesidad de proponer un esquema metodológico en etapas para una evaluación parcial, por ahora sólo de diseño, para la mejora de los instrumentos ambientales normativos.

Cabe resaltar que metodologías de este tipo tienen precedente internacional⁸ y que en el ámbito nacional no se observan en la reciente propuesta de la Subsecretaría de Fomento y Normatividad Ambiental, donde utilizan el esquema de marco lógico para la evaluación de normas oficiales mexicanas. Este esquema evalúa la administración de los programas, no el diseño, ni los resultados, y menos el impacto de las políticas ambientales. Por lo tanto, proponemos el esquema de Fuerzas Motrices-Presión-Estado-Impacto-Respuesta (FPEIR) propuesto por la OCDE⁹ para evaluar, medir y manejar el ambiente para construir el desarrollo sustentable de varios paises. En una revisión del uso del esquema FPEIR confirman "su utilidad en la aplicación en investigaciones al ofrecerle a hacedores de políticas explicaciones significativas de las relaciones causa y efecto".¹⁰ Además, "apoya la explicación y comunicación de los resultados de investigación de una forma accesible y entendible a los tomadores de decisiones y presenta los valores de personajes clave y provee opciones de decisiones alternativas, más que soluciones rígidas y predeterminadas". También, el esquema FPEIR es utilizado para la estructuración de la problemática ambiental en varias tematicas: de urbanización,¹¹ riesgos a la biodiversidad,¹² energética,¹³ pesquera,¹⁴ cambio climático,¹⁵ en contaminación histórica,¹⁶ entre muchas otras. El esquema de multicausalidad de la OCDE, en sus inicios se conocía como Presión-Estado-Respuesta (PER) y se centraba en la identificación de las presiones que las actividades económicas producen sobre un territorio y alteran el estado de los ecosistemas, para lo cual se diseñan respuestas como las políticas públicas ambientales. El esquema posteriormente fue complejizado al separar las presiones externas como fuerzas motrices y se subdividió la intensidad del cambio del estado en lo que se denominó impactos. El esquema ahora es conocido como FPEIR e identifica las fuerzas generadoras o motrices (generalmente externas) que motivan actividades que causan presión sobre el territorio; esta presión se expresa en modificaciones en el estado del ambiente, los cuales, si se intensifican, pasan a ser impactos que se reflejan en la extinción de especies, en efectos nocivos en la salud humana y de los ecosistemas, en cuantiosas pérdidas económicas o en serios problemas de orden social. Para eliminar, minimizar, controlar o evitar dichos impactos, se implementan respuestas para atenderlos. Si dichas políticas atienden a los indicadores de presión o de Estado, se dice que se construye una gestión basada en la prevención y por tanto de desarrollo sustentable; en cambio, si las respuestas están sólo dirigidas cuando aparecen las crisis y los desastres, entonces son respuestas de comando y control, paliativos que resuelven el problema pero no lo evitan, es decir, no promueven la sustenbilidad de un país o región.

Por otro lado, este esquema FPEIR puede construirse participativamente y ser el motor de generación y de evaluación de politicas ambientales más participativas utilizando el modelo de abajo hacia arriba¹⁷ y que, en materia ambiental, ha resultado muy exitoso en países latinoamericanos.¹⁸ El modelo se ha utilizado para diagnósticos del territorio municipal acompañado de instrumentos que expresan espacialmente los resultados¹⁹ y permiten presentar escenarios útiles para los tomadores de decisiones, tal como lo sugieren los autores que analizaron FPEIR y resaltan las bondades de dicho esquema.²⁰

Nuestra preocupación es que en México, como en muchos países, es práctica común que las respuestas se implementen sin evaluar el diseño de las políticas ya existentes. Por lo tanto, el esquema que aquí proponemos, está centrado en que se parta de las respuestas disponibles, para que antes de generar otros instrumentos, se verifique si los existentes pueden mejorarse.

 

ANTECEDENTES. POLÍTICAS, PLANES, PROGRAMAS Y PROYECTOS

Las PPPP (Figura 1) se desarrollan en el marco de la planeación ambiental²¹ como otras políticas sectoriales como la social,²² salud²³ o energética.²⁴ La política es considerada la idea y la guía (conjunto de objetivos y decisiones) de acción de los gobiernos y los ciudadanos para resolver problemas de la sociedad²⁵ y puede expresarse como "lo público y sus problemas".²⁶ Sin embargo, consideramos que las PPPP ambientales de alguna manera son diferentes a otras sectoriales, en especial las de conservación, porque son las únicas que consideran a las otras especies (plantas, animales) y el mantenimiento de los procesos ecosistémicos como la base del desarrollo (en este caso, sustentable).

Los planes constituyen una intención o mapas conceptuales de un propósito antes de realizar una acción con el objetivo de encausarlo. Algunos autores²⁷ los definen como el conjunto de objetivos coordinados y ordenados temporalmente para aplicar la política. Los programas son un conjunto de actuaciones orientadas a la consecución de uno o varios objetivos. Generalmente son la articulación de una serie de proyectos previstos en un área determinada, donde la unidad de acción pública objeto de evaluación suele ser el programa mismo. Finalmente, los proyectos se diferencian de los programas porque vienen acompañados con un presupuesto económico preciso y contienen actividades en torno a un objetivo concreto para realizarse en un cierto periodo y en una zona geográfica delimitada. Los proyectos son, tal vez, el nivel más importante de la planeación, ya que éstos son las unidades de acción capaces de materializar los objetivos y metas trazados en los planes y programas.²⁸ En nuestras lecturas, observamos que actualmente, al menos en las políticas de conservación, hay cierta confusión en la evaluación de los programas de manejo de áreas naturales protegidas, que son una herramienta de planeación para dar seguimiento a largo plazo, los programas operativos anuales, instrumentos con que son evaluados administrativamente y los proyectos de las mismas.²⁹

Los métodos para evaluar cualquier política son los mismos, sin embargo, en materia ambiental los criterios no han sido bien definidos y, al menos en México, no hay mucha experiencia en la evaluación de los PPPP. Los programas que tienen reglas de operación tienen la obligación de ser evaluados, sin embargo, los planes y los proyectos (cuando existen explícitos en la política) casi no han sido evaluados, de hecho, sólo uno de sus programas cuenta con evaluaciones continuas.³⁰

 

La evaluación

La evaluación de políticas públicas es un procedimiento ampliamente reconocido a escalas internacional y nacional.³¹ En México, los primeros esfuerzos de evaluación dentro del gobierno federal datan de la década de 1970, pero no fue sino hasta la de 1990 que comenzaron a tomar arraigo con reformas de monitoreo, evaluación y de gestión basada en resultados con el fin de dar seguimiento a programas gubernamentales y regular acciones y recursos en cumplimiento de objetivos del sector público.³² En el 2004, los esfuerzos de evaluación del gobierno federal se legitimaron con la creación del Coneval en materia de política social.³³ En política ambiental aún son escasas las experiencias, además de que las metodologías empleadas en cada campo son muy diversas³⁴ y predomina el marco lógico. La evaluación de las políticas han correspondido a un enfoque gerencial en el que la eficiencia y eficacia de los programas son el énfasis principal y por lo tanto el cumplimiento de indicadores es la prioridad. Este enfoque tiene muchas ventajas con respecto al uso del presupuesto federal, sin embargo, limita una visión integral de la evaluación de las políticas ambientales (porque las evaluaciones están orientadas a medir los indicadores).

Por lo tanto, el esquema de evaluación de FPEIR, como se menciona en la introducción, permite —a diferencia de otras metodologías— contemplar de manera más completa la relación sociedad, economía, naturaleza y política.

La evaluación de políticas es la investigación sistemática cuya racionalidad se basa en evidencia técnica.³⁵ Consiste en poner a prueba, como si se tratara de una hipótesis —explícita o implícita—, si una política o programa de acción determinados ha sido o no capaz de provocar los efectos esperados.³⁶ Este enfoque experimental sería posible en algunos programas ambientales que coincidan en características ecológicas; por ejemplo, sería difícil comparar programas en áreas naturales protegidas marinas con las terrestres. Sí podrían aplicarse enfoques experimentales considerando dos o más tiempos o áreas equivalentes en su problemática ambiental, social y económica. Sin embargo, todavía hay mucho que hacer dentro de los PPPP ambientales en materia de evaluaciones ex ante y de diseño. En la Figura 2 se esquematiza el proceso de evaluación dentro del ciclo de la política: en las primeras etapas del proceso de política se define el problema, se diseña y se buscan soluciones alternativas para alcanzar los fines del programa. Esta fase corresponde a la evaluación ex ante previa a su implementación. Una vez implementada la política, se da seguimiento mediante el monitoreo, lo que corresponde a la fase de evaluación formativa, que se lleva a cabo durante la aplicación de la política, por lo que también se conoce como evaluación concurrente o del proceso. Cuando la política muestra resultados, entonces se hace una recapitulación de los insumos utilizados para medir su eficacia, eficiencia y desempeño general de acuerdo con las metas establecidas. Esta última fase de evaluación es sumativa y se le conoce como evaluación ex post.³⁷

En políticas ambientales, generalmente se considera al territorio como parte del proceso de evaluación, ya que en éste se refleja su alcance a diferencia de otras políticas cuyos objetivos no necesariamente tienen una expresión territorial tangible, como son la educación, la salud, o el bienestar social. De hecho, hay autores que proponen que las evaluaciones sean in situ?^38. Asimismo, son más efectivas aquellas que favorecen la participación, de abajo hacia arriba, más que como habitualmente se han hecho, de arriba hacia abajo.³⁹

 

La importancia de la evaluación

La evaluación pretende, como cualquier otra investigación, describir, entender las relaciones entre variables y determinar la secuencia causal de una variable con otra.⁴⁰ Si se quiere conocer el desempeño, la eficiencia o la eficacia que ha tenido una acción previamente establecida, se siguen una serie de pasos para determinar si se alcanzaron los objetivos que se plantearon al inicio. De esta manera se puede mejorar el diseño o el proceso de dichas acciones; dar cuenta si los resultados obtenidos compensan los recursos invertidos y el tiempo, o bien retroalimentar proyectos futuros al identificar fallas y aciertos de los planes y los programas actuales. En la Figura 3 se muestran algunos de los tipos de evaluación de acuerdo con sus insumos, proceso programático y fuente de información.

En la evaluación de PPPP ambientales, el modelo de abajo hacia arriba ha permitido en algunas experiencias internacionales la mejor identificación de los problemas ambientales, porque se identifican las causas y se describen los impactos y cambios de estado histórica y vivencialmente. Un modelo constructivista permite incorporar las lecciones aprendidas durante años de convivir con el problema ambiental y de haber experimentado todo tipo de soluciones. Se ha publicado que, de esta manera, las respuestas expresadas como PPPP ambientales, han sido más facilmente implementadas y observadas.

 

METODOLOGÍAS

El tema del método de evaluación resulta de una discusión epistemológica en torno a las formas posibles de generar conocimiento que fundamentalmente opone enfoques positivistas y constructivistas.⁴¹

El primero se ocupa de la objetividad del trabajo, que se compone de definiciones de tipo instrumental, interesado fundamentalmente en la evaluación de tipo sumatoria y desarrolladas desde un enfoque no participativo (de arriba hacia abajo). Por otra parte, el enfoque constructivista busca la credibilidad y legitimidad del proceso y sus resultados, aporta definiciones de corte sociológico y prioriza las evaluaciones formativas con enfoque participativo e interés en el aprendizaje social⁴² (de abajo hacia arriba). La evaluación es un instrumento moderno, en términos de políticas públicas, que permite dar seguimiento al cumplimiento de los objetivos que se plantean las distintas políticas.⁴³ La evaluación para la mejora de las PPPP en materia ambiental, es un campo poco explorado y urgente por lo novedoso del sector e importante para construir el desarrollo sustentable de un país o región, especialmente cuando hay escenarios de cambio climático que requieren de una gestión de la prevención más que de una gestión reactiva ante los desastres.

 

Indicadores usados en la evaluación

Los indicadores representan un instrumento para sintetizar y transmitir información de manera significativa dentro del proceso de toma de decisiones,⁴⁴ y miden la eficiencia de las políticas ambientales.⁴⁵ En este artículo se utiliza el esquema FPEIR como marco conceptual (Figura 4) porque es ampliamente usado a escala internacional como método para estructurar la complejidad del desarrollo sustentable de las pesquerías, el manejo de los ecosistemas, zona costera, la energía, urbanización, cambio climático, entre muchos otros, como se mencionan en la introducción. La intención es facilitar su adopción y utilización por las agencias de gobierno, ya que el esquema FPEIR, al igual que los indicadores ambientales, se han convertido en un marco de validez general para la evaluación de políticas del sector ambiental,⁴⁶ porque justamente gira alrededor del estado del ambiente como un factor primordial para el desarrollo. La Semarnat cuenta con un sistema de indicadores de sustentabilidad⁴⁷ y el manual del ordenamiento ecológico⁴⁸ lo considera, pero la evaluación de la misma opera bajo el marco lógico, y evalúa sobre todo la administración (programas operativos anuales), pero no el desempeño de la política de una manera integrada.⁴⁹

Dados estos antecedentes, hemos realizado una lectura multidisciplinaria sobre la evaluación de políticas en general y de políticas ambientales en particular. De la reflexión de las mismas, encontramos que es importante insistir en la pertinencia de evaluar instrumentos normativos de manera integral, como lo sugiere el desarrollo sustentable, entendiendo la causalidad de la problemática ambiental como parte del diseño del instrumento. Por tanto, pensamos que era importante retomar los esquemas internacionales y que de alguna manera operan en México al interior del sector ambiental como en los ordenamientos ecológicos del territorio. Para ello presentamos este ensayo, que retoma las lecturas y nuestras experiencias para proponer un esquema en tres etapas, para evaluar las PPPP ambientales.

 

PROPUESTA PARA EVALUAR LOS INTRUMENTOS DE POLÍTICA PÚBLICA AMBIENTAL

Esta propuesta se centra en la evaluación de PPPP, ya que es a través de sus programas y proyectos donde se definen las metas para el objetivo de la política pública. Por ello, al evaluar el marco normativo, se pueden corregir desde su origen las fallas de los instrumentos. Se propone un esquema de evaluación parcial, de diseño, simple y holístico, con una doble perspectiva de generalidad y particularidad. Con éste se proporciona una visión del problema y, conforme a los hallazgos, se guía la evaluación a donde apunte el origen de las fallas, que pueden ocurrir desde la concepción de la misma política hasta la aplicación de las estrategias. El modelo considera componentes sociales, naturales y políticos. Esta propuesta se ubica principalmente en la evaluación ex post/ concomitante y se basa en tres etapas de evaluación:

ETAPA 1. "DESGLOSE POR PROBLEMA" . Esta primera etapa está diseñada de acuerdo con la propuesta de la OCDE para medir el desarrollo sustentable (Figura 5). Puede ser usada para evaluar diferentes estrategias adoptadas para una problemática en particular, por ejemplo el declive de un recurso natural renovable. Se propone que una vez identificado el problema se genere un marco conceptual para organizar el conjunto de indicadores con un desglose de causa-efecto. La construcción del esquema consiste en identificar una problemática y, a partir de aquí, investigar qué presiones se ejercen sobre dicho recurso para implementar "medidas", acciones o respuestas. Se sugiere que se clasifiquen las causas en intrínsecas e extrínsecas, mediatas o inmediatas de dicha problemática para sugerir estrategias donde se puedan modificar las tendencias a favor de la solución del problema. Por ejemplo, en un área natural protegida (ANP) marina ubicada frente a una ciudad o puerto en crecimiento, poco se puede hacer para evitar las fuerzas motrices que causan presión en el estado del ANP.⁵⁰ En este caso se pueden enfocar los esfuerzos en minimizar los impactos que son los que afectan directamente la salud o la economía de una población. Es importante conocer todos los instrumentos de política que se crearon para la solución de ese problema, para entonces poder comparar las estrategias de cada uno, así como las instituciones involucradas para detectar con qué enfoque pretendían resolver dicha problemática. Se recomienda separar los propósitos u objetivos de las políticas con el fin de ver los alcances de los resultados e impactos.

ETAPA 2. "CONCORDANCIA CONCEPTUALl". Esta etapa está basada en el esquema propuesto por Curcio,⁵¹ quien aplicó este razonamiento a políticas de salud. Parte de la lógica de que muchas políticas se asumen correctas para la resolución de conflictos y no se considera que el fracaso de las mismas puede ocurrir debido a que no se planteó correctamente la problemática desde el diseño de la política. De esta manera, aun cuando la política haya cumplido con todos sus objetivos, la problemática prevalece porque los objetivos establecidos no tenían correspondencia con dicha problemática. Cuando un problema público no ha sido bien definido o no está bien estructurado, se podría caer en un error de diseño de políticas y programas, que aunque estén conceptualmente correctas, no resuelven el problema en cuestión. A este error se le conoce como error tipo III y ocurre cuando se resuelve el problema incorrecto o no se resuelve el que se pretendía resolver. El planteamiento se basa en que antes de iniciar la evaluación para conocer la efectividad de la política o programa, se identifique la coherencia conceptual de la política o programa. De esta manera se complementan la evaluación empírica con la evaluación conceptual.⁵² Si se hace una equivalencia con los criterios de evaluación, tendríamos que el error 0 evalúa la pertinencia, el error I la no pertinencia, el II sugiere aplicar la etapa uno del esquema aquí presentado y el error III utiliza el criterio de relevancia.⁵³

El escenario cero indica que existe un problema que está bien definido y existe una política pertinente que ayuda a la resolución del mismo (Figura 6), en este escenario sólo se requiere el seguimiento de las estrategias definidas en el programa para cumplir con las metas establecidas que suponen el éxito del mismo. El escenario uno sucede cuando el problema está bien definido; no obstante, no existe política o programa que lo subsane (no hay pertinencia), por lo que la medida a seguir debería ser la creación de un instrumento que especifique la problemática y sugiera estrategias para solucionarlo a partir de objetivos y metas en un tiempo. El escenario dos o "peor escenario" sucede cuando existe un problema pero éste no está correctamente definido o bien no se reconoce como tal, además de no contar con ninguna política que pueda corregirlo (requiere implementar la etapa uno de nuestro esquema). El escenario tres indica que existen políticas que buscan remediar algún problema, pero dicho problema no está bien definido (criterio de relevancia). Por tanto, aun cuando la política cumpla con todos los objetivos, el problema prevalecerá porque las estrategias no son las adecuadas para remediarlo. Por ejemplo, un error tipo III se ejemplifica con el diseño de la Reserva de la Biosfera del Alto Golfo y Delta del Río Colorado, que pretendía, entre otras especies, conservar a la vaquita marina, una de las especies a las que se le ha puesto mayor atención por su estatus de amenazada a nivel internacional (y esto se da por la reciente extinción del delfín del lago Yantzen en China). Sin embargo, no se definió como área núcleo su área de distribución completa y hubo que hacer modificaciones a la política que la protegía.⁵⁴ Definir el problema requiere de un esquema de evaluación abajo-arriba porque se consulta a los conocedores de la problemática o afectados por la misma.

ETAPA 3. "CLASIFICACIÓN FPEIR POR PPPP". Si se siguen los esquemas previos, en esta etapa ya se tiene identificado de manera puntual dónde falló la política, si fue en su concepción o en su aplicación. También, con el "desglose por problema", se observa si algunos problemas cuentan con un exceso de políticas ambientales encaminadas a su solución.⁵⁵ Por ello se propone que, a partir de la lectura de las respuestas (instrumentos implementados vigentes), se clasifique la información en indicadores de Fuerza Motriz, Presión, Estado Impacto, Respuesta (FPEIR) para identificar al o los factores que originaron la implementación del o de los instrumento(s) (Figura 7).

La principal diferencia de este modelo respecto de la aplicación habitual del modelo propuesto por la OCDE, es que en México éste ha funcionado de manera reactiva y de arriba a abajo. Es decir, las respuestas (leyes, normas, decretos) se generan a partir de la identificación de las problemáticas ambientales, por ejemplo al hacer una manifestación de impacto ambiental se vislumbran las posibles consecuencias (presiones o impactos) que un proyecto pueda ejercer sobre un territorio.⁵⁶ En nuestra propuesta, en cambio, se parte de las respuestas ya existentes, no para generar otros instrumentos, sino para mejorarlos, y esto resulta de una experiencia local,⁵⁷ donde se encontró una alarmante sobrerregulación en materia ambiental.

De seguir el esquema propuesto, sería posible identificar el nivel de alcance que tuvieron los decretos después de haberse implementado (en una evaluación de diseño de manera ex post), es decir, se podrían identificar a partir de los indicadores generados en el esquema FPEIR y en la forma como se encaminaron los esfuerzos para resolver el problema ambiental. De esta manera se podrían modificar puntualmente las ineficacias del instrumento, además de ayudar a determinar si las fallas radicaron en su aplicación o en su concepción. Los elementos que se sugiere buscar en el contenido de las políticas e instrumentos asociados a su consecución son los siguientes:

Fuerza directriz. Aquí se busca la motivación de la creación de la política, antecedentes o justificación de la política (causas externas). Para ello, debería considerarse cualquier antecedente alrededor del problema y contextualizarlo históricamente, ya que muchas políticas responden a intereses políticos o acuerdos (nacionales o internacionales) que poco tienen que ver con el problema local. Por ello, se propone que se indague primero sobre la existencia de una "memoria del problema": ¿se cuenta con un análisis histórico de la problemática y políticas implementadas? Por ejemplo, si un área natural protegida cuenta con un plan de manejo, se podría dar una visión del problema pero siempre deberían complementarse con información adicional tales como los informes de gobierno, decretos, campañas publicitarias en pro del medio ambiente o índices de bienestar social, etcétera.

Presión. Identifica todas las presiones que han ocasionado las actividades humanas sobre el ambiente. ¿Qué actividades humanas afectan al recurso? Por ejemplo, las actividades perimetrales, directas e indirectas que ejercen presión a los recursos.

Estado. Describe la condición del ambiente, incluye la calidad y cantidad de los recursos naturales. ¿Se cuenta con estadísticas de la condición del recurso? Esta información podría obtenerse de los censos ambientales o cuentas ambientales, aunque deber considerarse que dicha información es generalizada y muchas veces no tiene el nivel de la resolución para utilizarse en casos particulares. En este caso, son útiles las estadísticas locales o a través de encuestas y entrevistas que permitan identificar la percepción de los pobladores de cambios de estado en el tiempo; o bien, si se tratase de territorios, también se pueden obtener imágenes o bases de datos en dos tiempos para medir el cambio que ha sufrido el recurso.

Impacto. El impacto es el resultado de los cambios en el ambiente que afecta económicamente o en términos de salud a los seres humanos. ¿Se cuenta con estadísticas de la economía y aspectos sociales de las comunidades asociadas para, al menos, dos tiempos? Además, aquí el uso de encuestas a los pobladores sería conveniente para conocer su percepción y sentir respecto del problema y su opinión de las políticas implementadas, ya que las estadísticas son censos o datos de producción del recurso y no reflejan necesariamente el impacto real.

Respuestas. Las respuestas son las acciones diseñadas para resolver los problemas ambientales de la zona. En este esquema obtenemos la información de indicadores del mismo instrumento sujeto de análisis y se complementa con la lectura de los otros instrumentos de política que apoyan la consecución del objetivo de la política. ¿Qué indicadores muestran si la política funcionó o no?, ¿cuántas y qué otras políticas se han adoptado para solucionar el problema en cuestión?

 

DISCUSIÓN Y CONCLUSIONES

En el contexto neoliberal, la evaluación de políticas públicas cobra importancia dado que la nueva forma de gobernar promueve la participación y exige el rendimiento de cuentas. La evaluación de políticas públicas tiene muchas vertientes, pero todas ellas conllevan como objetivo la mejora de las mismas. Los métodos para evaluar políticas son generales, pero los criterios difieren de acuerdo con el sector. En la política ambiental, los criterios incorporan el ambiente como eje base. En especial, las políticas de conservación son las únicas centradas en las otras especies del planeta (no sólo la especie humana) y las protegen de las acciones humanas. Políticas como las de salud y de energía tienen contextos ambientales, como las referentes a la epidemiología o la contaminación, pero están centradas en el bienestar de los seres humanos. Dado esto, y sin que sea excluyente de las políticas ambientales, sugerimos como base de la evaluación de las mismas, el esquema metodológico que es utilizado de forma exitosa y recomendado internacionalmente⁵⁸ para evaluar, medir y manejar el ambiente con el objetivo de construir el desarrollo sustentable: el esquema FPEIR. Las recomendaciones de dichos autores implican el acompañamiento de otros esquemas y de un proceso participativo. En este caso añadimos un esquema para medir la pertinencia de las políticas ambientales existentes en referencia a buenos diagnóticos (el esquema de Curcio de la Figura 6) y un proceso de participación incluyente, de abajo hacia arriba, que junto con herramientas para hacer escenarios y que no son explícitamente abordados en este artículo, facilitan la toma de decisiones y, por lo tanto, mejoran la evaluación o elaboración de PPPP ambientales.

Si se analiza la gestión de las PPPP ambientales, en comparación con otras sectoriales, tienen una corta existencia (el sector ambiental surge a fines de la década de 1980). En México, sólo un programa ambiental ha sido evaluado continuamente (el Programa de Conservación para el Desarrollo Sostenible, Procodes), y hasta recientemente⁵⁹ no se había realizado una metaevalución del mismo. Nosotros partimos de que la evaluación de políticas ambientales requiere de un tratamiento especial, básicamente porque las políticas giran alrededor de procesos humanos (salud, educación); ninguna otra política defiende la biodiversidad ni los procesos ecosistémicos del planeta.

Asimismo, consideramos que la evaluación de poltícas ambientales, como de otras, debe ser participativa (de abajo hacia arriba) y como un proceso constructivista. Para ello, es necesario capacitar equipos interdisciplinarios que evalúen las PPPP, en este caso, como son ambientales, la participación de ecólogos y biólogos es fundamental porque son los profesionistas que defienden la existencia de la flora y fauna y se preocupan por el mantenimiento de la funcionalidad ecosistémica.

El resultado de una reflexión sobre la problemática ambiental y las políticas asociadas es que éstas no han sido tan exitosas dado que los problemas ambientales no sólo se han controlado o detenido, sino que se siguen agudizando. Encontramos que es a partir de la última década, que las políticas ambientales han iniciado el periodo de evaluación en el cual se espera aprender de los errores cometidos y replantearlas con el objetivo de mejorar su diseño.

Algunos autores ejemplifican que hay una sobrerregulación⁶⁰ y por eso el esquema sugerido donde primero se desgloza el problema, luego se analiza si la PPPP fue pertinente o relevante y, si no existen, se construyen las PPPP bajo el esquema FPEIR que facilita esta dinámica. En la propuesta, el uso de indicadores integrados tanto ambientales, sociales como económicos, permite medir si la respuesta fue preventiva (de desarrollo sustentable) o de comando y control (no sustentable). El uso del esquema FPEIR (antes PER, como se explica en los antecedentes), utilizado por la Agencia Europea de Medio Ambiente y aplicado en México en el esquema de indicadores de sustentabilidad en el algunos programas como el Ordenamiento Ecológico Terriotrial, facilita su incorporación en el proceso incipiente de evaluación de PPPP ambientales mexicanas. La propuesta atiende los comentarios de los críticos del esquema FPEIR⁶¹ y por eso incorpora otros esquemas y herramientas que los análiticos del FPEIR⁶² encuentran en su revisión y que, por ello, es el esquema más utilizado y eficiente. En este caso agregamos una etapa tomada de la evaluación de ciencias de la salud que nos parece fundamental (el basado en Curcio de la Figura 6), el cual permite identificar la funcionalidad del instrumento desde su origen porque señala si las fallas tienen un origen desde su concepción o en el diseño, o bien permite analizar si la falla sucede en la fase de implementación de las estrategias planteadas.

La idea de un esquema metodológico en etapas para evaluar el diseño de los instrumentos ambientales normativos centrados en la mejora, y utilizando esquemas internacionales y conocidos en México fue porque, aunque la Subsecretaría de Fomento y Normatividad Ambiental utiliza el Esquema de marco lógico para evaluación, dicho esquema evalúa básicamente la administración de los programas ambientales, quedando de lado una evaluación integrada que mire hacia la mejora de las PPPP y cumplir con los objetivos de desarrollo sustentable esperados por el sector ambiental.

Dada esta reflexión, seleccionamos de entre otros esquemas el FPEIR porque es de amplio uso internacional y, aunque criticado por sus limitaciones (por ejemplo, los sistemas ambientales son mucho más complejos que como ha sido analizado en ocasiones), si se acompaña de otros esquemas,⁶³ se contextualiza el alcance de los resultados y se hace participativo en todas sus fases, es un excelente esquema para estructurar la problemática alrededor de la sustentabilidad de una actividad (como se citan en varios estudios en la introducción de este trabajo), pero sobre todo ayuda a tomar decisiones (en este caso, a elaborar PPPP ambientales pertinentes).

Por otro lado, el esquema FPEIR o su antecesor, el PER, ya se utilizan como métodos en otros instrumentos de política ambiental, como es el Ordenamiento Ecológico del Territorio⁶⁴ y existe la Iniciativa Latinoamericana y Caribeña para el Desarrollo Sostenible (ILAC),⁶⁵ cuyos países afiliados cuentan con sistemas de indicadores ambientales para la evaluación del desarrollo sustentable. La idea principal de nuestra propuesta es contar con respuestas (PPPP ambientales) que motiven una gestión basada en la prevención y por tanto de desarrollo sustentable; en lugar de las actuales que son respuestas de comando y control, paliativos que resuelven crisis ambientales pero no las evitan; es decir, no promueven la sustentabilidad de los sectores económicos ni la de un país, región o municipio.

La aplicación del esquema FPEIR en el formato con tres etapas que proponemos, si se construye bajo un modelo participativo —de abajo hacia arriba, que han funcionado en otros instrumentos ambientales como el impacto ambiental—,⁶⁶ tendríamos más casos de éxito en materia ambiental. La forma experimental de la evaluación de las políticas ambientales podría ser al comparar tiempos; como lo ejemplifican algunos autores en su artículo sobre contaminación histórica.⁶⁷ En especial, evaluaríamos si las respuestas existentes están funcionando o no, para entonces decidir si se mejoran los disponibles o se generan otros nuevos instrumentos.

El diagnóstico de la problemática es clave en la formulación de PPPP para cualquier sector (Figura 6). Si el diagnóstico se hace de manera integrada (como proponemos con el esquema FPEIR adicionado al de Curcio), se identifican las detonantes de las respuestas (PPPP ambientales) actuales y eso permite evaluar si la problemática está bien planteada desde un inicio. El esquema puede ser utilizado en evaluaciones ex ante, pero también en evaluaciones ex post. El esquema es útil para políticas complejas, puede incluirse una variable de tiempo y espacio, ya que el esquema permite incluir variables de contexto, históricas o circunstanciales.

De aplicarse, se espera que no haya más sobrerregulación, sino una mejora en las políticas incorrectas y no creando nuevas políticas sin antes probarlas como sucedió en el caso de las políticas implementadas en el Alto Golfo de California para la protección de las especies vaquita y totoaba.⁶⁸

 

NOTAS

¹ Wayne Parsons, Políticas públicas. Una introducción a la teoría y la práctica del análisis de políticas públicas, México, Flacso, 2007, pp. 477- 479.         [ Links ]

² Belén Sanz-Luque, ¿Es posible evaluar la política cultural exterior como una política pública?, España, Real Instituto Elcano, 2006, p. 3;         [ Links ] Carol Weiss, Evaluation, Estados Unidos, Prentice Hall, 1997, pp. 8 y 16.         [ Links ]

³ Juan José Oñate Rubalcaba, David Pereira Jerez, Francisco Suárez Cardona, Juan José Rodríguez, Javier Cachón de Mesa, La evaluación ambiental de políticas, planes y programas. Evaluación ambiental estratégica, Madrid, Mundi-Prensa, 2002, pp. 27-113.         [ Links ]

⁴ Robert F. Rich, Program evaluation and environmental policy: the state of the art, G. Knapp y T. Kim (eds.), Environmental Program Evaluation: A Primer, University of Illinois Press, 1998, pp. 23-39;         [ Links ] Alberto Olvera, La participación ciudadana y sus retos en México. Un breve estudio del desarrollo de la cultura y de las instituciones participativas y diagnóstico de su problemática actual, con propuestas para hacer funcionales las instancias de participación democrática, México, Secretaría de Gobernación, 2009, pp. 2 y 32.         [ Links ]

⁵ Gerardo Rodríguez Quiroz, Alvaro Bracamonte Sierra, Pertinencia de las ANP como política de conservación y mejoramiento de la calidad de vida. Análisis de percepción en la Reserva de la Biosfera del Alto Golfo de California y Delta del Río Colorado, México, Estudios Sociales, 2008, p. 12.         [ Links ]

⁶ Juan José Oñate Rubalcaba et al., La evaluación ambiental de políticas, planes y programas..., op. cit., pp. 27-113.

⁷ Marisa Reyes Orta, "Metaevaluación en el campo de la política de conservación. Caso de estudio: el Programa de Conservación para el Desarrollo Sostenible, Procodes", tesis de doctorado, Universidad Autónoma de Baja California, 2013, p. 146.         [ Links ]

⁸ Semarnat, Evaluación de instrumentos normativos del sector ambiental, México, Gobierno Federal, 2011, pp. 7-9.         [ Links ]

⁹ Camilo Polanco, Indicadores ambientales y modelos internacionales para toma de decisiones, Colombia, Gestión y Ambiente, 2006, pp. 27-41;         [ Links ] Organization for Economic Cooperation and Development (OECD), Core Set of Indicators for Environmental Performance Reviews. A Synthesis Report by the Group on the State of the Environment, París, OECD, 1993;         [ Links ] Organization for Economic Cooperation and Development (OECD), Towards Sustainable. Development Environmental Indicators, París, OECD, 1998.         [ Links ]

¹⁰ Karen Tscherning, Katharina Helminga, Bernd Krippner, Stefan Sieber, Sergio Gómez y Paloma, "Does research applying the DPSIR framework support decision making?", European Commission, Land use policy, 2012, pp. 102-110.         [ Links ]

¹¹ Karen Ann Bianet Jago-on, Shinji Kaneko, Ryo Fujikura, Akimasa Fujiwara, Tsuyoshi Imai, Toru Matsumoto, Junyi Zhang, Hiroki Tanikawa, Katsuya Tanaka, Backjin Lee y Makoto Taniguc, "Urbanization and subsurface environmental issues: An attempt at DPSIR model application in Asian cities", Science of the Total Environment, Japan, 2009, pp. 3089-3104.         [ Links ]

¹² Laura Maxim, Joachim H. Spangenberg, Martin O'Connor, "An analysis of risks for biodiversity under the DPSIR framework", Ecological Economics, France, 2009, pp. 12-23.         [ Links ]

¹³ Hassan Meyar-Naimi, Sadeg Vaez-Zadeh, "Sustainable development based energy policy making frameworks, a critical review", Energy Policy, Irán, 2012, pp. 351-361.         [ Links ]

¹⁴ Joana H. Martins, Ana S. Camanho, Miguel B. Gaspar, "A review of the application of driving forces-Pressure-State-Impact-Response framework to fisheries management", Ocean & Coastal Management, Portugal, 2012, pp. 273-281.         [ Links ]

¹⁵ Ines Omann, Andrea Stocker, Jill Jáger, "Climate change as a threat to biodiversity: An application of the DPSIR approach", Ecological Economics, Austria, 2009, pp. 24-31.         [ Links ]

¹⁶ Michel Meybeck, Laurence Lestel, Philippe Bonté, Régis Moilleron, Jean Louis Colin, Olivier Rousselot, Daniel Hervé, Claire de Pontevés, Cécile Grosbois y Daniel Thévenot, "Historical perspective of heavy metals contamination (Cd, Cr, Cu, Hg, Pb, Zn) in the Seine River basin (France) following a DPSIR approach (1950-2005)", Science of the Total Environment, París, 2007, pp. 204-231.         [ Links ]

¹⁷ Wayne Parsons, Políticas públicas. Una introducción a la teoría y la práctica del análisis de políticas públicas, op. cit., 487-491.

¹⁸ Gustavo García-López y Nancy Arizpe, "Participatory processes in the soy conflicts in Paraguay and Argentina", Ecological Economics, Amsterdam, 2010, pp. 196-206.         [ Links ]

¹⁹ Georges Seingier, Ileana Espejel, José Luis Fermán Almada, Gabriela Montaño Moctezuma, Isaac Azuz Adeath, y Guillermo Aramburo Vizcarra, "Mexico's coasts: Half-way to sustainability", Ocean & Coastal Management, México, 2011, pp. 123-128;         [ Links ] Georges Seingier, Ileana Espejel, José Luis Fermán Almada, Óscar Delgado González, Gabriela Montaño Moctezuma, Isaac Azuz Adeath, y Guillermo Aramburo Vizcarra, "Designing an integrated coastal orientation index: A cross-comparison of Mexican municipalities", Ecological Indicators, México, 2011, pp. 633-642.         [ Links ]

²⁰ Karen Tscherning et al., "Does research applying...", op. cit., pp. 102-110.

²¹ Domingo Gómez-Orea, Evaluación ambiental estratégica, Madrid, Mundi-Prensa, 2007, pp. 34-36.         [ Links ]

²² Myriam Cardozo-Brum, La evaluación de políticas y programas públicos. El caso de los programas de desarrollo social en México, México, Miguel Ángel Porrúa/Cámara de Diputados, LIX Legislatura, 2006, pp. 295-321.         [ Links ]

²³ Gary King, Emmanuela Gakidou, Nirmala Ravishankar, Ryan Mooe, Jason Lakin, Manett Vargas, Martha María Telléz-Rojo, Juan Eugenio Hernández Ávila, Mauricio Hernández Ávila, Héctor Hernández Llamas, "A politically robust experimental design for public policy evaluation, with application to the Mexican Universal Health Insurance program", Journal of Policy Analysis and Management, México, 2007, pp. 479-506.         [ Links ]

²⁴ Christoph Frei, Pierre-Andre Haldi, Gerard Sarlos, "Dynamic formulation of a top-down and bottom-up merging energy policy model", Energy Policy, Suiza, 2003, pp. 1017-1031.         [ Links ]

²⁵ Harold Lasswell, "Orientación hacia las políticas", en Luis F. Aguilar Villanueva, Estudio de las políticas públicas, México, Porrúa, 1992, pp. 79-103;         [ Links ] Manuel Tamayo-Saez, "El análisis de las políticas públicas", en Rafael Baños y Ernesto Carrillo (comps.), La nueva administración pública, Madrid, Alianza, 1997, pp. 2-3.         [ Links ]

²⁶ Citado en Wayne Parsons, Políticas públicas..., op. cit., p. 31.

²⁷ Chris Wood, Mohamed Djeddour, "Strategic Environmental Assessment: EA of Policies, Plans and Programmes", Impact Assessment Bulletin, Reino Unido, 1992, pp. 3-21.         [ Links ]

²⁸ Roberto Enríquez-Andrade, Introducción al análisis económico de los recursos naturales y del ambiente, Selección Anual para el Libro Universitario 2004-2205, Mexicali, México, Universidad Autónoma de Baja California, 2008.         [ Links ]

²⁹ Laura Rodríguez-Cardozo e Ileana Espejel, "Los criterios de sustentabilidad en los programas oficiales aplicados a las áreas naturales protegidas federales de México", Investigación ambiental. Ciencia y política pública, México (en prensa).         [ Links ]

³⁰ Marisa Reyes Orta, Myriam Cardozo Brum, Hugo Méndez Fierros, Concepción Arredondo García e Ileana Espejel, "Análisis del sistema de evaluación de un programa ambiental de la política mexicana: el Proders y su transformación al Procodes", Investigación ambiental. Ciencia y politica pública, México, INE, 2013 (en prensa).         [ Links ]

³¹ Thomas Dye, What governments Do, Why they do it, What Difference it Makes, Estados Unidos, University of Alabama Press, 1976;         [ Links ] Dennis Palumbo, The politics of program evaluation, Estados Unidos, SAGE, 1987;         [ Links ] Michael Quinn Patton, Qualitative Evaluation and research methods, segunda edición, Estados Unidos, SAGE, 1990;         [ Links ] Wayne Parsons, Políticas públicas..., op. cit., p. 31 y 37; Myriam Cardozo-Brum, La evaluación de políticas..., op. cit., pp. 43-60.

³² Semarnat, Evaluación de instrumentos normativos del..., op. cit., pp. 9-11.

³³ Manuel Fernando Castro, Gladys López-Acevedo, Gita B. Busjeet, Ximena Fernández-Ordóñez, El Sistema de M&E de México: un salto del nivel sectorial al nacional. Grupo de Evaluación Independiente Comunicación, Aprendizaje y Estrategia (IEGCS), Estados Unidos, Banco Mundial, 2009, pp. 6-18.         [ Links ]

³⁴ Sophie Veronique Avila-Foucat, Fernando Ramírez, Ana Ortiz-Monasterio, "Criterios para la evaluación de la eficacia de algunos instrumentos de conservación in-situ", en México: capacidades para la conservación y el uso sustentable de la biodiversidad, México, PNUD/ Conabio, 2009, pp. 95-116.         [ Links ]

³⁵ David Taylor, "Governing through evidence: Participation and power in policy evaluation", Journal of Social Policy, Reino Unido, 2005.         [ Links ]

³⁶ Myriam Cardozo-Brum, La evaluación de políticas y programas..., op. cit., p. 62.

³⁷ Wayne Parsons, Políticas públicas..., op. cit., p. 568.

³⁸ Jeffrey Sayer y Bruce Campbell, The science of sustainable development: local livelihoods and the global environment, Reino Unido, Cambridge University Press, 2004.         [ Links ]

³⁹ Wayne Parsons, Políticas públicas..., op. cit., pp. 486-491.

⁴⁰ Myriam Cardozo-Brum, La evaluación de políticas y programas..., op. cit., pp. 47-58.

⁴¹ Idem.

⁴² Idem.

⁴³ Ibid., pp. 51, 53, 54, 60 y 74.

⁴⁴ Antonio Cendrero, "Indicadores de desarrollo sostenible para la toma de decisiones", Naturzae, Cuadernos de Ciencias Naturales, España, 1997, pp. 5-25.         [ Links ]

⁴⁵ Iniciativa Latinoamericana y Caribeña para el Desarrollo Sostenible (ILAC), Indicadores de seguimiento: México 2005, México, Semarnat/INE, 2005, pp. 92-96.         [ Links ]

⁴⁶ Semarnat, Evaluación de instrumentos normativos del..., op. cit., pp. 15-21.

⁴⁷ Iniciativa Latinoamericana y Caribeña para el Desarrollo Sostenible, Indicadores de seguimiento: México 2005, op. cit., p. 92.

⁴⁸ Semarnat, Manual del proceso de ordenamiento ecológico, Instituto Nacional de Ecología, México, 2006 [http://www.semarnat.gob.mx/temas/ordenamientoecologico/Documents/documentos%20ordenamiento/zip/manual_poe.pdf], fecha de consulta: 30 de septiembre de 2013.         [ Links ]

⁴⁹ Marisa Reyes Orta et al., "Análisis del sistema de evaluación...", op. cit., p. 132.

⁵⁰ Leonardo Ortiz-Lozano, Alejandro Granados-Barba, Solís-Weiss, García-Salgadoc, "Environmental evaluation and development problems of the Mexican Coastal Zone", Ocean & Coastal Management, México, 2005, pp. 161-176.         [ Links ]

⁵¹ Pasqualina Curcio Curcio, "Metodología para la evaluación de políticas de salud", Revista Política, Venezuela, Instituto de Estudios Políticos, 2007, pp. 62-63.         [ Links ]

⁵² Ibid., pp. 69, 71 y 78,

⁵³ Marisa Merino Cuesta, La evaluabilidad de instrumentos de gestión a herramientas estratégicas en la evaluación de política públicas, España, Agencia de Evaluación y Calidad. Ministerio de Administración Pública, 2007, pp. 16 y 33.         [ Links ]

⁵⁴ Lorenzo Rojas-Bracho, Randall R. Reeves y Armando Jaramillo-Legorreta, "Conservation of the vaquita Phocoena sinus", Mammal Review, México, 2006, pp. 179-216;         [ Links ] Mariana Bobadilla, Saúl Álvarez-Borrego, Sophie Avila-Foucat, Francisco Lara-Valencia e Ileana Espejel, "Evolution of environmental policy instruments implemented for protection of totoaba and the vaquita porpoise in the Upper Gulf of California", Environmental Science and Policy, México, 2011, p. 1002;         [ Links ] Comité Internacional para la Recuperación de la Vaquita (CIRVA), Report of the fourth meeting of the international committee for the recovery of the vaquita, México, Unpublished report [www.iucn-csg.org/wp-content/uploads/2010/03/Report-of-the-Fourth-Meeting-of-the-International-Committee-for-the-Recovery-of-Vaquita.pdf], 2012.         [ Links ]

⁵⁵ Mariana Bobadilla et al., "Evolution of environmental policy...", op. cit., p. 1004.

⁵⁶ "Ley General de Equilibrio Ecológico y la Protección al Ambiente", úlltima reforma, 5 de julio de 2007, Diario Oficial de la Federación, México. Principalmente su capítulo III del Procedimiento de Evaluación de Impacto Ambiental, 2007.         [ Links ]

⁵⁷ Mariana Bobadilla et al., "Evolution of environmental policy...", op. cit., p. 1005.

⁵⁸ Karen Tscherning et al., "Does research applying the DPSIR framework support decision making?", op. cit., pp. 102-110.

⁵⁹ Marisa Reyes Orta et al., "Análisis del sistema de evaluación de un programa...", p. 47.

⁶⁰ Mariana Bobadilla, Saúl Álvarez-Borrego, Sophie Avila-Foucat, Francisco Lara-Valencia e Ileana Espejel, "Evolution of environmental policy instruments implemented for protection of totoaba and the vaquita porpoise in the Upper Gulf of California", Environmental Science and Policy, 2011, pp. 998-1007.         [ Links ]

⁶¹ Hanne Svarstada, Lars Kjerulf Petersen, Dale Rothman, Henk Siepeld, Frank Wátzold, "Discursive biases of the environmental research framework DPSIR", Land Use Policy, 2008, pp. 116-125.         [ Links ]

⁶² Karen Tscherning et al., "Does research applying the DPSIR framework support decision making?", op. cit., pp. 102-110.

⁶³ Simon Bell, "DPSIR = A Problem Structuring Method? An exploration from the "Imagine" approach", European Journal of Operational Research, 2012, pp. 350-360;         [ Links ] Barry Ness, Stefan Anderberg y Lennart Olsson, "Structuring problems in sustainability", Science: The multi-level DPSIR framework, 2010, Geoforum, pp. 479-488.         [ Links ]

⁶⁴ Vicente Amaga, Ana Córdova y Vázquez, Manual del proceso de ordenamiento ecológico, México, Instituto Nacional de Ecología, 2007.         [ Links ]

⁶⁵ [http://www.semarnat.gob.mx/informacionambiental/SNIA/Pages/internacionales.aspx], fecha de consulta: 30 de septiembre de 2013.         [ Links ]

⁶⁶ Ciaran O'Faircheallaigh, "Public participation and environmental impact assessment: Purposes, implications, and lessons for public policy making", Environmental Impact Assessment Review, 2010, pp.19-27.         [ Links ]

⁶⁷ Michel Meybeck, Laurence Lestel, Philippe Bonté, Régis Moilleron, Jean Louis Colin, Olivier Rousselot, Daniel Hervé, Claire de Pontevés, Cécile Grosbois y Daniel R. Thévenot, "Historical perspective of heavy metals contamination (Cd, Cr, Cu, Hg, Pb, Zn) in the Seine River basin (France) following a DPSIR approach (1950—2005)", Science of the Total Environment, 2007, pp. 204-231.         [ Links ]

⁶⁸ Mariana Bobadilla etal., "Evolution of environmental policy instruments implemented...", op. cit., 998-1007.