Artículos

 

Las ciudades mexicanas y el buen gobierno local: una metodología para su evaluación

 

Mexican cities and the good local goverment — a methodology of evaluation

 

Homero R. Saltalamacchia * y Alicia Ziccardi **

 

* Doctor en Ciencias Políticas, Universidad Nacional Autónoma de México. Profesor de Metodología de la Investigación en la Universidad Nacional de Buenos Aires. Temas de especialización: Metodología de la Investigación; Evaluación (en particular Cualitativa) de Programas Sociales. Teléfono y fax: 5411-4951-0773. Correo electrónico: <saltalamacchia@ciudad.com.ar>.

^** Doctora en Economía, Universidad Nacional Autónoma de México, Facultad de Economía. Investigadora titular del Instituto de Investigaciones Sociales de la Universidad Nacional Autónoma de México y coordinadora académica de la Maestría en Estudios Regionales del Instituto Mora y el Instituto de Investigaciones Sociales de la Universidad Nacional Autónoma de México. Temas de especialización: Gobernabilidad y Gobiernos Locales; Participación Ciudadana. Teléfono: 56-22-74-00, extensión 300. Correo electrónico: <ziccardi@servidor.unam.mx>

 

Recibido: 30 de enero de 2003.
Aceptado: 30 de septiembre de 2004.

 

Resumen

En América Latina, y en México particularmente, hay un interés cada vez mayor por evaluar los resultados de las políticas públicas y el desempeño gubernamental. En este artículo se ofrece una metodología de evaluación para ser aplicada en el ámbito de los gobiernos locales. Para ello se seleccionan cinco indicadores: eficacia, eficiencia, responsabilidad, atención de las demandas y promoción de la participación ciudadana; asimismo, se construye un índice que permite determinar en qué medida hay "disposición" en las autoridades locales para ejercer un "buen gobierno". Además, se presenta inicialmente un marco conceptual que permite operar de manera congruente en este tipo de actividad evaluativa.

Palabras clave: investigación evaluativa; gobiernos locales; buen gobierno; ciudades; eficiencia; eficacia; responsabilidad; atención a las demandas; participación ciudadana.

 

Abstract

Latin America, particularly Mexico, has shown a growing interest in evaluating the results of public policies and government performance. This article offers a methodology of evaluation that can be used in the local government sphere. To this end, the authors selected five indicators: effectiveness, efficiency, responsibility, handling of requests and promotion of civic participation. They also constructed an index that allows to determine the extent to which local authorities are "willing" to engage in "good government". Also provided is a conceptual framework that enables one to operate congruously with this type of assessment activity.

Keywords: evaluative research; local governments; good government; cities; efficiency; effectiveness; responsibility; handling of demands; civic participation.

 

I. INTRODUCCIÓN

Este trabajo tiene como principal objetivo presentar una herramienta metodológica para evaluar el desempeño de los gobiernos locales en relación con las demandas de la ciudadanía, a fin de contribuir a facilitar el proceso de toma de decisiones y mejorar la actuación gubernamental en el nivel local.

En la última década del siglo XX, México vivió un intenso proceso de reestructuración económica, democratización política y reforma del Estado. Los municipios, por ser instancias intermedias de poder mucho más cercanas a las necesidades y posibilidades de control ciudadano, constituyen un espacio territorial, social y político esencial en la afirmación y enriquecimiento de esos procesos. La alternancia de partidos políticos en el control del Ejecutivo local ha desarrollado condiciones de competitividad generalizadas después de más de 70 años de gobierno de partido casi único. Esto ha promovido diferentes transformaciones en las economías locales y en las formas de gobierno; ha contribuido a que se introduzcan modificaciones en la organización institucional y en el papel de intermediario de las demandas ciudadanas que le cabe al gobierno municipal ante los demás órdenes de gobierno; ha transformado las formas de obtención de recursos; de igual modo, ha influido en la creación de instancias de participación ciudadana y de representación social y política.

Si bien éste es el sentido genérico de importantes transformaciones que se advierten en el ámbito de lo local, también es cierto que en los municipios persiste una gran cantidad de obstáculos para que este nivel de gobierno ejerza sus funciones eficientemente y en democracia. Su autonomía cada vez más amplia y su importancia cada vez mayor enfrentan a todos sus actores (representantes electos, miembros de la administración, partidos políticos y organizaciones ciudadanas) a la necesidad de evaluar las actuales experiencias e ir definiendo con más claridad qué es y cómo se logra un "buen gobierno" en el nivel local.

Una de las responsabilidades importantes de las instituciones académicas en este momento es colaborar con esa evaluación y aprendizaje mediante la propuesta de instrumentos que permitan la acumulación de dichas experiencias comunitarias. Tal es el propósito fundamental de este trabajo. Se trata de aprovechar la ya muy importante experiencia acumulada en cuanto a evaluación de programas, para ir desarrollando una metodología que sirva para: 1) estimular la discusión sobre las principales características que deben reunir, en México, los buenos gobiernos locales; y 2) incorporarla en la práctica de los integrantes de esos gobiernos (gobernantes electos, administración gubernamental) y de la ciudadanía, con el fin de detectar y acumular las buenas prácticas y desterrar las que interfieren con el correcto ejercicio del gobierno.¹

En la actualidad priva un amplio consenso en relación con que las evaluaciones son herramientas útiles y necesarias para mejorar el desempeño gubernamental. Sin embargo, la tarea de crear tal metodología no es sencilla; asimismo, resultan pocos los intentos institucionales o académicos que han considerado al municipio como objeto de estudio o han pretendido realizar una evaluación de algún aspecto de la gestión local (o ambos).² En ese marco, el presente trabajo pretende ser una contribución a la creación de una metodología de evaluación que permita conocer la actuación de los gobiernos locales para mejorar sus relaciones con la ciudadanía.

Debido a la abultada cantidad de municipios (2 435 en el año 2004) y a la diversidad que caracteriza a los gobiernos locales en México, esas metas sólo pueden ir lográndose con un prolongado proceso de investigación que permita captar la compleja problemática. En este trabajo se presentan las bases metodológicas, se sitúa el problema y se comienzan a desbrozar sus dificultades, que son muchas. Una de ellas es revisar y reformular las teorizaciones dirigidas a la evaluación de programas sociales (que son mayoritarias) para adaptarlas a la evaluación de un tipo de desempeño institucional mucho más complejo, como es propio de un gobierno local. El objetivo fue acotado en dos maneras: se eligieron algunos gobiernos locales en los que comenzar el experimento se limitó a la evaluación hecha a cinco indicadores y se construyó un índice que permita determinar, de manera aproximada, en qué medida hay "disposición" en las autoridades locales a ejercer un "buen gobierno". Asimismo, se creó un marco conceptual que permitiera operar de manera congruente en la actividad evaluativa.

 

II. EL GOBIERNO LOCAL EN MÉXICO

A. Qué son y cómo son los gobiernos locales en México

En México, el principal rasgo de la realidad municipal es la heterogeneidad de los municipios. Ello obliga a precisar los alcances de esta metodología, la cual pretendió ser elaborada y validada a partir del caso de los municipios central y metropolitanos de las tres ciudades más grandes del país: Ciudad de México, Guadalajara y Monterrey.

Partimos del hecho de que todos los gobiernos locales deben cumplir una doble función de administración y gestión urbana de gobierno (político) de su sociedad y su territorio. Para ello, deben sortear muchos obstáculos, entre los cuales pueden señalarse:

• Disponer de escasos recursos frente al cúmulo de funciones gubernamentales que se les asignan en la Constitución de la República y de las demandas sociales que presenta la ciudadanía.

• Que haya una valoración social positiva respecto de los cargos del gobierno local y la ausencia de funcionarios de carrera.

• La situación de subordinación que tiene el gobierno municipal en relación con el Ejecutivo y el parlamento estatal.

• La ausencia de una cultura política democrática en el ejercicio de gobierno, lo cual se advierte tanto en las instancias del Ejecutivo como del cabildo.

• En el caso de los municipios metropolitanos, las limitadas experiencias de coordinación entre las autoridades que forman parte de estas regiones.

• El tratarse de ciudades divididas, fragmentadas, segmentadas, en las que prevalece la desigualdad social y la segregación urbana.

Para quienes estamos preocupados por la calidad de vida de nuestras ciudades, analizar y evaluar la forma de gobierno en esas sociedades y territorios locales constituye una importante tarea que supone investigar las políticas y las demandas urbanas desde una nueva perspectiva. Pensamos que los responsables de los bajos niveles de calidad de vida que ofrecen nuestras ciudades no sólo son los tradicionales actores del espacio urbano (constructores, promotores, especuladores, técnicos, las clases populares), sino también la forma de gobierno local.

Clientelismo, cooptación, paternalismo, discrecionalidad en la definición y aplicación de políticas y recursos, ausencia de canales de participación social abiertos a la ciudadanía en los procesos de toma de decisiones, han sido rasgos recurrentes de la gestión urbana. Sin embargo, desde hace varias décadas, ha habido también experiencias de gobierno innovadoras, principalmente en el terreno de las relaciones con la comunidad, las que se han expandido y consolidado en los espacios locales. Los estudios sobre tales experiencias han demostrado que en esta instancia es donde la democracia electoral se disputa, se defiende, y donde se advierten valiosas experiencias de participación ciudadana en la gestión del territorio, las cuales alimentan el avance democrático.³ Por otra parte, en los proyectos de "nuevo o auténtico federalismo" que se proponen desde diferentes ámbitos de la vida política nacional, los municipios son objeto de central atención. En este contexto, es de fundamental importancia conocer y evaluar en qué medida los gobiernos locales expresan disposición para ejercer un "buen gobierno".

 

B. Cuáles y cómo son los gobiernos municipales de este estudio

1. La estructura de gobierno de las ciudades

El ámbito al que se refiere esta propuesta metodológica es el de los gobiernos locales. Se designa como "gobierno local" en el ámbito de gobierno municipal. La diversidad que caracteriza a los gobiernos locales plantea distintas dificultades para su evaluación; y, en el caso de los municipios seleccionados, éstos presentan una gran complejidad. Para transmitir una idea de ella, conviene precisar algunas características que poseen los gobiernos locales de las ciudades, que sirven como marco de referencia al presente trabajo. Entre tales características, las más importantes desde la perspectiva de la forma de gobierno, son las que aparecen a continuación.

• Esos gobiernos tienen sus territorios definidos dentro de un conjunto urbano más extenso, que constituyen grandes ciudades y, aunque carecen de un gobierno metropolitano formalmente constituido, forman parte de una compleja estructura institucional gubernamental en la que participan las autoridades de un municipio central y las autoridades de los municipios metropolitanos (delegaciones, en el caso del Distrito Federal).

• Estos gobiernos municipales forman parte del sistema federal mexicano constituido por 31 estados y un Distrito Federal, el cual a su vez está dividido en 16 delegaciones o demarcaciones político-administrativas.

• Hay un marco jurídico para la gestión del territorio local que se halla establecido principalmente en el artículo 115 constitucional, así como en las leyes orgánicas de los estados de la nación y del Distrito Federal. A ello se agrega una amplia normatividad municipal (leyes, reglamentos, acuerdos, estatutos, y otros).

En los gobiernos municipales hay un poder Ejecutivo, al frente del cual se halla el presidente municipal, y formas de representación política de la ciudadanía en los cabildos; en el Distrito Federal, dicha representación se encuentra a cargo de la Asamblea Legislativa del Distrito Federal que, a diferencia de los cabildos, tiene competencias similares a las de las Cámaras estatales. No obstante, las formas como se procesan las demandas ciudadanas atraviesan los más variados canales del Ejecutivo local.

 

2. Las funciones jurídicas de los municipios y de las delegaciones

Las funciones que han sido jurídicamente asignadas al municipio en el artículo 115 constitucional y que se encuentran directamente relacionadas con el desempeño de este gobierno en el ámbito de las políticas urbanas, son las que presentamos aquí.

• Suministrar los servicios públicos (agua potable y alcantarillado, alumbrado, mantenimiento de parques y jardines, seguridad pública y tránsito). Asimismo, se explicita que los municipios de un mismo estado podrían coordinarse y asociarse para hacer más eficaz la prestación de dichos servicios.

• Administrar libremente la hacienda local. Recibir contribuciones, participaciones federales, ingresos derivados de la prestación de servicios, recaudar el impuesto predial y de traslado de dominio.

• Formular, aprobar y administrar la zonificación y planes de desarrollo urbano municipal, crear y controlar reservas territoriales y ecológicas, controlar el uso de suelo, otorgar licencias y permisos de construcción.

• Planear y regular el desarrollo con otros municipios, entidades federativas y la Federación cuando dos o más centros urbanos formen una continuidad demográfica (conurbaciones).

Según la Ley Orgánica de la Administración Pública del Distrito Federal vigente (capítulo III), las autoridades de las delegaciones deben cumplir con una amplísima cantidad de funciones (LX). Entre las vinculadas a la gestión urbana, pueden mencionarse las que incluimos en seguida.

• Expedir licencias de obras.

• Otorgar licencias de conjuntos habitacionales.

• Prestar servicios públicos (limpia, barrido, recolección, alumbrado público).

• Mejorar la vialidad, circulación y seguridad de vehículos y peatones en las vialidades primarias. Construir, rehabilitar y mantener escuelas, bibliotecas, museos, centros deportivos, parques públicos, mercados públicos, administrar centros sociales.

• Prestar el servicio de alumbrado público.

• Proponer y ejecutar obras tendientes a la regeneración de barrios deteriorados.

• Participar en la elaboración del Programa General de Desarrollo del Distrito Federal y demás programas.

• Participar en programas de vivienda.

• Realizar los jefes delegacionales recorridos periódicos, audiencias públicas y difusión.

 

3. Las autoridades del gobierno local

a) El gobierno local de otras ciudades metropolitanas

En ambos casos, se trata de realidades metropolitanas en las que el gobierno local está constituido por un municipio central y un conjunto de municipios conurbados. He aquí las autoridades de cada municipio.

• El presidente municipal, electo por la ciudadanía y que designa un equipo de colaboradores de su confianza, quien a su vez dirige al personal técnico y administrativo.

• El cabildo, que está constituido por regidores de partido. El presidente municipal, los regidores, y en algunos municipios el síndico, son electos por la ciudadanía.

b) El gobierno de la Ciudad de México

Este gobierno es aún más complejo que los anteriores, ya que abarca el territorio de dos entidades federativas: el Distrito Federal, que es la capital del país, y los municipios conurbados del Estado de México. La estructura de gobierno en el nivel metropolitano tiene entonces las características que aparecen a continuación.

• Desde 1997, el gobierno del Distrito Federal tiene como autoridad máxima a un jefe electo por la ciudadanía. Su territorio está dividido en 16 demarcaciones territoriales, que son órganos desconcentrados denominados "delegaciones", al frente de las cuales se halla un responsable, el jefe delegacional, que desde el año 2000 también es electo por la ciudadanía.

• La Asamblea Legislativa del Distrito Federal, la cual está constituida por representantes de los partidos políticos electos por la ciudadanía.

• El gobernador del Estado de México, en tanto autoridad máxima del territorio en que se localizan los municipios metropolitanos.

• El Congreso del Estado de México.

• Los presidentes municipales de los municipios conurbados del Estado de México.

• Los cabildos de los municipios conurbados del Estado de México.

Hay además instancias de coordinación metropolitana de carácter normativo en las que participan representantes del gobierno federal, estatal y municipal para el tratamiento de problemas tales como el medio ambiente, el agua o el transporte.

 

III. LA EVALUACIÓN DE GOBIERNOS LOCALES COMO PROBLEMA

A. Evaluación de programas y evaluación de gobiernos: una distinción necesaria

En un artículo escrito hacia finales de la década de los setenta, Howard E. Freeman y Marian A. Salomon señalan que ese periodo se caracterizó por dos grandes contribuciones que los Estados Unidos hicieron al mundo: la película Star Wars y la investigación evaluativa. Desde entonces, esta última contribución continuó perfeccionándose dentro y fuera de dicho país.

Por supuesto que, al retomar la afirmación de los autores antes citados, no se está afirmando que en tal década se inventó la evaluación, como tarea que acompaña y permite mejorar a la actividad humana. Tampoco es cierto que, antes de esa década, las grandes empresas gubernamentales o privadas hayan ignorado los ejercicios de evaluación; Guba (1981) recuerda al respecto que ya en el 2200 a. C., en el imperio chino, se establecieron pruebas formales destinadas a la evaluación de las propias acciones. O sea que la evaluación de las acciones es casi tan antigua como la propia especie humana. Lo que resulta novedoso en la actualidad, es la aparición, en el curso de esa década, de un tipo de actividad académica que: a) fue creando una gran cantidad de profesionales especializados; b) fue institucionalizándose; y c) ganó rápidamente el reconocimiento y aceptación de los organismos gubernamentales.

Según Charles R. Wright (1997), en los últimos años, todo programa racional de acción social debe ir acompañado de un proceso de evaluación y, a la vez, priva una tendencia a exigir pruebas más sistemáticas, rigurosas y objetivas del éxito. Es decir, más allá de que se disponga de evaluaciones formales e informales que expresan la opinión de la ciudadanía por diversos medios (voto, encuestas, artículos periodísticos, y demás), la manera como ella aprecia o estima el desempeño gubernamental se liga estrechamente con el desempeño de actividades diseñadas ex profeso para esa evaluación.⁴

 

B. La evaluación: su aplicación a los gobiernos locales

Esa importancia y esa profesionalización de la actividad evaluativa han generado una gran cantidad de investigaciones y de experiencias que han permitido discutir sus presupuestos iniciales y han calificado sus posibles alcances y objetivos. La mayor parte de esa abundante bibliografía ha sido enfocada sobre la evaluación de programas sociales. De ella pueden obtenerse herramientas muy útiles para medir los alcances y resultados de la acción social en dicho plano.

Sin embargo, dadas las diferencias prevalecientes entre la estructura de los programas y las maneras típicas de actuación de instituciones tan complejas como los gobiernos locales (en las que se desarrollan múltiples y variados programas así como otro tipo de actividades), las experiencias de evaluación de programas deben ser revisadas con el propósito de adaptarlas a tal complejidad. Conviene pues comenzar por dicha discusión.

Al presentar una síntesis de algunas de las principales conclusiones de su experiencia, Aguilar y Ander-Egg (1992) definen la evaluación como:

[...] una forma de investigación social aplicada, sistemática, planificada y dirigida; encaminada a identificar, obtener y proporcionar, de manera válida y fiable, datos e información suficiente y relevante, en que apoyar un juicio acerca del mérito y el valor de los diferentes componentes de un programa (tanto en la fase de diagnóstico, programación o ejecución) o de un conjunto de actividades específicas que se realizan, han realizado o realizarán, con el propósito de producir efectos y resultados concretos, comprobando la extensión y el grado en que dichos logros se han dado, de forma tal que sirva de base o guía para una toma de decisiones racional e inteligente entre cursos de acción, o para solucionar problemas o promover el conocimiento y la comprensión de los factores asociados al éxito o fracaso de sus resultados (p. 18).

En esta definición deben señalarse algunos aspectos que permitirán definir más claramente el desafío que supone la elaboración de una metodología de evaluación de gobiernos locales. Según esta definición, la evaluación

• es una tarea de investigación social aplicada;

• debe ser sistemática, planificada y dirigida;

• los datos obtenidos en ella deben ser válidos y confiables;

• debe estar encaminada a obtener datos e información de importancia en qué apoyar un juicio acerca del mérito y valor: sea de los diferentes componentes de un programa (tanto en la fase de diagnóstico como en la de programación y ejecución), sea de un conjunto de actividades específicas. Ello puede requerir tomar posición sobre programas o actividades que pueden estar realizándose, haber sido realizados o que serán ejecutados.

El objetivo es comprobar la extensión y el grado en que dichos logros se han dado, así como servir de base o guía para una toma de decisiones racional: para resolver problemas o promover el conocimiento y la comprensión de los factores relacionados con el éxito o el fracaso de sus resultados.

Las exigencias y expectativas contenidas en esta caracterización son amplísimas. No tanto por los propósitos que se adjudican a la evaluación como por las exigencias de sistematicidad, planificación, objetividad, validez y confiabilidad que se le atribuyen.

Aun en la evaluación de programas, la experiencia muestra que la tarea hace frente a muchísimas dificultades, y el campo de actuación es tan complejo que esas exigencias resultan incumplibles, lo cual no significa que no constituyan un horizonte que debe tenerse en cuenta. El método y las técnicas que se aplican tienden a la sistematicidad, confiabilidad y credibilidad de las informaciones construidas y del diagnóstico que se desprende de ellas.⁵ Sin embargo, saber que esas metas son difíciles de alcanzar no significa que se considere inútil la evaluación lograda. Por el contrario, toda evaluación es un proceso de rectificaciones constantes en el que se debe producir una permanente interacción entre evaluadores y evaluados.

Dada esa primera observación, pasamos a resumir las principales diferencias entre la evaluación de programas y la evaluación de gobiernos locales; ello con el propósito de reconocer adecuadamente las diferencias entre la evaluación aludida en la definición y la que pretendemos elaborar en este trabajo.

En la evaluación de programas, debe considerarse lo siguiente.

• La estructura institucional encargada de la ejecución de programas es normalmente un conjunto bien definido, con funciones claramente especificadas y con un alto grado de homogeneidad.

• La responsabilidad es de una sola institución.

• Las instituciones que planean o aplican (o ambas actividades) programas o conjuntos de actividades específicas, tienen una estructura jerárquica institucional bastante definida; y, aunque en la práctica no siempre se respeten esos límites, el que se cuente con ellos facilita las tareas del evaluador.

• Los objetivos de los programas son explícitos y generalmente están bien delimitados.⁶

• Dentro de la institución ejecutora, normalmente hay consenso sobre las bondades de esos objetivos y sobre su definición; o, cuando no lo hay, las diferencias son planteadas y el logro de consenso es facilitado por el carácter delimitado del tema.

• Habitualmente, esas evaluaciones cuentan con el aval o aceptación de los miembros de la institución; esto es, son realizadas o encargadas por los mismos que echaron a andar el programa, o bien se cuenta con algún grado de aceptación por parte de éstos.

En la evaluación del gobierno local,

1. Se trabaja sobre una estructura compleja, formada por varias instancias que incluso interactúan con los diferentes órdenes de gobierno. Por ello, en dicha estructura institucional,

• los objetivos son muchos, muy amplios y variados;

• pueden coexistir múltiples programas que atienden a las diversas competencias del gobierno local;

• cada programa puede tener distinta relación con los intereses y convicciones de los ejecutores y su clientela;

• pueden privar contradicciones o superposiciones importantes entre las competencias de esos programas;

• cada uno de dichos programas puede suponer distintas lógicas de acción;

• habitualmente, hay menor comunicación entre las esferas institucionales de los gobiernos que entre las esferas institucionales de un organismo que aplica un solo programa o un grupo más homogéneo de programas.

2. Salvo en municipios con clara hegemonía de un partido (que además esté bastante unificado), en los gobiernos los consensos sobre qué se debe hacer y cómo hacerlo son mucho menos frecuentes que los prevalecientes en las instituciones que ejecutan programas.

3. A diferencia de las instituciones que ejecutan programas, en los gobiernos es necesario distinguir y evaluar cuidadosamente la relación entre

• los objetivos administrativos técnicamente pensados (por ejemplo, hacer una calle que forma parte de una buena planificación urbana de corto y largo plazo, sería lo que normalmente tienen en cuenta quienes evalúan programas);

• los objetivos políticos que orientan la acción de los ejecutores (mantenerse en el poder), y

• las adhesiones políticas que orientan la percepción de las acciones por parte de los clientes (por ejemplo, tiende a afirmarse: "Mi partido está bien; los de otros partidos están mal").

Dadas esas diferencias, en los gobiernos locales no es tan fácil contar con el acuerdo y la colaboración de todas las partes para hacer la evaluación. Es difícil que haya coincidencias respecto de cuáles son los objetivos de un "buen gobierno" en tanto no hay consenso en la definición concreta de los objetivos que, aparentemente, podrían ser compartidos por cualquier gobierno. Por otra parte, dadas esas diferencias y potenciales conflictos, el evaluador corre el riesgo de "quedar atrapado" en la opción de adoptar como propia una de las posiciones y evaluar desde la misma o "quedar aislado"; lo difícil es llegar a ocupar el papel de traductor, articulador, concientizador, mediador.

 

C. La acción política como "lucha por los significados" y las dificultades para la evaluación de gobiernos

Toda institución es un "sistema de acción" complejo en el que se estructuran identidades que establecen entre sí diferentes tipos de relación de poder que ocasionan distintas modalidades de negociación, complementación, alianzas y conflicto mediante las que se determinan límites recíprocos en las competencias. Sin embargo, la estructura normativa de las instituciones burocráticas, que no incorpora el principio del balance de poderes ni la legítima competencia entre partidos u otras formas de representación ciudadana, hace que esas instituciones se presenten como formaciones mucho menos complejas que las estructuras de los gobiernos locales. Por el contrario, mientras que en las esferas directamente ligadas a la gestión política sí se presentan ambos rasgos, el evaluador debe estar atento en el momento en que define su marco conceptual. La polisemia natural de los conceptos será el apoyo para formular diferentes definiciones, cada una de ellas adecuada a las concepciones posiblemente contradictorias o diferentes de cada partido, que elabora sus propuestas técnico-gubernamentales dentro de estrategias y concepciones mucho más abarcadoras que las que se juegan en las instituciones burocráticas.

Para ser más precisos, es importante aclarar que las diferencias entre la lógica de las instituciones burocráticas y las políticas, no son polares. Toda institución, como toda relación entre seres humanos, está cruzada por diferentes líneas de tensión, en las que se juegan también diferentes relaciones de poder. De todos modos, privan diferencias respecto de las normas de legitimidad. En las organizaciones burocráticas, las decisiones deben o deberían ser normalmente justificadas desde un punto de vista técnico profesional. Por ello, las relaciones de poder (y la política que participa en su ejercicio) pueden permanecer ocultas a la vista del observador y, sobre todo, de los participantes.⁷ Dada esa base de legitimidad, su estructura normalmente supone:

• sistemas claros sistemas de jerarquías en las cadenas de decisión y ejecución;

• relativa estabilidad en los puestos de quienes encarnan esas líneas jerárquicas.

Esto fuerza el logro de acuerdos o, al menos, de acciones unificadas y relativamente coherentes. En cambio, aunque las estructuras gubernamentales varían (por países y aun en el seno de un mismo país), lo común en los gobiernos de tipo representativo es lo siguiente.

• El carácter periódico de la renovación de los cargos.

• El carácter electivo de esos cargos.

• La separación institucional de distintas esferas de poder.

• La distribución del poder entre diferentes grupos o partidos políticos.

Esas características producen una legítima aparición de la acción política como manera de articulación y de contraposición ligada a la toma de decisiones, aunque en muchos casos dicha contraposición se oculta bajo decisiones que tienen exclusiva justificación en la racionalidad técnica. Son tales características institucionales las que incorporan un alto grado de complejidad a la acción evaluativa.

No obstante, una de las frecuentes ilusiones tecnocráticas (que en muchos casos acompaña y aqueja la tarea evaluativa) es creer que la evaluación constituye una tarea exclusivamente técnica, en la que los valores son únicos y compartidos por todos; el evaluador sólo hace el trabajo de encarnarlos y aplicarlos. En el caso de la tarea institucional, esto siempre resulta falso. La definición de lo que es bueno o malo, de lo que debe permanecer o cambiar, de lo necesario o accesorio, siempre se constituye en objeto de ópticas diferentes, así como de diferentes concepciones y consensos. Tenerlo en cuenta tiene particular importancia cuando se intenta abordar la cuestión del "buen gobierno".⁸ Por un lado, tanto la propuesta de ejercicio de un buen gobierno como la crítica sobre las limitaciones percibidas en dicho ejercicio son cuestiones centrales en la declaración de propósitos y en la actuación de las fuerzas políticas y demás actores de la escena gubernamental. Por otro, en esa lucha por el ejercicio y la crítica del ejercicio del buen gobierno, no siempre las definiciones de tal objeto son idénticas. Salvo en situaciones de gran consenso —que no son las propias de este periodo de la vida política mexicana—, no hay consensos universales sobre cuáles son los objetivos de la acción gubernamental y cuáles los medios para llegar a dichos objetivos. Desde esta perspectiva, la lucha política respecto de los modos de evaluación podrá comprenderse como una "lucha por las palabras", en ella, el objetivo consiste no sólo en demostrar quién tiene la capacidad de lograr un buen gobierno sino, también, en imponer una definición de qué es o qué debe entenderse por "buen gobierno". Esto se expresará en las posturas que los diferentes actores presentan ante el evaluador y hace muy difícil que se encuentren grandes acuerdos en la operacionalización de dicho concepto entre los diferentes actores de los gobiernos locales.⁹

Dado ese posible desacuerdo, el evaluador deberá escoger entre tres opciones.

• Obtener y justificar sus decisiones valorativas en alguna tradición académica o política que le parezca adecuada, sin intervención ni interrogación a los actores de gobierno local evaluado.

• Aceptar las definiciones de alguno de los actores del gobierno local.

• Buscar y producir una cierta articulación consensual entre los actores respecto de los valores que regirán su trabajo.

En todos los casos, será necesario tomar en cuenta lo siguiente.

• Las diversas definiciones de lo que es un "buen gobierno".

• Las diferentes maneras de operacionalizar esos conceptos que pueden circular entre los actores de un gobierno local.

En todos los casos, la evaluación no podrá evitar su repercusión política. La explicitación del esquema conceptual beneficiará cualquiera de dichas opciones, aclarando el lugar asignado al evaluador y asumido por éste. Por otra parte, en caso de no hacerse esa discusión del esquema conceptual, la ignorancia sobre los efectos de la propia intervención del evaluador en el campo evaluado producirá un desconocimiento que afectará decididamente el producto que habrá de obtenerse y sus posibilidades de transmitirlo a la población interesada; dificultad tanto más grave porque el empirismo impide percibir las fuentes de dicho desconocimiento. Asimismo, el evaluador no sabrá lo que está pasando con su producto y las dificultades que puedan surgir en el momento en que aporta su evaluación a la población interesada.

En el presente trabajo se partió de las definiciones de Ziccardi (1995b),¹⁰ revisadas y reelaboradas a partir de nuestras investigaciones sobre gobiernos locales en ciudades mexicanas. No obstante, aun cuando se adopte una definición propia, como sucede con esta propuesta, es necesario recordar que, en las esferas de poder local, deberá ser tenida en cuenta la lucha política por redefinir los conceptos en la práctica. Es posible que haya gobiernos locales en los que prevalezca la hegemonía de un partido o de un estilo de gobierno (compartido por los diferentes partidos y organizaciones no gubernamentales), y es posible que la definición adoptada por el evaluador no sea muy diferente de la aceptada por esas fuerzas; en tales casos, el evaluador no encontrará conflictos en la definición de lo que es "bueno". Sin embargo, cuanto más conflictiva sea la operación en un determinado gobierno local, más improbable será llegar a dichos acuerdos comunitarios; éstos pueden reaparecer durante el trabajo, lo cual obliga a realizar negociaciones de manera permanente. En todos los casos, deberá tener en cuenta los significados político-partidistas que pueden adjudicarse a su actuación y calcular cómo situarse frente a esos significados atribuidos. Si no lo logra, los resultados de la evaluación tendrán pocos efectos prácticos en el cambio de conducta del gobierno. Para facilitar la toma de partido consciente por alguna de las posiciones, es conveniente incluir una caracterización de los posibles tipos de evaluación y fijar los modos como la conceptualización propuesta en el presente trabajo podría ser adecuada a diversas situaciones.

 

D. Tipos de evaluación

Éstos pueden clasificarse según varios criterios. Entre ellos se pueden distinguir: los fines perseguidos por la evaluación, el momento cuando se efectúa la evaluación, la procedencia interna o externa de los evaluadores y los aspectos del programa que se someten a evaluación. Entre las diversas opciones de evaluación propuestas por Aguilar y Ander-Egg (1992), se indicará el tipo de evaluación seleccionada para nuestro trabajo.¹¹

Según el objetivo o los fines perseguidos por los evaluadores, las evaluaciones suelen clasificarse en dos grandes grupos:

• Evaluación de resultados o impacto (o los dos):¹² pretende concentrarse exclusivamente en los resultados de una cierta actuación individual o institucional; en este tipo de evaluaciones, lo fundamental es conocer si se logró o no el o los objetivos —sean éstos implícitos o explícitos— de aquella actuación. La pregunta es: ¿Se logró o no el objetivo (implícito o explícito) de la acción?

• Evaluación formativa o de proceso: pretende conocer por cuáles medios se logró un resultado bueno o uno malo. Está referida a la manera como se obtuvo ese producto y normalmente se utiliza para aprender del propio proceso. La principal pregunta es: ¿Cómo se llegó a un resultado bueno o a uno malo?

Esta metodología es concebida como una evaluación de resultados sobre el desempeño de gobiernos locales, pero con la atención puesta en la elaboración de un instrumental técnico y metodológico que posteriormente permita incluir técnicas de trabajo más eficientes y eficaces.

Según el momento en que se evalúa, las evaluaciones suelen clasificarse en tres grandes grupos.

• Anterior (o ex ante), inicial o de predecisión. Se evalúan las condiciones en que se inicia un programa o la actuación de un gobierno, con el objetivo de tomar decisiones adecuadas.

• Durante la gestión, de proceso, continua, concurrente o monitoreo, en la que se va evaluando cada decisión, los métodos y técnicas utilizados en la ejecución, así como sus resultados.

• Después (o ex post), una vez que la acción por evaluar haya finalizado, donde lo que se trata de medir es su resultado o impacto (o ambos).¹³ Una buena evaluación ex post se logra sólo si hubo una ex ante.

La metodología que aquí se presenta está diseñada para una evaluación ex ante, ex post, o ambas (aunque en algunos casos se realice también una evaluación concurrente a la gestión).

Según la procedencia de los evaluadores, las evaluaciones suelen clasificarse en cuatro grandes grupos.

• Interna: realizada por personas que pertenecen a la institución, pero que no son directamente responsables de la implantación o ejecución (o ambas) de lo que se evalúa; en estos casos, la información puede ser provista por los que tienen a cargo las decisiones, y el resultado del análisis puede ser usado directamente por éstos, sin temor a que posibles adversarios utilicen, en su contra, la información sobre lo que anda mal.

• Externa: a cargo de personal que no pertenece a la institución y que es responsable de la planeación o ejecución (o ambas); en este tipo de evaluación, su resultado depende, en gran medida, del tipo de cuestión que se evalúa y del grado de confianza que los evaluados tienen en el evaluador; también depende de si la evaluación tiene carácter reservado o sus resultados son de conocimiento público; en este caso, el peligro radica en que los informantes sean poco francos.

• Mixta: combina en un mismo equipo evaluadores externos e internos; su efectividad depende del grado de confianza logrado por los evaluadores externos, pero tiene la gran ventaja de hacer que confluyan las miradas externas (que ven mejor lo que puede ser mejor identificado desde otra perspectiva por otra óptica) e internas (que conocen mejor la lógica de las acciones del equipo).

• Autoevaluación: a cargo de quienes participan en la ejecución del programa, proyecto o acciones que se evalúan; es muy importante, sobre todo desde el punto de vista formativo.

Esta metodología puede aplicarse en cualquiera de dichos subtipos.

Según los aspectos del programa o las acciones que son sometidos a evaluación, pueden identificarse dos grandes grupos.

• Evaluación total en la que se evalúan todos los programas, políticas y acciones.

• Evaluación parcial, donde se evalúan sólo algunos programas, políticas o acciones (o todos juntos).

En este trabajo se propone una evaluación parcial, circunscrita a los aspectos de política urbana de la gestión municipal.

Según cómo se piense la perspectiva desde la que se hace la evaluación, éstas suelen clasificarse en dos grandes grupos.

• No partidista: entre los círculos académicos ligados a la evaluación, es frecuente concebirla como un medio para detectar los verdaderos problemas o las verdaderas deficiencias del proceso.

• Partidista: en países donde las decisiones son negociadas por diferentes poderes, la evaluación es pensada como el soporte de una posición frente a otra. Lo que posibilita una mayor aproximación a la verdad es el control mutuo que surge de la interacción y el debate.

Se ofrecen aquí las herramientas de una metodología que permita tanto una evaluación no partidista como una evaluación partidista (en un sentido amplio que incluye organizaciones de la sociedad civil).

Según cómo se establezca la interacción con los organismos gubernamentales, las evaluaciones suelen clasificarse en dos grandes grupos.

• Informes periódicos: se pretende que los encargados de los programas lean estos informes. La dificultad es que los decisores tienen poco tiempo y que privan resistencias a aplicar los resultados de la evaluación.

• Interacción personal: trabajar en relación directa y constante con los decisores; en este caso, ellos van procesando las informaciones durante su trabajo y, eventualmente, incorporando correcciones en sus acciones.

Para ofrecer una metodología que permita un informe al terminar el proceso evaluativo, es conveniente ir dando informes parciales que permitan la interacción con los actores, con un doble objetivo: aclarar posibles malos entendidos en el trabajo evaluativo y dar oportunidad para revisar aspectos de la gestión adecuándolos a los criterios de buen gobierno.

 

IV. ESQUEMA CONCEPTUAL PARA UNA METODOLOGÍA DE EVALUACIÓN DE "DISPOSICIÓN AL BUEN GOBIERNO"

Independientemente de cuál sea el tipo específico de evaluación, las tareas que deben ser resueltas en una evaluación son las siguientes.

• Detectar, determinar o acordar (o todas) cuáles son los objetivos cuyo logro se pretende evaluar.

• Producir el modelo conceptual que habrá de conducir el trabajo.

• Operacionalizar los conceptos de ese modelo:

a) Determinar cuáles son las principales dimensiones que pueden distinguirse en esos objetivos.

b) Hallar los indicadores correspondientes a cada dimensión.

• Determinar el o los métodos de construcción de índices u otras maneras de construir la información que se utilizará.

• Construir la información recurriendo a diversas fuentes.

• Procesar y analizar la información construida.

• En el caso de una evaluación de resultados o de impacto (o de los dos conceptos), comparar los resultados obtenidos con los propuestos.

Luego de la determinación de los objetivos de la evaluación y de los objetivos que habrán de ser evaluados, el principal desafío del evaluador es la producción de un modelo conceptual que le permita delimitar mejor el tipo y alcance del trabajo que se propone, así como producir la metodología que lo haga posible.

El esquema conceptual permite una representación esquemática de las principales variables de la evaluación, lo cual hace posible tanto la definición más precisa de sus componentes conceptuales, como de las conjeturas de interacción que el evaluador se proponga investigar. Al mismo tiempo, si está bien diseñado gráficamente, el esquema permite una rápida visualización de cuáles son las variables que serán investigadas y la relación que se pretende establecer entre ellas.

Llegado a ese punto, el evaluador deberá pensar —al mismo tiempo— en dos aspectos principales de su trabajo.

• Las fuentes y las técnicas de procesamiento de esas fuentes para construir la información.

• Las técnicas de procesamiento de la información que harán posible crear, clasificar y sintetizar sus conclusiones.

En el presente trabajo, el eje del esfuerzo está puesto en la creación de un esquema conceptual que permita guiar la evaluación de la "disposición hacia un buen gobierno local". Para ese fin, se comenzará definiendo los dos conceptos principales: "buen gobierno" y "disposición hacia el buen gobierno", para luego continuar con la operacionalización del segundo. Se delinea así el esquema conceptual de la evaluación.

 

A. Definiciones de los conceptos principales

1. Definición de "buen gobierno"

Para esta evaluación, un "buen gobierno" es el que promueve el bienestar general mediante el cumplimiento de los requisitos que aparecen en seguida.¹⁴

• Eficacia, eficiencia y responsabilidad en las funciones que jurídicamente le son atribuidas.

• Honestidad y transparencia en el manejo de la hacienda local.

• Atención equitativa o incluyente de las demandas ciudadanas.

• Aceptación o aliento (o los dos) de la participación ciudadana institucionalizada en el proceso de formalizar las demandas o participar en su satisfacción.

Según esta definición, los principales indicadores son eficiencia, eficacia, responsabilidad (rendimiento de cuentas), atención de las demandas ciudadanas y promoción o aceptación (o ambas) de la participación organizada y autónoma de la ciudadanía.

 

2. Disposición al buen gobierno

El objetivo de la evaluación será la medición del grado de disposición demostrada para cumplir con las funciones que le son constitu-cionalmente asignadas en el artículo 115 de la Constitución de la República. Elaborar una metodología de evaluación dedicada a medir qué es lo que esa disposición logra efectivamente en lo relativo al desempeño de un buen gobierno, excede los objetivos de este trabajo. Por lo tanto, no se producirá una metodología destinada a evaluar el producto de la acción gubernamental sino la "disposición" demostrada a cumplir con las responsabilidades gubernamentales.

Por ello, a partir del supuesto de que un buen gobierno debe poseer estructuras proclives al cumplimiento de los objetivos seleccionados y discutidos en la sección anterior, se afirmará que hay "disposición al buen gobierno" si durante la evaluación se encuentran estructuras y comportamientos institucionales que tiendan a ese tipo de acción gubernamental. Para eso se enfocará el interés en la disposición y aptitud demostrada por los gobiernos locales evaluados en cada una de las dimensiones de buen gobierno antes indicadas: "disposición a la eficacia", a la "eficiencia", a la "responsabilidad", a la "atención de las demandas ciudadanas" y a la "promoción o aceptación (o ambas) de la participación ciudadana" (gráfica 1).

Esta evaluación, sin embargo, debe reconocer la complejidad de la estructura institucional de los gobiernos locales; ya que, si bien los gobiernos municipales forman una unidad, su organización institucional tiende a reproducir dos lógicas de actuación diferentes en los actores que desempeñan cargos en sus respectivas instituciones. Por lo que, según la experiencia adquirida en investigaciones anteriores, es conveniente distinguir entre

• la lógica que regula la actuación de quienes ocupan cargos electivos, y

• la lógica que regula la actuación de quienes ocupan cargos técnicos o administrativos no electivos, menos sujetos a los avatares de los éxitos o fracasos electorales.

En esta propuesta se tomarán en cuenta dichas diferencias, ya que por ese camino es posible comprender más adecuadamente las motivaciones puestas en juego en el cumplimiento de las tareas de gobierno. Consecuentes con ello, para la metodología de evaluación se han distinguido, analíticamente, dos esferas: 1) la técnico-administrativa (organismos dependientes del Ejecutivo local) y 2) la de los organismos electivos (cabildo y Asamblea Legislativa del Distrito Federal). En resumen, se distinguen analíticamente dos ámbitos del gobierno que serán tratados con cierta autonomía para luego reunir e interrelacionar la información provista por ese análisis separado.

Esas dos dimensiones se definen de la siguiente manera:

a) El área técnico-administrativa¹⁵

Se incluye en esta esfera al conjunto de instancias que forman parte de la presidencia municipal (Secretarías, Direcciones, Departamentos). Se supone que dichos organismos actúan principalmente, aunque no exclusivamente, de acuerdo con una lógica y una legitimidad burocrática o técnico-profesional, o de los dos tipos.

b) El área política

En general, se incluye en esta esfera al presidente municipal y a los regidores, miembros del cabildo. En el caso de los municipios metropolitanos, a los representantes de la Cámara estatal, o de la Asamblea Legislativa para el caso del Distrito Federal. Se supone que todos estos agentes actúan principalmente, aunque no exclusivamente, en función de una lógica política.

Por otra parte, dado el carácter poco autónomo de los gobiernos locales respecto de las decisiones de los gobiernos estatal y federal, en la evaluación se propone tener en cuenta el tipo de relación que ambas esferas del gobierno municipal tienen (juntas o por separado) con los organismos dependientes del gobierno federal o estatal en el proceso de satisfacción de las demandas urbanas en el territorio del gobierno local evaluado. Esas instituciones no pertenecen al gobierno local; por ello pueden ser designadas como "organismos externos". Sin embargo, su actuación dentro de la jurisdicción del gobierno local influye muchas veces tan decididamente (favoreciendo, entorpeciendo o compitiendo), que es imposible dejar de tener en cuenta dicha actuación en el momento de evaluar a los gobiernos locales; más aún si se pretende hacer comparaciones entre gobiernos locales.

Al introducir en la evaluación la actividad de los organismos dependientes del gobierno estatal o federal, debe evitarse cuidadosamente la pérdida del eje de interés, y de perspectiva, de la evaluación emprendida. El interés del trabajo no radica en evaluar los organismos externos; de aparecer en la evaluación, lo hacen como factores que es necesario tener en cuenta, dada su intervención en la actuación de los gobiernos locales. Por eso —pensadas desde la evaluación del gobierno local—, las actividades del gobierno estatal o nacional son variables contextuales, cuyo conocimiento permitirá (durante el análisis) precisar los resultados de la evaluación.

c) El área de influencia institucional externa

Se incluye en este concepto el complejo conjunto de instituciones gubernamentales, externas al gobierno local, que disponen de recursos, atienden demandas ciudadanas de los habitantes del municipio o se relacionan con la acción del gobierno local (o ambas posibilidades). Dicha intervención puede provenir de instituciones del gobierno federal (tales como Secretarías u organismos descentralizados) o del gobierno estatal (tales como Secretarías de gobierno, Cámaras estatales).

Según la relación política prevaleciente entre las autoridades del municipio y los gobiernos estatal o nacional, la lógica de actuación puede ser

• favorable: que colabora o contribuye a la eficaz actuación de las autoridades municipales;

• entorpecedora: que obstaculiza la acción eficaz de las autoridades municipales;

• sustitutiva: que reemplaza la acción eficaz de las autoridades municipales;

• inexistente.

 

B. Síntesis de los principales momentos de la evaluación

Dadas aquellas distinciones, la evaluación deberá tener en cuenta el desempeño (cada uno por separado y en sus interacciones) de tres grupos de actores:

• la esfera administrativa;

• la esfera política del gobierno local; y

• las acciones de las instituciones de los gobiernos federal o estatal que tengan alguna intervención en el territorio del gobierno local.

Tomando en cuenta dichas diferencias, los objetivos de esta metodología de evaluación serán

• la determinación del grado de disponibilidad hacia el buen gobierno en cada una de las dimensiones de cada una de las dos áreas;

• producir un índice que permita dar una visión global de dicha disposición hacia el buen gobierno en cada una de las áreas;

• producir un índice que reúna la información de ambas áreas.

Dado que el propósito no es producir una calificación sobre el municipio sino detectar áreas para ser mejoradas, lo más importante del trabajo es lo que pueda detectarse en cada una de las dimensiones y no el índice, que resulta simplemente ilustrativo o puede funcionar como parámetro de comparación. Como es obvio, entre las áreas podrán detectarse diferentes grados de desarrollo de dicha disponibilidad. Del mismo modo, es previsible encontrar incongruencias, conflictos o incompatibilidades (o todos ellos) que pueden producirse debido a los diferentes grados de disposición y aptitud demostrados entre las dimensiones administrativa y política del gobierno local; divergencias o incompatibilidades que pueden conducir a que en lo administrativo se apliquen, de hecho, políticas diferentes de las producidas en la dimensión política o viceversa. También esto debe evaluarse como un insumo informativo tendiente a poner en discusión eventuales soluciones.

Plasmadas en un esquema, las interrelaciones antes aludidas podrían representarse como en la gráfica 2.

 

1. Las dimensiones de "disposición para el buen gobierno" y sus respectivos indicadores

En la gráfica siguiente se presenta el conjunto de las dimensiones que se considerarán como parte de la evaluación sobre la disposición al "buen gobierno" en los gobiernos locales y que serán tratadas con mayor detalle en los apartados siguientes. Para abreviar, las dimensiones han sido caracterizadas por su concepto principal; en todos los casos, debe leerse agregando que se trata de "disposición hacia. . .".

 

2. "Disposición a la eficacia"

Se refiere al grado en que cada una de las áreas del gobierno local posee los mecanismos institucionales y el personal capacitado para cumplir con las competencias jurídicas y satisfacer las demandas urbanas.

El grado de disposición a la eficacia es un índice que tiende a determinar en qué medida se cuenta con mecanismos institucionales adecuados para el cumplimiento de las competencias y la satisfacción equitativa de las demandas urbanas. Por "satisfacción equitativa" se entiende la disposición de atender las demandas de toda la ciudadanía, sin discriminación de etnia, religión, sexo o simpatía política.

En el área administrativa, los indicadores de "buena disposición a la eficacia" son los siguientes.

• Se cuenta con personal capacitado para el ejercicio de las funciones administrativas.

• Se cuenta con planes y programas actualizados para cumplir con cada una de las competencias y demandas.

• Se cuenta con mecanismos de evaluación del proceso de ejecución y de los resultados de los programas y acciones.

• Se contrata personal de apoyo con las calificaciones adecuadas para la tarea que deben desempeñar.

En el cuadro 1 se hace un resumen de la conceptualización para esta dimensión.

El índice de "Disposición a la eficacia en el área administrativa" varía entre dos posibles puntajes extremos: 4 es el puntaje más alto e indica una alta disposición a la eficacia; 0, el puntaje más bajo.

En el área política, los indicadores de "buena disposición a la eficacia" son los que señalamos aquí.

• Elaborar y aprobar leyes, reglamentos y normatividad adecuados que regulen e incentiven las buenas prácticas del gobierno local y atiendan las demandas urbanas.

• Formular mecanismos de evaluación de los instrumentos jurídicos y normativos.

El índice de "Disposición a la eficacia en el área política" varía entre dos posibles puntajes extremos: 2 es el puntaje más alto e indica una alta disposición a la eficacia; 1 es el puntaje intermedio y 0, el puntaje más bajo.

El índice agregado de las dos áreas, que representa el grado alcanzado por el gobierno local en esta dimensión, varía entre 6 y 0 puntos. Se considerará "alta disposición" si se llega a un puntaje de 6 o 5; "mediana disposición" si se alcanza un puntaje de 4 o 3; "baja disposición" si se obtiene un puntaje de 1 o 0.

En relación con la acción institucional externa, se evaluará si ésta a) favorece; b) entorpece; c) sustituye; o d) no produce efectos sobre la acción del gobierno local. permite determinar el contexto donde se analizan los resultados de la evaluación.

En todos los casos, la evaluación sobre la "intervención externa" (para cada uno de los indicadores utilizados) crea un contexto interpretativo importante para mejorar la evaluación. por ello, los anteriores puntajes deben ser evaluados mediante la caracterización de la intervención institucional externa encontrada durante el periodo que se evalúa. En tal contexto puede incrementarse la precisión del análisis; por ello, es importante indicar qué relación se puede encontrar entre esa acción institucional externa (la cual puede ser de diferente tipo según la instancia interventora) y los resultados logrados en la evaluación sobre la disposición a la eficacia, la eficiencia, la responsabilidad y la atención de las demandas. como esta influencia debe ser considerada de la misma manera para todas las dimensiones, evitaremos repetir dicho cuadro; empero, debe recordarse que la misma ha de ser aplicada para cada dimensión.

 

3. "Disposición a la eficiencia"

Se refiere a la disposición al logro de la satisfacción de las demandas y competencias urbanas con la mayor calidad y al menor costo posible.

El grado de disposición a la eficiencia constituye un índice agregado que tiende a determinar en qué medida se cuenta con estructuras y procedimientos institucionales adecuados para la satisfacción de las demandas y competencias relacionadas con las políticas urbanas al menor costo posible.

Hay tres tipos de evaluación de eficiencia: costo-efectividad, costo-beneficio y costo-utilidad (Aguilar y Ander-Egg, 1992; Levin, 1981). El primero se refiere a la relación entre los costos y los beneficios (calculables en dinero) que se logran. El segundo y el tercero se refieren a situaciones en las que no es posible calcular el valor pecuniario sino el impacto social que tienen esas actividades. Lo que se evalúa es el beneficio o utilidad para toda o para una parte de la sociedad.

En lo referente al área administrativa, los indicadores de "disposición a la eficiencia" aparecen en seguida.

• Se hace un cálculo explícito del costo-efectividad o costo-beneficio de diferentes opciones en la satisfacción de las competencias o demandas aceptadas (o las dos).

• Se elige la opción más favorable según los resultados de la evaluación costo-beneficio o costo-utilidad y se fundamenta esa elección.

• Se evalúa el cumplimiento de los planes acordados o el diseño de las operaciones, de acuerdo con un adecuado cálculo costo-efectividad o costo-beneficio o utilidad.

En el cuadro 5 se hace un resumen de la conceptualización para esta dimensión.

El índice de "Disposición a la eficiencia en el área administrativa" varía entre 3 y 0: 3 es el puntaje más alto e indica una "alta disposición a la eficiencia"; 2, "disposición media-alta"; 1, disposición "media-baja"; 0, "ausencia de disposición" (cuadro 5).

En el área política, los indicadores de "disposición a la eficiencia" incluyen tres acciones.

• Se hace un cálculo explícito del costo-efectividad o costo-beneficio de diferentes opciones en las reglamentaciones y normatividad propuestas.

• Se elige la opción más favorable según los resultados de la evaluación costo-beneficio o costo-utilidad y se fundamenta esa elección.

• Se evalúa el cumplimiento de los planes acordados o el diseño de las operaciones, de acuerdo con un adecuado cálculo costo-efectividad o costo-beneficio o utilidad.

En el cuadro 6 se hace un resumen de la conceptualización para esta dimensión.

El índice de "Disposición a la eficiencia en el área política" varía entre 3 y 0: 3 es el puntaje más alto e indica una "alta disposición a la eficiencia"; 2, "disposición media-alta"; 1, disposición "media-baja"; 0, "ausencia de disposición" (cuadro 6).

El índice agregado de las dos áreas, que representa el grado alcanzado por el gobierno local en esta dimensión, varía entre seis y cero puntos. Se considerará "alta disposición" si se llega a un puntaje de 6 o 5. Se considerará "mediana disposición" si se alcanza un puntaje de 4 o 3. Se considerará "baja disposición" si se obtiene un puntaje de 2 o 0 (cuadro 7).

Respecto del modo de utilizar, en la evaluación, el tipo de interferencia externa corroborado, se aplican los mismos criterios que en las otras dimensiones; por ello no se repite el cuadro. para incluirla en la evaluación, se habrá de reproducir el cuadro 4 desplegado en la primera de las dimensiones analizadas.

 

4. "Disposición para el desempeño responsable, transparente y honesto"

En ese concepto se incluye la disposición a hacer uso responsable de los recursos en la gestión de los servidores públicos y se rinde cuentas mediante la publicación (o la puesta a disposición de la información de la ciudadanía) de toda la información generada durante la gestión.

En el área administrativa, identificamos los indicadores que se refieren a mecanismos destinados

• al acceso a la información hacia y desde los ciudadanos sobre sus acciones;

• a controlar la honestidad de los funcionarios;

• a aplicar penalidades administrativas a las acciones deshonestas o ilegales (o de las dos clases);

• a asegurar el cumplimiento de las normas y apego a las leyes;

• al acceso a la información hacia y desde los ciudadanos sobre sus acciones.

En el cuadro 8 se hace un resumen de la conceptualización sobre esta dimensión.

El índice de "Disposición a la responsabilidad en el área administrativa" varía entre 5 y 0: 5 indica una "alta disposición a la responsabilidad"; 4, "disposición medio alta"; 3, "disposición medio baja"; 2 y 1, "baja disposición"; 0, "ausencia de disposición" (cuadro 8).

En el área política, identificamos los indicadores que aparecen a continuación como mecanismos destinados a:

• aplicar penalidades a las acciones deshonestas;

• controlar la moralidad del Ejecutivo y de los representantes políticos;

• asegurar el cumplimiento de las normas y el apego a las leyes.

En el cuadro 9 se hace un resumen de la conceptualización sobre esta dimensión.

El índice "Disposición a la responsabilidad en el área política" varía entre 3 y 0: 3 indica una "alta disposición a la responsabilidad"; 2, "disposición media"; 1,"disposición baja"; 0, "ausencia de disposición".

El índice agregado de "Disposición a la responsabilidad" varía entre dos posibles puntajes: 8 es el puntaje más alto e indica una alta disposición a la responsabilidad, mientras que 0 es el puntaje más bajo. Dentro de esos límites, se puede acordar que "alta disposición" se demuestra con puntajes entre 8 y 6; "disposición media" si se obtienen puntajes de 5 y 3; y "baja disposición" si se obtienen puntajes entre 2 y 0 (cuadro 10).

 

5. "La disposición para atender las demandas"

Las demandas urbanas son los problemas que, detectados por algún actor social local,¹⁷ son transformados en reivindicaciones urbanas y presentados ante las instancias administrativas o políticas del gobierno local para su atención.

Entre las demandas urbanas pueden incluirse demandas tales como que el gobierno local se ocupe de la regulación del suelo urbano, la seguridad pública, el transporte colectivo, la protección del medio ambiente y del patrimonio histórico; es decir, dichas demandas no siempre son parte de las competencias jurídicas que tiene el gobierno local aunque —por ser la autoridad más cercana y visible— la ciudadanía, muchas veces, las presenta al gobierno mencionado.

En el área administrativa del gobierno, los indicadores de "disposición para atender las demandas" son los que aparecen a continuación.

• Se poseen mecanismos institucionales, formalmente establecidos y bien publicitados, de recepción y reconocimiento de las demandas ciudadanas.¹⁸

• Las principales organizaciones sociales¹⁹ que actúan en el territorio opinan que se muestran signos claros de que se conocen y reconocen las demandas presentadas, cuando éstas les llegan por algunas de las vías formales establecidas.

• Las principales organizaciones sociales que actúan en el territorio opinan que se producen estudios de factibilidad bien definidos y a cargo de personal capacitado, con objeto de saber si la demanda presentada es competencia del gobierno local o está en condiciones de satisfacerse con sus propios recursos o mediante el auxilio de otras fuentes de recursos.

El índice de "Disposición a la satisfacción de las demandas" varía entre 5 y 0: 5 indica una "alta disposición a la satisfacción de las demandas"; 4 y 3 indican "disposición media"; 2 y 1, "disposición baja"; 0 indica "ausencia de disposición" (cuadro 11).

En el área política del gobierno, los indicadores de "disposición para atender las demandas" son los que se muestran en seguida.

• Hay mecanismos institucionalizados de recepción y reconocimiento de las demandas.

• La mayoría de las organizaciones sociales considera que hay síntomas claros que reconocen y evalúan las demandas presentadas.

• La mayoría de las organizaciones sociales considera que se producen estudios de factibilidad sobre las demandas.

• La mayoría de las organizaciones sociales considera que se satisfacen las demandas cuando éstas son factibles.

• La mayoría de las organizaciones sociales considera que los representantes correspondientes hacen gestiones ante otras autoridades cuando la satisfacción de la demanda escapa a su competencia.

El índice de "Disposición a la satisfacción de las demandas" varía entre 5 y 0: 5 indica una "alta disposición a la satisfacción de las demandas"; 4 y 3 indican "disposición media"; 2 y 1, "disposición baja"; 0 indica "ausencia de disposición" (cuadro 12).

El índice agregado de "Disposición para atender las demandas" varía entre dos posibles puntajes: 10 es el puntaje más alto e indica una "alta disposición para atender las demandas", mientras que 0 es el puntaje más bajo. Dentro de esos límites, se puede acordar que "alta disposición" se demuestra con puntajes entre 10 y 7; "disposición media", si se obtienen puntajes entre 6 y 3; y "baja disposición", si se obtienen puntajes entre 2 y 0 (cuadro 13).

Respecto del modo de utilizar, en la evaluación, el tipo de interferencia externa corroborado, se aplican los mismos criterios que en las otras dimensiones; por ello no se repite el cuadro. Para incluirlo en la evaluación, habrá de reproducirse el cuadro 4 desplegado en la primera de las dimensiones analizadas.

 

6. "Disposición para promover la participación ciudadana"

Se refiere a las formas de inclusión de la ciudadanía y de sus organizaciones en los procesos decisorios. Un buen gobierno promueve (o al menos acepta), equitativamente la participación institucionalizada y autónoma de la ciudadanía, tanto en el control sobre el cumplimiento de sus competencias, como en la definición y satisfacción de las demandas. Debido a la diversidad de definiciones prevalecientes en estos conceptos, comenzaremos por definir las nociones de "participación institucionalizada", "participación autónoma", "participación clientelística" y "participación incluyente o equitativa".

• Participación institucionalizada: está reglamentada para que la ciudadanía participe en los procesos decisorios del gobierno local.

• Participación autónoma: la ciudadanía participa mediante algún tipo de asociaciones civiles y que, por lo tanto, no es organizada ni controlada desde el gobierno.

• Participación clientelística: la autoridad y los individuos o grupos se relacionan mediante un intercambio de favores o cosas.

• Participación incluyente o equitativa: se promueve la participación de toda la ciudadanía, independientemente de la pertenencia o identidad partidaria, religiosa o de clase social, sin que medie intercambio de favores.

Esas formas de participación no son excluyentes entre sí, sino que pueden estar combinadas. Dado que en el presente trabajo se trata de determinar el grado de disposición demostrada por el gobierno local, la mira es dirigida a saber: 1) si hay o no mecanismos institucionalizados que permitan la participación ciudadana (no se incluyen los mecanismos de participación autónoma); y 2) si dicha participación es equitativa e incluyente o puramente clientelística.

Para la evaluación se recurrirá al testimonio de las organizaciones sociales y no gubernamentales que tengan competencia en el territorio correspondiente al gobierno local evaluado. Si hubiera mecanismos de participación institucionalizada pero no fueran conocidos por dichas organizaciones, entonces no cumplirían con su función. Dadas esas definiciones, se considerará que en el área administrativa hay "disposición a promover la participación ciudadana institucionalizada" cuando las organizaciones sociales consideran que

• hay mecanismos de consulta y de control de las decisiones gubernamentales;

• este tipo de consulta y de control es adecuado al tipo de población afectada, y cuando

• las formas de consulta y de control están institucionalizadas.

En el área política hay "disposición a promover la participación ciudadana institucionalizada" cuando las organizaciones civiles consideran que

• hay mecanismos de consulta cuando se decide o legisla sobre aspectos importantes de la vida ciudadana en el ámbito local;

• este tipo de consulta es adecuada al tipo de población afectada, y cuando

• las formas de consulta y de control están institucionalizadas.

El índice de "Disposición a promover la participación" varía entre dos posibles puntajes límites: 6 es el puntaje más alto e indica una alta disposición a promover o aceptar la participación, mientras que 0 es el puntaje más bajo. Dentro de esos límites, se puede acordar que "alta disposición" se demuestra con puntajes entre 6 y 5; "disposición media" si se obtienen puntajes entre 4 y 3; y "baja disposición" si se obtienen puntajes entre 2 y 0 (cuadro 16).

En el caso de la disposición a la participación, no tiene sentido evaluar la intervención externa, ya que ésta puede independizarse de la manera como actúan los organismos del gobierno federal o estatal.

En cuanto al tipo de participación institucionalizada, y dada una mayor o menor disposición a promover la participación ciudadana, es conveniente evaluar el grado de equidad e inclusividad de las instituciones en las que se plasma esa participación ciudadana: "participación incluyente y equitativa" o "participación clientelística". Para la evaluación, se recurrirá al testimonio de las organizaciones sociales que tengan competencia en el territorio correspondiente al gobierno local evaluado. Las organizaciones sociales consideran que

• en el "área administrativa", los mecanismos de consulta y de control de las decisiones gubernamentales atienden las demandas de manera equitativa e incluyente;

• para concretar la participación, no se requiere ningún tipo de intercambio de favores.

En el área política debe evaluarse si las organizaciones sociales consideran que

• los mecanismos de consulta y de control de las decisiones gubernamentales atienden las demandas de manera equitativa e incluyente;

• para concretar la participación en dicha área, no se requiere ningún tipo de intercambio de favores.

Es posible encontrar que, en algunos campos de su actividad, el gobierno promueve participación incluyente y en otros no. Aquí se opta por decidir cuál es el rasgo sobresaliente; esto es, si se puede considerar que —en líneas generales— el gobierno evaluado tiende a promover o tolerar la participación incluyente y equitativa o la clientelística. de ese modo, en cada uno de los renglones se elige sólo una de las calificaciones Por ejemplo, si en el renglón correspondiente al "área administrativa" lo predominante es "lo equitativo e incluyente", se da el puntaje 1; si, en cambio, lo que prevalece es lo no equitativo ni incluyente, se le asigna puntaje 0.

De esa manera, el gobierno que se caracteriza por promover la "participación equitativa e incluyente", obtendrá, en cada área, un puntaje de 2, mientras que si no la fomenta recibirá un puntaje de 0.

El índice de "Disposición a promover la participación equitativa e incluyente" varía entre dos posibles puntajes límites: 4 es el puntaje más alto e indica una alta disposición a promover o aceptar la participación, mientras que 0 es el puntaje más bajo. Dentro de esos límites, se puede acordar que: "alta disposición" se demuestra con puntajes entre 4 y 3; "disposición media" si se obtienen puntajes entre 3 y 2; y "baja disposición" si se obtiene puntaje 0 (cuadro 19).

En el caso de la disposición a la participación, no tiene sentido evaluar la intervención externa, ya que ésta puede independizarse del modo como actúan los organismos del gobierno federal o estatal.

Considerando ambas áreas, puede decirse que un gobierno local demuestra "alta disposición para promover la participación equitativa e incluyente" si obtiene un puntaje entre 4 y 3; que demuestra una "mediana disposición para promover la participación incluyente" si obtiene un puntaje entre 2 y 1; y demuestra una "baja disposición" si obtiene puntaje 0 (cuadro 19).

Es necesario advertir que —cuando no haya participación institucionalizada de ningún tipo— ningún índice puede aplicarse; en ese caso, la investigación debe dirigirse a buscar cuáles son las formas de articulación prevalecientes en la sociedad civil y qué tipo de relaciones entabla la ciudadanía con el gobierno local.

 

7. Índice de "disposición a la promoción o aceptación de la participación institucionalizada, equitativa e incluyente"

Se puede combinar la "disposición a la promoción o aceptación de la participación institucionalizada" con el índice sobre "el tipo de participación". En ese caso, tendríamos el índice de "disposición a la promoción o aceptación de la participación institucionalizada, equitativa e incluyente"; sería un índice combinado de los dos anteriores.

Si la disposición a "promover la participación institucionalizada" es alta, se atribuye un puntaje de 3; si es "mediana", se atribuye un puntaje de 2; y si es "baja", se atribuye un puntaje de 1. Mientras que, en el caso de "tipo de participación", se atribuye un puntaje de 3 a la "alta disposición a promover la participación equitativa e incluyente"; de 2, a los gobiernos con "mediana disposición a promover la participación equitativa e incluyente"; y de 1 a la "baja disposición a promover la participación equitativa e incluyente".

En el nivel más alto, "la disposición a la promoción de la participación institucionalizada equitativa e incluyente" sería representada por un puntaje de 6 y 5; el "nivel intermedio", por los puntajes entre 4 y 3; y el "nivel inferior", por los puntajes de 2 a 0 (cuadro 20).

 

8. Índice de "disposición al buen gobierno"

El índice de "disposición al buen gobierno" tiene como misión hacer una síntesis de los resultados de la evaluación. Puede servir para dar una impresión general sobre los resultados o para comparar lo hallado en diferentes gobiernos locales.

El índice general de "disposición al buen gobierno" está compuesto de cinco subíndices. A cada subíndice se adjudicaron tres posiciones: "disposición alta", "disposición media" y "disposición baja". En cada caso, se adjudica un puntaje de 3 cuando el gobierno haya demostrado en esa dimensión una disposición alta; de 2 cuando haya demostrado una "disposición media"; y de 1 cuando haya demostrado una "disposición baja" (cuadro 21).

Retomando la estratificación en tres niveles de disposición en un cuadro de resumen, se podrá decir que un gobierno muestra "alta disposición al buen gobierno" si obtiene un puntaje entre 15 y 13; tiene una "disposición media al buen gobierno" si obtiene una puntuación entre 12 y 8; y demostrará "baja disposición al buen gobierno" si su puntaje se ubica entre 7 y 5 (cuadro 22).

 

V. SOBRE LAS FUENTES Y LAS TÉCNICAS PARA CONSTRUIR LA INFORMACIÓN

Una vez que el trabajo de evaluación ha sido organizado en lo conceptual, es inmediatamente indispensable determinar de qué manera se obtendrá la información que permita llevar adelante la evaluación. Esto supone un trabajo que debe cubrir tres cuestiones principales: el reconocimiento y contacto con las fuentes, el dominio de las técnicas que permitan su mejor uso, y la habilidad necesaria para analizar la información construida²⁰ en el contacto con las fuentes. Este proceso no sigue un orden secuencial estricto, dado que el procesamiento y análisis de unas fuentes es lo que lleva a la búsqueda y posterior procesamiento y análisis de otras fuentes.

Dicho trabajo de búsqueda, procesamiento y análisis es sumamente complejo, y las dimensiones del presente trabajo no permiten una exposición detallada de tales cuestiones. Sin embargo, un breve recorrido por algunos asuntos relacionados con cada uno de esos pasos de la evaluación permitirá crear mejores condiciones para la realización de las primeras experiencias. La síntesis que sigue a continuación recupera la experiencia adquirida en las investigaciones realizadas para los casos de Guadalajara (Ramírez, 1998) y la Ciudad de México (Ziccardi, 1998), con base en la recolección de datos primarios. También utiliza la experiencia adquirida en el caso de la ciudad de Monterrey (Garza, 1998), donde se trabajó con datos estadísticos agregados.

Si bien ha sido muy frecuente tanto el uso de técnicas estructuradas como el procesamiento estadístico de los datos en la evaluación de programas, la complejidad y la poca acumulación de experiencias en la evaluación de gobiernos locales en México obliga a preferir el uso de técnicas no estructuradas y un tratamiento cualitativo de los datos. En esa medida, en los apartados siguientes se tratarán, de manera somera, dos tipos de cuestiones: por un lado, el trabajo con fuentes documentales y entrevistas no estructuradas y, por otro, el procesamiento y análisis de ese material para obtener las conclusiones.

 

A. Sobre las fuentes

Las fuentes pueden ser clasificadas según diversos criterios; uno de ellos se refiere al tipo de tratamiento que las fuentes han sufrido antes de ser consultadas por el evaluador, lo cual permite diferenciar entre "fuentes primarias" y "fuentes secundarias". Las fuentes primarias son aquellas en las que la información requerida para la evaluación aparece en bruto, sin haber sufrido ningún proceso previo de elaboración por parte de otros evaluadores (por ejemplo: entrevistas realizadas por el investigador, encuestas propias, actas de cabildo). En las fuentes secundarias (fuentes documentales, por ejemplo), en cambio, la información ya ha sido elaborada o interpretada (o ambos procesos) por otros autores. Esta distinción es importante porque permite alertar al evaluador sobre el modo y la intensidad con los que debe someter dichas fuentes a un examen crítico que permita certificar su confiabilidad. Cuando nos encontramos ante fuentes secundarias, siempre es necesario preguntarse cuál ha sido el tratamiento que ha recibido la información para llegar a las conclusiones que se están presentando en el trabajo.

El conocimiento es siempre una construcción, no el simple efecto de una recepción (Saltalamacchia, 1992; y Saltalamacchia, 2004). Por ello, los datos nunca son lo real. Debido a eso, la crítica teórica sobre el dato no es —ni puede ser— la crítica de su objetividad, sino la crítica de su proceso de construcción. La crítica tiene como propósito encuadrar al dato en el proceso de construcción de un cierto cuerpo teórico, que será aceptado como válido mientras asegure algún grado de operatividad. Por ello, es absurda la pretensión de que se disponga de fuentes objetivas y de otras que no lo son. La diferencia entre las fuentes primarias y las secundarias no es una diferencia entre fuentes con mayor o menor objetividad. En todo caso, lo que las diferencia es la manera como el evaluador puede y debe tratar la subjetividad propia de toda información.

Cuando se trabaja con fuentes primarias, estamos frente a un documento que ha sido producido por alguien, lo cual también ocurre con una fuente secundaria. Debe tenerse presente, sin embargo, que en la fuente primaria esa subjetividad normalmente constituye parte del dato que se quiere producir, en tanto que en la fuente secundaria la subjetividad del productor no es el dato, en sentido estricto, sino un filtro que permitió que el dato se organizara de la manera como lo vemos. Mientras trabajamos con fuentes primarias, la subjetividad del productor constituye parte de la información. En cambio, cuando trabajamos con una fuente secundaria, nos interesa conocer cómo operó la subjetividad del que produjo la información (o sea, los supuestos teóricos e ideológicos y las técnicas utilizadas por el productor), para controlar la credibilidad de la información o para evaluar la manera como se puede aceptar o interpretar esa información; nos interesa para conocer el modo como se filtró la información y no como información en sí misma.

 

B. Las fuentes documentales

Con el objetivo de mostrar las principales opciones con las que podemos contar en la fase de evaluación documental, examinaremos distintos tipos de documentos; el hincapié se hará en los documentos escritos, por ser los más abundantes en el tipo de investigación evaluativa que estamos realizando.

 

1. Libros y revistas

Estas fuentes pueden clasificarse según distintos criterios. El más común de ellos es una mezcla de indicadores que incluyen: 1) la extensión del texto y 2) la permanencia de la información. De acuerdo con dicho criterio, las fuentes pueden clasificarse en publicaciones permanentes y publicaciones periódicas.

Un caso típico de fuente extensa y permanente es el libro. En todas las ramas del conocimiento humano, la mayor parte de sus productos más importantes está contenida en libros. Actualmente, en México se ha realizado una abundante investigación sobre los gobiernos locales y se puede encontrar ya publicada en una serie de libros.

Las revistas han ido ocupando un lugar privilegiado en las bibliotecas. La razón principal es que, mucho antes de que esa información se publique en los libros, en ellas aparece impresa la información más reciente sobre todos los campos del saber. En la actualidad, dicha división es menos nítida. No obstante, durante mucho tiempo, entre libros y revistas hubo una cierta división de tareas: el artículo de una revista comentaba los últimos descubrimientos o mostraba en detalle ciertos temas que en un libro, usualmente, se mencionaban en un contexto teórico más amplio. Las revistas editadas en el campo de las Ciencias Sociales han dedicado en los últimos años varias cantidades y secciones a este tema (véanse, entre otras, la Revista Mexicana de Sociología, Gestión y Políticas Públicas, y otras). Se dispone ya de diversas revistas electrónicas.

También los periódicos constituyen una fuente importantísima. Cuando se trata de conocer algo sobre cierto personaje o asunto de inmediata actualidad, sirven como fuente de información de singular importancia. Por otro lado, son útiles para averiguar acontecimientos o hechos ocurridos tiempo atrás.

 

2. Documentos públicos y privados

Otro tipo de fuentes que también deben o pueden consultarse son los documentos públicos o privados. Ambos pueden contener muy valiosa información. Sin embargo, la distinción es importante pues, como evaluadores, deberemos enfrentar dificultades distintas si nos proponemos consultar uno u otro tipo de fuente. Pueden hallarse dichos documentos, en algunos casos, en las bibliotecas, en los archivos públicos o privados así como en las páginas en Internet de los gobiernos municipales y estatales. Accesar a ellos no siempre está permitido, pero en la mayoría de los casos los evaluadores pueden obtener permiso para su consulta. Debido a la diversidad de ese tipo de documentos, podremos referirnos sólo a algunos de ellos; su enumeración permitirá despertar la imaginación del futuro evaluador, lo cual le facilitará el encuentro de otro tipo de fuentes que aporten datos a su evaluación, enriqueciéndola con fuentes variadas y de gran calidad.

 

3. Documentos oficiales

Entre ellos podemos encontrar programas de gobierno, planes de desarrollo municipal, programas operativos, notas, circulares, resoluciones, informes, dictámenes técnicos o jurídicos, informes sobre presupuestos, memorias de las reuniones del cabildo o de reuniones de los funcionarios del organismo, conferencias de miembros del gobierno local, congresos²¹ y así por el estilo. También se debe recurrir a los boletines informativos, que tienen como objetivo informar a los usuarios sobre la marcha de los servicios y que, por lo tanto, pueden ser muy útiles para la evaluación.

Entre esos documentos merecen mención especial los que publican estadísticas, dado que sintetizan una información valiosa y difícil de obtener por otras vías; tal es el caso de la amplia cantidad de publicaciones disponibles en el Instituto Nacional de Estadística, Geografía e Informática (INEGI), el Consejo Nacional de Población (CONAPO), el Instituto del Federalismo y el Desarrollo Municipal (INAFED), así como en otras dependencias del sector público.

De acuerdo con la regularidad con que son editados, hay dos tipos de documentos estadísticos:

a) Los que se producen en intervalos regulares, como los censos de población y vivienda que se encuentran ya en el Sistema Municipal de Bases de Datos (SIMBAD), creado por el Instituto Nacional de Estadística, Geografía e Informática (INEGI) y el sistema de información municipal de INAFED.

b) Los que se producen sin regularidad alguna, como puede ser una estadística en una Secretaría de Estado u otro organismo del gobierno local con el fin de conocer la situación de la población atendida para elaborar un proyecto; o las actas del cabildo, los planes de desarrollo municipal, los programas operativos y las normas jurídicas o reglamentarias, los boletines informativos, y otros.

 

4. Documentos privados

Entre los documentos privados que pueden ser de interés para una evaluación, podemos encontrar los siguientes:

a) Memorias de reuniones, conferencias, congresos, y otros

Boletines informativos, que tienen como propósito principal dar a conocer quiénes están afiliados a una asociación o bien forman parte de un organismo, así como las novedades ocurridas en un cierto periodo. También las organizaciones sociales y las asociaciones de municipios editan boletines. Véase artículo 115 del boletín editado por el Centro de Servicios Municipales "Heriberto Jara", libros de los Congresos realizados por la Red de Investigadores en Gobiernos Locales (IGLOM).

b) Folletos

Es una publicación que trata de un solo asunto y consta de unas pocas páginas. Los folletos pueden publicarse aisladamente o en serie y versan sobre temas de importancia actual dentro de cualquier ámbito del conocimiento.

c) Directorios o guías

Las guías o directorios reúnen los nombres y direcciones de personas e instituciones; algunos pueden suministrar además otras informaciones como, por ejemplo, los funcionarios y representantes políticos de todos los ayuntamientos. Esta información puede hallarse en el Instituto Nacional del Federalismo y el Desarrollo Municipal.

d) Recortes de periódicos

Éstos u otro tipo de documentación depositados en colecciones particulares (por ejemplo: Archivo y Sistema de Información del Instituto Nacional del Federalismo y el Desarrollo Municipal "Heriberto Jara").

 

C. La evaluación de las fuentes

Cuando se encuentra una fuente que parece útil, lo primero que debe hacer el evaluador es considerar su calidad. En los casos en que se trate de una fuente escrita, debe leerse cuidadosamente la introducción (si hay) o alguna otra parte de la obra que permita formarse una idea sobre su seriedad, profundidad y pertinencia para la evaluación en curso. Si es el caso, también resulta conveniente leer las referencias bibliográficas o notas para averiguar el grado de actualización y la amplitud de la documentación de la obra. Por último, vale la pena indagar si se han hecho reseñas o citas que la recomiendan.

Algunos de los cuidados que deben observarse durante la evaluación aparecen en seguida.

• Verificar que la información de la fuente esté actualizada. Los evaluadores que consultan ediciones antiguas transcriben datos que ya han sido actualizados por nuevas informaciones. Por consiguiente, es indispensable citar sólo la compilación estadística más reciente.

• Verificar si los autores tienen suficiente autoridad en la materia. Una de las advertencias más importantes para un evaluador que está iniciando su primer estudio de importancia, es fijarse en el autor de las publicaciones que consulta.

• Corroborar si el texto tiene referencias bibliográficas. Consultar las bibliografías o las referencias bibliográficas constituye un modo de ampliar nuestro propio horizonte de referencias y es, también, una manera de evaluar la seriedad y el mérito de una publicación.

• Verificar si las notas son ricas en información adicional, ya que los ensayos o informes de evaluación generalmente incluyen notas al pie de cada página.

• Corroborar que las estadísticas utilizadas tengan identificaciones completas. Los datos estadísticos tienen verdadero valor sólo cuando se indica la fuente, la población a la que se refiere la información y la época en que esa información fue producida.

Si se trata de fuentes estadísticas, el evaluador debe recordar que su validez y contabilidad ha de ser evaluada conociendo los supuestos epistemológicos y metodológicos utilizados durante su elaboración, ya que las estadísticas pueden ser matemáticamente correctas, pero incorrecto el modo como se pensó la relación entre las unidades de análisis conceptual y las unidades de análisis estadístico. En el caso de los censos (particularmente cuando se quiere comparar información de diferentes censos), es fundamental averiguar cómo fueron definidas las categorías censales.

En la evaluación de documentos públicos, debe tenerse mucho cuidado al examinar su autenticidad y las posibles alteraciones o censura que hayan sufrido; sobre todo cuando se está trabajando en temas en los que la autenticidad de los documentos ha sido o pudiera haber sido parte de un juego de poder e influencias. El evaluador debe considerar si el documento sirve a algún fin que obligue o facilite la alteración de la verdad. Respecto de esto, Gottschalk (1945) indica que se puede confiar en la fuente en las siguientes circunstancias: a) cuando la verdad no afecta los intereses del informante de ninguna manera; b) cuando la verdad no es perjudicial para el informante, salvo que éste se jacte de su propia depravación; c) cuando los acontecimientos relatados son de dominio público y el evaluador puede verificarlos; d) cuando la parte del relato que interesa al evaluador es incidental y poco importante para el informante; e) cuando el informante hace declaraciones que no confirman sus propias expectativas y lo dicho es intrínsecamente posible.

Para que la evaluación de ese documento sea posible, el evaluador debe tratar de averiguar: a) cuándo ha sido escrito; b) por quién; c) con qué fin; d) en qué coyuntura; e) cómo se relacionaba el redactor del documento con los intereses en juego en esa coyuntura; f) qué tipo de personaje era el autor.

Por otra parte, en todos los casos es muy importante buscar otras fuentes que, confrontadas con el documento que se está evaluando, permitan corroborar su autenticidad y confiabilidad.

 

D. Las entrevistas

Las entrevistas son una relación social en la que se produce información mediante la interacción entre uno o varios entrevistadores y uno o varios entrevistados. Debido a la insuficiente información documental con la que se puede contar y la poca contabilidad que en muchos casos tiene dicha información, la entrevista es una de las maneras más eficaces para la producción de información en este tipo de evaluación. Puede aplicarse tanto a funcionarios como a políticos, usuarios de servicios, miembros de organizaciones sociales, dirigentes de organizaciones sociales y los ciudadanos en general; ello permite ampliar decisivamente la información que se requiere para llevar adelante la evaluación.

 

1. Elección del tipo de entrevista

Una primera decisión que debe tomarse consiste en determinar si la entrevista más adecuada es la entrevista estructurada o la no estructurada. Para eso deben tenerse en cuenta las ventajas y desventajas de una y de otra.

a) Las entrevistas estructuradas

En las entrevistas estructuradas, el plan se produce previamente y se aplica con rigor. En las entrevistas no estructuradas, el plan de la entrevista se produce previamente, pero se va rectificando o aplicando de manera flexible durante las entrevistas.

Dado que la planificación se realiza en su totalidad antes del momento del encuentro con el entrevistado, las entrevistas estructuradas permiten ajustar las preguntas exactamente a las necesidades de la evaluación, por lo que no se corre el riesgo de olvidar alguna pregunta importante. Ello permite clasificar, comparar y procesar estadísticamente las respuestas. Al mismo tiempo, el entrevistado se auto-clasifica al responder en las preguntas cerradas, lo que facilita el trabajo de clasificación. El sistema conceptual que permite dicha clasificación es lo que hemos intentado elaborar en el capítulo anterior.

Por otra parte, la estructuración previa facilita el auxilio de los programas de computación debido a la posibilidad de hacer traducciones a cantidades en el procesamiento. Ésas son algunas de sus principales ventajas. Entre sus desventajas pueden señalarse las siguientes: a) las entrevistas estructuradas requieren un conocimiento de los indicadores relacionados con cada concepto para conocer cuáles son las preguntas necesarias y, en lo posible, prever el abanico de posibles respuestas; b) no permiten captar lo inesperado; c) crean un tipo de relación que dificulta la espontaneidad en la asociación y memorización del entrevistado.

b) Las entrevistas no estructuradas

Llamamos "entrevistas semiestructuradas" a aquellas en las que el entrevistador parte de un plan general sobre el tema o los temas que desea encarar durante la entrevista; empero, permite que sea el entrevistado el que —durante la conversación— vaya desarrollando cada uno de los temas con la profundidad y el método que le resulte más atractivo.

Entre las ventajas de las entrevistas no estructuradas, podemos incluir las siguientes: a) permiten la aparición de lo imprevisto; b) permiten explorar un universo poco conocido; c) permiten la coinvestigación, esto es, la búsqueda, en colaboración con el entrevistado, de la información o de la interpretación más adecuada para comprender los procesos evaluados; d) estructuran menos el proceso de asociación y memorización del entrevistado, con lo que se logra una mayor autenticidad en la articulación de las respuestas.

En el trabajo de investigación en el que se aplicó por primera vez esta metodología, se utilizaron entrevistas estructuradas de acuerdo con lo ya expuesto. La experiencia indica que mediante estas entrevistas se logra una amplia y rica información que permite avanzar sustancialmente en la evaluación del desempeño de los gobiernos locales, en relación con la atención de las demandas de la ciudadanía.

 

2. La planeación de las entrevistas

En la planeación de las entrevistas deben tenerse en cuenta, básicamente, dos elementos: el tipo de entrevistado y el esquema conceptual que organiza la evaluación.

Tener en cuenta el tipo de entrevistado permite formular definiciones tales como el lenguaje que deberá emplearse en la entrevista o una cierta previsión sobre la mayor o menor disposición del entrevistado a volcar su colaboración en la evaluación, dada la imagen que puede tener del entrevistador o de la institución responsable de la evaluación. También permite evaluar la posible duración de la entrevista.

Tener en cuenta el esquema conceptual nos permite aprovechar al máximo el trabajo de entrevista; se consigue toda la información necesaria y se limita, en lo posible, la información que no es indispensable para la evaluación.

Por otra parte, al tener en cuenta ambos aspectos de la planeación se puede determinar mejor cuál puede ser el tipo de entrevista más adecuada: la entrevista estructurada o la no estructurada. A continuación se explican brevemente algunas de las principales cuestiones que deben tenerse en cuenta para realizar la recolección de los datos mediante las entrevistas que requiere la evaluación.

a) Presentación del entrevistador

Cualquiera que sea el tipo de entrevista que se elija, debe ser precedida por la presentación del entrevistador. En esa presentación deben aclararse, al menos, las siguientes cuestiones: a) quién hace la evaluación; b) por qué y para qué es importante hacerlo; c) qué riesgos corre el entrevistado por las informaciones vertidas (¿es confidencial la información o no lo es?).

Esa presentación puede hacerse antes de la entrevista (mediante una llamada telefónica o el envío de una carta) o en el momento en que se la solicita, y puede realizarse de manera oral o escrita.

b) Tipo de lenguaje

La entrevista es una relación social que se entabla entre personas que normalmente no se conocen o se conocen poco; por ello, más que en otras relaciones, tanto el entrevistado como el entrevistador se relacionan con las imágenes que tienen previamente de su interlocutor. Esas imágenes se forman a partir del lenguaje y la apariencia del otro, pero también por prejuicios respecto de quiénes están haciendo la evaluación, que llevan a incluir al interlocutor en una "clase de gente" y a atribuirle las características de esa clase. Debe preverse la influencia de dichas imágenes en los resultados de la entrevista; con ello en mente, debe elegirse el tipo de lenguaje que se utilizará durante la reunión con el entrevistado.

c) El lugar en que se llevará a cabo

Debe tenerse en cuenta que el lugar influye en el resultado de la entrevista, al menos desde dos puntos de vista: a) mejorar la posibilidad de asociaciones que faciliten o dificulten el recuerdo, la libertad y la espontaneidad del entrevistado, así como b) facilitar la tranquilidad del entrevistado y la aceptación o resignación frente a una entrevista prolongada.

Debe procurarse que el lugar sea cómodo para el entrevistado, que le evoque la mayor cantidad de asuntos relacionados con la entrevista y que le permita hablar con tranquilidad. También debe tenerse en cuenta que, en el caso de que sea grabada, en el lugar debe haber el menor ruido posible.

d) El momento

Debe evaluarse el día de la semana y el mes del año en que más conviene realizar las entrevistas, con el fin de contar con la máxima comodidad y disponibilidad del entrevistado. Tener en cuenta el día influye en la posibilidad de que el entrevistado disponga de libertad para contestar sin que obligaciones laborales o familiares le impidan hacerlo. Considerar el momento del año, en ciertos temas, puede ser importante para encontrar al entrevistado en condiciones de contestar o para evitar acontecimientos previsibles (como el aumento en el tratamiento de ciertos temas en los medios de comunicación o la necesidad de presentar un informe ante la ciudadanía) que alteren los resultados de la entrevista.

e) La duración

Depende de las características de los entrevistados. Los funcionarios de mayor responsabilidad generalmente cuentan con poco tiempo para este tipo de entrevistas; mientras que los líderes de organizaciones pueden contar con mayor tiempo, pero siempre que consideren que el trabajo es de interés para dichas organizaciones. Es necesario decidir, en cada caso, el tiempo previsible de las entrevistas para adecuar el plan a ese tiempo.

f) El tipo de preguntas

Si es una entrevista estructurada, debe determinarse si es posible o conveniente hacer preguntas abiertas o si la mayoría o todas deben ser cerradas. De la misma manera, debe evaluarse si es conveniente mezclar preguntas de hecho con preguntas de opinión o de intención. También debe considerarse cuál es el mejor orden para las preguntas; se tratará de a) agrupar las preguntas por temas; b) ir desde la más fácil hasta la más difícil; y c) ir de lo menos embarazoso a lo más embarazoso. También debe cuidarse que las instrucciones sean precisas para que el entrevistado advierta claramente qué se espera de él.

Si se trata de una entrevista no estructurada, debe prepararse una guía de preguntas que permita al entrevistador ir guiando la entrevista hacia los temas que interesan a la evaluación en curso.

 

E. Procesamiento y análisis de los datos

Tal como se dijo en las secciones anteriores, en toda evaluación se requiere: a) revisar las fuentes disponibles con el fin de tener una idea precisa de lo investigado en ese momento por otros evaluadores o investigadores; y b) llevar a cabo la síntesis, clasificación y archivo de la información relacionada con la institución o proceso que se evalúa.

El análisis de las fuentes permite obtener información de interés para el desarrollo de la evaluación. En esta etapa debe distinguirse entre la información que resulta significativa para estudiar el problema, y la que (por estar dirigida a comprender o describir otras situaciones) no tiene puntos en común con dicha problemática o resulta inoperante e inadecuada. Una primera revisión de las fuentes permitirá hacer esa selección con objeto de reunir el material adecuado y desechar el resto.

Después de analizar la utilidad del material bibliográfico y de otras fuentes, el investigador se enfrentará al problema de organizar la gran cantidad de informaciones que ha recabado. Entonces las técnicas de procesamiento de la información demuestran su utilidad.

Aunque no hay recetas para realizar una buena revisión documental, es conveniente confrontar la información sobre un mismo rubro, obtenida de fuentes distintas, a fin de localizar posibles desviaciones o alteraciones de la misma. Las fichas temáticas son una de las técnicas que permite realizar esa tarea con mayor facilidad, pero también se puede recurrir a la ayuda de programas de computación que facilitan el archivo y clasificación de la información.

Esa misma necesidad de archivar y organizar, surge al tratar la información creada durante las entrevistas u observaciones. Si bien las técnicas de procesamiento de la información son aplicadas ya durante el proceso de revisión de las fuentes, su uso pleno ocurre en esta nueva etapa. Por ello, será esta última principalmente la que tendremos en cuenta durante la discusión de las técnicas más importantes de procesamiento de información.

El objetivo específico de esta etapa es organizar la información. Cuanto más rica haya sido la consulta, más dificultades tendrá el investigador para analizar sus datos, ya que una cantidad y diversidad muy grande de informaciones hacen que su análisis sea una tarea ardua (y, en ciertos extremos, imposible) para cualquier ser humano que no posea una técnica adecuada para llevar a cabo dicho trabajo. Con el procesamiento, se logra que los datos sean seleccionados, sintetizados, clasificados, ordenados, jerarquizados e interrelacionados, lo cual vuelve accesible su lectura y análisis. El momento clave del procesamiento y análisis de la información es su categorización de acuerdo con los indicadores elaborados. En este momento, se vuelve a utilizar el esquema conceptual empleado para el diseño de los cuestionarios o guías de entrevistas o de resumen de la información de otras fuentes. En este caso, la categorización se utiliza para la síntesis, organización e interpretación.²²

Finalmente, durante el procesamiento se realiza una preelaboración teórica del material documental y de las transcripciones de las entrevistas o de la información cuantitativa obtenida. El proceso de análisis e informe es el que permite ordenar definitivamente ese material con el fin de obtener las conclusiones a las que se procuraba llegar mediante la evaluación.

 

BIBLIOGRAFÍA

Aguilar, Ma. José, y Ezequiel Ander-Egg. Evaluación de servicios y programas sociales. Madrid: Siglo XXI, 1992.         [ Links ]

Besse, Juan; Cora Escolar; y Claudia Prince. "A saltar la pared. Una evaluación del impacto social mediante abordajes cualitativos". Realidad Económica, núm. 136 (1995). Buenos Aires.         [ Links ]

Cabrero, Enrique. La nueva gestión municipal en México. Experiencias innovadoras en gobiernos locales. México: Miguel Ángel Porrúa, librero-editor/Centro de Investigación y Docencia Económicas, 1995.         [ Links ]

Cardozo, Myriam, y Pedro Moreno. "Eficiencia y evaluación de la gestión de las organizaciones. Un intento de aplicación para el sector público". México: Centro de Investigación y Docencia Económicas-Departamento de Administración Pública. Mimeo, 1983.         [ Links ]

Centro de Servicios Municipales "Heriberto Jara", A. C. "Autodiagnóstico municipal y agenda locales por la democracia". México. Mimeo, 1994.         [ Links ]

Crozier, Michel, y Erhard Friedberg. El actor y el sistema. Las restricciones de la acción colectiva. México: Alianza, 1990.         [ Links ]

Cuenya, Beatriz, y Marcela Natalichio. Evaluación de proyectos. Habitat popular y desarrollo social. Buenos Aires: Centro de Estudios Urbano-Regionales-Centro Editor de América Latina, 1994.         [ Links ]

Cuenya, Beatriz; María Di Loreto; y Carlos Fidel. Habitat y desarrollo de base. Un enfoque metodológico para evaluar proyectos, Informes de Investigación, núm. 10. Buenos Aires: Centro de Estudios Urbano-Regionales, 1991.         [ Links ]

Ferne, G. "The Limits and Potential of 'Program Evaluation'". En Evaluation Research and Practice: Comparative and International Perspectives, compilado por Robert A. Levine, Marian A. Solomon, Gerd-Michael Hellstern, Hellmut Wollmann, 27-60. Thousand Oaks, California: Sage, 1981.         [ Links ]

Franco, Rolando, y E. Cohen. Evaluación de proyectos sociales. Buenos Aires: Instituto Latinoamericano y del Caribe de Planificación Económica y Social/Organización de las Naciones Unidas/Comisión Interamericana de Desarrollo Social/Organización de Estados Americanos/Grupo Editor Latinoamericano, 1988.         [ Links ]

Garza, Gustavo. La gestión municipal en el área metropolitana de Monterrey (1989-1994). México: Miguel Ángel Porrúa, librero-editor/ Universidad Nacional Autónoma de México-Instituto de Investigaciones Sociales, 1998, 437 pp.         [ Links ]

Gottschalk, L. "The Historian and the Historical Documents". En The Use of Personal Documents in History, de L. Gottschalk et al. Boletín núm. 53 (1945). Social Sciences Research Council. Nueva York.         [ Links ]

Guba, E. G., y Y. S. Lincoln. Effective Evaluation. San Francisco, California: Jossey-bass Publishers, 1981.         [ Links ]

Guerrero, Juan Pablo. "La evaluación de las políticas públicas, enfoques teóricos y realidades en nueve países desarrollados". Gestión y Política Pública 4, núm. 1 (primer semestre, 1995). México: Centro de Investigación y Docencia Económicas.         [ Links ]

Guillén, Tonatiuh, coord. Municipios en transición. Actores sociales y nuevas políticas de gobierno. México: F. Ebert, 1994.         [ Links ]

Hartry, Harry P.; Richard Winnie; y Donald M. Fisk. Practice Program Evaluation for State and Local Governments. Segunda edición. Washington, D. C.: The Urban Institute Press, 1981.         [ Links ]

Levin, H. M. "Cost Analysis". En New Techniques for Evaluation, coordinado por N. L. Smith. Thousand Oaks, California: Sage, 1981.         [ Links ]

Levine, R. A. "Program Evaluation and Policy Analysis in Western Nations: An Overview". En Evaluation Research and Practice: Comparative and International Perspectives, compilado por Robert A. Levine, Marian A. Solomon, Gerd-Michael Hellstern, Hellmut Wollmann, 2760. Thousand Oaks, California: Sage, 1981.         [ Links ]

Masters, Geoffrey N. "The Key to Objective Measurement". Institute for Objective Measurement, Inc. [en línea]. Disponible en: <http://www.rasch.org/memos.htm>, 2001.         [ Links ]

Martinic, Sergio, y Eduardo Walker. "Análisis, diseño, seguimiento y evaluación de proyectos de acción social, enfoque sobre marco lógico". Santiago de Chile. Mimeo. S. f.         [ Links ]

Merino, Mauricio, coord. En busca de la democracia municipal. México: El Colegio de México, 1994.         [ Links ]

Ramírez Sainz, Juan Manuel. Cómo gobiernan Guadalajara. México: Miguel Ángel Porrúa, librero-editor/Universidad Nacional Autónoma de México-Instituto de Investigaciones Sociales/Universidad de Guadalajara, 1998.         [ Links ]

Salles Sputo, Anna L.; Jorge Kayano; Marco A. de Almeida; y Víctor A. Petrucci. "Como reconhecer um bom governo?". Polio, núm. 21 (1995). São Paulo.         [ Links ]

Saltalamacchia, Homero R. Historia de vida. Puerto Rico: Centro de Investigaciones para la Juventud Puertorriqueña (CIJUP), 1992.         [ Links ]

––––––––––. Fundamentos de la investigación documental. Puerto Rico: Universidad del Sagrado Corazón, 1993.         [ Links ]

Saltalamacchia, Homero R. El análisis de datos cualitativos. Buenos Aires: Centro de Investigaciones para la Juventud Puertorriqueña (CIJUP), 1997.         [ Links ]

––––––––––. Aportes a la metodología cualitativa: del proyecto al análisis [en línea]. Disponible en: <http://www.saltalamacchia.com.ar>, 2004.         [ Links ]

Strauss, A. Qualitative Analysis for Social Scientists. Nueva York: Cambridge University Press, 1987.         [ Links ]

Subirats, Joan. Análisis de las políticas públicas y eficacia de la administración. Madrid: MAP, 1992.         [ Links ]

––––––––––. "Los instrumentos de las políticas, el debate público y el proceso de evaluación". Gestión y Política Pública 4, núm. 1 (primer semestre, 1995). México: Centro de Investigación y Docencia Económicas.         [ Links ]

Valdés Ugalde, Francisco. "Cambio institucional y acción colectiva". Anexo 1: "Metodología para el análisis de las políticas y procesos institucionales". México: Comisión Económica para América Latina. Mimeo, 1995.         [ Links ]

Wilson, Robert, y R. Cramer. International Workshop on Good Local Government. Austin, Texas: The University of Texas at Austin, 1995.         [ Links ]

Wright, Benjamin D. "History of Social Science Measurement". Institute for Objective Measurement, Inc. [en línea]. Disponible en: <http://www.rasch.org/memos.htm>, 1997.         [ Links ]

Ziccardi, Alicia, coord. La tarea de gobernar: gobiernos locales y demandas ciudadanas. México: Miguel Ángel Porrúa, librero-editor/Universidad Nacional Autónoma de México-Instituto de Investigaciones Sociales, 1995a.         [ Links ]

––––––––––. "Governance and Governability: One or Two Concepts". En International Workshop on Good Local Government, compilado por R. Wilson y R. Cramer. Austin, Texas: The University of Texas at Austin, 1995b.         [ Links ]

––––––––––. Gobernabilidad y participación ciudadana en la ciudad capital. México: Miguel Ángel Porrúa, librero-editor/Universidad Nacional Autónoma de México-Instituto de Investigaciones Sociales, 1998.         [ Links ]

 

Notas

¹ Una primera versión de este trabajo fue realizada por los autores en el marco del proyecto "La tarea de gobernar: ciudades capitales y municipios metropolitanos", realizado en el Instituto de Investigaciones Sociales de la Universidad Nacional Autónoma de México, bajo la coordinación de Alicia Ziccardi, el cual contó con el apoyo de la Fundación Ford. El mismo fue publicado entonces como un Cuaderno de Investigación, de circulación limitada, con el título "Metodología de evaluación del desempeño de los gobiernos locales en ciudades mexicanas", y que fue utilizado para el análisis de las ciudades de México y Guadalajara. Dado que en diferentes estudios y tesis realizadas en los últimos años sobre los gobiernos locales en México se ha utilizado el mismo trabajo —como un instrumento metodológico útil para evaluar el desempeño de este ámbito de gobierno—, los autores hemos decidido realizar una nueva versión que incorporara las correcciones que surgieron a partir de la utilización de tal metodología de análisis.

² Una evaluación de tipo administrativo fue aplicada por el Banco Mundial y por el Banco Nacional de Obras y Servicios Públicos (Banobras) en el municipio de Tijuana durante la gestión del arquitecto Héctor Osuna, a quien agradecemos el habernos facilitado el documento en el que se presentan sus resultados. Otra metodología, que permite identificar procesos innovadores en los gobiernos locales, ha sido desarrollada por Enrique Cabrero (1995).

³ Cfr., entre otros, Cabrero, 1995; Ziccardi, 1995; Merino, 1994; Guillén, 1994.

⁴ Sobre la diferencia que hay entre el concepto "evaluación" y otros similares como "medición", "estimación", "seguimiento", "control" y "programación", véase Aguilar y Ander-Egg (1992), capítulo 1.

⁵ El concepto "validez" proviene de un paradigma, como el positivista, en el que se confía en la posibilidad de lograr, mediante la investigación, una adecuación entre el objeto real y la construcción cognitiva. Esa pretensión ha merecido una serie de críticas desde la tradición constructivista, a la que nos adherimos. Una síntesis de dichas críticas puede encontrarse en Saltalamacchia (2004).

⁶ Ciertamente, en la práctica muchas son las ocasiones en que este requisito no se cumple cabalmente. Sin embargo, dada la menor complejidad organizativa y la mayor unificación de propósitos prevalecientes en los diferentes niveles jerárquicos, el trabajo del evaluador —en reuniones con los encargados del programa— puede ir aclarando sin tantas dificultades (como sucede en los gobiernos locales) los objetivos explícitos e implícitos del programa.

⁷ Las razones de esta invisibilidad son muchas; entre otras, la naturalización de tales relaciones, que hace aparecer muchas decisiones gubernamentales como algo natural no sujeto a crítica política, como algo meramente técnico.

⁸ A partir de este tipo de evaluaciones, podemos definir "qué es bueno en el desempeño de un gobierno local" para difundirlo y repetirlo y, de igual modo, señalar "qué es lo inconveniente" para lograr una buena actuación.

⁹ La mayor estabilidad y claridad en la definición de los objetivos y de los medios para llegar a esos objetivos (que es propia de los programas) permite —a la mayoría de los autores que escriben sobre "evaluación de programas"— ignorar la enseñanza sobre los modos de operar en toda la etapa de planteamiento conceptual, en la que se discuten las características específicas del objeto que habrá de evaluarse y la metodología que debe crearse para cada caso concreto. De esa manera, generalmente no hacen un texto metodológico (un texto donde se discute cómo se organiza una investigación evaluativa definiendo y operacionalizando los conceptos, estableciendo sus relaciones y jerarquías, y decidiendo la estrategia de investigación). Dado que parten de un contexto de referencia mucho mejor definido y estable, se dedican casi exclusivamente a reflexionar sobre técnicas de evaluación (uso de la encuesta, de la observación, de las entrevistas en profundidad, o de los datos de archivos, y así por el estilo). No creemos en la pertinencia de dichas ausencias aun para la evaluación de programas, pero si en éstos la ausencia genera problemas en la evaluación de los gobiernos locales, ella introduce tal grado de imprecisión e impide hasta tal punto la discusión y negociación sobre el carácter atribuido a la tarea, que la condena rápidamente al fracaso. Una crítica detallada de las consecuencias del abordaje empirista en la investigación puede encontrarse en Saltalamacchia (2004).

¹¹ Hay varias maneras de tipificar la investigación evaluativa; sin embargo, normalmente las diversas clasificaciones incluyen, de un modo u otro, aspectos parecidos.

¹² El concepto "impacto" refiere a la permanencia de los resultados luego de un tiempo; es determinado según las características del objetivo evaluado.

¹³ Esta evaluación es interesante si se ha hecho la evaluación inicial, ya que los resultados o el impacto se mide en relación con las condiciones prevalecientes en el momento inicial.

¹⁴ Como se sabe, las definiciones de lo que es o debe ser un buen gobierno son varias y muy amplias. El que para la evaluación se haya decidido acotar el trabajo a los aspectos que se mencionan aquí no entraña que ellos agotan todas las definiciones posibles o deseables.

¹⁵ En adelante se la denominará "área administrativa".

¹⁶ En todos los casos en que haya referencias a capacidad o capacitación de personal, se tomarán en cuenta los estándares prevalecientes en el Estado mexicano para determinar la capacidad necesaria para el desempeño de cada una de las tareas técnico-administrativas.

¹⁷ Este actor puede ser un individuo, pero se lo incorporará siempre que dicha demanda haya sido procesada por alguna organización social o civil.

¹⁸ Cuando el indicador incluye más de un requisito, la falta de uno debe ser considerada como no cumplimiento con el indicador. por ejemplo, en el caso de que se disponga de los mecanismos aludidos en este indicador, si no son publicitados no cumplirán su función, por lo que se le considerará "incumplido".

¹⁹ Se consideran "organizaciones sociales" a una amplia gama de organizaciones, formales o informales, que agrupen ciudadanos en torno a alguna actividad de los habitantes de la región correspondiente al gobierno local.

²⁰ Para una discusión sobre el concepto de "construcción o recolección de la información", así como aspectos teórico-metodológicos más generales, véase Saltalamacchia (2004).

²¹ Las contribuciones de los participantes a diferentes tipos de reuniones constituyen las llamadas "memorias"; a menudo incluyen también resúmenes o transcripciones de discusiones que tuvieron lugar durante la reunión.

²² Cfr. Strauss (1987), y Saltalamacchia (2002).