Diseño mixto de evaluación de la iniciativa Salud Mesoamérica 2015*
Mixed design for the evaluation of the Mesoamerica Health 2015 initiative
Juan Pablo Gutiérrez, M en Ec SI; Marta María Téllez-Rojo, D en SPII; Pilar Torres, M en Antrop MédIII; Martín Romero, D en EstadII; Stefano M Bertozzi, D en Ger y Pol de la SaludIV; Subgrupo de Evaluación de Impacto‡
IDirección de Economía de la Salud, Centro de Investigación en Evaluación y Encuestas, Instituto Nacional de Salud Pública. Cuernavaca, Morelos, México
IIDirección de Estadística, Centro de Investigación en Evaluación y Encuestas, Instituto Nacional de Salud Pública. Cuernavaca, Morelos, México ]]>
IIICentro de Investigación en Sistemas de Salud, Instituto Nacional de Salud Pública. Cuernavaca, Morelos, México
IVCentro de Investigación en Evaluación y Encuestas, Instituto Nacional de Salud Pública. Cuernavaca, Morelos, México
RESUMEN
El propósito de la iniciativa Salud Mesoamérica 2015 (SM-2015) es mejorar el estado de salud y nutrición de la población con mayor grado de vulnerabilidad en Mesoamérica. El objetivo de la evaluación es generar evidencia sobre la efectividad conjunta de un paquete de intervenciones diseñadas para mejorar las condiciones de salud en la región. Se propone una evaluación de impacto con métodos mixtos, para conocer la magnitud de los cambios atribuibles a la SM-2015, e identificar los significados de estos cambios para la población objetivo, en el contexto de cada país. El eje conductor es un panel de localidades con el que se colectará información de individuos, hogares y unidades de salud de primero y segundo nivel de atención. El diseño que se describe en este documento fue desarrollado entre junio y diciembre de 2009, y su articulación se llevó a cabo en talleres realizados en Cuernavaca (México), Managua (Nicaragua), y San José (Costa Rica). El diseño propuesto permitirá generar evidencia sobre la efectividad conjunta del paquete de intervenciones propuesto en los planes maestros mesoamericanos. El éxito de este diseño radica en la voluntad y en el compromiso político de los países y los donantes.
Palabras clave: evaluación de programas y proyectos de salud; pobreza; América Latina; métodos mixtos
ABSTRACT
Since the Salud Mesoamerica 2015 initiative (SM-2015) aim is to improve health and nutrition conditions of those most vulnerable in Mesoamerica, the goal of the evaluation is to generate evidence of the joint effectiveness of a package of interventions designed to improve the health conditions. We propose a mix design for the evaluation, which will allow to know the magnitude of changes attributable to the interventions, as well as the meanings of these changes for the target population, taking into account the specificities of each country. The main axis of this design is a locality panel where information about individuals, households, and health facilities (first and second level) will also be collected. The evaluation design described in this paper was developed between June and December, 2009, and it was integrated during workshops in Cuernavaca (Mexico), Managua (Nicaragua), and San Jose (Costa Rica). The proposed design will allow to generate evidence about the joint effectiveness of the package of interventions proposed for the SM-2015. The success of this design rests on the political commitment of countries and donors.
]]> Key words: Program Evaluation; poverty; Latin America; mixed methods
En el quehacer cotidiano de los sistemas de salud se implementan programas e intervenciones enfocadas a atender las condiciones de salud de la población. Los responsables de estas estrategias en salud suelen enfrentarse a una toma de decisiones con información incompleta, circunstancia en la que no pueden hacer el mejor uso posible de los recursos disponibles, que son siempre limitados.1-3 En ese sentido, resulta prioritario identificar programas e intervenciones con efectividad probada, entender bajo qué condiciones funcionan, en qué magnitud, cuándo funcionan y para quién.
La evaluación rigurosa de intervenciones y programas requiere de una inversión importante de recursos para llevarse a cabo; no obstante, ésta contribuye a tomar decisiones informadas que consideren el contexto particular de la población objetivo; además, generan conocimiento que puede ser de utilidad a para el diseño de intervenciones similares.4
En el caso del Sistema Mesoamericano de Salud Pública, el lanzamiento de la iniciativa Salud Mesoamérica 2015 (SM-2015) es una oportunidad sin precedentes para evaluar un paquete de intervenciones dirigidas a fortalecer las capacidades de los sistemas de salud en la región, y que se espera resulten en mejoras importantes de la salud de la población en condiciones de mayor vulnerabilidad, entre quienes se encuentran indígenas, población afrodescendientes en zonas rurales y habitantes de las zonas urbanomarginales.
Conceptualmente, la SM-2015 se fundamenta en la baja acumulación de capital humano que ocurreen la región mesoamericana entre las poblacionesmás vulnerables, hecho que se traduce en carencias en salud que son atendibles mediante intervenciones de baja complejidad y entre las cuales se presentan importantes sinergias.5-9 La desnutrición infantil, las infecciones y la mortalidad materna son carencias que podrían reducirse dramáticamente con acciones como vacunación, suplementación, capacitación del personal médico, atención adecuada de emergencias obstétricas y, en ciertos ecosistemas, con la protección contra vectores.
La falta de intervenciones, la cobertura insuficiente de las mismas y la baja coordinación entre las diferentes áreas temáticas de salud, en conjunto, limitan el desarrollo humano entre las poblaciones afectadas. La intervención con acciones coordinadas claramente puede traducirse en un estímulo al desarrollo humano entre las poblaciones de mayor vulnerabilidad en la región.
SM-2015 se propone como una iniciativa para reducir las brechas en salud en la población mesoamericana en pobreza, a través de la provisión extendida de servicios básicos de salud. El énfasis de SM-2015 es incrementar el acceso a servicios de salud reproductiva, neonatal e infantil, nutrición materna e infantil, vacunación, y malaria y dengue entre la población más pobre de la región.10
Un supuesto central que fortalece a la SM-2015 es que los resultados potenciales se multiplican favorablemente cuando un conjunto de intervenciones de probada eficacia actúan de forma coordinada en una población. Es decir, la acción coordinada y focalizada en la población clave de intervenciones constituye en elemento clave para el éxito de la SM-2015.
]]> Plantear una evaluación para este proyecto es un reto metodológico importante, ya que la evaluación debe compaginar las particularidades de cuatro ejes temáticos (nutrición, salud materna y neonatal, vacunación, malaria y dengue) en el sur de México, Guatemala, Belice, El Salvador, Honduras, Nicaragua, Costa Rica y Panamá. La propuesta de evaluación debe considerar las similitudes y las diferencias en diferentes ámbitos (salud, sistemas de salud, cultural, ético, económico) en la región, pues éstas se traducen en necesidades de intervenciones diferentes.Para abordar este reto, se constituyó dentro del Grupo Técnico en Sistemas de Información, Monitoreo y Evaluación de Impacto, un Subgrupo de Evaluación de Impacto (EI), con la participación de representantes de las áreas de evaluación o equivalentes de los ministerios de salud de los países, representantes de los institutos nacionales de estadística o equivalentes, así como con expertos internacionales en evaluación y encuestas y representantes de agencias.
El diseño de la evaluación toma como punto de partida que la principal aportación de la SM-2015 es la conjunción de intervenciones en las cuatro áreas de salud que la componen. Así, un valor agregado de la estrategia de SM-2015 son las sinergias que se producen al coordinar esfuerzos focalizados en una población para atender problemáticas de salud que comparten las condiciones de vulnerabilidad en las que ocurren.
El diseño que se propone para la evaluación de impacto de SM-2015 considera en primer lugar un abordaje mixto, que permita cuantificar los efectos observables e identificar los factores relacionados con los mismos, así como los significados y los contextos en los que dichos efectos ocurren. Para la estimación de los efectos, se propone que la implementación de las intervenciones tenga un inicio escalonado, para poder tener un seguimiento longitudinal (panel), de tal forma que el contrafactual para la comparación es un conjunto de localidades de intervención tardía, con una asignación aleatoria entre el grupo de intervención temprana y el tardío. Adicional a los hogares e individuos en las localidades, el panel incluirá a las unidades de salud de primero y segundo nivel de atención que sirven a las localidades de la muestra.
Por otra parte, y como una herramienta para proporcionar información sobre las intervenciones realmente implementadas y las condiciones de esta implementación, se plantea la necesidad de realizar una evaluación de procesos enfocada en la implementación de la SM-2015.
Finalmente, el diseño considera anidar resultados anuales para el monitoreo del desarrollo de la intervención que permitan informar los desembolsos basados en resultados propuestos dentro del esquema financiero del SM-2015, si bien los detalles de este aspecto no se presentan en este documento.
Se espera que los resultados de la evaluación de SM-2015 se constituyan en evidencia disponible sobre la efectividad de paquetes de intervenciones coordinadas y focalizadas, que informe sobre la efectividad de las sinergias o las barreras de las mismas, siendo de utilidad para la región, e incluso para otros contextos.
En ese sentido, el objetivo general de la evaluación de SM-2015 es primero generar información sobre los mecanismos y procesos relacionados con la implementación de las acciones en los cuatro ejes temáticos de SM-2015(nutrición, vacunas, salud materna y neonatal, y vectores), y posteriormente estimar la efectividad atribuible a SM-2015, considerando que los efectos observados serán el resultado de sinergias de las estrategias aplicadas, así como comprender los significados, prácticas y percepciones de los cambios observados desde la población objetivo y los contextos en los cuales estos ocurren.
El objetivo de este documento es presentar el diseño general de la evaluación propuesta, mostrando los resultados potenciales que se podrán obtener, y resaltando las ventajas y limitaciones del abordaje propuesto.
]]> Diseño general de la evaluación
El objetivo que se propone para la evaluación es tener la capacidad de estimar la efectividad atribuible a SM-2015, con métodos mixtos, además de generar información sobre los procesos y la implementación de la misma.1,2,11,12
Si bien el eje central de la evaluación es la efectividad (impacto) de SM-2015, el abordaje que se propone para la evaluación es integral, y parte de documentar de qué forma el diseño específico para cada país responde a las necesidades detectadas, para luego abordar si las acciones están siendo operadas de acuerdo con el diseño, y finalmente si el paquete implementado contribuye efectivamente a mejorar las condiciones de salud y nutrición de la población objetivo de SM-2015.
Para la evaluación de impacto, el diseño que se propone considera la comparación entre un grupo de localidades de intervención temprana y un grupo de intervención tardía. Para ambos grupos se obtendrá información previa a la implementación (línea basal), e información tras un periodo de actividades de SM-2015 (dos estudios de seguimiento a dos y cuatro años de la línea basal), cuya comparación permitirá estimar el efecto atribuible a la SM-2015.13,14
Al considerar a la localidad como unidad primaria de muestreo, al interior de las localidades se dará seguimiento longitudinal a los individuos y los hogares que las conforman, así como a los servicios de salud de primer y segundo nivel que atienden a las poblaciones de las localidades seleccionadas. Esto es, se tendrán paneles de localidades, hogares, individuos y unidades médicas. Por otra parte, dado que la vulnerabilidad en temas de salud no se distribuye de modo uniforme, en el panel de localidades se incluirán localidades de tres tipos: a) localidades rurales vulnerables a paludismo, b) localidades urbanas vulnerables a dengue, c) localidades rurales y urbanas vulnerables en los temas de nutrición, salud materna y neonatal, y vacunación. De esta forma, el diseño de la muestra parte de la identificación de tres estratos poblacionales:
núcleo básico: nutrición, salud materna y neonatal,
ala rural: paludismo
Una razón para esperar que la población objetivo sea aquella en la que concurren las vulnerabilidades denutrición, salud materna y neonatal y vacunación es que la mayoría de ellas están relacionadas con las condiciones de salud de los niños y sus madres. Lo anterior concentra quizá el mejor ejemplo de lo que en el marco de SM-2015 se entiende por sinergia. Así, al ser madres e hijos menores de cinco años población objetivo para más de dos intervenciones (nutrición, vacunación y salud materna), la evaluación identificará el resultado conjunto de las mismas. Las poblaciones objetivo de paludismo y dengue se tratan por separado porque son enfermedades transmitidas por vectores y están asociadas con condiciones geográficas y ecológicas particulares.
En términos operativos se espera visitar a una fracción de todas las viviendas de las localidades seleccionadas. La temática de la información obtenida en cada hogar dependerá de la estructura demográfica del mismo y de las limitaciones presupuestales al tiempo de aplicación de instrumentos por hogar. Asimismo, se obtendrá información para una cédula de localidad y un conjunto de instrumentos en las unidades de primer y segundo nivel de salud para analizar la calidad estructural y de procesos de las mismas.
Finalmente, aunque el diseño de la evaluación considera una asignación aleatoria del inicio de la intervención, es decir, temprano o tardío, en diferentes localidades para proveer de un sustento metodológico a la estimación del efecto de las intervenciones, la evaluación del programa nunca debe sobreponerse al bienestar de la población. En particular, el grupo técnico de paludismo considera que las intervenciones en paludismo deben aplicarse primero a una selección aleatoria de las localidades con mayor riesgo,1,15 lo que implica que el diseño de evaluación en este caso es de tipo cuasiexperimental.
Evaluación de implementación
La evaluación de implementación se propone para identificar la capacidad de los proveedores de servicios de salud para adaptarse a las necesidades particulares que demanden los servicios relacionados con SM-2015. Para ello, se utilizará un abordaje de procesos, buscando identificar de qué forma la operación es consistente con el logro del objetivo de SM-2015 y las posibles adecuaciones necesarias para una mejor alineación.
Específicamente, para realizar la evaluación de implementación y procesos se revisarán en primer lugar los flujos de información y los recursos necesarios (políticos, normativos, financieros, administrativos y humanos), para implementar el paquete de intervenciones de SM-2015.
El periodo de implementación se define como el tiempo transcurrido entre la decisión de realizar SM-2015 y la entrega de los servicios al primer usuario. Los procesos evaluados serán de tipo político/normativo, financiero, administrativo y logístico.
A partir de la evaluación de la implementación se describirá la estructura y los espacios de decisión de los sistemas de salud en los países, desde el nivel central, hasta las unidades implementadoras, analizando la operación de las intervenciones específicas de las áreas temáticas de SM-2015 y su grado de integración al sistema de salud de los países. Dentro de esta descripción, se plantea clasificar los procesos por su oportunidad, suficiencia, pertinencia y eficacia, para el logro del resultado que se busca.
]]> La evaluación de la implementación permitirá identificar las barreras y los facilitadores, tanto administrativos como culturales, de los resultados, informando a los implementadores y permitiendo las modificaciones necesarias que orienten las acciones de SM-2015 hacia la consecución de su propósito.De manera paralela, será necesario evaluar la pertinencia de la selección de intervenciones para cada país, a través de un análisis del diseño y consistencia de las intervenciones seleccionadas por cada país.
Evaluación de impacto
La evaluación de impacto de SM-2015 implicará una serie de fases sucesivas e interrelacionadas con métodos cuantitativos y cualitativos.16 Ambas metodologías permitirán comprender, desde una perspectiva holística, el impacto de las acciones realizadas por SM-2015, tanto en el estado de salud de la población, como en los significados y prácticas de la misma. La medición del impacto permitirá identificar los cambios específicos en la salud de la población atribuibles a SM-2015, así como comprender los procesos y los mecanismos sociales por medio de los cuales los cambios se observan y los contextos en los que se observan.16
La factibilidad de la estimación de impactos mediante el panel reside en que las intervenciones de los componentes sean planeadas de forma que su focalización sea factible en espacios geográficos, por ejemplo, localidades.
Dado que el inicio del SM-2015 no implica la cancelación de programas existentes, el panel propuesto estimará el impacto adicional de las estrategias propuestas en el contexto de SM-2015 sobre las acciones de rutina yaexistentes, que se verán reflejadas en la medición basal.
Como se muestra en la figura 1, se propone llevar a cabo al menos tres mediciones: una línea basal que se implementará antes del inicio de las intervenciones, y dos seguimientos, que se implementarán dos y cuatro años después del inicio de las intervenciones, así como acciones de monitoreo a uno, tres y cinco años.
Diseño de la muestra para la evaluación de la implementación
El estudio de la implementación y los procesos tendrá un diseño mixto secuencial. Se realizará una evaluación longitudinal descriptiva y comparativa de la implementación de SM-2015 en los países involucrados. Las unidades de observación y análisis serán:
]]> 1. El órgano decisorio de SM-2015 regional2. Los ministerios de salud de los países, particularmente aquellas instancias responsables de la conducción de SM-2015
3. Las instancias subnacionales o locales encargadas de la conducción y provisión de servicios en el marco de SM-2015
4. Los hospitales, centros de salud y otras instancias/actores prestadoras de servicios en el marco de SM-2015
La muestra cualitativa de la evaluación de la implementación y los procesos será seleccionada a conveniencia,15 pero comprenderá la misma variedad de actores, permitiendo a la evaluación entender las barreras y facilitadores culturales y contextuales para la misma. No se buscará la saturación teórica en los datos.17,18 Además, el tipo de evaluación será formativa, pues buscará ayudar a mejorar los procesos la implementación.19
Diseño de la muestra para la evaluación de impacto
La población objetivo de SM-2015 es aquella cuyas condiciones de vida la coloca en una situación de mayor vulnerabilidad para problemáticas de salud. En términos operativos, se ha optado por considerar a la población en el quintil de menor ingreso, y adicionalmente, en el caso de los problemas asociados con vectores, a la población que habita en zonas endémicas o de mayor riesgo para paludismo y dengue.
Por criterios operativos, se consideró conveniente delimitar a la población objetivo a partir de las localidades de residencia, lo que facilita el uso de registros administrativos y censales, por ejemplo, el índice de desarrollo humano (IDH) y las zonas de mayores riesgos para paludismo y dengue.
Las unidades últimas de análisis son los individuos, los hogares, los proveedores de servicios de salud en el primer y segundo nivel de atención, y las localidades.
El diseño de muestra para la evaluación de impacto consiste en:
Selección probabilista de conglomerado de individuos (localidades)
Selección probabilista de individuos y hogaresdentro de los conglomerados.
Asignación aleatoria del inicio de la intervención en los conglomerados para evitar que los efectos de la intervención queden confundidos con efectos de otras condiciones de las unidades de muestreo
Selección con propósito de una submuestra cualitativa de individuos en las localidades
La selección con propósito de los individuos dentro de los conglomerados se realizará con base en la siguiente información: edad, sexo del jefe del hogar, escolaridad, nacimientos en los últimos dos años y autoidentificación indígena.15
]]> Para el caso de los estratos núcleo básico y ala urbana, se considera que es posible asignar de manera aleatoria el inicio de la intervención; entonces, para dichos estratos se sugiere seleccionar a las unidades de muestreo por medio de un muestreo de pares de conglomerados con asignación aleatoria de tratamientos.20Cuando no es posible asignar el inicio de la intervención de modo aleatorio, como es el caso del ala rural, se propone asignar el inicio de la intervención, como se describe a continuación.
De acuerdo con el plan maestro del grupo técnico, se contará con la clasificación de las localidades de acuerdo con el riesgo por estratos del nivel e intensidad de transmisión del paludismo, y se identificará un punto de corte para incluir las localidades con prioridad para recibir intervenciones
El grupo de alta prioridad se considera como el grupo de intervención temprana, y en el conjunto de localidades cercanas al punto de corte que no son de alta prioridad se establece el grupo de intervención tardía
Así, para el estrato rural con paludismo se propone asignar el inicio de la intervención con base en una variable observable; en tal caso, la estimación de los efectos puede realizarse mediante el procedimiento de regresión discontinua.21,22
El tamaño de muestra total dependerá del tamaño de muestra en cada país y de las características particulares de los estratos en cada uno.
]]> Un tamaño de muestra de 1 000 viviendas en 30 localidades por grupo (2 000 viviendas y 60 localidades en total) sería adecuado para un país en donde la problemática de dengue y paludismo es menor; por el contrario, en un país con una problemática alta en dengue y paludismo, y en donde además estos ocurren en áreas geográficas diferentes a las de la problemática de los ejes temáticos en nutrición, salud materna y neonatal, y vacunación, la muestra necesaria se multiplicaría por tres, es decir, 6 000 viviendas en 180 localidades.Del conjunto de conglomerados y hogares que conformarán la muestra de evaluación cuantitativa, se obtendrá un subconjunto que constituirá la muestra para el análisis cualitativo. Esta submuestra cualitativa está diseñada con el objetivo de obtener información que en la lógica temporal de la evaluación (seguimiento longitudinal) permita identificar y comprender los significados y prácticas de la población/usuarios por un lado, y de los proveedores por el otro.
Asimismo, se busca analizar la interacción de dichos significados y prácticas con a) las características estructurales de las localidades, y b) las características sociodemográficas de la población objetivo de SM-2015.
El diseño de la muestra cualitativa responde al llamado muestreo con propósito por variación máxima, para alcanzar representatividad y comparabilidad.16,19 Este tipo de diseño busca representar a la mayor variedad de grupos, para poder establecer comparaciones que analicen tanto los casos típicos como los casos relevantes ante la pregunta por resolver.
En una primera etapa, al considerar criterios de composición étnica y tamaño de localidad, se seleccionará un subconjunto de localidades del conjunto de la muestra cuantitativa para operar como muestra cualitativa. Dentro de estas localidades, y a partir de la composición demográfica de los hogares, se seleccionarán con propósito hogares en los que haya miembros de la población a ser intervenida (cuadro I).
Estos criterios de selección de la muestra cualitativa buscan capturar la variabilidad máxima de factores estructurales, culturales y sociodemográficos dentro del panel cuantitativo que pueden estar interactuando con el impacto de la SM-2015. La variabilidad dentro de la muestra puede ayudar a comprender las barreras y facilitadores que explican el impacto percibido de la iniciativa.
Plan de análisis
Análisis de implementación
La implementación de las intervenciones de SM-2015 se evaluará en distintos niveles. Primero se analizará el flujo de información entre el nivel central, los departamentos o estados, los municipios y las unidades de salud. En esta fase se busca identificar las cadenas de comunicación que permiten transmitir la información entre los agentes encargados de la operación. Para este análisis se realizarán entrevistas con personal de todos los niveles involucrados.
]]> Por otra parte, en el terreno se analizará la implementación a través de estudios de caso en una selección de unidades de salud. En estas unidades se analizará si el personal de salud cuenta con la información suficiente sobre las actividades relacionadas con el SM-2015 y si cuentan con los elementos necesarios para llevarlas a cabo. Adicionalmente, se entrevistará a usuarios para identificar sus vivencias sobre los cambios en los servicios.Análisis de impacto cuantitativo
Como se señaló en el diseño de la evaluación, se busca medir el impacto de la SM-2015 en un panel de localidades con sus correspondientes unidades de salud de primer y segundo nivel de referencia.
El abordaje general para el análisis consiste en modelos de dobles diferencias,1,14 en los que el impacto se define como la diferencia en los cambios observados en el grupo de intervención temprana y los observados en el grupo de intervención tardía. Para estimar el impacto de SM-2015 en cada país, se considerarán de forma específica variables relevantes que puedan considerarse como fuentes de heterogeneidad en los resultados.** Asimismo, todos los análisis considerarán el diseño de la muestra.23,24
El modelo general para estimar la efectividad de la SM-2015 en un país es:
En donde Yijt es la variable de desenlace del individuo i, residente de la localidad j, entrevistado en el tiempo t (basal, primer seguimiento y segundo seguimiento), y
Pj: variable indicadora del tipo de localidad (intervención/control)
Pj Tt: término de interacción entre la intervención y el tiempo del levantamiento de la información.
It: vector de covariables del individuo u hogar
Lj: vector de variables de localidad
Respecto a los términos de error, estos representan variabilidades no explicadas en el modelo para: el individuo (εi), la localidad (µj) y el tiempo t (θt).
Las variables contenidas en los vectores It y Lj deberán seleccionarse en función de la condición de salud Yijt y del país que se analice.
]]> El plan de análisis para el grupo técnico de enfermedades transmitidas por vector (dengue y paludismo) es similar al anteriormente descrito, con la diferencia de la definición de los grupos de intervención temprana y tardía (la variable Pj), pues en este caso se seguirá un enfoque de regresión discontinua, asignando al grupo de intervención temprana a las localidades con mayor puntaje en los niveles de riesgo. En el caso de que la regionalización por niveles de riesgo de las localidades no sea factible de obtener, se sugiere utilizar un contrafactual teórico, mediante un modelo estructural que estime las diferencias entre los niveles alcanzados por los indicadores de resultado y una meta propuesta.22El abordaje para estimar los efectos de SM-2015 de forma regional dependerá de la homogeneidad de las intervenciones implementadas en los países y de la heterogeneidad de componentes implementados entre países. En un esquema de implementación con un cierto nivel de homogeneidad entre países, se estimarán modelos con efectos diferentes por país. Esta metodología de análisis tiene la fortaleza de analizar posibles efectos heterogéneos entre variables de mismo nivel de agregación (i.e. condición étnica×sexo) e incluso entre variables de diferentes niveles (i.e. condición étnica×país) utilizando toda la muestra.
Análisis cualitativo
Inicialmente, los datos cualitativos de tipo etnográfico basados en un marco teórico constructivista25 serán sistematizados para su análisis. La información recolectada en campo será ordenada en matrices temáticas para un análisis preliminar de cada uno de los subtemas de interés. La sistematización en matrices temáticas permitirá realizar un primer análisis de contenido que alimente el libro de códigos.18,26-28
Una vez terminado el trabajo de campo, los registros electrónicos de audiograbación serán trascritos en formato texto y codificados. Se elaborará un libro de códigos a partir del contenido específico de los instrumentos de recolección de información por tipo de informante, sin embargo, el conjunto de códigos finales será redefinido a partir de los datos cualitativos recolectados en campo y registrados en las matrices temáticas, de acuerdo con los principios de la teoría fundamentada.29 La información cualitativa será sistematizada y analizada usando el programa N-vivo.30
El análisis de los datos sistematizados será guiado por los objetivos y las preguntas de investigación planteados por la evaluación de impacto. Inicialmente, seelaborarán reportes de resultados y análisis para cada país con los resultados desagregados por cada pilar de SM-2015 y por tipo de informante (proveedores y usuarios). El reporte pondrá énfasis en el análisis del impacto de SM-2015 sobre las prácticas y los significados que la población asigna a las mismas, considerando el contexto en el que se experimentan. Además, se elaborará, con base en los resultados de cada país, un análisis FODA(fortalezas, oportunidades, debilidades y amenazas). Con ello se generarán recomendaciones para cada país.
Integración cuanti-cuali
Para la elaboración del reporte regional y por país, se analizarán los datos de manera comparativa desde la triangulación metodológica entre métodos.26,27,31,32
A partir de los resultados obtenidos por país, y con base en una serie de reuniones regionales de análisis entre los equipos, se elaborará un reporte final regional que integre los hallazgos y las conclusiones cuantitativas y cualitativas. El análisis regional deberá tomar en cuenta las diferencias y similitudes entre países, así como las diferentes sinergias creadas por paquetes heterogéneos de intervenciones aplicadas.
Se formulará un conjunto de recomendaciones orientadas a mejorar el SM-2015 y sus componentes, con la perspectiva de contribuir a resolver de un modo más profundo y articulado las problemáticas que enfrentan tanto proveedores como usuarios.
]]>Conclusiones
El diseño de evaluación que se propone asume que existe el compromiso de los actores involucrados con SM-2015 para una evaluación rigurosa; en particular, se requiere de las acciones necesarias de parte de gobiernos y financiadores para mantener el diseño propuesto, en particular la asignación aleatoria a los grupos de intervención temprana y tardía. Decisiones diferentes modificarían la capacidad de la evaluación de identificar los efectos atribuibles, incluso podrían hacer esta estimación no viable.
El diseño de evaluación de impacto que se propone para SM-2015 parte de la utilización de herramientas metodológicas rigurosas que permitan identificar el efecto atribuible a la iniciativa, en un contexto heterogéneo y en el marco de la operación regular de los sistemas de salud.
Es, en ese sentido, una propuesta ambiciosa orientada a generar evidencia que potencialmente podría ser de utilidad más allá de SM-2015. Es, asimismo, un abordaje que en la lógica de la discusión metodológica actual se fundamenta en la combinación de metodologías cuantitativas y cualitativas, con la intención de identificar no únicamente la magnitud de los efectos, si no además entender su significado y el contexto en el que ocurren.
El abordaje claramente tiene también limitaciones importantes. Por un lado, asume la existencia de información detallada sobre los conglomerados que permita la identificación de un contrafactual apropiado, lo cual en principio fue verificado con los representantes de los institutos de estadística de los países.
Por otra parte, depende fuertemente de la disposición de los actores clave para mantener un diseño aleatorizado. Aun si este aspecto fue discutido durante el desarrollo del diseño, es un supuesto que sólo puede confirmarse al tiempo que se vaya cumpliendo.
Se espera que los resultados de la evaluación de SM-2015 se constituyan en evidencia disponible sobre la efectividad de paquetes de intervenciones en salud y nutrición coordinadas y focalizadas.
Agradecimientos
]]> Los representantes de los grupos temáticos contribuyeron importantemente al desarrollo de las ideas para la evaluación, al proporcionar la visión desde su eje temático: Ángel Betanzos (paludismo), Mario Flores (nutrición), Héctor Gómez Dantés (dengue), Wendy González (nutrición), María Isabel Hernández (vacunas), Elvia de la Vara (salud maternal y neonatal), y Dilys Walker (salud maternal y neonatal). El grupo contó con la valiosa participación de asesores internacionales y regionales, que enriquecieron el diseño: Gary Shapiro, Gustavo Ángeles, Graciela Freyermuth, Carla Martínez (El Salvador), Abigail McKay (Belice), Jorine Muiser (Costa Rica), Sergio Rojas (Nicaragua), Gaudencio Rodríguez (Panamá), Claudia Wagner (Guatemala). El financiamiento para este proyecto fue proporcionado por la Fundación Bill y Melinda Gates vía el Public Health Institute.Declaración de conflicto de intereses: Los autores declararon no tener conflicto de intereses.
Referencias
1. Manski CF, Garfinkel I. Evaluating Welfare and Training Programs. Cambridge: Harvard University Press, 2002. [ Links ]
2. Moffit RA, Ver- Ploeg M. Evaluating Welfare Reform in an era of transition. Washington DC: Washington National Academy Press, 2001. [ Links ]
3. Jeniceck M. Foundations of Evidence-Based Medicine. New York: The Partenon Publishing Group, 2003. [ Links ]
]]>4. Lev B. Intangibles: Management, measurement and reporting. Washington DC: Brooking Institution Press, 2001. [ Links ]
5. Bhutta Z, Ahmed T, Black R, Cousens S, Dewey K, Giugliani E, et al. What work? Interventions for maternal and child undernutrition and survival. Lancet 2008;371:417-440. [ Links ]
6. Black R, Allen L, Bhutta Z, Caulfield L, Onis M, Ezzati M, et al. Maternal and child undernutrition: global and regional exposures and health consequences. Lancet 2008;371:243-260. [ Links ]
7. Bryce J, Coitnho D, Darnton-Hill I, Pelletier D, Andersen P. Maternal and child undernutrition: effective action al national level. Lancet 2008;371:510-526. [ Links ]
8. Morris S, Cogill B, Uauy R. Effective international action againt undernutrition: Why has it proven so difficult and what can be done to accelerate progress? Lancet 2008;371:608-621. [ Links ]
]]>9. Victora C, Adair L, Fall C, Hallal PC, Martorell R, Richter L, et al. Maternal and child undernutrition: consequences for adult health and human capital. Lancet 2008;371:340-357. [ Links ]
10. Salud Mesoamericana 2015. [Consultado 2011 enero 12]. Disponible en: http://www.iadb.org/es/salud-mesoamerica-2015/salud-mesoamerica-2015-inicio,1904.html [ Links ]
11. White H. Theory-Based Impact Evaluation: principles and practice. New Delhi: Internation Initiative for Impact Evaluation, 2009. [ Links ]
12. White H. Theory-Based Impact Evaluation: principles and practice. New Delhi: Internation Initiative for Impact Evaluation, 2009. [ Links ]
13. Baker J. Evaluating the impact of Development Projects on Poverty. A Handbook for practitioners. Washington DC: The World Bank, 2000. [ Links ]
14. Lee MJ, Kang C. Identification for difference in differences with cross-section and panel data. Economics Letters 2006;92:270-276. [ Links ]
15. Imbens GW, Rubin DB. Bayesian Inference for causal effects in randomized experiments with noncompliance. The Annals of Statistics 1997;25(1):305-327. [ Links ]
16. Teddlie C, Yu F. Mixed methods sampling: A typology with examples. Methods Research 2007;1(1):77-100. [ Links ]
17. Bertaux D. Los relatos de vida en el análisis social. Historia oral. México DF: Instituto Mora, 1993. [ Links ]
18. Meadows L, Morse J. Constructing evidence within the qualitative project. In: Morse M, Swanson J, Kuzel A, eds. The nature of evidence in qualitative inquiry. Thousand oaks, CA: Sage, 2001:187-202. [ Links ]
19. Patton M. Purposeful Sampling. In Qualitative Evaluation and Research Methods. London: Sage, 1990:169-183. [ Links ]
20. Imai K, King G, Nall C. The essential role of pair matching in Cluster-Randomized Experiments with application to the Mexican Universal Health Insurance Evaluation. Statistical Science 2009;24(1):29-53. [ Links ]
21. Rubin DB. Matched Sampling for Causal Effects. Cambridge: Cambridge University Press, 2006. [ Links ]
22. Lee MJ. Micro-econometrics for policy, program, and treatment effects. Oxford: Oxford University Press, 2005. [ Links ]
23. Lynn P. Methodology of Longitudinal Surveys. West Sussex, UK: Wiley, 2009. [ Links ]
24. Gelman A, Hill J. Data Analysis Using Regression and Multilevel/Hierarchical Models. Cambridge, UK: Cambridge University Press, 2007. [ Links ]
25. Guba E, Lincoln Y. Paradigmas que compiten en la investigación cualitativa. Handbook of Qualitative Research. London: Sage, 1994. [ Links ]
26. Russell B. Research methods in anthropology. Berkeley California: Sage Publications, 1994 [ Links ]
27. Minayo C. La etapa de análisis en los estudios cualitativos. In: Mercado F, Gastaldo D, Calderón C, eds. Investigación cualitativa en salud en Iberoamérica. Guadalajara, México: Universidad de Guadalajara-Centro universitario de Ciencias de la Salud, 2002. [ Links ]
28. Massey A, Walford G. Explorations in methodology, Studies in Educational Ethnography. Stanford: JAI Press, 1999. [ Links ]
29. Glasser B, Strauss A. The discovery of grounded theory Strategies for qualitative research. Chicago: Aldine, 1967. [ Links ]
]]>30. Nvivo. QSR International Pty Ltd Nvivo QSR International Pty Ltd 2007 (Consultado 2011 enero 12). Disponible en: http://www.qsrinternational.com/. [ Links ]
31. Denzin N, Yvonna L. Designing funded qualitative research. Handbook of Qualitative Research. London: SAGE, 1994:220-235. [ Links ]
32. De Souza M, Goncalves S, Ramos E. Evaluación por triangulación de métodos. Abordaje de programas sociales. Buenos Aires: Lugar, 2005. [ Links ]
Autor de correspondencia:
Juan Pablo Gutiérrez ]]>
Centro de Investigación en Evaluación y Encuestas
Instituto Nacional de Salud Pública
Av. Universidad 655, Col. Santa María Ahuacatitlán
62100, Cuernavaca, Morelos, México
Correo electrónico: jpgutier@correo.insp.mx
Fecha de recibido: 12 de enero de 2011
Fecha de aceptado: 7 de junio de 2011
* El contenido de este artículo resume las propuestas de evaluación contenidas en el documento Diseño de la Evaluación de Impacto de la Iniciativa Mesoamericana de Salud: Documento Metodológico, elaborado para Public Health International, en acuerdo con la Fundación Bill y Melinda Gates. ]]>
‡ Integrantes del Subgrupo de Evaluación de Impacto: Elena Aguilar (INE, Panamá), Olga Martha Araya (INEC, Costa Rica), Marlene M de Barrientos (MSPAS, El Salvador), Lizbeth de Benítez (MINSA, Panamá), Luis Blandón Sequeira (INIDE, Nicaragua), Luis Carballo Palma (MINSA, Nicaragua), Roberto Castillo (INE, Panamá), Roberto Dinarte (INEC, Costa Rica), Zoila Albina Guerra (MINSA, Guatemala), Reyna Hernández (MINSA, El Salvador), Tamara Obispo (MSPAS, Guatemala), Miguel Orozco (CIES, Nicaragua), Blanca Angélica Ramírez (INE, Guatemala), William F. Sánchez (Estadística y Censos, El Salvador), Gerardo Solano (MINSA, Costa Rica), Ilsa Tejada (MINSA, Panamá), Ilka Urriola (MINSA, Panamá), Marcela Zuñiga (INE, Honduras), Sergio Meneses (INSP, México)
** Por ejemplo, variables indicadoras por entidad federativa oprovincia.