text new page (beta)
Spanish (pdf)
Article in xml format
Article references
Automatic translation
Send this article by e-mail
Cited by SciELO 
Similars in
SciELO 
Permalink
Introducción
El Sistema de Salud de México está compuesto principalmente por instituciones de seguridad social, para trabajadores asalariados: Secretaría de Salud (SSa) a través del Sistema de Protección Social en Salud (Seguro Popular), para los no asalariados o autoempleados, e instituciones del sector privado. En la SSa, los institutos nacionales de salud y hospitales de alta especialidad realizan investigación clínica y son referente nacional para la atención de alta especialidad. Estas entidades están agrupadas en la Comisión Coordinadora de los Institutos Nacionales de Salud y Hospitales de Alta Especialidad (CCINSHAE).
El fortalecimiento del Sistema de Información en Salud (SIS) de México es una prioridad reconocida a nivel nacional e internacional.1,2,3 Si bien hay avances al respecto4,5- como la implementación del expediente electrónico3-, existen deficiencias importantes, en particular, en los indicadores de calidad de la atención.3,4,6,7 Sólo fue posible reportar ocho de los 52 Health Care Quality Indicators, de la Organización para la Cooperación y Desarrollo Económicos (OCDE) en 2015;4 además, el Sistema Nacional de Indicadores de Calidad en Salud (Indicas), obligatorio para las dependencias públicas, no resiste análisis de validez y confiabilidad.6 Esto ha limitado la capacidad para evaluar y monitorizar las estrategias y programas nacionales para mejorar la calidad de los servicios de salud.6,8
Corresponde a la CCINSHAE ejercer liderazgo para la monitorización y mejora de la calidad de la atención médica en el país. Por ello, en 2015, inició un proyecto con el objetivo de desarrollar e implementar un sistema de indicadores de calidad de la atención válidos, fiables y útiles para un subgrupo de institutos/hospitales y para la propia CCINSHAE, que permitieran la comparación internacional. Este artículo presenta el proceso de selección, priorización y estudio piloto de estos indicadores, así como los resultados iniciales de su implementación.
Material y métodos
Estudio multietápico con metodología cualicuantitativa, realizado entre enero de 2015 y abril de 2016. Incluyó las fases: a) selección de indicadores para comparación nacional e internacional; b) priorización por panel de expertos de diversas especialidades; c) exploración de fuentes de información y estudio piloto, y d) primeras mediciones y comparación de resultados.
Selección de indicadores
Para obtener un set de indicadores válidos y aceptados internacionalmente, se utilizaron los propuestos, tanto por Centers for Medicare and Medicaid Services (CMS)9-que incluyen indicadores de la Agency for Healthcare Research and Quality, Centers for Disease Control and Prevention y The Joint Commission-, como por la OCDE.10
Priorización de indicadores
Se estableció un grupo de trabajo multidisciplinario con directores médicos, gestores de calidad y funcionarios de la CCINSHAE. Mediante un grupo nominal (TGN)11 con 26 participantes, quienes individualmente calificaron cada indicador, 1 (menor) a 5 (mayor), en tres criterios: a) utilidad para la mejora de la calidad y la toma de decisiones; b) factibilidad de medición, y c) confiabilidad de la información disponible. Se sumaron puntos y los porcentajes se ajustaron por el máximo puntaje alcanzable para cada criterio y para el conjunto de ellos. Se establecieron tres grupos: 1) puntajes >70% en los tres criterios (indicadores clave); 2) puntaje >70% en utilidad y factibilidad, y 3) puntaje >70% sólo en utilidad, para los que se requeriría implementar el registro de datos. En reuniones consecutivas el grupo de trabajo discutió los resultados e integró las fichas técnicas de los indicadores en un formato estandarizado.12,13
Exploración de fuentes de información y estudio piloto de los indicadores
Para la implementación del primer grupo de indicadores, en mayo 2015 se realizó un estudio exploratorio de fuentes de información para valorar factibilidad y un piloto de validación local para comprobar empíricamente su fiabilidad.14,15,16
Exploración de fuentes de información
Tres investigadores realizaron visitas exploratorias a seis hospitales, seleccionados por conveniencia en el grupo de trabajo. El criterio fue aceptar una visita para identificar las fuentes de datos de los indicadores (bases electrónicas, expedientes clínicos, registros o bitácoras de diferentes áreas de control como urgencias, laboratorio o epidemiología), y tener una idea más precisa sobre la factibilidad de su medición. Posteriormente, se clasificaron los indicadores en tres categorías: 1) con datos necesarios para su medición e implementación inmediata, 2) con fuentes de datos incompletas o de difícil manejo, factibles a corto plazo, y 3) sin datos para su medición y no factibles a corto plazo.
Estudio piloto: valoración de factibilidad y fiabilidad
El estudio piloto se hizo en uno de los dos establecimientos con más indicadores en categoría 1. Con apoyo de la CCINSHAE, se aportaron sugerencias para mejorar las fuentes de datos y hacer factible la medición de los restantes. Se realizó un estudio retrospectivo del último trimestre de 2014 por tres evaluadores externos e independientes y un evaluador interno. Se tomaron todos los datos del periodo para indicadores basados en registros electrónicos -Sistema Automatizado de Egresos Hospitalarios y registros administrativos del hospital- o en papel -censos y bitácoras de urgencias, epidemiología y laboratorio-. Para los expedientes clínicos, se tomó una muestra aleatoria sistemática de 15 casos por indicador o por estrato. En estos últimos se calculó la fiabilidad interobservador usando concordancia observada (Po) e índice kappa (κ) para múltiples evaluadores,17interpretado según los criterios de Landis y Koch,18 y valorando la presencia de prevalencia extrema (≤15% o ≥85%) que desvían κ hacia 0.19
Implementación de los indicadores pilotados: primeras mediciones
Con base en los resultados del piloto, CCINSHAE e INSP organizaron dos talleres. El objetivo del primero fue mejorar y unificar la técnica de identificación de Staphylococcus aureus; a éste asistieron 20 profesionales de ocho establecimientos. Al segundo acudieron 50 profesionales de 12 establecimientos y el objetivo fue mejorar la integración de información entre áreas y capacitar en el monitoreo de infecciones nosocomiales.
Para observar la mejora de los registros y consolidar el sistema de evaluación, se dio seguimiento con mediciones en octubre de 2015 y marzo de 2016. La participación de los hospitales en las intervenciones y en el reporte de seguimiento fue voluntaria y abierta a todos los institutos/hospitales coordinados por la CCINSHAE.
Los análisis estadísticos (estimación puntual de cumplimiento e intervalo de confianza a 95% para muestras, y promedios de periodos agregados) fueron realizados en hojas de cálculo automatizadas y en Stata 13.
Resultados
Selección de indicadores
De CMS9 y OCDE,10 se obtuvo un listado de 143 indicadores agrupados en información general (8); experiencia del paciente (36); efectividad y oportunidad (49); complicaciones y readmisión (31), e indicadores no clasificados de otra forma (19).
Priorización de indicadores
Como resultado de la TGN, se priorizaron 64 indicadores de los 143 propuestos: al primer grupo (>70% en los tres criterios) correspondieron ocho indicadores; al segundo (>70% en utilidad y factibilidad),12 indicadores, y al tercero (>70% en utilidad), 15 indicadores. Dado que la experiencia del paciente es una dimensión de gran relevancia, se decidió reservar los indicadores de este tema para incorporarlos al diseño de un sistema de monitorización específico. El resto de indicadores (79) fueron descartados por no alcanzar los criterios establecidos. La figura 1 muestra la priorización. El grupo inicial de ocho indicadores se describe de forma resumida en el cuadro I. Los indicadores considerados y los resultados de la priorización y sus fichas técnicas pueden revisarse en línea.20
Exploración de fuentes de información
Los resultados de esta etapa (figura 2) muestran que, del primer grupo de ocho indicadores, sólo uno (lista de verificación de cirugía segura) podría medirse en todos los hospitales. En ningún hospital sería posible medir los ocho indicadores de forma inmediata.
* El indicador y la fuente de datos que se exploró en estas visitas corresponde con lo descrito en el cuadro I. IAMAE: indicador de la atención médica en la alta especialidad; LVCS: lista de verificación de cirugía segura; P: pacientes; PS: profesionales de la salud; CLABSI: bacteriemia asociada con catéter en línea central; CAUTI: infección tracto urinario asociada con sonda; SARM: Infección por Staphylococcus aureus resistentes a meticilina
Figura 2 Resultados de factibilidad obtenidos de las visitas exploratorias. Indicadores de calidad de la atención. Análisis cualitativo generado en las visitas a los establecimientos voluntarios. Proyecto IAMAE, Ciudad de México y Estado de México, Mayo 2015
Estudio piloto: valoración de factibilidad y fiabilidad
Los resultados de factibilidad y fiabilidad se muestran en el cuadro II. Se observa que se pudo medir a tres de los ocho indicadores, en algunos casos con fiabilidad deficiente. La mayoría de los indicadores, aun cuando existía información, requerían una explotación más estructurada y mejor definida de las fuentes de información.
Cuadro II Resultados estudio piloto: factibilidad y fiabilidad de los indicadores seleccionados. Indicadores de la calidad de la atención. Evaluación directa en el hospital piloto. Proyecto IAMAE, Ciudad de México. 4° trimestre de 2014 y 1° trimestre de 2015
* Índice Kappa para múltiples evaluadores (Kappa de Fleiss) sólo para variables binomiales o categóricas
‡ Concordancia observada para múltiples evaluadores
§ No hubo suficientes casos
IAMAE: indicador de atención médica en alta especialidad; na, no aplica
Implementación de los indicadores pilotados: resultados preliminares
Después del piloto, se afinaron fichas técnicas y formatos de captura. Se expusieron al grupo los resultados obtenidos y se distribuyó un listado de recomendaciones, ofreciendo asesoría individualizada.
Cuatro meses después de realizados los talleres descritos en el apartado metodológico, se solicitó al grupo un reporte de resultados de los indicadores. En este ejercicio participaron ocho hospitales (seis institutos nacionales, un Hospital Regional de Alta Especialidad (HRAE) y un hospital federal). Ninguno pudo reportar los ocho indicadores. Tres hospitales no reportaron nada y el máximo fue de cinco indicadores. Algunos establecimientos declararon que no podían medir aún (indicador “no disponible”, ND), otros no daban explicación alguna (“no reportado”, NR), situación que impidió cualquier retroalimentación.
La calidad de la información obtenida en esta etapa fue variable. Las deficiencias más comunes fueron que no todos reportaron los mismos periodos de tiempo y hubo confusión en la desagregación por área hospitalaria de los indicadores “estancia media” e “infecciones nosocomiales”.
En vista de estas deficiencias, se realizó una nueva reunión en la que se presentaron los resultados, se distribuyó entre los participantes un resumen de problemas encontrados en el reporte y se organizó un taller de capacitación específica sobre monitorización de infecciones sanguíneas asociadas con línea central (CLABSI), infecciones asociadas con catéter urinario (CAUTI) e infecciones asociadas con atención invasiva de Staphylococcus aureus resistente a meticilina (SARM).
Seguimiento
Al reportar el primer trimestre de 2016, se observó que la implementación y medición avanzó y que hubo más indicadores y más hospitales que enviaron datos. La calidad de la información fue variable. Los problemas fueron la periodicidad del reporte y la realización de estimaciones correctas a partir de muestras. Menos frecuente, pero grave, las estratificaciones que permitirían un ajuste de los indicadores para su comparación -como la desagregación por área hospitalaria o por capítulos de la Clasificación Internacional de Enfermedades para el indicador “estancia media”- no se realizaban o eran deficientes. Los indicadores con mayores problemas de implementación fueron “inmunización de influenza en pacientes” e “infección por Staphyloccocus aureus”.
Resultados de los indicadores
Los resultados del segundo reporte de seguimiento (cuadro III) muestran que la medición y reporte no son homogéneos. Destaca el bajo cumplimiento de la inmunización de influenza en pacientes (26.8% promedio, cuatro hospitales) en los que no se explora la vacunación, o se explora pero no se vacuna; y la variabilidad de inmunización en personal de salud (de 17.6 a 72%, en 8 de 9 hospitales). Asimismo, la tasa de infecciones por sonda urinaria, más frecuente que las demás infecciones, fue variable en cada hospital, y llegó a alcanzar valores de hasta 15.72/1000 días-sonda. La estancia media, 6.4 días promedio, varía entre 5 y 9.5 días.
Cuadro III Resultado de los indicadores (enero-marzo 2016) en nueve hospitales de alta especialidad. Datos reportados por hospitales participantes. Proyecto IAMAE, Ciudad de México y Edo. México. 1er Trimestre 2016
* Hospitales clasificados según figura 2 (se incorporan 4 más)
‡ Porcentaje de ítems verificados en total (± IC 95%)
§ Promedio de días de estancia de todo el hospital
$ Porcentaje de hospitalizados (volumen total atendidos en urgencias en el trimestre)
& Porcentaje global de vacunación para cada indicador, sin muestreo
≠Rango para las tasas mensuales de infecciones por 1 000 días-catéter, por 1000 días-sonda y por 1000 días-paciente, respectivamente
LVCS: lista de verificación de cirugía segura; P: pacientes; PS: profesionales de la salud; CLABSI: infecciones asociadas con catéter en línea central; CAUTI: infecciones asociadas asociadas con sonda urinaria; SARM: infecciones asociadas con atención por Staphylococcus aureus resistente a meticilina; NA: no aplicable;
ND: no disponible (en proceso de implementación); NR: no reportado (sin datos sobre su implementación)
Discusión
El consenso en la priorización de indicadores (TGN)11,21no significa necesariamente que se haya logrado el mejor resultado posible, debido al riesgo de perpetuar inercias quizá relacionadas con la zona de confort de los participantes.21 En consonancia, no obstante su aparente factibilidad, no fue posible medir los ocho indicadores seleccionados al inicio, en gran parte por las debilidades de las fuentes de datos. La insuficiencia o inexistencia de fuentes confiables para la mejora o la toma de decisiones parece ser un problema sistémico en México. Investigaciones previas mostraron deficiencias importantes en el Indicas6 en las matrices de indicadores de resultado de prácticamente todo el sector salud7 y en el Sistema de Información en Salud (SIS) de México.4Los resultados de este estudio confirman y subrayan que indicadores nuevos, aunque sean de alto nivel de evidencia o claridad de definición, no deben ser medidos sin antes comprobar las fuentes de datos que los alimentaran y asegurar su confiabilidad.
Un resultado evidente es la variabilidad de fuentes y métodos, tanto intra como entre hospitales. Cuando se refiere a mediciones mensuales (indicadores de infecciones), es clara la potencial utilidad de los indicadores pilotados para identificar oportunidades de mejora diferenciadas por establecimiento. Por ejemplo, la estancia media promedio es mayor que la reportada por OCDE para México (3.6 para 2014),22 diferencia quizá justificada por la mayor complejidad de estos hospitales. Parece evidente la necesidad de ajustar por tipo de paciente o servicio, lo cual no fue posible por deficiencias en los datos existentes.
En CLABSI, lo encontrado en dos hospitales es consistente con lo esperado según la guía de práctica clínica nacional23 y Medicare Compare.24 Otros hospitales reportaron tasas inferiores y algunos una incidencia mayor al promedio; no obstante, se requiere de un análisis más riguroso para efectuar comparaciones. Igual ocurre con SARM, con valores similares a los reportados para Estados Unidos de América (tasa anual de 0.06), mientras que CAUTI presenta, en general, valores mayores (tasa anual de 1.73 en EUA). Implementar los indicadores en otros hospitales públicos de alta especialidad y consolidar la monitorización permitiría continuar la investigación en este sentido.
Otros indicadores, como inmunización para influenza, no necesitan ajuste y proveen información directa de deficiencias en la calidad de los procesos. Sus valores podrían ser comparados con otros países -por ejemplo, con Estados Unidos de América, con los porcentajes nacionales (94% influenza en pacientes y 84% en profesionales de salud en la temporada estacional 2014-2015)25 o bien con hospitales específicos-. No obstante, todos los indicadores necesitarán una validación apropiada cuando se consolide su implementación.
Es la primera vez que los institutos/hospitales de la CCINSHAE realizan un ejercicio de consenso para contar con un sistema de monitorización de la calidad. Internacionalmente, hay pocas publicaciones sobre el desarrollo de indicadores para hospitales especializados; es común que la monitorización en tercer nivel se considere junto con los hospitales de segundo nivel,9,26,27lo que podría implicar dificultades al no reconocer necesidades específicas. Destaca la oportunidad de desarrollar un sistema de monitorización para hospitales de alta especialidad que permita comparaciones nacionales e internacionales y que podría formar parte de un sistema integral de monitorización de la calidad de la atención médica para todo el sector público.6,28,29
Conclusiones
No fue posible medir de forma inmediata los ocho indicadores priorizados de un conjunto utilizado internacionalmente, a pesar de que aparentemente existen fuentes de datos necesarias para su construcción. Sin exploración previa de las fuentes de información ni estudio piloto para asegurar la confiabilidad de la medición de los indicadores, la monitorización de la calidad carece del rigor necesario para ser útil y creíble. Aún es largo el camino para contar con un sistema de indicadores de calidad que permita hacer comparaciones nacionales e internacionales.
