SciELO - Scientific Electronic Library Online

 
vol.59 issue3Lead poisoning and marginalization in newborns of Morelos, MexicoTeenagers’ access to contraception in Mexico City author indexsubject indexsearch form
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

  • Have no similar articlesSimilars in SciELO

Share


Salud Pública de México

Print version ISSN 0036-3634

Salud pública Méx vol.59 n.3 Cuernavaca May./Jun. 2017

http://dx.doi.org/10.21149/8228 

Artículos originales

Implementación de indicadores de calidad de la atención en hospitales públicos de tercer nivel en México

Implementation of quality of care indicators for third-level public hospitals in Mexico

Pedro Jesús Saturno-Hernández, PhD1 

Ismael Martínez-Nicolás, PhD1  * 

Ofelia Poblano-Verástegui, D en C1 

José de Jesús Vértiz-Ramírez, Mtro1 

Erasto Cosme Suárez-Ortiz, Esp Gastr2 

Manuel Magaña-Izquierdo, MASS2 

Simón Kawa-Karasik, Esp Gen2 

1 Centro de Investigación en Evaluación y Encuestas, Instituto Nacional de Salud Pública. Cuernavaca, México.

2Representantes del Grupo de Trabajo de los Indicadores de Atención Médica en Alta Especialidad (IAMAE), Comisión Coordinadora de los Institutos Nacionales de Salud y Hospitales de Alta Especialidad. Ciudad de México, México.

Resumen:

Objetivo:

Seleccionar, pilotar e implementar un set de indicadores para hospitales públicos de tercer nivel.

Material y métodos:

Estudio cuali-cuantitativo en cuatro etapas: identificación de indicadores usados internacionalmente; selección y priorización por utilidad, factibilidad y confiabilidad; exploración de la calidad de fuentes de información en seis hospitales y piloto de factibilidad y fiabilidad, y medición de seguimiento.

Resultados:

De 143 indicadores, se seleccionaron 64 y priorizaron ocho. La exploración reveló fuentes de información deficientes. En el piloto, tres indicadores resultaron factibles con fiabilidad limitada. Se realizaron talleres para mejorar registros y fuentes de información; nueve hospitales reportaron mediciones de un trimestre.

Conclusiones:

No fue posible medir los ocho indicadores priorizados de forma inmediata debido a limitaciones en las fuentes de datos para su construcción. Es necesario mejorar mecanismos de registro y procesamiento de datos en este grupo de hospitales.

Palabras clave: monitorización; calidad de la atención de salud; indicadores de calidad de la atención a la salud; sistemas de información; México

Abstract:

Objective:

To select, pilot test and implement a set of indicators for tertiary public hospitals.

Materials and methods:

Quali-quantitative study in four stages: identification of indicators used internationally; selection and prioritization by utility, feasibility and reliability; exploration of the quality of sources of information in six hospitals; pilot feasibility and reliability, and follow-up measurement.

Results:

From 143 indicators, 64 were selected and eight were prioritized. The scan revealed sources of information deficient. In the pilot, three indicators were feasible with reliability limited. Has conducted workshops to improve records and sources of information; nine hospitals reported measurements of a quarter.

Conclusions:

Eight priority indicators could not be measured immediately due to limitations in the data sources for its construction. It is necessary to improve mechanisms of registration and processing of data in this group of hospital.

Keywords: monitoring; quality of healthcare; quality indicators; information systems; Mexico

Introducción

El Sistema de Salud de México está compuesto principalmente por instituciones de seguridad social, para trabajadores asalariados: Secretaría de Salud (SSa) a través del Sistema de Protección Social en Salud (Seguro Popular), para los no asalariados o autoempleados, e instituciones del sector privado. En la SSa, los institutos nacionales de salud y hospitales de alta especialidad realizan investigación clínica y son referente nacional para la atención de alta especialidad. Estas entidades están agrupadas en la Comisión Coordinadora de los Institutos Nacionales de Salud y Hospitales de Alta Especialidad (CCINSHAE).

El fortalecimiento del Sistema de Información en Salud (SIS) de México es una prioridad reconocida a nivel nacional e internacional.1,2,3 Si bien hay avances al respecto4,5- como la implementación del expediente electrónico3-, existen deficiencias importantes, en particular, en los indicadores de calidad de la atención.3,4,6,7 Sólo fue posible reportar ocho de los 52 Health Care Quality Indicators, de la Organización para la Cooperación y Desarrollo Económicos (OCDE) en 2015;4 además, el Sistema Nacional de Indicadores de Calidad en Salud (Indicas), obligatorio para las dependencias públicas, no resiste análisis de validez y confiabilidad.6 Esto ha limitado la capacidad para evaluar y monitorizar las estrategias y programas nacionales para mejorar la calidad de los servicios de salud.6,8

Corresponde a la CCINSHAE ejercer liderazgo para la monitorización y mejora de la calidad de la atención médica en el país. Por ello, en 2015, inició un proyecto con el objetivo de desarrollar e implementar un sistema de indicadores de calidad de la atención válidos, fiables y útiles para un subgrupo de institutos/hospitales y para la propia CCINSHAE, que permitieran la comparación internacional. Este artículo presenta el proceso de selección, priorización y estudio piloto de estos indicadores, así como los resultados iniciales de su implementación.

Material y métodos

Estudio multietápico con metodología cualicuantitativa, realizado entre enero de 2015 y abril de 2016. Incluyó las fases: a) selección de indicadores para comparación nacional e internacional; b) priorización por panel de expertos de diversas especialidades; c) exploración de fuentes de información y estudio piloto, y d) primeras mediciones y comparación de resultados.

Selección de indicadores

Para obtener un set de indicadores válidos y aceptados internacionalmente, se utilizaron los propuestos, tanto por Centers for Medicare and Medicaid Services (CMS)9-que incluyen indicadores de la Agency for Healthcare Research and Quality, Centers for Disease Control and Prevention y The Joint Commission-, como por la OCDE.10

Priorización de indicadores

Se estableció un grupo de trabajo multidisciplinario con directores médicos, gestores de calidad y funcionarios de la CCINSHAE. Mediante un grupo nominal (TGN)11 con 26 participantes, quienes individualmente calificaron cada indicador, 1 (menor) a 5 (mayor), en tres criterios: a) utilidad para la mejora de la calidad y la toma de decisiones; b) factibilidad de medición, y c) confiabilidad de la información disponible. Se sumaron puntos y los porcentajes se ajustaron por el máximo puntaje alcanzable para cada criterio y para el conjunto de ellos. Se establecieron tres grupos: 1) puntajes >70% en los tres criterios (indicadores clave); 2) puntaje >70% en utilidad y factibilidad, y 3) puntaje >70% sólo en utilidad, para los que se requeriría implementar el registro de datos. En reuniones consecutivas el grupo de trabajo discutió los resultados e integró las fichas técnicas de los indicadores en un formato estandarizado.12,13

Exploración de fuentes de información y estudio piloto de los indicadores

Para la implementación del primer grupo de indicadores, en mayo 2015 se realizó un estudio exploratorio de fuentes de información para valorar factibilidad y un piloto de validación local para comprobar empíricamente su fiabilidad.14,15,16

Exploración de fuentes de información

Tres investigadores realizaron visitas exploratorias a seis hospitales, seleccionados por conveniencia en el grupo de trabajo. El criterio fue aceptar una visita para identificar las fuentes de datos de los indicadores (bases electrónicas, expedientes clínicos, registros o bitácoras de diferentes áreas de control como urgencias, laboratorio o epidemiología), y tener una idea más precisa sobre la factibilidad de su medición. Posteriormente, se clasificaron los indicadores en tres categorías: 1) con datos necesarios para su medición e implementación inmediata, 2) con fuentes de datos incompletas o de difícil manejo, factibles a corto plazo, y 3) sin datos para su medición y no factibles a corto plazo.

Estudio piloto: valoración de factibilidad y fiabilidad

El estudio piloto se hizo en uno de los dos establecimientos con más indicadores en categoría 1. Con apoyo de la CCINSHAE, se aportaron sugerencias para mejorar las fuentes de datos y hacer factible la medición de los restantes. Se realizó un estudio retrospectivo del último trimestre de 2014 por tres evaluadores externos e independientes y un evaluador interno. Se tomaron todos los datos del periodo para indicadores basados en registros electrónicos -Sistema Automatizado de Egresos Hospitalarios y registros administrativos del hospital- o en papel -censos y bitácoras de urgencias, epidemiología y laboratorio-. Para los expedientes clínicos, se tomó una muestra aleatoria sistemática de 15 casos por indicador o por estrato. En estos últimos se calculó la fiabilidad interobservador usando concordancia observada (Po) e índice kappa (κ) para múltiples evaluadores,17interpretado según los criterios de Landis y Koch,18 y valorando la presencia de prevalencia extrema (≤15% o ≥85%) que desvían κ hacia 0.19

Implementación de los indicadores pilotados: primeras mediciones

Con base en los resultados del piloto, CCINSHAE e INSP organizaron dos talleres. El objetivo del primero fue mejorar y unificar la técnica de identificación de Staphylococcus aureus; a éste asistieron 20 profesionales de ocho establecimientos. Al segundo acudieron 50 profesionales de 12 establecimientos y el objetivo fue mejorar la integración de información entre áreas y capacitar en el monitoreo de infecciones nosocomiales.

Para observar la mejora de los registros y consolidar el sistema de evaluación, se dio seguimiento con mediciones en octubre de 2015 y marzo de 2016. La participación de los hospitales en las intervenciones y en el reporte de seguimiento fue voluntaria y abierta a todos los institutos/hospitales coordinados por la CCINSHAE.

Los análisis estadísticos (estimación puntual de cumplimiento e intervalo de confianza a 95% para muestras, y promedios de periodos agregados) fueron realizados en hojas de cálculo automatizadas y en Stata 13.

Resultados

Selección de indicadores

De CMS9 y OCDE,10 se obtuvo un listado de 143 indicadores agrupados en información general (8); experiencia del paciente (36); efectividad y oportunidad (49); complicaciones y readmisión (31), e indicadores no clasificados de otra forma (19).

Priorización de indicadores

Como resultado de la TGN, se priorizaron 64 indicadores de los 143 propuestos: al primer grupo (>70% en los tres criterios) correspondieron ocho indicadores; al segundo (>70% en utilidad y factibilidad),12 indicadores, y al tercero (>70% en utilidad), 15 indicadores. Dado que la experiencia del paciente es una dimensión de gran relevancia, se decidió reservar los indicadores de este tema para incorporarlos al diseño de un sistema de monitorización específico. El resto de indicadores (79) fueron descartados por no alcanzar los criterios establecidos. La figura 1 muestra la priorización. El grupo inicial de ocho indicadores se describe de forma resumida en el cuadro I. Los indicadores considerados y los resultados de la priorización y sus fichas técnicas pueden revisarse en línea.20

Figura 1 Proceso de selección y priorización. Indicadores de calidad de la atención 

Cuadro I Indicadores priorizados utilizados en el estudio de factibilidad y piloto. Indicadores de calidad de la atención 

IAMAE: indicador de atención médica en alta especialidad

Exploración de fuentes de información

Los resultados de esta etapa (figura 2) muestran que, del primer grupo de ocho indicadores, sólo uno (lista de verificación de cirugía segura) podría medirse en todos los hospitales. En ningún hospital sería posible medir los ocho indicadores de forma inmediata.

* El indicador y la fuente de datos que se exploró en estas visitas corresponde con lo descrito en el cuadro I. IAMAE: indicador de la atención médica en la alta especialidad; LVCS: lista de verificación de cirugía segura; P: pacientes; PS: profesionales de la salud; CLABSI: bacteriemia asociada con catéter en línea central; CAUTI: infección tracto urinario asociada con sonda; SARM: Infección por Staphylococcus aureus resistentes a meticilina

Figura 2 Resultados de factibilidad obtenidos de las visitas exploratorias. Indicadores de calidad de la atención. Análisis cualitativo generado en las visitas a los establecimientos voluntarios. Proyecto IAMAE, Ciudad de México y Estado de México, Mayo 2015 

Estudio piloto: valoración de factibilidad y fiabilidad

Los resultados de factibilidad y fiabilidad se muestran en el cuadro II. Se observa que se pudo medir a tres de los ocho indicadores, en algunos casos con fiabilidad deficiente. La mayoría de los indicadores, aun cuando existía información, requerían una explotación más estructurada y mejor definida de las fuentes de información.

Cuadro II Resultados estudio piloto: factibilidad y fiabilidad de los indicadores seleccionados. Indicadores de la calidad de la atención. Evaluación directa en el hospital piloto. Proyecto IAMAE, Ciudad de México. 4° trimestre de 2014 y 1° trimestre de 2015 

* Índice Kappa para múltiples evaluadores (Kappa de Fleiss) sólo para variables binomiales o categóricas

Concordancia observada para múltiples evaluadores

§ No hubo suficientes casos

IAMAE: indicador de atención médica en alta especialidad; na, no aplica

Implementación de los indicadores pilotados: resultados preliminares

Después del piloto, se afinaron fichas técnicas y formatos de captura. Se expusieron al grupo los resultados obtenidos y se distribuyó un listado de recomendaciones, ofreciendo asesoría individualizada.

Cuatro meses después de realizados los talleres descritos en el apartado metodológico, se solicitó al grupo un reporte de resultados de los indicadores. En este ejercicio participaron ocho hospitales (seis institutos nacionales, un Hospital Regional de Alta Especialidad (HRAE) y un hospital federal). Ninguno pudo reportar los ocho indicadores. Tres hospitales no reportaron nada y el máximo fue de cinco indicadores. Algunos establecimientos declararon que no podían medir aún (indicador “no disponible”, ND), otros no daban explicación alguna (“no reportado”, NR), situación que impidió cualquier retroalimentación.

La calidad de la información obtenida en esta etapa fue variable. Las deficiencias más comunes fueron que no todos reportaron los mismos periodos de tiempo y hubo confusión en la desagregación por área hospitalaria de los indicadores “estancia media” e “infecciones nosocomiales”.

En vista de estas deficiencias, se realizó una nueva reunión en la que se presentaron los resultados, se distribuyó entre los participantes un resumen de problemas encontrados en el reporte y se organizó un taller de capacitación específica sobre monitorización de infecciones sanguíneas asociadas con línea central (CLABSI), infecciones asociadas con catéter urinario (CAUTI) e infecciones asociadas con atención invasiva de Staphylococcus aureus resistente a meticilina (SARM).

Seguimiento

Al reportar el primer trimestre de 2016, se observó que la implementación y medición avanzó y que hubo más indicadores y más hospitales que enviaron datos. La calidad de la información fue variable. Los problemas fueron la periodicidad del reporte y la realización de estimaciones correctas a partir de muestras. Menos frecuente, pero grave, las estratificaciones que permitirían un ajuste de los indicadores para su comparación -como la desagregación por área hospitalaria o por capítulos de la Clasificación Internacional de Enfermedades para el indicador “estancia media”- no se realizaban o eran deficientes. Los indicadores con mayores problemas de implementación fueron “inmunización de influenza en pacientes” e “infección por Staphyloccocus aureus”.

Resultados de los indicadores

Los resultados del segundo reporte de seguimiento (cuadro III) muestran que la medición y reporte no son homogéneos. Destaca el bajo cumplimiento de la inmunización de influenza en pacientes (26.8% promedio, cuatro hospitales) en los que no se explora la vacunación, o se explora pero no se vacuna; y la variabilidad de inmunización en personal de salud (de 17.6 a 72%, en 8 de 9 hospitales). Asimismo, la tasa de infecciones por sonda urinaria, más frecuente que las demás infecciones, fue variable en cada hospital, y llegó a alcanzar valores de hasta 15.72/1000 días-sonda. La estancia media, 6.4 días promedio, varía entre 5 y 9.5 días.

Cuadro III Resultado de los indicadores (enero-marzo 2016) en nueve hospitales de alta especialidad. Datos reportados por hospitales participantes. Proyecto IAMAE, Ciudad de México y Edo. México. 1er Trimestre 2016 

* Hospitales clasificados según figura 2 (se incorporan 4 más)

Porcentaje de ítems verificados en total (± IC 95%)

§ Promedio de días de estancia de todo el hospital

$ Porcentaje de hospitalizados (volumen total atendidos en urgencias en el trimestre)

& Porcentaje global de vacunación para cada indicador, sin muestreo

Rango para las tasas mensuales de infecciones por 1 000 días-catéter, por 1000 días-sonda y por 1000 días-paciente, respectivamente

LVCS: lista de verificación de cirugía segura; P: pacientes; PS: profesionales de la salud; CLABSI: infecciones asociadas con catéter en línea central; CAUTI: infecciones asociadas asociadas con sonda urinaria; SARM: infecciones asociadas con atención por Staphylococcus aureus resistente a meticilina; NA: no aplicable;

ND: no disponible (en proceso de implementación); NR: no reportado (sin datos sobre su implementación)

Discusión

El consenso en la priorización de indicadores (TGN)11,21no significa necesariamente que se haya logrado el mejor resultado posible, debido al riesgo de perpetuar inercias quizá relacionadas con la zona de confort de los participantes.21 En consonancia, no obstante su aparente factibilidad, no fue posible medir los ocho indicadores seleccionados al inicio, en gran parte por las debilidades de las fuentes de datos. La insuficiencia o inexistencia de fuentes confiables para la mejora o la toma de decisiones parece ser un problema sistémico en México. Investigaciones previas mostraron deficiencias importantes en el Indicas6 en las matrices de indicadores de resultado de prácticamente todo el sector salud7 y en el Sistema de Información en Salud (SIS) de México.4Los resultados de este estudio confirman y subrayan que indicadores nuevos, aunque sean de alto nivel de evidencia o claridad de definición, no deben ser medidos sin antes comprobar las fuentes de datos que los alimentaran y asegurar su confiabilidad.

Un resultado evidente es la variabilidad de fuentes y métodos, tanto intra como entre hospitales. Cuando se refiere a mediciones mensuales (indicadores de infecciones), es clara la potencial utilidad de los indicadores pilotados para identificar oportunidades de mejora diferenciadas por establecimiento. Por ejemplo, la estancia media promedio es mayor que la reportada por OCDE para México (3.6 para 2014),22 diferencia quizá justificada por la mayor complejidad de estos hospitales. Parece evidente la necesidad de ajustar por tipo de paciente o servicio, lo cual no fue posible por deficiencias en los datos existentes.

En CLABSI, lo encontrado en dos hospitales es consistente con lo esperado según la guía de práctica clínica nacional23 y Medicare Compare.24 Otros hospitales reportaron tasas inferiores y algunos una incidencia mayor al promedio; no obstante, se requiere de un análisis más riguroso para efectuar comparaciones. Igual ocurre con SARM, con valores similares a los reportados para Estados Unidos de América (tasa anual de 0.06), mientras que CAUTI presenta, en general, valores mayores (tasa anual de 1.73 en EUA). Implementar los indicadores en otros hospitales públicos de alta especialidad y consolidar la monitorización permitiría continuar la investigación en este sentido.

Otros indicadores, como inmunización para influenza, no necesitan ajuste y proveen información directa de deficiencias en la calidad de los procesos. Sus valores podrían ser comparados con otros países -por ejemplo, con Estados Unidos de América, con los porcentajes nacionales (94% influenza en pacientes y 84% en profesionales de salud en la temporada estacional 2014-2015)25 o bien con hospitales específicos-. No obstante, todos los indicadores necesitarán una validación apropiada cuando se consolide su implementación.

Es la primera vez que los institutos/hospitales de la CCINSHAE realizan un ejercicio de consenso para contar con un sistema de monitorización de la calidad. Internacionalmente, hay pocas publicaciones sobre el desarrollo de indicadores para hospitales especializados; es común que la monitorización en tercer nivel se considere junto con los hospitales de segundo nivel,9,26,27lo que podría implicar dificultades al no reconocer necesidades específicas. Destaca la oportunidad de desarrollar un sistema de monitorización para hospitales de alta especialidad que permita comparaciones nacionales e internacionales y que podría formar parte de un sistema integral de monitorización de la calidad de la atención médica para todo el sector público.6,28,29

Conclusiones

No fue posible medir de forma inmediata los ocho indicadores priorizados de un conjunto utilizado internacionalmente, a pesar de que aparentemente existen fuentes de datos necesarias para su construcción. Sin exploración previa de las fuentes de información ni estudio piloto para asegurar la confiabilidad de la medición de los indicadores, la monitorización de la calidad carece del rigor necesario para ser útil y creíble. Aún es largo el camino para contar con un sistema de indicadores de calidad que permita hacer comparaciones nacionales e internacionales.

Agradecimientos

A los directores de las instituciones y al grupo de trabajo IAMAE: Arturo Galindo Fraga, Martha A. Huertas Jiménez, Roberto Délano Alonso, Alejandro Sassoe González, Irma Coria Soto, Angélica Hernández Hernández, María Chacón Gómez, Azucena Vinizza López Rodríguez, José Sifuentes Osorio.

Referencias

1. National Institute of Public Health and Secretariat of Health. Assessment of the National Health Information System of Mexico. Mexico: INSP, 2006. [ Links ]

2. Health Information System Work Group (Mesoamerican Health Initiative). Situational Analysis Report on Health Information System. Mexico, 2009. [ Links ]

3. Organization for Economic Co-operation and Development. Strengthening Health Information Infrastructure for Health Care Quality Governance. París: OECD Publishing, 2013. https://doi.org/10.1787/9789264193505-en [ Links ]

4. Organisation for Economic Co-operation and Development (OECD). OECD Reviews of Health Systems: Mexico 2016. París: OECD Publishing , 2016. https://doi.org/10.1787/9789264230491-en [ Links ]

5. Plaza B, Giusti A, Palacio-Mejía LS, Torres N, Reyes N. Regional Initiative in Health Information Systems Strengthening: Latin America and Caribbean 2005-2010. Chapel Hill: MEASURE Evaluation, 2012. [ Links ]

6. Saturno PJ, Gutiérrez J, Armendáriz DM, Armenta N, Candia E, Contreras D, et al. Calidad del primer nivel de atención de los servicios estatales de salud. Diagnóstico estratégico de la situación actual. Cuernavaca: INSP-BID, 2014. [ Links ]

7. Comisión Nacional de Evaluación de la Política de Desarrollo Social (Coneval). Diagnóstico de matrices de indicadores para resultados 2014. Ciudad de México: Coneval, 2015. [ Links ]

8. Rivera-Buendía F, Bello-Chavolla OY, Zubieta-Zavala A, Hernández-Ramírez L, Zepeda-Tena C, Durán-Arenas L. Evaluación de la implementación del programa Sicalidad en México. Salud Publica Mex2015;57(4):329-334. https://doi.org/10.21149/spm.v57i4.7576 [ Links ]

9. Centers for Medicare & Medicaid Services. Measures displayed on Hospital Compare [sitio en internet]. 2015 [consultado en enero de 2015]. Disponible en: Disponible en: https://www.medicare.gov/HospitalCompare/data/ measures-displayed.html#MC3Links ]

10. Organization for Economic Co-operation and Development (OECD). OECD Health Statistics 2015 [sitio en internet]. 2015 [consultado el 21 de enero de 2015]. Disponible en: Disponible en: http://www.oecd.org/els/health-systems/health-data.htmLinks ]

11. Fink A, Kosecoff J, Chassin M, Brook RH. Consensus methods: Characteristics and guidelines for use. Am J Public Health 1984;74(9):979-983. https://doi.org/10.2105/AJPH.74.9.979 [ Links ]

12. Saturno PJ, Martinez-Nicolas I, Robles-Garcia IS, López-Soriano F, Angel-García D. Development and pilot test of a new set of good practice indicators for chronic cancer pain management. Eur J Pain 2015;19(1):28-38. https://doi.org/10.1002/ejp.516 [ Links ]

13. Saturno P, Agüero L, Fernández M, Galván A, Poblano O, Rodriguez A, et al. Evaluación de guías de práctica clínica para el primer nivel de atención. Calidad formal y apego a las guías de práctica clínica sobre síndrome metabólico y salud materno-infantil. Cuernavaca: Instituto Nacional de Salud Pública, 2016. [ Links ]

14. Stelfox HT, Straus SE. Measuring quality of care: considering conceptual approaches to quality indicator development and evaluation. J Clin Epidemiol 2013;66(12):1328-1337. https://doi.org/10.1016/j.jclinepi.2013.05.017 [ Links ]

15. Mainz J. Developing evidence-based clinical indicators: a state of the art methods primer. Int J Qual Health Care 2003;15(suppl 1):i5-i11. https://doi.org/10.1093/intqhc/mzg084 [ Links ]

16. Rubin HR, Pronovost P, Diette GB. From a process of care to a measure: the development and testing of a quality indicator. Int J Qual Health Care 2001;13(6):489-496. https://doi.org/10.1093/intqhc/13.6.489 [ Links ]

17. Fleiss J. The Measurement of Interrater Agreement. In: Statistical Methods for Rates and Proportions. Hoboken, NJ, USA: John Wiley & Sons, Inc.,1982:598-626. https://doi.org/10.1002/0471445428.ch18 [ Links ]

18. Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics 1977;33(1):159-174. https://doi.org/10.2307/2529310 [ Links ]

19. Feinstein AR, Cicchetti D V. High agreement but low kappa: I. The problems of two paradoxes. J Clin Epidemiol 1990;43(6):543-549. https://doi.org/10.1016/0895-4356(90)90158-L [ Links ]

20. Martínez-Nicolás I, Poblano-Verástegui O, Ramírez-Vértiz J de J, Saturno-Hernández PJ. Proyecto IAMAE: Priorización de indicadores y fichas técnicas desarrolladas. https://doi.org/10.6084/m9.figshare.4653433.v1 [ Links ]

21. Jones J, Hunter D. Consensus methods for medical and health services research. BMJ 1995;311(7001):376-380. https://doi.org/10.2164/jandrol.111.015065 [ Links ]

22. Organization for Economic Co-operation and Development (OECD). Health Care Utilization, 2016 [documento en internet]. 2016 [consultado el 25 de julio de 2016]. Disponible en: Disponible en: http://stats.oecd.org/index.aspx?DatasetCode=HEALTH_PROCLinks ]

23. Secretaría de Salud. Guía de práctica clínica: prevención, diagnóstico y tratamiento de las infecciones relacionadas con vías vasculares. México, Ciudad de México: CENETEC, 2012. [ Links ]

24. Centers for Medicare & Medicaid Services (CMS). Healthcare Associated Infections - Hospital [documento en internet]. 2016 [consultado en julio de 2016]. Disponible en: Disponible en: https://data.medicare.gov/Hospital-Compare/Healthcare-Associated-Infections-Hospital/77hc-ibv8Links ]

25. Centers for Medicare & Medicaid Services (CMS). Timely and Effective Care - National. [documento en internet]. 2016 [consultado en agosto de 2016]. Disponible en: Disponible en: https://data.medicare.gov/Hospital-Compare/Timely-and-Effective-Care-National/isrn-hqyyLinks ]

26. Secretaría de Salud. Dirección General de Calidad y Educación en Salud (DGCES). Sistema Nacional de Indicadores de Calidad en Salud (Indicas) [sitio en internet]. 2016 [consultado en julio de 2016]. Disponible en: Disponible en: http://dgces.salud.gob.mx/INDICASII/Links ]

27. Ministerio de Sanidad Servicios Sociales e Igualdad (MSSSI). Indicadores Clave del Sistema Nacional de Salud. Versión 1.0 [sitio en internet]. 2016. Disponible en: http://inclasns.msssi.es/Links ]

28. Saturno PJ, Gutiérrez JP, Armendáriz DM, Armenta N, Candia E, Contreras D, et al. Calidad del primer nivel de atención de los servicios estatales de salud. Propuesta de intervenciones. Cuernavaca: Instituto Nacional de Salud Pública, 2014. [ Links ]

29. Saturno PJ. Qué, cómo y cuándo monitorizar: marco conceptual y guía metodológica. Rev Calid Asist 1998;13:437-443. [ Links ]

*StataCorp. Stata Statistical Software: Release 13. College Station, TX: StataCorp LP, 2013.

Received: September 23, 2016; Accepted: February 24, 2017

Autor de correspondencia: Ismael Martínez Nicolás. Centro de Investigación en Evaluación y Encuestas, Instituto Nacional de Salud Pública. Av. Universidad 655, col. Santa María Ahuacatitlán. 62100 Cuernavaca, Morelos, México. Correo electrónico: ismael.martinez@insp.mx

Declaración de conflicto de intereses. Los autores declararon no tener conflicto de intereses.

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons