text new page (beta)
Spanish (pdf)
Article in xml format
Article references
Automatic translation
Send this article by e-mail
Cited by SciELO 
Similars in
SciELO 
Permalink
1. Introducción
El modelo Promoción y Atención del Desarrollo Infantil (PRADI), de la Estrategia de Desarrollo Infantil, se diseñó para alinear y fortalecer acciones que contribuyeran a la vigilancia, atención y promoción del desarrollo óptimo de los niños menores de 5 años beneficiarios del programa PROSPERA (antes Oportunidades), quienes viven en condiciones de alta marginación1. Uno de sus componentes es el de Detección y Atención Oportuna2, cuyo objetivo es identificar y atender oportunamente a los niños y niñas con problemas del desarrollo3. Para cumplir con lo anterior, se diseñó y validó la prueba Evaluación del Desarrollo Infantil (EDI)4, una herramienta de tamiz para la detección oportuna de problemas en el desarrollo en niños de un mes hasta a 59 meses de edad5. Después de analizar la evidencia disponible6 7,8, un panel nacional de expertos concluyó que la prueba EDI era el instrumento de tamiz para la detección de problemas de desarrollo más adecuado para la población menor de 5 años en México9.
La prueba EDI está organizada en 14 instrumentos divididos por grupos de edad, dados los cambios del desarrollo conforme avanza la edad. Cada uno de estos instrumentos tiene 26 a 35 ítems agrupados en cinco ejes: a) factores de riesgo biológico; b) señales de alerta; c) áreas del desarrollo (motor fino, motor grueso, lenguaje, social y conocimiento); d) señales de alarma; y e) exploración neurológica. Cada ítem puede evaluarse mediante la observación directa del niño o mediante preguntas dirigidas a los padres o cuidadores10. Cada ítem se califica de manera individual con solo dos respuestas posibles: Sí o No. A partir de las respuestas, se obtienen los resultados para cada uno de los cinco ejes, y con base en estos se establece el resultado global de la prueba: a) desarrollo normal (verde); b) rezago en el desarrollo (amarillo); y c) riesgo de retraso (rojo). En la Tabla 1 se describen los grupos de edad y los criterios de calificación para cada grupo.
Tabla 1 Descripción de los grupos de edad y criterios de calificación de la versión modificada de la prueba EDI
EDI: Evaluación del Desarrollo Infantil (ref. 4).
Para la correcta aplicación de la prueba EDI se diseñó un manual4, en el que se describe la forma de aplicación de cada uno de los 14 instrumentos. En forma breve, al aplicarla se deben seguir los siguientes pasos:
Selección del lugar y condiciones adecuadas para la aplicación de la prueba11.
El evaluador debe preguntar la fecha de nacimiento del niño para calcular la edad y seleccionar uno de los 14 instrumentos o formatos del grupo de edad que le corresponde, así como elegir el material apropiado para llevar a cabo la administración de la prueba.
Cuando el niño es ≤ 2 años y si nació antes de las 37 semanas de gestación (SDG), es necesario corregir la edad, calculando el número de semanas que la faltaron para haber sido de término (tomando como estándar 40 SDG)4. El no realizar este cálculo conlleva a la evaluación de ítems de una edad mayor a la real, por lo que el niño se clasificaría mal, dado que se utiliza un instrumento que no corresponde a su edad.
Al aplicar la prueba EDI, se requiere que el evaluador lleve a cabo dos actividades principales: de observación del niño y de interrogatorio a los padres o cuidadores, de acuerdo con lo especificado para cada ítem. No se requiere seguir el orden de como aparecen en el instrumento, siempre y cuando se apliquen todos y de forma adecuada.
El evaluador debe calificar cada ítem y eje.
Al final de la aplicación, el evaluador debe otorgar una calificación global (verde, amarillo o rojo) por niño, tomando en cuenta lo obtenido en cada eje.
Para la implementación de la aplicación de EDI en las unidades de primer nivel a nivel nacional, se diseñó un modelo de capacitación y estandarización de dos días de duración, para la adquisición de conocimientos y habilidades necesarias que debe poseer el personal de salud, ya sean de psicología, medicina, enfermería o nutriología, a fin de que los resultados sean certeros4,10,11. Después de diferentes procesos de capacitación, se inició la aplicación de EDI en 26 estados de la República Mexicana. Para el año 2013, se evaluaron 137,224 niños y niñas. Sin embargo, a pesar de la capacitación12, se detectaron resultados heterogéneos en cuanto a la frecuencia de problemas del desarrollo: la variación de casos en verde era del 41 al 100%; de casos en amarillo del 3 al 32%; y de casos en rojo del 1 al 37%13. Si bien esta situación podría explicarse por diferentes aspectos, la principal preocupación fue la relacionada con la correcta aplicación de la EDI, por lo cual se consideró necesario comprobar que el personal de salud estaba realizando apropiadamente las evaluaciones. Por lo anterior, el objetivo de este estudio fue evaluar la calidad de la aplicación de la prueba EDI en las unidades de atención primaria. Como objetivo secundario, determinar si esta forma de evaluación podría implementarse como un modelo de supervisión para asegurar que los resultados de la prueba EDI fueran confiables.
2. Método
Se realizó un estudio para evaluar la calidad de la aplicación de la prueba EDI por personal de atención primaria en tres estados de la República Mexicana: Coahuila, Guanajuato y Tabasco. La calidad de las evaluaciones se determinó al comparar los resultados obtenidos en la aplicación de EDI entre el personal de salud operativo y un grupo de expertos, quienes se denominaron supervisores.
2.1. Población de estudio
El personal operativo que se evaluó fueron psicólogos contratados para la aplicación de la prueba EDI, como parte de la Estrategia de Desarrollo Infantil del Programa PROSPERA, que hubieran recibido la capacitación en la prueba EDI11. Los psicólogos deberían estar aplicando de manera rutinaria la prueba EDI a los niños < 5 años beneficiarios del PROSPERA como parte del control del niño sano, en unidades de primer nivel de atención, durante el periodo de noviembre a diciembre de 2013.
2.2. Estandarización de los supervisores
La evaluación del desempeño del personal operativo en la aplicación de EDI la realizó un grupo de seis supervisores (cinco médicos generales y una psicóloga), quienes residían en alguna de las tres entidades federativas donde se hizo el estudio. Se consideró que cada supervisor podría evaluar entre seis y ocho psicólogos. Ya en las unidades de salud, los supervisores realizaron exclusivamente actividades relacionadas con la evaluación del desempeño de los psicólogos.
Para estandarizar a los supervisores, fue necesario llevar a cabo un proceso de educación que se realizó en el Hospital Infantil de México Federico Gómez (HIMFG) con una duración de tres días, en el que se realizaron las siguientes actividades:
Se les impartió la capacitación para la aplicación de la prueba EDI12
Se comprobó la competencia de los supervisores para realizar apropiadamente la evaluación en las 14 categorías de edad contempladas de EDI
Antes del inicio del estudio, se determinó la consistencia entre los supervisores. En el análisis de los resultados, la concordancia inter-observador observada fue > 90%
Se proporcionaron las instrucciones necesarias para utilizar los instrumentos en las unidades de salud donde recolectaron la información para el trabajo, verificando su correcto llenado
2.3. Evaluación del desempeño del personal operativo
El desempeño del personal operativo se evaluó mediante la concordancia de los resultados de la prueba EDI aplicada por ellos, con los obtenidos por el supervisor (considerado como el valor real o estándar). La concordancia se estableció mediante los siguientes dos procesos:
-
Estudio de sombra
Se llevó a cabo mediante la observación directa del personal operativo, en tiempo real, durante la administración de la prueba EDI. De acuerdo con las actividades que el personal operativo realizó durante la evaluación del niño(a), el supervisor llenó una lista de cotejo, diseñada exprofeso. Al mismo tiempo que el personal operativo lo realizó, el supervisor también utilizó la prueba EDI para evaluar a cada niño(a), calificando los ítems y llenando la prueba de forma independiente, procurando no distraer la atención del niño evaluado. El supervisor no intervino al momento de la aplicación de la prueba ni para corregir ni para emitir alguna opinión al personal operativo. Al finalizar la evaluación de cada niño, el supervisor comparó la calificación que había asignado a cada ítem con las asignadas por el personal operativo. En caso de encontrar diferencias, se registraron en una cédula los ítems donde se detectó discordancia.
-
Estudio de consistencia
Para esta fase se tomaron en cuenta las evaluaciones EDI realizadas previamente por el personal operativo. De manera aleatoria se seleccionaron los niños que habían sido evaluados en las dos semanas previas a la visita del supervisor a la unidad de salud. A estos niños se les aplicó nuevamente la prueba EDI por parte del supervisor. En el momento de la nueva aplicación de EDI, el personal operativo no estuvo presente ni informó al supervisor del resultado obtenido del niño. El supervisor acudió a los domicilios o bien los citó en la unidad para la nueva aplicación. Tras aplicar la prueba, el supervisor comparó su calificación asignada por cada ítem con las registradas por el personal operativo, que se encontraban en el expediente clínico de cada niño. En caso de encontrar diferencias en uno o más ítems, se registró dónde hubo discordancia en una cédula de verificación.
2.4. Confiablidad de las evaluaciones
Para determinar que los supervisores efectuaran adecuadamente las actividades encomendadas durante las visitas a las unidades de salud, un grupo de la coordinación general del estudio procedió a verificar el cumplimiento de los supervisores. Esta actividad se llevó a cabo en tres momentos, directamente en cada uno de los tres estados de la República Mexicana donde se hizo el estudio: a) al inicio del trabajo de campo, con la finalidad de presentar al personal con las autoridades y responsables estatales; b) a la mitad de la recolección de la información, con la finalidad de validar la información entregada; y c) al finalizar la recolección de la información.
2.5. Variables del estudio
Se registró la entidad federativa en la que se realizaron las pruebas y se asignó un número de identificación único para cada operador y otro para el supervisor. Para cada niño se registró la calificación global en la prueba EDI (verde, amarillo o rojo), tanto la emitida por el personal operativo como la del supervisor. Además, se registraron los ítems en los que hubo discordancia.
2.6. Análisis estadístico
Las variables cualitativas se presentaron como frecuencias y porcentajes. Para evaluar las diferencias entre estas variables, se utilizó la prueba x2 y se calculó el intervalo de confianza del 95% (IC95%). Para evaluar la correlación de los resultados para la variable categórica se utilizó la correlación de Spearman y la tau B de Kendall. Se consideró significación estadística un valor de p < 0.05 a dos colas. Los diferentes análisis se realizaron utilizando el paquete SPSS versión 20.0 (IBM).
2.7. Consideraciones éticas
El estudio fue aprobado por las comisiones de Ética, Bioseguridad e Investigación del HIMFG como parte del proyecto HIM/2013/063. Se notificó a cada evaluador que se le aplicaría la evaluación de calidad de la aplicación de la prueba EDI y que, a partir de los resultados obtenidos y en caso de identificarse áreas donde hubiera discrepancia en los resultados, se le generarían recomendaciones para mejorar la calidad de la aplicación de EDI. La información fue codificada con un número único de participante por entidad, con el fin de no manejar datos personales. La aplicación de la prueba EDI es uno de los componentes de la consulta del control del niño sano en las unidades de salud14. Para el presente estudio no se registró ningún dato de identificación de pacientes; solamente el grupo de edad y el resultado en los ítems de la prueba. A cada familiar o cuidador primario que acudió con el menor se le solicitó el consentimiento verbal para que el supervisor estuviera presente durante la aplicación de la prueba, o para la aplicación de nueva cuenta de la prueba EDI.
3. Resultados
3.1. Estudio de sombra
Se incluyeron 51 psicólogos como personal operativo: 25 en Guanajuato (49.0%), 18 en Tabasco (35.3%) y ocho en Coahuila (16.0%). En total, se realizaron 380 estudios de sombra: el 52.4% en Guanajuato (n = 199), el 28.2% en Coahuila (n = 107) y el 19.4% en Tabasco (n = 74). Los supervisores estuvieron presentes con los psicólogos de 1-33 ocasiones mientras aplicaban la prueba EDI. Tomando en cuenta los 14 grupos de edad para la prueba EDI, hubo desde 12 hasta 51 niños por cada grupo.
Al comparar el resultado global entre el psicólogo y el supervisor (Fig. 1), se observó una concordancia del 86.1% (n = 327). La distribución del resultado global en la prueba EDI aplicada por los supervisores fue la siguiente: verde el 57.1% (n = 217), amarillo el 32.4% (n = 123) y rojo el 10.5% (n = 40). La concordancia para estas mismas clasificaciones con el evaluador fueron del 94.5, 73.2 y 80.0%, respectivamente (Tabla 2).
Figura 1 Concordancia entre supervisor y personal operativo en clasificación global en estudio de sombra.
Tabla 2 Concordancia de la calificación global en la prueba EDI entre supervisores y personal operativo en el estudio de sombra
EDI: Evaluación del Desarrollo Infantil.
Al analizar por grupo de edad, se detectó que hubo discordancia en cada uno de los 14 grupos de edad (Fig. 2A). Desde el punto de vista porcentual (Fig. 2B), los grupos con mayor frecuencia de discordancia (o error en la aplicación por parte del personal operativo) fueron de la siguiente manera: grupo 3 (33.3%), grupo 11 (20.7%), grupo 13 (19.5%), grupo 9 (18.8%), grupo 8 (17.4%), grupo 7 (17.2%) y grupo 14 (15.4%). No se encontraron diferencias estadísticamente significativas en la frecuencia de discordancia entre grupos.
Figura 2 Concordancia en el resultado de la aplicación de la prueba EDI entre supervisor y personal operativo en el estudio de sombra por grupo de edad. A) Distribución de la concordancia tomando el total de aplicaciones de la prueba EDI en que se realizó estudio de sombra (frecuencia absoluta). B) Distribución considerando el porcentaje de concordancia en los estudios de sombra (frecuencia relativa).
Al considerar de forma individual la concordancia para cada uno los ítems de la prueba en las 380 evaluaciones de sombra, se encontró una discordancia por ítem del 1.6% (n = 6) en dos ítems; del 1.3% (n = 5) en un ítem; del 1.1% (n = 4) en cinco ítems; del 0.8% (n = 3) en cinco ítems; del 0.5% (n = 2) en 15 ítems; y del 0.3% (n = 1) en 33 ítems.
En el análisis del desempeño de la aplicación de la prueba de manera individual en el personal operativo (n = 51), se determinó una amplia variabilidad. Del total, el 54.9% (n = 28) obtuvo una concordancia del 100% con los supervisores; únicamente uno (2.0%) obtuvo una concordancia del 0%. Este resultado fue asociado con que este personal solo aplicó una prueba (Fig. 3A). En el 43.1% restante, la concordancia fue variable (Fig. 3B).
Figura 3 Concordancia en el resultado de la aplicación de la prueba EDI en el estudio de sombra considerando individualmente al personal operativo. A) Concordancia en las pruebas aplicadas por cada personal operativo que el supervisor evaluó a través del estudio de sombra (frecuencia absoluta). B) Porcentaje de concordancia para el total de pruebas aplicadas por el personal operativo supervisadas a través del estudio de sombra (frecuencia relativa).
3.2. Evaluación de la consistencia en el resultado de la prueba (re-aplicación)
Se realizaron 302 aplicaciones de la prueba EDI por parte de los supervisores a niños que ya habían sido clasificados previamente por el personal operativo. Del total, 148 fueron en Coahuila (49.0%), 81 en Guanajuato (26.8%) y 73 en Tabasco (24.2%). De acuerdo con los 14 grupos de edad para la prueba EDI, hubo desde 13 hasta 42 niños evaluados por cada grupo. Estos 302 niños fueron evaluados por 49 psicólogos (personal operativo) diferentes; 24 del estado de Guanajuato, 18 de Tabasco y ocho del estado de Coahuila.
Al comparar el resultado global entre el supervisor y personal operativo (Fig. 4), se observó una concordancia del 88.1% (n = 266). De 302 niños evaluados, el resultado global de la prueba EDI por parte de los supervisores fue del 62.3% en verde (n = 188), del 30.5% en amarillo (n = 92) y del 7.2% en rojo (n = 22); la concordancia para estas mismas clasificaciones con el evaluador fueron del 96.8, 71.7 y 81.8%, respectivamente (Tabla 3). Se observó que la concordancia de los resultados verde y rojo fue un poco mayor que en el estudio de sombra, pero disminuyó el 1.5%.en el caso de los resultados en amarillo.
Figura 4 Concordancia entre supervisor y personal operativo en clasificación global en el estudio de consistencia.
Tabla 3 Concordancia de la calificación global en la prueba EDI entre supervisores y personal operativo en el estudio de consistencia
EDI: Evaluación del Desarrollo Infantil.
Al analizar por grupo de edad, hubo discordancia en cada uno de los 14 grupos de edad (Fig. 5A). Desde el punto de vista porcentual (Fig. 5B) los grupos con mayor frecuencia de discordancia fueron el grupo 7 (35.0%), grupo 13 (19.0%), grupo 11 (16.7%), grupo 9 (15.8%), grupo 8 (17.4%), grupo 7 (17.2%) y grupo 12 (14.8%). No se encontraron diferencias estadísticamente significativas en la frecuencia de resultados discordantes entre grupos.
Figura 5 Concordancia en el resultado de la aplicación de la prueba EDI entre supervisor y personal operativo en el estudio de consistencia por grupo de edad. A) Distribución de la concordancia tomando el total de aplicaciones de la prueba EDI en que se realizó estudio de consistencia (frecuencia absoluta). B) Distribución considerando el porcentaje de concordancia en los estudios de consistencia (frecuencia relativa).
Al considerar de forma individual la concordancia para cada uno los ítems de la prueba en las 302 evaluaciones de consistencia, se encontró una discordancia por ítem del 1.3% (n = 4) en un ítem; del 1.0% (n = 3) en dos ítems; del 0.6% (n = 2) en siete ítems; y del 0.3% (n = 1) en 48 ítems.
En el análisis comparativo entre calificación asignada por los supervisores y la asignada de manera individual por el personal operativo (n = 49) se encontró, al igual que en el estudio de sombra, una amplia variabilidad. En algunos se encontró una concordancia perfecta en la calificación de todas las pruebas. Sin embargo, en otros no se detectó alguna prueba con el mismo resultado que el supervisor. De los 49 psicólogos, el 53.1% (n = 26) obtuvo una concordancia del 100% y el 8.2% (n = 4) una concordancia del 0% asociada con que aplicaron menos de cuatro pruebas cada uno (Fig. 6). En el 38.7% restante, la concordancia fue variable y probablemente estuvo asociada con el número de pruebas aplicadas.
Figura 6 Concordancia en el resultado de la aplicación de la prueba EDI en el estudio de consistencia considerando individualmente al personal operativo. A) Concordancia en las pruebas aplicadas por cada personal operativo que el supervisor evaluó a través del estudio de consistencia (frecuencia absoluta). B) Porcentaje de concordancia para el total de pruebas aplicadas por el personal operativo supervisadas a través del estudio de consistencia (frecuencia relativa).
4. Discusión
El presente estudio permitió evaluar, mediante una supervisión estandarizada, la confiabilidad de los resultados tras la aplicación de la prueba EDI por parte del personal operativo en las entidades federativas donde se ha puesto en marcha el programa para la detección de problemas del desarrollo en niños < 5 años. Encontrar una concordancia global del resultado en el 86.1% en el estudio de sombra y del 88.1% en el de consistencia permite establecer, en términos generales, que la capacitación otorgada al personal operativo parece ser adecuada. Sin embargo, los resultados mostraron que parece no ser suficiente la capacitación para la correcta aplicación de la prueba EDI. Lo anterior es más evidente al observar que un poco más del 50% del personal operativo haya tenido una concordancia con el supervisor en el 100% de las pruebas.
De esta forma, los resultados de este estudio indican la necesidad de establecer un programa de supervisión permanente a quienes aplican EDI en las distintas unidades de salud del país. Esta supervisión permitirá identificar, de manera individual, al personal que requiera de mayor capacitación, para que sus evaluaciones sean válidas. La correcta clasificación de los niños en verde, amarillo o rojo tras la aplicación de EDI supone que el personal operativo debe dar indicaciones diferenciadas para cada niño evaluado. El hecho de que no haya una buena clasificación pone en riesgo, de manera particular, a los niños que necesitan acciones encaminadas a mejorar su desarrollo.
En este estudio se pusieron a prueba dos tipos de supervisión: el estudio de sombra y la aplicación de nuevo (en momentos diferentes) de la prueba EDI. Al analizar los resultados, se comprobó que ambos métodos permiten identificar variaciones, por lo que cualquiera de ambos métodos parece apropiado para supervisar al personal operativo, a fin de garantizar que los niños evaluados dispongan de resultados confiables. La elección de uno u otro método dependerá de la disponibilidad de quienes realizan la supervisión del personal operativo en las unidades de salud al momento que se realizan las pruebas EDI. Así, parece más conveniente el estudio de sombra puesto que el supervisor puede detectar variaciones en el momento de la aplicación de EDI y, al término de la evaluación, dar indicaciones o retroalimentación para que el personal operativo mejore su desempeño. En los casos cuando el supervisor acuda a la unidad de salud y no haya algún niño que evaluar por parte del personal operativo, entonces el supervisor podrá acudir a los domicilios para aplicar EDI a niños previamente evaluados.
Otro punto a comentar es que las diferencias en la concordancia entre los grupos de edad de la prueba EDI pueden estar asociadas con la variación en el número de pruebas aplicadas en cada grupo por parte del personal operativo. Para disminuir estas variaciones, se requeriría de homogeneizar el número de pruebas para cada grupo de edad, así como el número de pruebas aplicadas y supervisadas. Como se muestra en la Figura 3A, la evaluación de la aplicación por el estudio de sombra en cinco ocasiones podría identificar las áreas de oportunidad; y en el caso de estudio de consistencia, a partir de tres evaluaciones (Fig. 6B).
El análisis individual de los ítems mostró un bajo porcentaje de discordancia en el total de estudios realizados tanto para el estudio de sombra (0.3 a 1.6%) como para el de consistencia (0.3 a 1.3%). Esto corrobora la claridad de la explicación de los ítems tanto en la capacitación como en los materiales de aplicación, por lo que no se requeriría un ajuste individual a los mismos. La supervisión permitirá identificar los errores en el personal operativo y dar las recomendaciones pertinentes para mejorar la calidad de la aplicación.
En conclusión, se puede afirmar que el presente estudio permitió determinar que es necesaria la implementación de un modelo de supervisión para el personal operativo que aplica EDI, a fin de garantizar que los niños evaluados con esta prueba dispongan de resultados confiables. Esta supervisión facilitará la capacitación diferenciada en aspectos particulares en la prueba EDI.
Responsabilidades éticas
Protección de personas y animales. Los autores declaran que los procedimientos seguidos se conformaron a las normas éticas del comité de experimentación humana responsable y de acuerdo con la Asociación Médica Mundial y la Declaración de Helsinki.
Confidencialidad de los datos. Los autores declaran que en este artículo no aparecen datos de pacientes.
Derecho a la privacidad y consentimiento informado. Los autores declaran que en este artículo no aparecen datos de pacientes.
