Introducción

La evaluación del impacto en programas de formación, frecuentemente se relaciona con cumplir objetivos o revisar procesos, y pocas veces se confronta con las necesidades o problemáticas que dieron origen al programa de formación, convirtiendo la evaluación en un mero instrumento de comprobación y de autojustificación, en vez de conseguir los cambios de comportamientos (aprendizaje real) para que el programa sea realmente efectivo y permita la mejora continua del mismo¹.

Así mismo, existe la tendencia a que los efectos de la formación se evalúen con menor frecuencia, pero los efectos (eficacia y eficiencia) de la formación deben ser evaluados para determinar si el programa produjo los efectos esperados en las personas e instituciones y si estos son atribuibles a la intervención del programa² (^{Ramos Azcuy et al, 2016}).

La formación de los participantes constituye el aspecto determinante en un programa de innovaciones en salud en tanto determina la capacidad instalada básica para su funcionamiento. De sus participantes se espera más un “saber actuar” que un “saber hacer”^3,4 cuando se trata de enfrentar situaciones no previstas del mundo real que, a su vez, exigen iniciativas propias e innovadoras para ser capaz de promover e integrarse en redes de pares.

Sin la evaluación de la formación no se podrían determinar qué tanto valor aporta ésta a la organización y cómo se genera ese valor⁵. Este requisito puede leerse como un desafío a demostrar hasta dónde existe una relación de causa y efecto entre la formación y el rendimiento (cambios de comportamiento). No es suficiente que los participantes hayan cumplido con estar vinculados al proceso, se requiere también tener la seguridad de que la calidad de los programas de formación conduzca al aprendizaje constante y al mejoramiento continuo que exige el entorno⁶.

La evaluación que aquí se presenta se aplicó a un programa sanitario institucional de la Alcaldía de Barranquilla (Colombia) denominado programa Generación Vida Nueva (GVN), orientado a crear capacidad en el ámbito escolar, para incidir en el control del sobrepeso u obesidad en niños de 5 a 9 años. La propuesta de generación de valor del programa GVN, es lograr incorporar la educación nutricional en la programación académica e incrementar los niveles de actividad física en las instituciones educativas, lo cual constituye una innovación en el sector educativo de la ciudad.

El programa se está desarrollando en 17 instituciones de educación básica primaria (IED) donde estudian cerca de 11,000 niños. Para guiar la intervención, el programa GVN desarrolló un protocolo para el control metabólico de niños con sobrepeso u obesidad⁷. Con ese instrumento se buscó poner al alcance de los docentes de esas instituciones, un conjunto de antecedentes y recomendaciones con el propósito de prevenir, reversar o controlar el sobrepeso y la obesidad infantil partiendo de la formación escolar.

Utilizando el protocolo como eje temático, el programa GVN desarrolló una serie de talleres de formación, sistemáticamente ordenados y con un enfoque conductual (con definición de comportamientos esperados), con el propósito de que los docentes conocieran los conceptos, técnicas y actividades que contribuyeran -desde el aula- a la construcción de contenidos cognitivos relacionados con estilos de vida saludables, y a la adopción de hábitos saludables de actividad física y de nutrición por parte de los niños, al tiempo que se sensibilizaba a los padres o cuidadores, a los administradores escolares y a los mismos docentes.

La formación tuvo como objetivo principal la “adoptabilidad de las innovaciones”, de acuerdo con lo propuesto por Rogers⁸, procurando que los docentes percibieran sus atributos, así: a) la importancia del contenido desde el punto de vista cognitivo, y su potencial como recurso pedagógico para todas las áreas del conocimiento (ventaja relativa), b) las oportunidades de articulación con esas áreas (compatibilidad), c) el grado de viabilidad de ser integrada por los docentes en la agenda académica y apropiada por los niños (complejidad), d) el uso de ejercicios prácticos y demostrativos con los niños (ensayabilidad) y e) la obtención de resultados visibles en el aula por parte de los docentes (observabilidad). La formación mantuvo el propósito conductual, de la mano del proceso gradual de adopción de las innovaciones del programa.

La literatura científica registra al menos dos tipos de modelos de evaluación de la formación: uno con enfoque centrado en la calidad y otros que miden directamente los impactos de la formación. En nuestro caso no sólo interesa la calidad del proceso de formación, sino también que el aprendizaje logrado haya sido aplicado en el sitio de trabajo y genere resultados misionales. Por esta razón, la evaluación que nos ocupa se enfocó en el segundo tipo de modelos, los cuales generalmente contemplan medir los impactos tanto en el participante como en la organización (institución educativa)¹⁰.

Los modelos de evaluación del impacto de la formación más difundidos, según la evidencia disponible son: el de Donald Kirkpatrick¹¹ que evalúa los impactos de la formación en cuatro niveles; reacción, aprendizaje, conducta y resultados; el de Jack Phillips⁴, que incorpora al modelo anterior los beneficios económicos, su valoración monetaria y, sobre todo, el retorno de la inversión; el de Robert Brinkerhoff¹², quien advierte la influencia del entorno; y el de Virginia Wade¹³, en cuyo modelo incluye reacción y aprendizaje al igual que Kirkpatrick, aunque integrada en un solo nivel, pero convalida el nivel de comportamiento y evalúa separadamente los impactos en el negocio y en la organización.

Para este estudio se utilizó el Modelo de Kirpatrick. A su autor se le reconoce como pionero en el abordaje científico de este tema. Las ideas centrales, que datan del año 1959 y fueron compiladas en 1975, se hicieron populares a partir de 1994, con la divulgación de sus cuatro niveles del libro Evaluating Training Programs¹⁴. En las últimas décadas se ha constituido como el referente de evaluación de formación más utilizado en gran parte del mundo, aunque generalmente se le asocia con el quinto nivel propuesto por Phillips^15,16,17. Los niveles que contempla, su sistematicidad, coherencia y productos esperados, encajan apropiadamente en las necesidades de información y en el diseño de la formación del programa GVN. Además, existe algún consenso sobre la capacidad del modelo para llevarlo a la práctica sin dificultad^8.

El modelo Kirpatrick propone medir 4 niveles de la evaluación de la formación. En un primer nivel, la satisfacción de los participantes con respecto a la formación recibida, que en este caso son docentes de primaria. En el segundo nivel se mide la transferencia de los nuevos conocimientos y el desarrollo de habilidades para el uso de nuevas prácticas, que en nuestro estudio se refieren a la adopción de nuevas ideas, conceptos y técnicas para la formación de los niños en los temas del protocolo. En el tercer nivel, Kirpatrick propone medir el cambio conductual expresado en si lo aprendido fue transferido o no al sitio de trabajo (aula de clases). Y en el cuarto nivel, se evalúa los resultados en la organización, es decir, su impacto positivo en el programa traducido en adopción de innovaciones en las instituciones educativas; esto es, incremento de la actividad física e incorporación de la educación nutricional.

Con la aplicación de este modelo también se intentará conocer hasta dónde la evaluación de impactos en los cuatro niveles contribuye, a la par, a comprender la adopción de innovaciones en salud que promueve el programa.

Tratándose de cualquier programa de salud pública enfocado en el desarrollo de capacidades, los costos de inversión en el proceso de formación de los actores representan una gran porción de su presupuesto global¹⁸. La evaluación de sus impactos es tan importante que permite a la organización conocer con fuerte aproximación cómo se generará el retorno de esa inversión (ROI) o, al menos, el retorno de las expectativas⁴ (ROE), además de impulsar mejoras en sus aspectos metodológicos.

Sin embargo, durante la preparación de este estudio fueron escasas las publicaciones encontradas sobre este tema, especialmente las referidas a experiencias similares en países de bajos y medianos ingresos. Debido a lo anterior, este trabajo no sólo tiene la pretensión de constituirse en un insumo básico para los decisores de los planes de formación del programa GVN, sino en un referente que pudiera contribuir a una mayor discusión de este tema en nuestros países.

Materiales y métodos

Se trata de un estudio retrospectivo, basado en registros de capacitación del programa GVN, en su componente de control metabólico de niños con sobrepeso y obesidad de 17 instituciones educativas de formación primaria de Barranquilla, Colombia.

Resultados

El plan de capacitación del programa GVN tiene dos unidades de interés para las mediciones: los docentes, individualmente observados, y la institución educativa a la cual pertenece; por lo tanto, en algunos casos se considera también esta última para la evaluación. El cuestionario fue contestado por 120 de los 165 docentes de transición a primaria de 13 de las 17 escuelas participantes en el programa GVN, cuya distribución y frecuencias se encuentran en la tabla 2.

En términos generales, la participación por IED estuvo relacionada con el tamaño de su población estudiantil y el número de docentes. De los 120 docentes, 105 (87.5%) fueron mujeres y 15 (12.5%) hombres. La variable sexo no fue relevante en los niveles de evaluación, más sí para la adopción de las innovaciones.

Discusión

Los cuatro niveles del modelo Kirpatrick están ordenados de forma que cada uno tiene más valor para la organización que el anterior²⁰, y suponen una relación causal. Este aspecto ha sido uno de los principales blancos de sus críticos, algunos de los cuales cuestionan, además, la presunción de que la formación genere por sí sola cambios en el desempeño o que necesariamente exista correlación entre niveles^21,22,23.

Phillips²⁴, en cambio, ha reiterado la conveniencia de aislar los impactos de la formación en los resultados de la organización. Siguiendo este planteamiento, en este estudio se intentó establecer una relación causal formación- rendimiento, con relativo éxito. La propuesta de valor del programa GVN fue reconocida por los propios docentes, como una nueva práctica en el ámbito escolar, la cual se ha ido adoptando gradualmente sin que se haya requerido de apoyos especiales adicionales a la formación, tales como motivación laboral, mejoramiento del ámbito escolar u otros factores del entorno que alude Brinkerhoff²⁵. Sin embargo, se observó que al interior del mismo proceso de formación se generaron algunos resultados, que luego funcionaron como factores facilitadores del entorno o que actúan como agente de cambio hacia la adopción de las innovaciones en el aula. Nos referimos a la creación de la red de participantes llamada Uni2Ensalud, que es abierta a la integración de docentes e instituciones educativas de toda Barranquilla, interesados en promover estilos de vida saludables en el ámbito escolar. Así mismo, a la visibilidad que han alcanzado las IED, sus docentes y estudiantes que participaron en GVN, en eventos de salud comunitarios que organiza el gobierno local, o ferias exposiciones de las experiencias realizadas.

Un aspecto para considerar en la aplicación del modelo Kirpatrick, son sus antecedentes de uso incompleto. Si bien es el más utilizado en el mundo, un estudio de 2002²⁶ mostró que apenas el 78% de sus usuarios evalúan el nivel 1, mientras solo 38% evalúan el nivel 2, y los niveles 3 y 4 corresponden al 9% y 6%, respectivamente. En una publicación de 2009, del mismo investigador, el nivel 1 había subido al 92%, pero el nivel 2 se redujo a 17.9% y seguían sin mejorar los otros dos niveles subsiguientes²⁷ Algunas explicaciones documentadas establecen que a medida que la evaluación sube de nivel, el evaluador ve reducir su control del proceso, dado que es más difícil acceder al participante después de la formación²⁸.

En el diseño del plan de capacitación que evalúa este estudio, se consideró que una separación temporal en fases de entrenamiento y de aplicación podría comprometer los productos esperados. Esta decisión tuvo consecuencias en la evaluación, ya que facilitó un mayor control en los niveles y el modelo pudo aplicarse en su totalidad. La formación incluyó sesiones de retroalimentación que permitieron, simultáneamente, el aprendizaje, la aplicación de lo aprendido en las aulas de clases y la evaluación de los resultados en la organización, conforme lo sugieren Dick & King⁴,²⁹. En ocasiones, el participante tuvo la oportunidad de manejar la sesión y practicar su oratoria o bien realizaba diversas actividades prácticas, que a la vez se constituyeron en indicadores de evaluación formativa y acumulativa, según la taxonomía de Scriven³⁰ .

En la evaluación de impactos de los resultados en la organización, Nivel 4, el uso del modelo en este estudio mostró que el proceso de formación del programa GVN, estaba generando retornos de la inversión o de las expectativas, dado que los objetivos propuestos se estaban obteniendo, alcanzándose el propósito misional como consecuencia de la actuación de los participantes, ya entrenados, en el ejercicio de su labor profesional; especialmente expresado en la incorporación de la educación nutricional en el aula y el incremento significativo de actividad física, los cuales están apoyados por una serie de eventos escolares, extendiéndose a la vinculación a movimientos locales comunitarios de promoción de estilos de vida saludable y demás actividades relacionadas en la tabla 6.

Al tratar de explicar el impacto de los resultados del programa citados anteriormente, se puede afirmar que fueron consecuencia del alto grado de innovaciones del nivel anterior, tabla 6, reflejadas en los registros de observabilidad y ensayabilidad de los docentes de primaria, en talleres de actividad física y nutrición que hizo GVN, dirigidos directamente a los niños (72.5%), la planificación de otras actividades para su institución (70.0%), y finalmente la transferencia de los nuevos conocimientos a los niños en sus actividades académicas de rutina (61.7%), entre otras; lo cual da cuenta del comportamiento que asumieron los participantes, impactando el nivel 3. En concordancia, la mayoría de los teóricos de la evaluación de la formación tiene un amplio consenso en la relación causal entre los niveles 3 y 4³¹. Sin embargo, las preguntas que saltaron a la vista fueron: ¿cuál fue la causa del comportamiento observado?

¿Hasta dónde fue determinada por los impactos en los niveles 1 y 2? ¿Existieron factores externos a la formación que incidieron con mucha fuerza? Las respuestas no fueron fáciles. De hecho, la relación entre los niveles 1, 2 y 3 es el espacio teórico donde el debate sobre el modelo tiende a polarizarse²⁴.

Algunos autores cuestionan que el aprendizaje (Nivel 2) por sí mismo genere un cambio en el desempeño (Nivel 3)^32,33. Las respuestas obtenidas en las entrevistas semiestructuradas realizadas a los docentes, sobre las razones para dar el paso de adoptar las innovaciones se referían mayoritariamente a que les pareció “beneficioso y perfectamente factible” (82%). Ninguno de los docentes reconoció alguna motivación extrínseca. Sin embargo, en las IED más visitadas por el equipo humano de GVN y por tanto, más expuestas, se observó la mayor tasa de adopción; es decir, el programa no sólo fue formador sino también agente de cambio^34,35. (Esta es una variable para considerar al proyectar la sostenibilidad de las adopciones). Pero también pudo notarse algún liderazgo en el interior de la IED en favor del programa. Otro elemento que pudo incidir, fue el visible interés de las autoridades locales y nacionales en este programa, la visita de especialistas internacionales y el dinamismo con que inició la actividad en redes, razón por la cual los evaluadores sugieren no descartar la posibilidad de que el efecto Hawthorne podría estar contribuyendo significativamente. Estudios posteriores podrían ofrecer mayor precisión a estas asociaciones.

No es menos controversial la relación de causalidad entre la reacción de los participantes (Nivel 1) y los impactos en el aprendizaje (Nivel 2)²⁵. El diseño de la formación de GVN incluyó iniciar con un pretest oral, que tenía el doble propósito de conocer el nivel de conocimiento del grupo frente a los contenidos que se iban a ofrecer, y que sensibilizara y motivara la reflexión conjunta para propiciar algunos niveles de pertenencia³⁶. El plan de formación adoptó el supuesto de que un participante satisfecho, con expectativas positivas frente al programa, tiene alta probabilidad de percibir ventajas relativas, propiciando un mejor aprendizaje y una actitud favorable para aplicar lo aprendido en el sitio de trabajo³⁷ y que esta condición podría fortalecerse con la autoconfianza que impulsa el aprendizaje^{5,26,30,38,39}. Si bien los impactos observados en los niveles de reacción y de aprendizaje de GVN no refutan ese diseño, sino que efectivamente proclaman la existencia de alguna asociación entre ellos, abordarlo desde una perspectiva de causalidad del comportamiento, es controversial en las ciencias humanas^40,41 Estudios probabilísticos podrían mostrar hasta qué grado, desde la planificación, se puede construir o reforzar una asociación muy sólida entre los niveles de Kirpatrick.

Conclusiones

El estudio permitió ponderar, no sólo hasta dónde la formación impactó el nivel de aprendizaje, sino también cómo este influenció la percepción inicial del docente - según la cual el sobrepeso y la obesidad infantil, era básicamente competencia del sector salud-, para luego adquirir para ellos un significado muy ligado a la formación académica de niños de primaria, y de fácil aplicación.

De esta manera, la experiencia en la aplicación del modelo Kirpatrick en un programa de adopción de innovaciones, mostró que algunas limitaciones en sus supuestos, pueden ser superadas incorporando desde la planeación un enfoque conductual y la generación de entornos favorables como resultado de su propia dinámica.

Finalmente, nuevas publicaciones han sugerido iniciar los procesos de evaluación desde el mismo momento de la planeación de la formación. Para ello plantean utilizarlo analizando los impactos esperados en los niveles, pero al revés; es decir, empezar por los resultados hasta llegar a la satisfacción de los participantes. Con ello se espera obtener un mejor uso y aprovechamiento del modelo.