La evaluación del impacto de la formación como estrategia de mejora en las organizaciones^*

The Evaluation of the Impact of Training as a Strategy of Improvement in the Organizations^**

José Tejada Ferández¹ y Elena Ferrández Lafuente¹

¹ Grupo CIFO (Colectivo de Investigación en Formación Ocupacional) Departamento de Pedagogía Aplicada Universitat Autónoma de Barcelona 08193 Bellaterra- Cerdanyola Barcelona, España ¡ose.te¡ada@uab.es elena.ferrandez@campus.uab.es.

Resumen

El presente artículo centra la atención en la evaluación de impacto de la formación como estrategia de mejora en las organizaciones, por cuanto la misma permite verificar la calidad de las acciones formativas. Es decir, si la formación satisface las necesidades que la motivan y produce mejoras tanto en el desarrollo profesional individual como institucional. Para ello, se parte de una misma conceptualización de evaluación de impacto, sus dimensiones e indicadores, dentro de una concepción fragmentada de evaluación de programas; también se consideran las problemáticas de este tipo de evaluación en relación con de resistencias y facilitadores, para, por último, en algunas consideraciones sobre la misma como estrategia de mejora.

Palabras clave: Evaluación de impacto, transferencia, efectividad, cambios organizacionales, estrategias de mejora organizacional, formación.

Abstract

The present article talks about the training impact evaluation as an improvement. The present article talks about the training impact evaluation as an improvement strategic in the organizations, so this evaluation allows to verify the quality of the training actions. So, training satisfies the necessities for what it is motivated and produces improvements as well as at the professional individual development as an improvement strategy. So, we start with an evaluation concept, their dimensions and indicators, inside a fragmented program evaluation conception; also, we consider the most usual problems that can appear in this evaluation process in key of resistances and facilitators. Finally, we show some improvement strategies.

Key words: Impact evaluation, transfer, effectiveness, organizational changes, organizational improvement strategies.

Introducción

Hace algunos años nadie hubiera considerado la formación de los recursos humanos como una de las funciones propias de cualquier organización. Actualmente la situación ha cambiado debido a varias razones. Por una parte, los procesos de cambio en las empresas suceden a tal velocidad, que obligan a replantearse la utilidad de los conocimientos y habilidades de los trabajadores, de tal modo que resulta impensable que un trabajador, a lo largo de su vida profesional, no cambie o modifique sus tareas y funciones. La propia naturaleza del trabajo ha cambiado.

La creciente competencia en el mercado laboral ha llevado a las empresas a una necesidad constante de renovación, así como una mejora de sus productos y servicios. Estas circunstancias, junto con el cambio constante que está viviendo la sociedad, están produciendo un doble efecto: una gran oportunidad para las empresas preparadas, y una amenaza para aquellas que no lo están. Sea por una o por otra razón, la formación es el camino para fortalecer a la organización.

Es por ello, que la formación en la empresa se plantea como una de las más importantes estrategias de desarrollo de los recursos humanos; es un factor de excelencia y clave para el éxito. Vista la exigencia de adaptación constante a los cambios, en los últimos tiempos se ha incrementado la formación de personal en la empresa, sin otorgar suficiente importancia a la evaluación de la formación para garantizar la calidad de la misma.

Para poder evaluar la calidad de la formación, es necesario recordar que al mismo tiempo se debe buscar que la formación se adapte a las necesidades de los individuos yala organización, que se desarrolle adecuadamente mediante la consecución de los objetivos previstos en el plan de formación, y resulte eficaz, eficiente y rentable.

I. Metodología

El presenta trabajo se basa en un estudio de investigación evaluativa realizado por el Grupo cifo (Ferrández Lafuente, 2006) sobre una acción formativa, como parte del master de Formación de Formadores. Metodológicamente se planteó como un estudio de caso en el conjunto de las unidades territoriales afectadas por el curso; es de carácter descriptivo-interpretativo e incluyó la triangulación de las fuentes: alumnos participantes, directivos y subordinados, y de los instrumentos: cuestionario, entrevista y grupo de discusión. Para obtener los resultados, se combinaron metodologías cuantitativas y cualitativas.

La mayoría de las empresas tiene establecido algún tipo de acción formativa dirigida a los trabajadores. Sin embargo, una vez establecida la planificación formativa, nace una nueva preocupación, ¿cuáles son los efectos que la formación produce en la organización? La evaluación de impacto intenta responder esta pregunta.

Este trabajo se centra en averiguar las mejoras conseguidas en una organización una vez transcurrido un tiempo después de realizar la acción formativa, es decir, en qué medida los aprendizajes adquiridos en las acciones formativas son útiles para mejorar el desempeño del propio puesto de trabajo, los servicios de la organización y, por tanto, el desarrollo organizacional. En resumen, la evaluación de impacto hace referencia a los efectos externos de la formación que se reflejan en la organización.

En consonancia con Tejada, se entiende la evaluación como un "proceso sistemático de recogida de información que implica un juicio de valor orientado a la toma de decisiones" (1999, p. 33).

Por lo que al proceso de evaluación de acciones formativas se refiere, es necesario apuntar que cuenta con tres finalidades esenciales:

• Diagnóstica (o de entrada). Permite conocer la realidad donde se desarrollará el proceso de enseñanza-aprendizaje, las características del contexto y las necesidades formativas de los destinatarios.

• Formativa (o de proceso). Permite valorar una acción educativa durante su desarrollo en un contexto determinado, con el propósito de mejorar esta acción durante el transcurso de la acción formativa;

• Sumativa (o de productos). Permite conocer si los objetivos se han conseguido o no, los cambios producidos, verificar la valía del programa, tomar decisiones sobre la certificación de los participantes y el rechazo o aceptación del programa.

Este proceso de evaluación se hace al terminar el programa de formación. Resulta lógico pensar que las opiniones, los pensamientos y valoraciones inmediatas de los participantes podrían estar condicionadas por aspectos afectivos, por situaciones grupales o cualquier otro posible error de sesgo, por ello, es necesario articular una evaluación diferida para eliminar los posibles errores derivados de las implicaciones de los participantes en el hecho formativo y verificar el impacto pasado un tiempo después de la acción formativa.

Los elementos que se persiguen de acuerdo con la terminología del análisis de sistemas, hacen referencia a:

Los inputs. Recursos, alumnos, profesorado, equipos, etc.

Los throughputs. El proceso de desarrollo de la acción formativa.

Los outputs. El producto final que se persigue con la acción formativa, traducido en adquisición de conocimientos, habilidades y destrezas.

Los outcomes. Los efectos producidos en los participantes y en el desempeño de su trabajo, así como en la organización en su conjunto, después de la realización de la acción formativa.

La Figura 2 muestra la forma en que se plasma el momento evaluativo al que se desea hacer referencia.

La evaluación de impacto opera después de transcurrido un tiempo de la acción formativa, con el propósito de verificar la permanencia y consistencia de los cambios producidos en los sujetos, la mejora de las prácticas profesionales, los cambios institucionales, etc., según las metas del plan de formación. Esta evaluación permite conocer la eficacia, eficiencia, comprensividad, validez y utilidad del programa, así como su rentabilidad profesional y social. Por todo ello, en la evaluación de impacto se hace referencia a dos niveles de análisis: desde los individuos, de acuerdo con el aprendizaje y transferencia de lo aprendido al puesto de trabajo; y desde la organización, de acuerdo con la rentabilidad de la formación para la organización y el impacto sobre ésta.

Así, se puede definir la evaluación de impacto como "un proceso orientado a medir los resultados generados (cambios y causas) por las acciones formativas desarrolladas en el escenario socioprofesional originario de las mismas al cabo del tiempo" (Ferrández Lafuente, 2006, p. 20). Su objetivo es medir los resultados transcurrido cierto tiempo de la ejecución de los planes de formación y estudiar el grado de realización alcanzado. Por ello, la evaluación de impacto además de analizar la satisfacción y los aprendizajes conseguidos, analiza los efectos que las acciones formativas produjeron en los puestos de trabajo y en la organización. Así, al proporcionar información sobre los cambios conductuales y organizativos, sobre las causas que los provocaron y sobre los factores que los favorecieron o dificultaron, la evaluación de impacto será un proceso clave para programar nuevas acciones formativas o incluso convertirse en un factor de detección de necesidades o de evaluación diagnóstica.

También se apunta más allá de la verificación de los cambios de conducta en el puesto de trabajo o del análisis de los resultados para la organización, por cuanto se indaga sobre las causas y antecedentes de la propia acción formativa. La evaluación de impacto se convierte en una estrategia de la propia evaluación de la acción formativa más allá del momento y el espacio de la misma, por cuanto viene a significar también la pertinencia e idoneidad de la evaluación diagnóstica, su ajuste a necesidades y el dispositivo inicial de la formación; lo mismo puede aportar información sobre la evaluación formativa o procesual y sobre la final. Para considerar adecuadamente los obstáculos, causas, facilitadores, resistencias, etc. de la evaluación de impacto, resulta ineludible, reparar en el resto de momentos y dimensiones evaluativas antecesoras de esta tipología de evaluación dentro del proceso general de evaluación de la formación de programas y acciones formativas.

II. 1 Dimensiones e indicadores

A partir de Biencinto y Carballo (2004), es posible definir las grandes dimensiones que explican el impacto de la formación:

• Satisfacción. Índice de calidad y correcto funcionamiento del programa.

• Valor añadido. Incremento de conocimientos tras haber participado en un programa de formación y su posterior transferencia al puesto de trabajo.

• Mejora del status profesional. Incremento de las competencias profesionales.

• Mejora organizacional. Incremento de las competencias institucionales.

Aún así, la evaluación de impacto es una de las funciones menos desarrolladas y que presenta más deficiencias en las organizaciones, debido a que en todas las organizaciones se evalúa la satisfacción de los participantes, pero no el impacto. Tradicionalmente, esta evaluación se ha reducido a una orientación economicista y centrada en los resultados (Gairín, 1998). Es por ello, que para dejar esta visión (sin negarla) y realizar una evaluación de impacto desde una perspectiva pedagógica y para cerciorarse del alcance del cambio institucional producido, el estudio se basó en los criterios de efectividad, es decir, en que toda actividad a desarrollar tiene un punto máximo de calidad de acuerdo con la propia esencia de la actividad, y de aplicabilidad, es decir, el grado en que los participantes de la acción formativa transfieren los conocimientos y habilidades adquiridas al puesto de trabajo (Ferrández Arenaz, 2002).

a) El logro de la finalidad esperada

b) Valoración de la mejora en relación con:

• Calidad en el puesto de trabajo

• Eficiencia en el trabajo realizado

• Motivación hacia el trabajo

• Clima laboral

• Responsabilidad-autonomía en el puesto de trabajo

• Nivel de conocimientos y habilidades

• A nivel personal

• A nivel social

• A nivel institucional

Así, este nivel de evaluación ofrece al programa la oportunidad de demostrar su valía a la organización. El criterio de aplicabilidad tratará de verificar la aplicación de los aprendizajes adquiridos en la acción formativa al puesto de trabajo, con lo que se hace referencia a la transferencia del aprendizaje, es decir, cómo los participantes en la formación ponen en práctica los aprendizajes directamente en su trabajo cotidiano. El propósito de conocer la transferencia del aprendizaje es medir el grado de aplicación de las nuevas habilidades y conocimientos adquiridos al puesto de trabajo.

Es en este momento cuando se pone de relieve la necesidad de que los programas de formación se ajusten a las necesidades específicas de cada puesto de trabajo. Se trata de realizar una descripción detallada de las tareas y responsabilidades de cada puesto, y una vez que las funciones se relacionaron, pueden ser deducidos los conocimientos, habilidades y actitudes requeridas.

Se parte de un momento evaluativo posterior a la finalización del programa de formación, por lo que se dan por supuestas la evaluación diagnóstica, la evaluación formativa y la evaluación sumativa, con lo que conllevan: detección de necesidades, ajustes del programa al contexto, mejora de la acción en el transcurso del programa, consecución de objetivos propuestos, certificación, etc. A partir de lo anterior se pueden establecer los siguientes niveles en la evaluación de impacto:

1. Satisfacción de los participantes. Aprecia el grado de satisfacción de los participantes ante la formación recibida, es decir, en qué medida les ha gustado y cómo consideran que puede resultarles de utilidad en el desempeño de su trabajo.

]]> 2. Grado de aprendizaje logrado. Verifica si se han alcanzado los objetivos establecidos en la acción formativa, es decir, si las personas que asistieron al curso asimilaron los conocimientos y habilidades esperados.

3. Transferencia al puesto de trabajo. Estimación de la puesta en práctica de los conocimientos y habilidades desarrolladas en una acción formativa; evaluar cómo los participantes ponen en práctica los aprendizajes, no en el contexto de ejecución del programa, sino en el puesto de trabajo.

4. Verificar el impacto de la formación en el puesto de trabajo y en la organización. Una vez que los participantes ponen en práctica las nuevas formas de proceder en su puesto de trabajo (transferencia), cuantificar las incidencias de las nuevas competencias en su trabajo y cómo contribuyen al mejoramiento de los servicios de la organización; mide los efectos de la formación.

5. Rentabilidad de la formación. Cálculo del beneficio que le supone a la organización dar formación a sus empleados. Este último nivel escapa a los propósitos del trabajo.

II.2 Problemáticas de la evaluación de impacto

El proceso para la evaluación de impacto es costoso e implica una inversión importante en tiempo, puesto que los efectos no son evidentes inmediatamente después de finalizar la acción formativa, y en el proceso pueden surgir resistencias que pueden obstaculizar su puesta en práctica.

Hay muchos factores en el entorno de trabajo capaces de afectar, directa o indirectamente, la calidad de los servicios e influir en la capacidad para aplicar los nuevos conocimientos y habilidades adquiridas por los trabajadores.

En la Tabla I se muestran algunas de las resistencias que pueden surgir en el momento de aplicar los conocimientos y habilidades adquiridas al puesto de trabajo (Ferrández Lafuente, 2006).

Muchos formadores sienten frustración después de realizar el diseño y desarrollo de la formación, al descubrir que los trabajadores no aplican los conocimientos adquiridos al puesto de trabajo como se esperaba. Un factor fundamental es que una vez que la organización esté dispuesta a invertir en formación, se esté seguro de que los participantes tendrán soporte en su trabajo por parte de la misma, en cuanto su entorno laboral, que incluye a superiores inmediatos y compañeros de trabajo.

• Dificultades de medida.

• Falta de recursos.

• Falta de preparación de los profesionales de la formación continua.

• Existencia de un clima humano contrario a la innovación-evaluación.

• Falta de apoyo de los órganos directivos.

III. La evaluación de impacto como estrategia de mejora

Estas dificultades pueden superarse mediante un plan de evaluación de formación, responsabilizando de su diseño y aplicación a profesionales competentes en temas pedagógicos. Dicha estrategia global supondría un cambio radical de visión de la formación y su evaluación en la mayoría de las organizaciones, ya que tradicionalmente, su concepción de la evaluación de la formación es bastante reducida. El problema radica en la forma y las razones por las que se lleva a cabo.

La bibliografía sobre rendimiento laboral describe varios factores que sostienen las buenas actuaciones en el puesto de trabajo (Sullivan, 2002). En la Tabla II se muestran los más destacados.

Cuando la adquisición de conocimientos y habilidades se identifica como una solución para un problema en el rendimiento laboral, la formación o cualquier otra situación de aprendizaje, será utilizada para mejorar el rendimiento de los trabajadores. Para realizar óptimamente este proceso es necesario implicar a toda la organización, para conocer los efectos reales producidos. Así, en la evaluación de impacto se implican alumnos-trabajadores, formadores-expertos externos, mandos superiores y mandos intermedios-colegas. Estos agentes tienen responsabilidades antes, durante y después de la formación. En las tablas que se muestran a continuación, se especifican las funciones e instrumentos de evaluación en cada uno de los niveles de impacto, según los agentes implicados.

En la Tabla III se observa que todos los agentes implicados en la evaluación de impacto de la formación tienen asignadas funciones determinadas que aportan información valiosa a la hora de llevarla a cabo.

En el tema de los instrumentos de evaluación, se implica nuevamente a todos los agentes de la organización, de modo que la aplicación de varios instrumentos permita obtener información de distintas fuentes, manifestadas a través de diferentes puntos de vista.

Tabla IV

Lo que se pretende es asegurar y mejorar los resultados de la evaluación de impacto, ya que al obtener información desde diferentes puntos de vista y mediante la aplicación de instrumentos variados, se consigue un acercamiento a la realidad desde diversas posiciones. De esta forma se evita la subjetividad y se apuesta por la fiabilidad y validez de los datos recopilados.

IV. A modo de conclusión

Llegados a este punto, es necesario resaltar que al tratarse de una evaluación de impacto se está ante una dinámica de evaluación de programas fragmentada. Ello no quiere decir que se renuncie al uso de informaciones previas pertenecientes a otras fases de la formación (diseño, desarrollo, resultados finales) que explican algunos efectos del programa, la diferencia estriba en que desde la perspectiva aquí presentada, la información de estas fases no es considerada esencial para explicar la nueva realidad que se produce en la organización como consecuencia de la formación realizada.

No podemos concluir este trabajo sin ser conscientes de que en la actualidad existe un cambio constante que exige actualizar permanentemente la información de todo lo que sucede a nuestro alrededor, tanto a nivel personal, como social y profesional. Por ello, desde la óptica de la formación, la capacidad de aceptar el cambio se concibe como un factor clave para el óptimo desarrollo de las organizaciones, ya que el dispositivo de la evaluación de impacto se convierte en una de las principales herramientas para visualizar y evidenciar los efectos de la formación, y forma parte, al mismo tiempo, de la estrategia de la misma.

Referencias

Abdala, E. (2001, julio). Manual para la evaluación de impacto en programas de formación para jóvenes. Documento presentado en el Seminario Internacional Modelos de evaluación para programas de capacitación de jóvenes Medellín, Colombia 17 y 18 de julio, 2001. Disponible en: http://www.ilo.org/public(spanish/region/ampro/cienterfor/publ/sala(sbdala/manual        [ Links ]

Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el ámbito sanitario: de lo general a lo específico. Revista Electrónica de Investigación y Evaluación Educativa 10 (2). Consultado el 26 de enero de 2006 en: http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2 5.htm        [ Links ]

Cabrera, F. (2000). Evaluación de la formación. Madrid: Síntesis.         [ Links ]

Cañizares Puerta, P. (2002). La formación en las organizaciones. En P. Pineda Herrera (Coord.), Gestión de la formación en las organizaciones (pp. 13-36). Barcelona: Ariel.         [ Links ]

Cheng, E. W. L. & Ho, D. C. K. (2001). A review of transfer of training studies in the past decade. Personnel Review, 30 (1), 102-118.         [ Links ]

Ferrández Arenaz, A. (2002). ¿Y después de la formación qué? En Ideas para seguir reflexionando sobre educación (pp.143-153). Bellaterra: Servicio de publicaciones de la Universidad Autónoma de Barcelona        [ Links ]

Ferrández Lafuente, E. (2006). La evaluación de impacto en el Masterde Formación de Formadores. CIFO-FLC. Informe de Investigación. Universidad Autónoma de Barcelona, Departamento de Pedagogía Aplicada.         [ Links ]

Gairín Sallán, J. (1998). La evaluación del impacto de la formación. En J. Gairín y A. Ferrández (Coord.), Planificación y gestión de instituciones de formación (pp. 296/17-296/30). Barcelona: Praxis.         [ Links ]

Holton, E. F. I. (1996). The flawed four-level evaluation model. Human Resource Development Quarterly, 7 (1), 5-12.         [ Links ]

Kirwan, C. & Birchall, D. (2006). Transfer of learning from management development progrannes: Testing the Holton Model. International Journal of Training and Development, 10 (4), 252-268.         [ Links ]

Pineda Herrera, P. (2000). Evaluación de impacto de la formación en las organizaciones. Educar, 27, 119-133.         [ Links ]

Santos Diez, R. (1992). La evaluación de las acciones formativas del INAP. Bases de un nuevo sistema de evaluación. Madrid: MAP.         [ Links ]

Sullivan R. (2002). Transfer of learning. A guide for strengthening the performance of health care workers. Consultado el 15 de febrero de 2006 en: http://www.reproline.jhu.edu/english/6read/6training/tol/        [ Links ]

Tejada, J. (1998). Modelos de evaluación. En J. Gairín y A. Ferrández (Coord.), Planificación y gestión de instituciones de formación (pp. 269-295). Barcelona: Praxis.         [ Links ]

Tejada, J. (1999). La evaluación: su conceptualización. En B. Jiménez (Ed.), Evaluación de programas, centros y profesores (pp. 25-56). Madrid: Síntesis.         [ Links ]

Tejada, J. (2007). Evaluación de programas. En J. Tejada y V. Giménez (Coords.), Formación de formadores. Escenario institucional (pp. 391-465). Madrid: Thomson.         [ Links ]

Notas

 ^* Este trabajo es parte de uno más amplio titulado La evaluación de impacto en el Master de Formación de Formadores CIFO (Colectivo de Investigación en Formación Ocupacional)-FLC (Fundación Laboral de la Construcción), realizado por el Grupo de investigación cifo integrado por José Tejada (director), Elena Ferrández, Pedro Jurado, Oscar Mas, Antonio Navio y Carmen Ruiz.

^** This project is part of a more extensive one, titled The evaluation of impact in the Master of Training the Trainer CIFO (Colectivo de Investigación en Formación Ocupacional)-FLC (Fundación Laboral de la Construcción), developed by the research group CIFO, integrated by José Tejada (Director), Elena Ferrández, Pedro Jurado, Oscar Mas, Antonio Navio y Carmen Ruiz.