nueva página del texto (beta)
Español (pdf)
Artículo en XML
Referencias del artículo
Traducción automática
Enviar artículo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
Introducción
En la actualidad se puede apreciar una oleada discursiva en cuanto al ofrecimiento de servicios de calidad, a pesar de que en muchos casos no se tiene una idea clara del significado de la palabra calidad. En el apartado 9 de la norma ISO 9001:2015 se hace énfasis en la evaluación del desempeño y en la importancia de continuar con el análisis a partir de lo que el cliente sugiere que se debe continuar reproduciendo y aquello que se debe eliminar.
Para Cruz, López y Ruiz (2017), la familia de normas ISO 9000 trata diversos aspectos de la gestión de la calidad y proporcionan orientación y herramientas para las empresas y organizaciones que quieren asegurarse de que sus productos y servicios cumplan consistentemente con los requerimientos del cliente y con la mejora constante. Por eso, la evaluación de desempeño es importante, pues -de acuerdo con esos autores- esta se refiere a realizar seguimiento, medición del desempeño y análisis y evaluación tanto de los procesos como de la opinión del cliente con el fin de implementar las acciones necesarias para alcanzar los resultados planificados y la optimización de dichos procesos. Para esto, el diseño de experimentos puede contribuir a las síntesis de resultados, ya que al analizar los cambios en el sistema bajo investigación y al evaluar estadísticamente el efecto se validan algunas características o se determina la influencia de uno o más factores sobre algunas características de un proceso, sistema o bien a la organización.
Justificación
A pesar de que se ha reconocido la ventaja que presentan la conformación de estas dimensiones en una norma de calidad y la satisfacción y calidad que busca proveer a sus usuarios, se suele estar lejos de la aplicación de las mejores estrategias. Por tanto, es necesaria la elaboración de instrumentos que den cuenta de una medición objetiva para no generar resultados tendenciosos en los valores finales. Esto se debe promover porque la determinación de sus propiedades métricas son clave para lograr el objetivo en cuestión: una medición imparcial de su desarrollo a partir de la determinación de sus dimensiones.
El interés de la medición radica en la obtención de datos precisos y objetivos que permitan tomar decisiones acertadas al respecto de situaciones diversas. Cuando se habla del establecimiento de normas de calidad para su cumplimiento (de acuerdo con lo que se percibe como deseado por parte de sus trabajadores, puesto que se vincula con la teoría establecida al respecto), es necesario determinar el aporte al aprendizaje de los trabajadores, además de definir con claridad en qué medida se está reflejando ese aporte para luego aplicar o intervenir de manera congruente en el mejoramiento del contexto.
Planteamiento de problema
Contar con herramientas de medición del servicio en las organizaciones sentará las bases de crecimiento, riqueza y productividad, pues son los clientes quienes directamente proveen la información insumo para la toma de decisiones y para el cambio, en la búsqueda de la maduración objetiva de los sistemas de gestión de la calidad. Es decir, la base radica directamente en los resultados que proporciona el cliente, al realizar aseveraciones sobre la función que se ejerce en los procesos de provisión de servicios, lo que da sustento a la siguiente pregunta de investigación.
Revisión de literatura
La evaluación del desempeño de un sistema de gestión para la calidad (SGC) es el punto preliminar al cierre del ciclo de mejora abordado por la ISO 9001:2015, en el que se analizan los resultados de los procesos en un lapso determinado a evaluar mediante indicadores, instrumentos, encuestas, auditorías y reuniones de comité.
Los SGC basados en la norma ISO 9001:2015 incorporan un lenguaje de fácil comprensión, con normas de apoyo (como la ISO 9000:2015), de fundamentos y vocabulario para los sistemas de gestión de la calidad, en donde definen los términos utilizados en la norma certificable ISO 9001:2015 para organizaciones que desean mejorar su desempeño global.
Con el objeto de presentar claridad al lector en cuanto a la terminología fundamental para el entendimiento del abordaje de este apartado, a continuación se presentan algunos conceptos esenciales para la apertura al tema. La norma ISO 9000:2015 Sistemas de gestión de la calidad-Fundamentos y vocabulario define lo siguiente:
3.7.8 Desempeño
Resultado medible
Nota 1 a la entrada: El desempeño se puede relacionar con hallazgos cuantitativos o cualitativos.
Nota 2 a la entrada: El desempeño se puede relacionar con la gestión (3.3.3) de actividades (3.3.11), procesos (3.4.1), productos (3.7.6), servicios (3.7.7), sistemas (3.5.1) u organizaciones (3.2.1).
Nota 3 a la entrada: Este es uno de los términos comunes y definiciones esenciales para las normas de sistemas de gestión que se proporcionan en el Anexo SL del Suplemento ISO consolidado de la Parte 1 de las Directivas ISO/IEC. La definición original se ha modificado con la modificación de la nota 2 a la entrada (ISO, 2015).
2.2.2 Sistemas de gestión de la calidad
Un SGC comprende actividades mediante las que la organización identifica sus objetivos y determina los procesos y recursos requeridos para lograr los resultados deseados.
El SGC gestiona los procesos que interactúan y los recursos que se requieren para proporcionar valor y lograr los resultados para las partes interesadas pertinentes.
EL SGC posibilita a la alta dirección optimizar el uso de los recursos considerando las consecuencias de sus decisiones a largo y corto plazo.
Un SGC proporciona los medios para identificar las acciones para abordar las consecuencias previstas y no previstas en la provisión de productos y servicios (ISO, 2015).
Se puede decir que la evaluación del desempeño de un SGC constituye el seguimiento del estado en que se encuentra la organización en sus procesos, mediante el análisis y revisión de los resultados para tomar las acciones que aseguren la obtención de los objetivos.
Para Yar (2018), la autoevaluación del desempeño del SGC se realizará una vez que haya transcurrido un lapso determinado, con el sistema implementado, el mecanismo o herramienta a utilizar para evaluar internamente los procesos será la auditoría de acuerdo con lo que establece la norma ISO 9001:2015.
La evaluación del desempeño (capítulo 9 de la norma ISO 9001:2015) del estado del SGC es la etapa en la que se verifica y observan los efectos acontecidos en el SGC durante las primeras dos etapas (planear y hacer del ciclo PHVA) del ciclo de mejora o ciclo de Shewhart adoptado en la estructura de la norma ISO 9001:2015. Este “es un procedimiento valioso que ayuda a perseguir la mejora en cualquier etapa” (Deming, 1989, p.67).
El ciclo de los tres pasos propuesto por Shewhart (1939) “constituye un proceso científico dinámico de adquisición de conocimiento que permite la retroalimentación para lograr la mejora continua” (p. 45), y se halla compuesto por tres pasos: 1) especificación, 2) producción y 3) inspección. Este fue el modelo del que partió el ciclo de mejora de Deming adaptado más tarde por los SGC basados en la norma ISO 9001 (Figura 1).
Este fue abordado posteriormente por Deming (1989), quien agregó un cuarto paso al ciclo de tres fases de Shewhart: ensayarlo en la postventa, descubrir qué piensa el usuario de él y por qué no lo ha comprado el no-usuario. Asimismo, comenta que “siguiendo con los cuatro pasos se llega a una hélice de mejora continua de la satisfacción del cliente, a costes cada vez más bajos” (Deming, 1989, p. 141) (Figura 2).
Como se aprecia en la Figura 3, este ciclo fue adaptado posteriormente por la ISO.
Fuente: Elaboración propia a partir de la norma ISO 9001:2015 (ISO, 2015)
Figura 3 Representación de la estructura de la norma ISO 9001:2015
Representación de la estructura de la ISO 9001:2015 con el ciclo PHVA (ciclo de mejora).
El ciclo PHVA puede describirse brevemente como sigue:
Planificar: Establecer los objetivos del sistema y sus procesos, así como los recursos necesarios para generar y proporcionar resultados de acuerdo con los requisitos del cliente y las políticas de la organización, e identificar y abordar los riesgos y las oportunidades.
Hacer: Implementar lo planificado.
Verificar: Realizar el seguimiento y (cuando sea aplicable) la medición de los procesos y los productos y servicios resultantes respecto a las políticas, los objetivos, los requisitos y las actividades planificadas, e informar sobre los resultados.
Actuar: Tomar acciones para mejorar el desempeño, cuando sea necesario (ISO, 2015 p.10).
En la etapa de evaluación del desempeño, se verifica el seguimiento y medición de los procesos, productos y servicios bajo el marco de las políticas, objetivos, requisitos inherentes a la norma ISO y los propios de la organización y a todas las actividades planificadas del SGC.
Seguimiento, medición, análisis y evaluación de un sistema de gestión de la calidad
En educación, las prácticas de evaluación son inherentes a la búsqueda de la calidad formativa, lo cual resulta imprescindible para promover la mejora progresiva de los aprendizajes; es decir, la evaluación permite identificar deficiencias, que deben ser corregidas, y reconocer fortalezas, que deben ser afianzadas (Instituto Nacional para la Evaluación de la Educación, 2018). En efecto, una adecuada evaluación de las prácticas educativas permitirá detectar y corregir las debilidades, aprovechar las oportunidades, afrontar las amenazas y debilidades, y mantener y explotar las fortalezas.
Contar con indicadores que midan el desempeño de los planes es un gran logro para conocer la situación en la que se encuentran los objetivos derivados de la planeación nacional y sus avances; además, la información generada facilita la toma de decisiones (Consejo Nacional de Evaluación de la Política de Desarrollo Social, 2017
. En otras palabras, medir el desempeño de las actividades de una institución educativa permite recabar información necesaria para tomar decisiones que mejoren sus condiciones actuales.
En el capítulo 9 de la norma ISO 9001:2015 (2015) se menciona que la organización debe determinar que necesita seguimiento y medición, los métodos de seguimiento, medición, análisis y evaluación necesarios para asegurar resultados válidos, cuándo se deben llevar a cabo el seguimiento y la medición, y cuándo se deben analizar y evaluar los resultados del seguimiento y la medición. Además, evaluar el desempeño y la eficacia del sistema de gestión de la calidad. Para ello, la norma de apoyo ISO 9000:2015 Sistemas de gestión de la calidad-Fundamentos y vocabulario define lo siguiente:
3.11.3 Seguimiento
Determinación (3.11.1) del estado de un sistema (3.5.1), un proceso (3.4.1), un producto (3.7.6), un servicio (3.7.7) o una actividad
Nota 1 a la entrada: Para determinar el estado puede ser necesario verificar, supervisar u observar de forma crítica.
Nota 2 a la entrada: El seguimiento generalmente es una determinación del estado de un objeto (3.6.1) al que se realiza el seguimiento, llevado a cabo en diferentes etapas o momentos diferentes.
Nota 3 a la entrada: Este término es uno de los términos comunes y definiciones esenciales para las normas de sistemas de gestión que se proporcionan en el Anexo SL del Suplemento ISO consolidado de la Parte 1 de las Directivas ISO/IEC. La definición original y la nota 1 a la entrada se han modificado, y se ha añadido la nota 2" (ISO, 2015).
3.11.4 Medición
Proceso (3.4.1) para determinar un valor
Nota 1 a la entrada: De acuerdo con la Norma ISO 3534-2, el valor determinado generalmente es el valor de una magnitud.
Nota 2 a la entrada: Este término es uno de los términos comunes y definiciones esenciales para las normas de sistemas de gestión que se proporcionan en el Anexo SL del Suplemento ISO consolidado de la Parte 1 de las Directivas ISO/IEC. La definición original a la entrada se ha modificado y se ha añadido la nota 1 a la entrada" (ISO, 2015).
La existencia de una serie de indicadores específicos para medir la participación del personal durante la implementación y la función del SGC es la forma adecuada de garantizar una medida adecuada con respecto a los requisitos de la norma para cuestiones de personal (Giuliano, Moroncini, & Depounti, 2012). En esta etapa del SGC, es importante definir los métodos apropiados para obtener resultados válidos y confiables sobre el desempeño del sistema, elemento de entrada para el análisis que se efectúe y para la posterior toma de decisiones que cierra el ciclo de mejora.
La satisfacción de usuarios de un sistema de gestión de la calidad
La satisfacción de usuarios de un SGC es fundamental para mejorar su desempeño, de ahí que Surdez, Sandoval y Lamoyi (2018) afirmen que “valorar la satisfacción estudiantil contribuye a tomar decisiones acertadas en la gestión orientada a la calidad universitaria” (p.9). Las encuestas de satisfacción de usuarios miden sus dimensiones de percepción con respecto a los requisitos del SGC, factor decisivo en el análisis para fijar acciones orientadas a la mejora continua. El usuario estará satisfecho cuando los servicios cubren o excedan sus expectativas. Si las expectativas del usuario son bajas o si el usuario tiene acceso limitado a cualquiera de los servicios, puede ser que esté satisfecho con recibir servicios relativamente deficientes, por lo que se hace necesario medir constantemente sus percepciones para obtener información que ayude a mejorar el SGC.
Para dicho fin, se aplican las encuestas de satisfacción al ofrecer los procesos certificados en un SGC, ya sea para bridar un servicio o para entregar un producto, y se analizan en periodos determinados para conocer el grado en que se cumplen las expectativas de los usuarios finales.
La norma ISO 9000:2015 Sistemas de gestión de la calidad-Fundamentos y vocabulario define lo siguiente:
3.9.2 Satisfacción del cliente
Percepción del cliente (3.2.4) sobre el grado en que se han cumplido las expectativas de los clientes
Nota 1 a la entrada: Puede que la expectativa del cliente no sea conocida por la organización (3.2.1), o incluso por el propio cliente, hasta que el producto (3.7.6) o servicio (3.7.7) se entregue. Para alcanzar una alta satisfacción del cliente puede ser necesario cumplir una expectativa de un cliente incluso si no está declarada, ni está generalmente implícita, ni es obligatoria.
Nota 2 a la entrada: Las quejas (3.9.3) son un indicador habitual de una baja satisfacción del cliente, pero la ausencia de las mismas no implica necesariamente una elevada satisfacción del cliente.
Nota 3 a la entrada: Incluso cuando los requisitos del cliente (3.6.4) se han acordado con el cliente y éstos se han cumplido, esto no asegura necesariamente una elevada satisfacción del cliente (ISO, 2015).
Para Surdez et al. (2018), “el progreso de un país depende en gran medida de la calidad educativa que brinden las universidades, y la satisfacción de los trabajadores es un indicador para evaluarla” (p.12). En ese sentido, el contar con sistemas que incorporen mediciones para evaluar la satisfacción y percepción de los usuarios se vuelve un factor importante para lograr la mejora integral del sistema educativo en México.
Análisis y evaluación de un sistema de gestión de la calidad
Los modelos de gestión de la calidad tienen en común algunos aspectos: están dirigidos a la mejora de los resultados de las organizaciones a través de la optimización continua, requieren el compromiso de la dirección y la orientación al cliente y pueden ser utilizados tanto para realizar una autoevaluación (análisis de situación que permite conocer el punto de partida y establecer planes de mejora) como para someterse a evaluaciones externas (verificación, acreditación y certificación) (Martínez, Pérez y Martínez, 2018).
En estas etapas intervienen las evaluaciones del desempeño del personal, clima laboral, satisfacción de usuarios, indicadores y auditorías internas y externas que se analizan para conocer el estado del SGC y tomar decisiones que corrijan desviaciones no deseadas de las metas y objetivos de la organización. En la tabla 1 se hace una correspondencia entre el capítulo 9 de la norma ISO 9001:2015 y las técnicas y herramientas de ingeniería de calidad.
Tabla 1 Correspondencia entre el capítulo 9 de la norma ISO 9001:2015 y las técnicas y herramientas de ingeniería de calidad
| Numeral ISO 9001:2015 | Técnicas/herramientas ingeniería de calidad |
| 9.1 Seguimiento, medición, análisis y evaluación | Diseño de experimentos, prueba de hipótesis, metrología, análisis de la capacidad del proceso, análisis de regresión, análisis de confiabilidad, muestreo, gráficos de control estadístico de procesos, análisis de series de tiempo, indicadores. |
| 9.2 Auditoría interna | Muestreo, estadística descriptiva, hoja de verificación. |
| 9.3 Revisión por la dirección | Análisis de la capacidad del proceso, muestreo, gráficos de control estadístico de procesos, hoja de verificación, histograma, diagrama de pareto. |
Fuente: Elaboración propia a partir de la tabla de correspondencia entre los numerales de la norma ISO 9001:2015 y las técnicas y herramientas de ingeniería de calidad (Cruz et al., 2017).
Asimismo, Cruz et al. (2017) mencionan que la mejora constituye el punto del ciclo PHVA donde se toman decisiones alrededor de la mitigación de las causas de las fallas en el sistema; por ende, las herramientas de ingeniería de la calidad para dar cumplimiento del último numeral de la ISO 9001:2015 son las mismas descritas para la operación y la evaluación del desempeño, ya que al tener cuantificadas las causas de la no calidad, lo que sigue es la formulación de estrategias que las minimicen o si es posible que las eliminen.
Por eso, y para llegar a este último capítulo de la norma ISO 9001:2015 (10; mejora), se hace necesario transitar por el capítulo 9 (evaluación del desempeño), pues identificadas y valoradas las causas de las deficiencias en el SGC, se puede proceder a la determinación de las estrategias para corregir las causas que originan dichas deficiencias.
Auditoría interna de un sistema de gestion de la calidad
Velázquez (2019) señala que “a través del ejercicio de auditoría se tiene la oportunidad de obtener información (hechos y datos) relevante para la organización y para tomar decisiones, pero si los resultados están viciados, no es posible obtener beneficios” (p.154). Las auditorías para SGC son apoyadas por la norma ISO 19011; directrices para la auditoría de los sistemas de gestión, que proporciona orientación sobre la gestión de un programa de auditoría sobre la planificación y la realización de auditorías de sistemas de gestión, así como sobre la competencia y evaluación de un auditor y un equipo de auditoria (ISO, 2018).
La auditoría de calidad es el examen sistemático de un sistema de calidad realizado por un auditor de calidad interno o externo, o por un equipo de auditoría. Es una parte importante del sistema de gestión de la calidad de una organización y es un elemento clave en el estándar del sistema de calidad ISO, ISO 9001 (Mauch, 2010). Este proceso debe ser planeado en intervalos determinados, estableciendo el objetivo de cada auditoría, su alcance, los involucrados, el plan específico, los criterios y métodos para evaluar el SGC de manera sistemática y estandarizada.
En el caso de la retroalimentación interna, corresponde a las auditorías internas -también llamadas auditorías de primera parte-, realizadas en general por el propio personal de la organización con las competencias adecuadas de acuerdo con lo definido por la propia empresa (Vásquez y Torres, 2018). Los auditores internos deben capacitarse y adquirir la experiencia para ser capaces de realizar el proceso de auditoría de un SGC con imparcialidad y objetividad, conservando evidencia de su capacitación, evaluación y participación en auditorías dentro y fuera de la organización.
Velásquez (2019) comenta que si se desea que la auditoría interna sea verdaderamente un mecanismo para promover el aprendizaje, la reflexión y la mejora de la organización, se debe ajustar la manera como la llevamos a cabo, considerar que a partir de la interacción entre auditores y auditados puede surgir conocimiento que redunde en beneficio de todos y tener una genuina intención de aprovechar sus resultados.
Visto de esa manera, la auditoría también puede ser un mecanismo de aprendizaje para potenciar las condiciones de la organización, al intercambiar opiniones y experiencias entre auditores y auditados de la misma organización, lo que permite enriquecer la información para ser analizada y llevada a la mejora de su SGC.
En la norma de Sistemas de gestión de la calidad-Fundamentos y vocabulario (ISO, 2015), se menciona que la auditoría es un medio para evaluar la eficacia de un SGC, para identificar riesgos y para determinar el cumplimiento de los requisitos. Pero para que las auditorías sean eficaces necesitan recopilarse evidencias tangibles e intangibles que servirán para tomar acciones de corrección y mejora. De este modo, el conocimiento adquirido podría conducir a la innovación, llevando el desempeño del SGC a niveles más altos.
Dentro de este proceso, se deben recabar evidencias que sustenten los hallazgos encontrados, identificando potenciales situaciones de desviación de los requisitos establecidos por la norma ISO 9001:2015 o de la propia organización. Asimismo, la información y conocimientos adquiridos pueden emplearse para retroalimentar el SGC y elevar su desempeño.
La norma para gestión de calidad-calidad de un organización-orientación para lograr éxito sostenido (ISO, 2018) establece que las auditorías internas son una herramienta eficaz para determinar los niveles de conformidad del sistema de gestión de la organización con sus criterios seleccionados, los cuales proporcionan información valiosa para comprender, analizar y mejorar el desempeño de la organización. Las auditorías internas deben evaluar la implementación, la eficacia y la eficiencia de los sistemas de gestión de la organización. Esto puede incluir la auditoría de más de un estándar de sistema de gestión, así como abordar los requisitos específicos relacionados con las partes interesadas, productos, servicios, procesos o problemas específicos.
Una auditoría puede tener diferentes objetivos, desde la revisión integral de los requisitos de la norma ISO 9001 en el SGC, una revisión de los proveedores externos, de un proceso en específico o de un área con problemas recurrentes.
Revisión por la dirección de un sistema de gestión de la calidad
Tarí (2000) afirma que para que los directivos puedan comprobar, por un lado, los resultados alcanzados y, por el otro, el cumplimiento de los objetivos de la calidad necesitan disponer de información que apoye tanto al proceso de planificación como al de control de la calidad.
Para llevar a cabo las revisiones por la dirección se debe recabar invariablemente la información correspondiente al periodo a evaluar, debiendo esta ser lo más clara y oportuna para su análisis. En un estudio sobre la ISO 9001:2015 en universidades públicas en México (González, Abreu y Araiza, 2018) se menciona que la dirección de la organización es un factor determinante, puesto que de no ser considerado un factor estratégico, la implementación de un sistema de gestión de calidad no tendría efectos positivos en la organización, por lo que resulta crucial la pertinencia de la calidad de la información para los procesos.
En este sentido, para efectos de la realización de la revisión por la dirección es imprescindible que la dirección de la organización tenga la precisa información sobre el periodo a evaluar, ya que es estratégico para la mejora de la organización el poder analizar esta información en periodos establecidos.
Sin embargo, para Velásquez (2019), cuando las personas no han comprendido el sistema ni han participado en su definición, los resultados de las auditorías también les son ajenos, pues desconocen el significado de los hallazgos y, por tanto, no saben qué hacer para tomar acciones. Por este motivo, resulta trascendental para la eficiencia de un SGC integrar la dirección de la organización en su implementación, mantenimiento y mejora.
En otras palabras, el involucramiento de la alta dirección es esencial no solo por su participación y compromiso con el SGC, sino por la designación de roles y responsabilidades para que los miembros encargados de los procesos estén informados del significado de los hallazgos de las auditorías y así poder tomar las decisiones que reflejen la mejora del SGC. Por ello, comunicar de manera clara y transparente la información relativa a la evaluación del desempeño de la organización resulta básico para la toma de decisiones enfocadas en la mejora continua.
Metodología
El diseño metodológico representa una parte fundamental de la investigación, pues representa la guía para generar una indagación estructurada que soporte la fidelidad de los resultados obtenidos. Por ello, constituye una ruta estructurada que permite alejar el sesgo y, en consecuencia, sustentar los hallazgos. De acuerdo con Ato y Vallejo (2015), dos tipos de validez determinan la calidad del diseño: la validez interna, que se refiere a la capacidad de controlar el efecto de las variables extrañas que podría confundir el efecto de las variables experimentales, y la validez externa, que se refiere a la capacidad para generalizar los resultados de la investigación a otros participantes, contextos y momentos.
Para Punch (2014) “el diseño de investigación corresponde al plan y a la estructura de la investigación para la obtención de las respuestas a las preguntas de investigación establecidas” (p. 264), mientras que para Supo (2016) un diseño de investigación es una estrategia metodológica y estadística para alcanzar el propósito del estudio que se encuentra traducido de manera específica en el objetivo del trabajo o la investigación en cuestión. Siguiendo estas ideas, Montero y León (2007) establecen una clasificación de las metodologías de investigación en psicología para el estudio de comportamientos sociales, las cuales definen pautas para guiar su utilización; entre estas se consideran a) los estudios teóricos, b) los estudios empírico cuantitativos y c) los estudios empíricos cualitativos.
Ahora bien, la presente investigación se inserta en la última categoría, la cual -según los referidos autores- se encuentra representada por estudios descriptivos de poblaciones mediante encuestas con muestras probabilísticas, experimentos, cuasiexperimentos, estudios ex post facto, experimentos de caso único y estudios instrumentales. En estos se posicionan la creación y la validación de instrumentos, puesto que están encaminados al desarrollo de pruebas y aparatos, incluyendo tanto la creación como el estudio de las propiedades psicométricas de los ya existentes. Explicado esto, se puede decir que la presente investigación ha sido diseñada con base en un modelo cuantitativo, experimental, de corte transversal y a su vez explicativo.
Instrumentos de medición
De acuerdo con Hernández, Fernández y Baptista (2014), “un instrumento de medición es un recurso que utiliza el investigador para registrar información o datos sobre las variables que tiene en mente, y sin el cual no es posible clasificar observaciones” (p. 199). Por su parte, Supo (2016) señala que existen tres diferentes tipos de instrumentos de medición documentales: cuestionarios, inventarios y escalas de medición, y enfatiza que se debe reconocer la diferencia entre cada uno de estos para poder aplicar las estrategias más apropiadas para su validación.
Para este estudio se han considerado las escalas de medición, las cuales se representan por instrumentos elaborados a partir de preguntas que permiten graduar la intensidad de una respuesta en relación con conductas, actitudes u opiniones de las personas mediante ejemplos como leve, moderado y severo; alto, medio, bajo, entre otras (Supo, 2016).
Aiken (2003) establece que las escalas representan el método más popular de medición de actitudes, consistente en un conjunto de enunciados positivos y negativos concernientes a un concepto específico (un grupo de personas, una institución, un concepto). En este tipo de instrumento la calificación se determina a partir de las respuestas agregadas de los examinados a los enunciados, con el método específico de calificación que depende del tipo de escala.
Proceso de validación
De acuerdo con Supo (2016), para llevar a cabo el proceso de validación de un instrumento se deben considerar con precisión las fases de la investigación que todo estudio requiere (sea cualitativo o cuantitativo). Esto es indispensable porque de lo contrario la validez del instrumento no se concluirá con efectividad.
Según Escobar y Cuervo (2008), la validez cobra especial atención cuando se aplica en diferentes situaciones, de las cuales las dos más frecuentes son a) el diseño de una prueba de nueva creación y b) la validación de un instrumento. Nunnally (1991) y Hernández et al. (2014) refieren la validez como el grado en que un instrumento mide lo que tiene que medir. Sin embargo, Aiken (2003) apunta que una desventaja de esta definición es la implicación de que un instrumento solo tiene una validez cuando en realidad existen diversas clases de ella, las cuales se ejecutan en función de situaciones como el propósito de su diseño y la población objeto de estudio.
Ante estas puntualizaciones, la validación corresponde a la elaboración de un diseño propio generado por un conjunto de necesidades particulares, entendiendo que para cada necesidad investigativa existe un plan propio, por lo que cada instrumento se valida de una forma distinta considerando elementos como la variable a medir, las dimensiones de la variable, los reactivos y la precisión o exactitud que desee conseguir el investigador.
Por lo anterior, es preciso comentar que el instrumento empleado en este trabajo se clasificó en la categoría de escala y se construyó a través de la aplicación de las fases cualitativa y cuantitativa mediante la validación de contenido en primera instancia y posteriormente mediante la determinación de las propiedades métricas referidas a la validez de constructo y de confiablidad, las cuales a continuación se detallan.
Validez de contenido: Se estableció la validez de contenido a través de la consulta a expertos en el ámbito de la gestión de la calidad, específicamente sobre el proceso de monitoreo requerido en una auditoría. Una vez revisado, se procedió a la corrección de las situaciones que se consideraron necesarias y se añadieron otros elementos que debían integrar un instrumento de esta naturaleza.
Validez de constructo: Se estableció la validez de constructo a través de un análisis factorial exploratorio, para el cual la teoría establece que se ha de aplicar el cuestionario a una muestra de entre cuatro y cinco veces el número de los ítems considerados. Por ello, la muestra con la cual se trabajó para este primer análisis correspondió a 133 trabajadores que forman parte de un sistema de gestión de calidad en una institución de educación superior certificada por la norma ISO 9001-2015. Al realizar el análisis, se determinó que eran cinco el número de dimensiones entre las cuales se debían distribuir los ítems (ver anexo 1. Instrumento de medición norma ISO 9001:2015).
Validez de estabilidad: Se estableció la confiabilidad a través del alfa de Cronbach
, el cual reflejó 0.969 (esta cifra indica que los ítems definidos en el instrumento son bastante confiables).
Determinación de la validación de contenido
La fase cualitativa de la validación de instrumentos se denomina validez de contenido, y está integrada por tres importantes aspectos: el juicio de expertos, la validez de respuesta y la validez racional. El apoyo del juicio de expertos es necesario para la determinación de la suficiencia y pertinencia de los ítems que conforman dicho instrumento. En este proceso, a través de las contribuciones de los jueces, se eliminaron los ítems irrelevantes, se adicionaron los que no se habían integrado al cuestionario (y que eran parte importante de la conceptualización de la variable a medir) y se modificaron aquellos que así lo requerían.
El objetivo de la validez de contenido es determinar si el instrumento produce un rango de respuestas representativas del dominio entero o universo de habilidades, entendimientos u otras conductas pretendidas a medir. Si los expertos en la materia coinciden en la pertinencia y suficiencia de los ítems formulados, entonces el instrumento posee validez de contenido (Aiken, 2003). De manera complementaria, es necesario recordar que la fase cuantitativa de la validación de un instrumento de evaluación corresponde a la evaluación de sus propiedades métricas. “La validez de contenido describe un juicio concerniente a lo adecuado del muestreo que hace una prueba del comportamiento representativo del universo de comportamiento del que la prueba está diseñada para tomar una muestra” (Cohen y Swerdlik, 2001, p. 186). Por otro lado, la fase cuantitativa de la validación de un instrumento corresponde a la evaluación de sus propiedades métricas.
Determinación de la validez de constructo
En cuanto a la validez de constructo, Aiken (2003) explica que se refiere al grado en el que un instrumento mide una variable o concepto. Esto no se determina de una sola manera o por una investigación; de hecho, entre las evidencias que muestran su manifestación se hallan los juicios de los expertos y el análisis de la consistencia interna del instrumento, entre otras. La consistencia interna se vincula con el grado en que cada ítem se muestra como parte básica constitutiva de este, es decir, una equivalencia adecuada con el resto de los ítems. Si existe una elevada correspondencia entre los ítems, sus respuestas estarán altamente correlacionadas, mientras que las diferentes partes en las que el instrumento se puede dividir mostrarán una elevada covariación (Meneses et al., 2013). “Las técnicas estadísticas empleadas para comprobar dicha validez son tradicionalmente el análisis factorial exploratorio” (Campbell y Fiske, 1959, p.90), y más recientemente el análisis factorial comprobatorio.
De acuerdo con Meneses et al. (2013), el análisis factorial exploratorio se basa en determinar una distribución de ítems en un número particular de dimensiones, para lo cual reúne diferentes procedimientos que persiguen la reducción inicial de múltiples variables en un menor número de factores, incluidos en un instrumento de medición, que para el caso en cuestión refiere uno de tipo escala, pues -de acuerdo con Cronbach y Meehl (1955)- en este “se representa de manera fidedigna el constructo que se pretende medir, así como las relaciones esperadas entre los diferentes constructos, por lo tanto, se considera como válido para dicha tarea” (p. 8).
Por su parte, Kerlinger y Howard (2002) señalan que el análisis factorial examina un conjunto de variables y determina cuáles van juntas. Las que logran juntarse adquieren el nombre de factor, el cual constituye un constructo, una entidad hipotética o una variable latente que fundamenta las mediciones de cualquier tipo.
Por otro lado, el análisis factorial confirmatorio permite contrastar un modelo construido anticipadamente, en el que el investigador establece a priori el conjunto total de las relaciones entre los elementos que lo configuran. En este análisis el investigador precisa confirmar que esa estructura puede también obtenerse empíricamente.
Análisis e interpretación de resultados
A continuación, se presentan los resultados de estudio en el orden en que fueron definidos en el apartado referido al diseño del estudio, es decir, los lineamientos elementales en un proceso de validación de un instrumento, que consideran el juicio de expertos y el análisis factorial exploratorio.
En cuanto a la determinación de la validez de contenido
En relación con el contenido de los reactivos, estos se establecieron según la información que arrojó la literatura sobre la norma de calidad ISO 9001:2015, en su apartado 9. Para el juicio de expertos se consideraron elementos planteados por Escobar y Cuervo (2008), quienes sugieren trabajar la información tanto de manera cualitativa como cuantitativa; sin embargo, atendiendo los planteamientos de Supo (2016), en cuanto a la diferenciación de las fases de la investigación científica, se tomaron en cuenta los elementos cualitativos para comenzar con el proceso:
Se definió el objetivo del juicio de experto, el cual consistió en dictaminar la pertinencia o insuficiencia de los ítems incluidos en la estructura tentativa del instrumento.
Se seleccionaron tres jueces expertos en el ramo educativo. Estos son integrantes de la plantilla de profesores investigadores de la Universidad Juárez del Estado de Durango, con una amplia trayectoria en el ramo de la aplicación de normas de calidad.
Por último, se presentó a dicho grupo de jueces la distribución de los ítems que conformaron cada una de las dimensiones a que dio lugar la teoría existente, la cual permitió el desglose de la variable de estudio.
Es importante mencionar que se entregó a los jueces un instrumento conformado por seis dimensiones, integradas por 42 ítems, a los que se revisó la existencia de cualidades como suficiencia y pertinencia, además de situaciones referentes a la redacción con una intencionalidad de claridad en el ítem (cabe mencionar que en este dictamen no se eliminó ningún ítem). Luego se procedió a realizar la fase cuantitativa, comenzando con la determinación de la validez de constructo.
En cuanto a la determinación de la validez de constructo
En cuanto a la determinación de la validez de constructo, el primer paso consistió en la aplicación del instrumento -conformado por los 42 ítems aprobados en la validación de contenido- a una muestra de 133 trabajadores que forman parte de un sistema de gestión de calidad en una institución de educación superior certificada por la norma ISO 9001-2015, los cuales cumplen con las características necesarias para realizar la validación del presente instrumento. Es decir, en este primer momento se recogieron las percepciones de los trabajadores para determinar las probables dimensiones del instrumento.
La herramienta estadística utilizada correspondió al software de analítica predictiva SPSS (versión 23), mientras que la extracción de los factores o componentes de la variable se llevó a cabo con la técnica de componentes principales.
De acuerdo con los parámetros estadísticos, la primera regla para determinar el análisis factorial o la estructura de dimensiones del instrumento en cuestión consistió en verificar que la matriz de datos presentara la cualidad de rectangular, es decir, que hubiera más casos que variables, por lo que posteriormente se procedió a determinar la prueba KMO y el coeficiente de esfericidad de Bartlet.
El coeficiente de significancia de la prueba de esfericidad de Bartlet, .000 parte de la hipótesis de nulidad de que los ítems no están correlacionados entre sí, ya que evalúa si la correlación de la matriz observada se ajusta a las correlaciones de una matriz de identidad, en la que existen valores de cero por ambos lados de la diagonal, lo que indica que no existe correlación entre los ítems.
Por lo tanto, si el p valor observado es menor que el nivel de significancia (que en las ciencias sociales es 0.05), se cumple el indicio y se puede llevar a cabo el análisis exploratorio. Es decir, se rechaza la hipótesis de nulidad, referente a que la matriz de correlaciones sea una matriz de identidad.
Por otro lado, el coeficiente KMO -o coeficiente de adecuación muestral Kayser, Mayer, Olsen- tiene como base el hecho de que si las variables o ítems parten de factores comunes, las correlaciones parciales entre pares de ítems deberían ser pequeñas si los efectos de los demás ítems son controlados o eliminados. Esta medida sirve para contrastar la magnitud de los coeficientes de correlación observados con la magnitud de los coeficientes de correlación parciales, arrojando coeficientes que van de cero a uno, estableciendo que coeficientes menores a 0.60 dan a conocer que el análisis factorial no es aplicable, ya que las correlaciones entre pares de ítems no pueden ser explicadas por otros ítems.
Por tanto, se incluye este coeficiente como técnica adicional (dado que la prueba de esfericidad de Bartlett es sensible a la muestra), mostrando un valor por encima de 0.60, correspondiente a 0.927, es decir, las relaciones entre los ítems pueden ser explicadas por otros ítems, situación que indica que el análisis factorial es aplicable (Tabla 2).
Tabla 2 Prueba de KMO y Bartlett
| Medida Kaiser-Meyer-Olkin de adecuación de muestreo | .927 | |
| Prueba de esfericidad de Bartlett | Aprox. Chi-cuadrado | 7086.123 |
| Gl | 861 | |
| Sig. | .000 | |
Fuente: Elaboración propia
El siguiente paso consistió en la determinación de la tabla de comunalidades. La comunalidad alude a la proporción de varianza que es capaz de reproducir el modelo factorial de un ítem; por ejemplo, en la tabla siguiente se aprecia que el modelo es capaz de reproducir el 0.716 del 100 % de la variabilidad del primer ítem, luego el 0.687 en el segundo ítem, y así sucesivamente. Dichos valores expresan que el modelo reproduce cerca de su totalidad, la variabilidad de estas variables (Tabla 3).
Tabla 3 Comunalidades
| Inicial | Extracción | |
| Se tienen identificados los procesos que necesitan seguimiento y medición. | 1.000 | .716 |
| Existen métodos de seguimiento para la evaluación de los procesos. | 1.000 | .687 |
| Se tienen identificadas fechas en las que se tiene que realizar evaluación de los procesos. | 1.000 | .801 |
| Se tiene definido cuándo se debe de realizar la evaluación de resultados de seguimiento y la medición. | 1.000 | .841 |
| Se cumple con las necesidades y expectativas del servicio que se presta a los usuarios. | 1.000 | .781 |
| Los métodos para obtener y realizar el seguimiento de la prestación de los servicios que se brindan son los adecuados. | 1.000 | .741 |
| Se analiza la información obtenida de la prestación del servicio que se brinda para retroalimentar al usuario. | 1.000 | .791 |
| Considero que estoy conforme con el servicio que se brinda. | 1.000 | .752 |
| Considero que el usuario se siente satisfecho con el servicio que presto. | 1.000 | .731 |
| Considero que existe un buen desempeño en el proceso relacionado con el servicio que se presta. | 1.000 | .813 |
| Considero que el servicio que se brinda se lleva a cabo de manera eficaz. | 1.000 | .675 |
| Se tiene eficacia dentro de la implementación del proceso mediante el cual se presta el servicio. | 1.000 | .808 |
| Se percibe que en el departamento que se brinda el servicio se toman acciones eficaces para abordar riesgos y oportunidades. | 1.000 | .619 |
| Percibo que se evalúa el desempeño de los proveedores externos dentro del departamento que se brinda el servicio. | 1.000 | .636 |
| Considero que existe necesidad para mejoras en el sistema dentro del servicio que se brinda. | 1.000 | .613 |
| Se tiene planificado a intervalos planificados llevar a cabo auditorías internas para el sistema de gestión de la calidad. | 1.000 | .713 |
| El sistema de gestión de la calidad es conforme con los requisitos de la organización. | 1.000 | .777 |
| El sistema de gestión de la calidad es conforme con los requisitos de la norma de calidad. | 1.000 | .664 |
| Considero que es eficaz la implementación y mantenimiento del sistema de gestión de la calidad. | 1.000 | .588 |
| Considero que la organización planifica, establece, implementa y mantiene programas de auditoría. | 1.000 | .754 |
| Los programas de auditoría incluyen métodos, responsabilidades, requisitos considerando los procesos involucrados. | 1.000 | .862 |
| Considero que se tienen definidos los criterios y alcance para cada auditoría. | 1.000 | .835 |
| Considero que existe objetividad e imparcialidad de los auditores para llevar a cabo la auditoría. | 1.000 | .699 |
| Considero que los resultados de las auditorías se informan a la alta dirección. | 1.000 | .730 |
| En la organización se realizan las correcciones y se toman las acciones correctivas sin demora injustificada. | 1.000 | .652 |
| En la organización se conserva la información documentada como evidencia de la implementación del programa de auditoría y de los resultados de las auditorías. | 1.000 | .771 |
| Dentro de la organización la alta dirección revisa el sistema de gestión de la calidad a intervalos planificados. | 1.000 | .817 |
| La alta dirección en la revisión por la dirección considera el estado de las acciones de las revisiones por la dirección previas | 1.000 | .798 |
| La alta dirección en la revisión por la dirección considera los cambios en las cuestiones externas e interna que son pertinentes al sistema de gestión de la calidad. | 1.000 | .866 |
| La alta dirección en la revisión por la dirección considera la información sobre el desempeño y la eficacia del sistema de gestión de la calidad, incluidas las tendencias relativas a la satisfacción de usuarios y la retroalimentación de las P.I. | 1.000 | .854 |
| La alta dirección en la revisión por la dirección considera la información sobre el desempeño y la eficacia del sistema de gestión de la calidad, incluidas las tendencias relativas a el grado en el que se han logrado los objetivos de la calidad. | 1.000 | .885 |
| La alta dirección en la revisión por la dirección considera la información sobre el desempeño y la eficacia del sistema de gestión de la calidad, incluidas las tendencias relativas al desempeño de los procesos y conformidad de los P/S | 1.000 | .844 |
| La alta dirección en la revisión por la dirección considera la información sobre el desempeño y la eficacia del sistema de gestión de la calidad, incluidas las tendencias relativas a las no conformidades y acciones correctivas. | 1.000 | .868 |
| La alta dirección en la revisión por la dirección considera la información sobre el desempeño y la eficacia del sistema de gestión de la calidad, incluidas las tendencias relativas a los resultados de seguimiento y revisión. | 1.000 | .837 |
| La alta dirección en la revisión por la dirección considera la información sobre el desempeño y la eficacia del sistema de gestión de la calidad, incluidas las tendencias relativas a los resultados de las auditorías. | 1.000 | .833 |
| La alta dirección en la revisión por la dirección considera la información sobre el desempeño y la eficacia del sistema de gestión de la calidad, incluidas las tendencias relativas al desempeño de los proveedores externos. | 1.000 | .836 |
| La alta dirección en la revisión por la dirección considera la adecuación de los recursos. | 1.000 | .809 |
| La alta dirección en la revisión por la dirección considera la eficacia de las acciones tomadas para abordar los riesgos y las oportunidades. | 1.000 | .818 |
| La alta dirección en la revisión por la dirección considera las oportunidades de mejora. | 1.000 | .813 |
| Las salidas de la revisión por la dirección incluyen las decisiones y acciones relacionadas con las oportunidades de mejora. | 1.000 | .849 |
| Las salidas de la revisión por la dirección incluyen las decisiones y acciones relacionadas con cualquier necesidad de cambio en el sistema de gestión de la calidad. | 1.000 | .874 |
| Las salidas de la revisión por la dirección incluyen las decisiones y acciones relacionadas con las necesidades de recursos. | 1.000 | .812 |
Fuente: Elaboración propia (método de extracción: análisis de componentes principales)
Realizado lo anterior, se procedió a exponer el porcentaje de varianza que explica cada factor; el software muestra en automático los autovalores mayores que uno, por lo que se considera la penúltima columna, en la que se observan los porcentajes de variabilidad que explican cada factor. El primer factor explica 29.065 % de la varianza de los datos originales o de la información recabada, el segundo 18.374 %, el tercero 17.840 %, el cuarto 7.593 % y el quinto 4.414 %. Las tres últimas columnas corresponden a la varianza luego de la rotación de los factores, mientras que las tres primeras corresponden a la varianza antes de la rotación. Después de la rotación hubo una redistribución de la variabilidad entre los factores, en donde 5 factores logran explicar 77.286 % de la variabilidad de los datos originales, lo cual es adecuado, dado que algunos autores sugieren entre 60 % y 50 % como valor aceptable para la medición del comportamiento en ciencias sociales, mientras que para las ciencias naturales el umbral suele ser mayor o igual a 95 % (Tabla 4).
Tabla 4 Varianza total explicada
| Componente | Autovalores iniciales | Sumas de rotación de cargas al cuadrado | ||||
| Total | % de varianza | % acumulado | Total | % de varianza | % acumulado | |
| 1 | 24.059 | 57.282 | 57.282 | 12.207 | 29.065 | 29.065 |
| 2 | 3.253 | 7.745 | 65.027 | 7.717 | 18.374 | 47.438 |
| 3 | 2.448 | 5.828 | 70.854 | 7.493 | 17.840 | 65.279 |
| 4 | 1.422 | 3.386 | 74.241 | 3.189 | 7.593 | 72.872 |
| 5 | 1.279 | 3.045 | 77.286 | 1.854 | 4.414 | 77.286 |
| 6 | .905 | 2.156 | 79.441 | |||
| 7 | .856 | 2.038 | 81.479 | |||
| 8 | .638 | 1.519 | 82.998 | |||
| 9 | .589 | 1.401 | 84.400 | |||
| 10 | .563 | 1.341 | 85.740 | |||
| 11 | .523 | 1.245 | 86.985 | |||
| 12 | .473 | 1.126 | 88.111 | |||
| 13 | .430 | 1.025 | 89.136 | |||
| 14 | .388 | .923 | 90.059 | |||
| 15 | .346 | .823 | 90.882 | |||
| 16 | .332 | .791 | 91.673 | |||
| 17 | .313 | .746 | 92.419 | |||
| 18 | .305 | .725 | 93.144 | |||
| 19 | .289 | .687 | 93.831 | |||
| 20 | .252 | .600 | 94.432 | |||
| 21 | .222 | .529 | 94.961 | |||
| 22 | .210 | .499 | 95.460 | |||
| 23 | .188 | .448 | 95.908 | |||
| 24 | .175 | .418 | 96.325 | |||
| 25 | .170 | .404 | 96.729 | |||
| 26 | .161 | .384 | 97.113 | |||
| 27 | .156 | .371 | 97.485 | |||
| 28 | .137 | .327 | 97.811 | |||
| 29 | .122 | .290 | 98.101 | |||
| 30 | .116 | .277 | 98.379 | |||
| 31 | .101 | .241 | 98.619 | |||
| 32 | .093 | .221 | 98.840 | |||
| 33 | .088 | .209 | 99.049 | |||
| 34 | .071 | .169 | 99.218 | |||
| 35 | .060 | .142 | 99.360 | |||
| 36 | .057 | .136 | 99.496 | |||
| 37 | .052 | .125 | 99.621 | |||
| 38 | .051 | .120 | 99.741 | |||
| 39 | .037 | .089 | 99.830 | |||
| 40 | .034 | .080 | 99.910 | |||
| 41 | .023 | .054 | 99.964 | |||
| 42 | .015 | .036 | 100.000 | |||
Fuente: Elaboración propia (método de extracción: análisis de componentes principales)
En cuanto a la matriz de componente rotado, cada columna es un factor, y en cada fila aparecen las variables observadas; los coeficientes que aquí aparecen son las cargas factoriales, también llamadas coordenadas factoriales, las cuales expresan la magnitud de la correlación entre la variable y el factor. Se puede observar que la adecuación de los recursos por la alta dirección, la información sobre el desempeño y la eficacia del sistema de gestión de la calidad, además de los cambios en las cuestiones externas e internas pertinentes al sistema de gestión de la calidad tienen altas cargas factoriales positivas con el primer factor, es decir, correlacionan fuerte con este factor. Si las cargas factoriales son negativas, implica que a menor puntaje en las variables mayor es la puntuación del factor o viceversa (Tabla 5).
Tabla 5 Matriz de componente rotado
| 1 | 2 | 3 | 4 | 5 | |
| La alta dirección en la revisión por la dirección considera la adecuación de los recursos. | .850 | .188 | .179 | 026 | .138 |
| La alta dirección en la revisión por la dirección considera la información sobre el desempeño y la eficacia del sistema de gestión de la calidad, incluidas las tendencias relativas a la satisfacción de usuarios y la retroalimentación de las P.I. | .825 | .247 | .314 | .115 | -.024 |
| La alta dirección en la revisión por la dirección considera los cambios en las cuestiones externas e interna que son pertinentes al sistema de gestión de la calidad. | .804 | .266 | .275 | .229 | -.144 |
| La alta dirección en la revisión por la dirección considera la información sobre el desempeño y la eficacia del sistema de gestión de la calidad, incluidas las tendencias relativas a el grado en el que se han logrado los objetivos de la calidad. | .799 | .320 | .350 | .065 | -.132 |
| Las salidas de la revisión por la dirección incluyen las decisiones y acciones relacionadas con cualquier necesidad de cambio en el sistema de gestión de la calidad. | .796 | .329 | .191 | .100 | .292 |
| La alta dirección en la revisión por la dirección considera las oportunidades de mejora. | .794 | .323 | .167 | .157 | .160 |
| Las salidas de la revisión por la dirección incluyen las decisiones y acciones relacionadas con las oportunidades de mejora. | .782 | .307 | .213 | .026 | .313 |
| La alta dirección en la revisión por la dirección considera la información sobre el desempeño y la eficacia del sistema de gestión de la calidad, incluidas las tendencias relativas a las no conformidades y acciones correctivas. | .767 | .236 | .341 | .227 | .235 |
| La alta dirección en la revisión por la dirección considera la información sobre el desempeño y la eficacia del sistema de gestión de la calidad, incluidas las tendencias relativas al desempeño de los proveedores externos. | .765 | .230 | .321 | .305 | .048 |
| La alta dirección en la revisión por la dirección considera la información sobre el desempeño y la eficacia del sistema de gestión de la calidad, incluidas las tendencias relativas al desempeño de los procesos y conformidad de los P/S | .763 | .365 | .331 | .129 | -.047 |
| La alta dirección en la revisión por la dirección considera la información sobre el desempeño y la eficacia del sistema de gestión de la calidad, incluidas las tendencias relativas a los resultados de seguimiento y revisión. | .762 | .161 | .404 | .259 | .020 |
| Las salidas de la revisión por la dirección incluyen las decisiones y acciones relacionadas con las necesidades de recursos. | .761 | .322 | .156 | .006 | .323 |
| La alta dirección en la revisión por la dirección considera la eficacia de las acciones tomadas para abordar los riesgos y las oportunidades. | .745 | .315 | .375 | .152 | -.003 |
| La alta dirección en la revisión por la dirección considera la información sobre el desempeño y la eficacia del sistema de gestión de la calidad, incluidas las tendencias relativas a los resultados de las auditorías. | .734 | .171 | .379 | .285 | .203 |
| La alta dirección en la revisión por la dirección considera el estado de las acciones de las revisiones por la dirección previas | .676 | .161 | .336 | .431 | -.125 |
| Dentro de la organización la alta dirección revisa el sistema de gestión de la calidad a intervalos planificados. | .665 | .136 | .353 | .476 | -.069 |
| Considero que es eficaz la implementación y mantenimiento del sistema de gestión de la calidad. | .474 | .362 | .431 | .075 | .201 |
| Percibo que se evalúa el desempeño de los proveedores externos dentro del departamento que se brinda el servicio. | .446 | .392 | .374 | .308 | -.219 |
| Existen métodos de seguimiento para la evaluación de los procesos. | .436 | .305 | .345 | .426 | .323 |
| Se tiene eficacia dentro de la implementación del proceso mediante el cual se presta el servicio. | .148 | .789 | .020 | .251 | .317 |
| Considero que existe un buen desempeño en el proceso relacionado con el servicio que se presta. | .290 | .783 | .213 | .160 | .211 |
| Considero que estoy conforme con el servicio que se brinda. | .337 | .769 | .195 | .042 | .089 |
| Se analiza la información obtenida de la prestación del servicio que se brinda para retroalimentar al usuario. | .370 | .759 | .215 | .081 | -.157 |
| Considero que el servicio que se brinda se lleva a cabo de manera eficaz. | .180 | .759 | .078 | .224 | .104 |
| Considero que el usuario se siente satisfecho con el servicio que presto. | .221 | .756 | .280 | .069 | .166 |
| Considero que se cumple con las necesidades y expectativas del servicio que se presta a los usuarios. | .280 | .731 | .172 | .352 | -.118 |
| Se percibe que en el departamento que se brinda el servicio se toman acciones eficaces para abordar riesgos y oportunidades. | .222 | .706 | .256 | .060 | .049 |
| Los métodos para obtener y realizar el seguimiento de la prestación de los servicios que se brindan son los adecuados. | .390 | .602 | .351 | .318 | -.048 |
| Se tienen identificados los procesos que necesitan seguimiento y medición. | .195 | .588 | .207 | .512 | .165 |
| Los programas de auditoría incluyen métodos, responsabilidades, requisitos considerando los procesos involucrados. | .294 | .276 | .817 | .169 | .055 |
| Considero que se tienen definidos los criterios y alcance para cada auditoría. | .357 | .190 | .809 | .128 | -.002 |
| Considero que la organización planifica, establece, implementa y mantiene programas de auditoría. | .320 | .155 | .768 | .173 | .093 |
| Considero que existe objetividad e imparcialidad de los auditores para llevar a cabo la auditoría. | .136 | .404 | .712 | .080 | -.064 |
| Considero que los resultados de las auditorías se informan a la alta dirección. | .500 | .080 | .683 | .071 | .039 |
| El sistema de gestión de la calidad es conforme con los requisitos de la organización. | .382 | .206 | .667 | .227 | .304 |
| En la organización se conserva la información documentada como evidencia de la implementación del programa de auditoría y de los resultados de las auditorías. | .356 | .190 | .665 | .243 | .327 |
| Se tiene planificado a intervalos planificados llevar a cabo auditorías internas para el sistema de gestión de la calidad. | .312 | .134 | .646 | .388 | .172 |
| El sistema de gestión de la calidad es conforme con los requisitos de la norma de calidad. | .304 | .189 | .622 | .063 | .382 |
| En la organización se realizan las correcciones y se toman las acciones correctivas sin demora injustificada. | .455 | .410 | .506 | .133 | -.054 |
| Se tienen identificadas fechas en las que se tiene que realizar evaluación de los procesos. | .211 | .327 | .264 | .744 | .158 |
| Se tiene definido cuando se debe de realizar la evaluación de resultados de seguimiento y la medición. | .242 | .407 | .338 | .657 | .267 |
| Considero que existe necesidad para mejoras en el sistema dentro del servicio que se brinda. | .097 | .219 | .283 | .244 | .645 |
Fuente: Elaboración propia (método de extracción: análisis de componentes principales; método de rotación: Varimax con normalización Kaiser. A. La rotación ha convergido en 7 interacciones)
Los 42 reactivos del cuestionario se distribuyeron según su identificación con los cinco diferentes factores o dimensiones resultantes. La regla para decidir si un reactivo cargaba en un factor fue que el factor resultante fuera superior a 0.40 o más. Esto explica bastante bien la cercanía de la variable con un factor particular. Además, debía ser al menos 0.10 > que el segundo lugar, o el segundo factor generado.
Este método de rotación asume que los factores son independientes entre sí, y lo que hace es minimizar el número de variables con altas cargas factoriales en un factor, haciendo que la matriz de componentes sea más fácil de interpretar. Para nombrar cada factor resultante, de acuerdo con lo arrojado por la matriz de componente de factor rotado, se consideró la similitud conceptual y/o teórica de las variables que correlacionan con este; por lo tanto, los factores o dimensiones fueron nombrados como sigue:
Para el primer factor: Percepción sobre la responsabilidad de la alta dirección con el sistema de gestión de la calidad.
Para el segundo factor: Percepción del servidor con respecto a la efectividad el sistema de gestión de calidad.
Para el tercer factor: Percepción sobre la organización respecto al diseño y ejecución del sistema de gestión de calidad.
Para el cuarto factor: Percepción sobre la evaluación del sistema de gestión de la calidad.
Para el quinto factor: Percepción en cuanto a la mejora del sistema de gestión de calidad.
En cuanto a la determinación de la confiabilidad
La confiabilidad se relaciona con la precisión con la que un instrumento de medición mide aquello que se desea. Puede definirse como la ausencia relativa de errores en un instrumento de medición. Si no se conoce la confiabilidad ni la validez de los propios datos, es posible que haya poca fe en los resultados obtenidos y en las conclusiones obtenidas a partir de ellos (Kerlinger y Howard, 2002).
Uno de los coeficientes más utilizados para determinar la confiabilidad es el alfa de Cronbach, el cual expresa la consistencia interna de un instrumento a partir de la covariación entre sus ítems. Cuanto más elevada es la proporción de la covariación entre estos ítems respecto a la varianza total del test, más elevado será el valor del coeficiente alfa de Cronbach, y más elevada su confiabilidad (Cronbach, 1951). La confiabilidad varía de acuerdo con el número de indicadores específicos o ítems que incluye el instrumento de medición. Cuantos más ítems haya, mayor tenderá a ser esta, lo cual resulta lógico.
Existen diferentes fórmulas para la obtención del alfa de Cronbach. La más ampliamente utilizada es la que se deriva del cálculo de las varianzas de cada ítem y de la varianza de las puntuaciones totales en el instrumento. Otra es a partir del cociente entre la media de las covarianzas y la media de las varianzas de los diferentes ítems del instrumento. Para este estudio, su cálculo se realizó a través del software estadístico SPSS (versión 23). El resultado se vio representado por un valor de 0.981 (Tabla 6).
Determinación de la fiabilidad con alfa de Cronbach
Diversos investigadores han establecido como parámetro de confiabilidad una cifra de 0.70 (es decir, como confiabilidad aceptable o no aceptable); sin embargo, no existe evidencia de que ello tenga que ser así, de modo que se pueden tomar como referencia los instrumentos o las pruebas que hasta el momento se han realizado y que han arrojado resultados similares. Como lo explican Ebel y Frisbie (1991), las pruebas estandarizadas más publicadas han demostrado producir resultados que tienen fiabilidades en el rango de 0.85 a 0.95, valores considerados como altamente aceptables.
Otros autores como Nunnally (1978) establecen que “un nivel satisfactorio depende de cómo se utilice la medida” (p. 34). En algunos otros casos un valor de confiabilidad de 0.50 o 0.60 es aceptable, mientras que en otras un valor de 0.90 es apenas aceptable. Sin embargo, la mayoría de las consideraciones recae en el hecho de qué tipo de decisión se toma al utilizar el instrumento de medición. Si la decisión es importante, final, irreversible, inconfirmable, concierne a individuos o tiene consecuencias duraderas, entonces es necesario un alto nivel de confiabilidad (Kerlinger y Howard, 2002).
Discusión
Este trabajo representa un inicio para el desarrollo de una serie de herramientas de medición alineadas con la norma ISO 9001:2015, pues ha abarcado solo el apartado 9 de dicha norma. Aun así, se puede considerar como una guía para su completa integración en una siguiente fuente bibliográfica, en la que se incorporará y mejorará la totalidad de instrumentos de medición de calidad, los cuales al aplicarse en las diversas instituciones de educación superior aportarán a la determinación de un objetivo estatus de calidad, alejado de todo criterio y de toda intención de apariencia.
De igual forma, es importante mencionar que si bien es cierto la estadística representa una herramienta con un fuerte aporte hacia la psicometría y comportamiento en diferentes campos del conocimiento, no debe considerarse a esta como la finalidad última de aprendizaje, pues es una herramienta que continúa manifestándose como un medio para lograr objetivos más ambiciosos, como ofrecer la solución a ciertos problemas y la mejora de los contextos de desempeño. Por eso, se puede considerar como un aliado para el mejoramiento de la medición.
Conclusiones
Elaborar herramientas de tipo instrumental dirigidas a la medición de variables diversas representa la aplicación de un conjunto de esfuerzos por parte de los involucrados en el quehacer organizacional e institucional, aunque vale comentar que se cuenta con los recursos para llevarlo a cabo, lo cual constituye una responsabilidad para conseguir la optimización de las organizaciones.
En tiempos recientes, el llevar a cabo auditorías se ha convertido en una especie de moda, so pretexto de dar cumplimiento a lo que establecen diversas normas de calidad, algunas de las cuales pregonan que la calidad se consigue al lograr una certificación en cualquiera de estas. Sin embargo, la realidad está alineada con la apariencia de pertenecer al grupo de cumplimiento de diversas instituciones en un afán de no presentar hallazgos durante una auditoría, pero lejos del verdadero propósito, el cual está orientado a la provisión de un servicio de calidad. No obstante, el hecho de resultar ileso en una auditoría no garantiza ese propósito, por lo que entonces no se garantiza una provisión de calidad en el servicio hacia los trabajadores, los cuales, al ser los clientes, invariablemente tendrán siempre la razón sobre el nivel de servicio ofrecido.
