Introducción

La investigación se considera el fundamento para una buena práctica médica a través de la medicina basada en evidencias¹. Por ello, la formación en investigación se constituye como una herramienta fundamental que debe estimularse desde los primeros grados de la carrera de medicina. Este objetivo es difícil de lograr en las universidades a nivel global². Los estudios para evaluarla, así como los obstáculos para la misma, muestran aún la insuficiencia en su desarrollo³.

Para incentivar la investigación y la publicación de sus resultados en artículos científicos, se han introducido cambios en los currículos de las universidades interesadas en estos aspectos⁴. También se han llevado a cabo estrategias educativas para tal fin y, más recientemente, actividades educativas de participación y de Peer-Assisted Learning (PAL)⁵.

Los cambios curriculares se relacionan con la idea que las autoridades tengan del conocimiento y su consecuente respuesta para el desarrollo de la investigación como un medio para mejorar la atención médica.

Cuando la idea del conocimiento se relaciona con la construcción del aprendizaje, la experiencia vivencial de los alumnos, bajo la conducción de profesores que estimulen su participación, la conducen a resultados más satisfactorios y permanentes, cuando se utiliza la lectura crítica de artículos de investigación médica (LCIM). Esta se resume como una confrontación entre el lector y el texto, en este caso el artículo, para penetrar más allá de lo explícito en sus tres componentes: interpretación, juicio y propuestas.

La LCIM es fundamental para realizar la selección de los mejores trabajos asequibles al médico en el entorno en que se desempeña profesionalmente, y se encuentra entre las habilidades primordiales en una educación que se ha denominado participativa, en la que el alumno construye paulatinamente su aprendizaje para mejorar su conocimiento médico en una actividad interminable y cada vez más depurada⁶.

Por ello es importante identificar el desarrollo de esta habilidad compleja en los alumnos a través de la aplicación de instrumentos válidos y consistentes⁷ para una toma adecuada de decisiones en el proceso educativo. Sin embargo, varios metaanálisis muestran que los instrumentos de LCIM utilizados no aportan los datos suficientes para evaluar su validez y consistencia^8-10.

La LCIM se ha generalizado después de las publicaciones iniciales de la Universidad de Mc Master, en la que se identificaban los aspectos más fuertes de un diseño, sus posibles sesgos y las pruebas estadísticas más adecuadas en los cuatro diseños que consideraban como más importantes para el médico en ese momento: casos y controles, pruebas diagnósticas, cohortes y ensayo clínico aleatorizado^11-15. Posteriormente se ampliaron los conceptos con las publicaciones de Riegelman¹⁶, quien profundiza aún más en los aspectos fuertes y débiles de los distintos diseños. Con Sackett y su obra Epidemiología Clínica¹⁷ se desarrolla la Medicina Basada en Evidencias¹⁸ y se establecen así los elementos más importantes para evaluar o criticar un artículo médico. En los últimos años, las guías correspondientes a la lectura crítica en diferentes diseños emitidos en Inglaterra, Critical Appraisal Skills Programme (CASP) muestran el esfuerzo que existe para que los lectores identifiquen los aspectos más fuertes y débiles de un artículo médico publicado^19-23.

En México, Leonardo Viniegra inicia con la LCIM y a partir de sus primeros trabajos se desarrolla una línea de investigación muy profusa^24-26.

En esta línea se considera a la LCIM como una herramienta compleja e indispensable en la formación del personal de salud y comprende la interpretación, juicio y propuestas (tabla 1, ver concepto).

Es importante aclarar este punto porque a continuación se desarrolla un diseño para un instrumento de acuerdo a esta visión, y el componente metodológico es el único aspecto que comparte con las CASP, ya que va más allá, al considerar el entorno en el que lleva a cabo la investigación y los beneficios de su implementación.

Los instrumentos así elaborados son parte esencial de la evaluación de un proceso educativo e indispensables para tomar decisiones curriculares, de estrategias educativas y aún de formación docente. No se utilizan como instrumentos únicos para asignar una calificación, más aún, sin implementar una estrategia para el desarrollo de la LCIM.

El objetivo del presente estudio es compartir el desarrollo de un instrumento para medir la lectura crítica de investigación de artículos médicos publicados.

¿Para qué elaborar un instrumento de lectura crítica de investigación?

En general para indagar el grado de esta aptitud en los alumnos²⁷. Aunque se considera indispensable para evaluar avances después de un curso de investigación que desarrolle esta habilidad²⁸. Además, para comparar con otros grupos en diferentes escenarios o en estudios de seguimiento con el fin de determinar su validez extrínseca (concurrente y predictiva)²⁹.

Una vez resueltas estas interrogantes, el docente deberá preguntarse si está preparado para contestar todas las dudas que los alumnos manifestarán en caso de dirigir estrategias de participación, en las que la crítica es el aspecto central. El instrumento que construya estará a la altura de sus propios avances en la LCIM.

¿Qué estudios o diseños se recomiendan en un instrumento de lcim?

Es aconsejable incluir ocho diseños:

¿Qué artículos incluir?

En una etapa previa a la elaboración del instrumento se realiza una búsqueda en las bases de datos más populares (MEDLINE, MedicLatina, etc.) para seleccionar los ocho diseños recomendados. En inglés pueden encontrarse todos los artículos, descargarlos y leerlos críticamente para evaluar la construcción y lo adecuado del diseño, resultados y discusión (ver abajo, elaboración de reactivos). No es una tarea sencilla, pues muchos artículos carecen de los aspectos que se amerita explorar. Se recomienda seleccionar aquellos relacionados con el quehacer médico en su entorno. En español existen menos estudios de cohortes, pruebas diagnósticas, seguimiento y metaanálisis. En general, se pueden revisar hasta 100 artículos de los cuales solamente se incluirán ocho. La decisión para su selección puede ser personal o de los jueces, aunque es preferible no abrumarlos con trabajo excesivo.

Ya con los artículos seleccionados, ¿qué sigue?

Por cada artículo se elabora un resumen, no más de media cuartilla, que incluya solamente los aspectos a explorar. Se redacta sin faltas de ortografía, con buena sintaxis, con claridad, con uso adecuado del Sistema Internacional de Unidades y, si se incluyen gráficas o cuadros, asegurar su correcta visualización. Para orientar la elaboración de un resumen, los tallos y los reactivos, se hizo el resumen de un artículo publicado de casos y controles, como ejemplo³⁰(anexo 1). Se podrá observar la mirada de quien confeccionó el instrumento, que está implícita en el resumen y los indicadores elaborados.

Elaboración de tallos

Del resumen se elaboran tallos, que agrupan aspectos relacionados para grupos de reactivos que exploren interpretación, juicio y propuestas, que son referidos más ampliamente en la tabla 1 con letras mayúsculas.

Los tallos pueden indagar: aspectos como ideas o posturas ante la investigación o sobre cualquier tema que el docente considere indagar, cultura de género, violencia simbólica, dependencia económica, colonialismo, etc., que generalmente se encuentran implícitas en la introducción o aspectos metodológicos que se refieren enseguida.

Las guías CASP pasan por alto estos aspectos, cruciales para el desarrollo de un juicio crítico y aún epistemológico de la investigación, y se enfocan más en áreas metodológicas.

Elaboración de reactivos

Cuando se inicia esta experiencia los reactivos son más frecuentes para indagar aspectos metodológicos del diseño o su correcta identificación, ya que en muchos artículos está implícito u omitido, o no corresponde al presentado. Asimismo, ponderar si fue el más adecuado de acuerdo al objetivo planteado. Posteriormente se procede a la crítica de la selección muestral con sus variantes (aleatoria, no aleatoria) y la indagación sobre las características generales de una población. La correcta determinación del tamaño muestral se evalúa en el contexto del diseño. Se puede profundizar en la definición operacional de las variables y su clasificación (dependiente, independiente, controladas) y la escala de medición de la variable dependiente. Además, si será uno o más evaluadores, qué se mide, con qué, cuándo, cómo, para qué, cuántas veces, etc., y la referencia a la consistencia de las mediciones, lo que ofrece muchas posibilidades de indagación.

Si se diseñó una encuesta, la referencia a su validación y consistencia son evaluadas. Si se realiza un ECA la ceguedad de los evaluadores es imprescindible, así como en los demás diseños. Es crucial identificar si se revisan expedientes o individuos. La pertinencia de las pruebas estadísticas a utilizar y su significancia clínica son evaluadas también. La sección de resultados ofrece un caudal de información para indagar: la medición inicial y final de las variables en dos o más grupos de intervención, el sustento de los estadísticos utilizados, con sus intervalos de confianza, ausentes en muchos reportes. Además, descifrar los datos en los cuadros o tablas, con los valores de significancia estadística, es primordial para la crítica.

En la discusión se pondera la adecuada interpretación de los resultados y su adaptación al entorno del lector, la serendipia, el costo beneficio de alguna implementación diagnóstica, etc.

Las posibilidades de indagación son muy diversas y se relacionan con los alcances de quien elabora el instrumento (anexo 2).

Si existen dudas en estos tallos se pueden consultar los diferentes documentos que apoyan los aspectos básicos para la publicación de un artículo como STROBE, PRISMA, CONSORT, etc.^31-34. Para orientarse más se puede utilizar una tabla de especificaciones con cada uno de los aspectos referidos arriba.

Conformación del instrumento

Se elaborarán todos los reactivos posibles, para seleccionar los más adecuados que estarán en el instrumento final.

Se recomienda, para cada diseño, elaborar 18 reactivos o un poco más (seis por indicador) que deben equilibrarse con respuestas correctas, falsas o verdaderas. Es aconsejable equilibrar el número de reactivos por cada diseño para que el instrumento final contenga 72 o 96 reactivos o múltiplos de ellos y facilitar la interpretación de los resultados. En nuestra experiencia utilizamos las respuestas tipo falso, verdadero o no sé, que permiten, a nuestro juicio, una aproximación más cercana al desarrollo de la LCIM³⁵. La redacción y ortografía adecuadas son esenciales para proceder a la siguiente etapa.

El resumen aquí propuesto de casos y controles, los tallos y reactivos conforman un diseño que se agregarán a los otros siete seleccionados por quien construya el instrumento global. Este resumen y los reactivos elaborados están abiertos a todas las posibilidades de indagación. Los jueces los evaluarán y realizarán las observaciones pertinentes.

Una vez elaborados los resúmenes, tallos y reactivos, ¿Qué sigue?

Se procede a realizar la técnica Delphi^36-37 o el juicio de los expertos. Para ello se invita, por lo menos, a cinco expertos en investigación y lectura crítica para que revisen lo elaborado. Parece sencillo, pero en nuestro medio no existen muchos investigadores con ambas habilidades. Lo más adecuado es recurrir a expertos con actividad docente, que publiquen o sean miembros de algún comité de investigación, pues se espera que estén más actualizados en los aspectos metodológicos de la investigación. Una vez aceptada la invitación se les envía un documento en el que se explica el motivo de la revisión, qué se pretende que realicen y cómo se deben responder los reactivos.

En la técnica Delphi se busca que los jueces emitan una evaluación ciega e independiente de los resúmenes, los tallos y los reactivos, tanto en redacción o sintaxis y de acuerdo a la mirada teórica de la construcción del instrumento, así como las respuestas (falsas o verdaderas) a los reactivos que consideren adecuados en una primera ronda.

Actualmente, la invitación y envío del primer borrador puede realizarse por medios electrónicos. Es necesario asegurar que los jueces ignoran quiénes son los otros evaluadores. Después del primer envío hay que esperar las recomendaciones y respuestas de todos. Si se eligen bien, los expertos responden, en general en tres semanas. Una vez con las observaciones de los cinco expertos, se revisan las recomendaciones tanto en el manejo de la redacción, sintaxis del resumen, la adecuación de los tallos y de los reactivos a explorar, como en la respuesta a estos últimos, cuando cumplen adecuadamente con su construcción.

Enseguida se seleccionan las respuestas que otorgaron los jueces a los reactivos correctamente elaborados con un acuerdo en las respuestas de 4/5 o 5/5. Casi 70% de los reactivos pasan esta primera ronda si se construyen con cuidado.

Para el envío de la segunda ronda se realizan las adecuaciones a las observaciones de los jueces en el resumen, tallo y reactivos respectivos. Los reactivos con acuerdo igual o menor a 3 se reelaboran si están mal construidos, así como los reactivos bien construidos (sin observaciones), pero con acuerdo 3/5. Se envían los resúmenes con las adecuaciones, si las hubo, y solo con los reactivos referidos antes. Después de este segundo envío se esperan las respuestas y observaciones de todos los expertos.

Una vez recibidos los documentos, se seleccionan los reactivos en los que hubo un acuerdo de 4/5 o 5/5. Serán menos, pero se agregan a los que ya se tenían de la primera ronda.

Algunos autores recomiendan hacer tres rondas, sin embargo, si se seleccionaron bien los jueces, no es necesaria pues el acuerdo no varía mucho y evitamos el retraso en el resultado final y la fatiga de los jueces.

Ya con las dos rondas, ¿Qué sigue?

Ahora hay que equilibrar el instrumento. Por eso se incluyeron más reactivos de los necesarios. El equilibrio es importante porque facilita la interpretación de los resultados.

Se sugiere equilibrar el número de reactivos por diseño, por indicador y respuesta (falsas y verdaderas). Por ejemplo, 12 por diseño y 32 por indicador o 9 por diseño y 24 por indicador. Al contar con más reactivos es posible seleccionar aquellos con acuerdo 5/5 o 4/5 en la segunda. Ya con todos los reactivos y con la respuesta correcta para la calificación y una vez equilibrado el instrumento, se procederá a la siguiente etapa.

La prueba piloto

Para ello se selecciona un grupo de alumnos (mayor a 30) semejante al que se va a aplicar el instrumento definitivo. Se elabora una página frontal con las instrucciones de resolución y fines del instrumento. Los alumnos no están acostumbrados a este tipo de evaluaciones por lo que las instrucciones sobre su resolución y cómo responder como verdadero, falso o no sé, deben ser muy claras. De la misma manera, cómo se va a calificar, sumar un punto si la respuesta al reactivo es correcta, restar un punto si la respuesta es incorrecta, y sin adicionar o sustraer puntos si la respuesta es no sé. Asimismo, se solicita realizar observaciones a las instrucciones del instrumento, la comprensión del texto, etc.

Si el instrumento está bien construido y las instrucciones son claras, los alumnos realizan pocas observaciones. Se les pide también contestar el instrumento y cuantificar el tiempo de resolución, que para un instrumento de 96 reactivos, promedia 40 minutos aproximadamente (rango: 30 a 65).

Consistencia del instrumento

Para determinar la consistencia, se pueden usar los resultados de la prueba piloto, si no hubo observaciones o aplicar en otro grupo semejante al que se pretende evaluar. Las respuestas se transforman en correctas e incorrectas, de acuerdo a la plantilla de referencia. Es decir, las respuestas no sé, se transforman en incorrectas y las correctas se dejan como tales. Se construye una tabla Excel con las hileras que corresponden a los alumnos y las columnas a las respuestas por diseño e indicador. Se determina entonces la consistencia por la fórmula 20 de KudderRichardson³⁸ cuyo resultado (coeficiente de consistencia) también se calcula en SPSS para facilitar su resolución por diseño, indicador y pregunta. Para fortalecer los resultados de la consistencia se pueden comparar los valores de los percentiles extremos (25 vs. 75) para buscar una diferencia significativa.

Asimismo, se concentran las calificaciones de cada alumno para reportarlas como medianas (al sumar o restar un punto o dejar en cero cada una de las 96 respuestas, en su caso) así como para cada diseño, indicador y reactivo, para su análisis en un programa estadístico SPSS.

El análisis de los datos se facilita al construir el instrumento en medios electrónicos (Google Docs, por ejemplo) que además concentran los resultados en una matriz de Excel. Si se elabora en papel se aconseja desarrollar un método electrónico para su captura y calificación ya que ahorra horas de trabajo en la emisión de los resultados.

¿Y ahora ya con el instrumento, qué sigue?

Aplicarlo en el o los grupos para los que se construyó. Si se busca un diagnóstico solamente se aplica una vez, aunque con todo el trabajo invertido en su elaboración, es recomendable realizar estrategias educativas y aplicarlo una segunda vez después de un curso de LCIM. Posteriormente aplicar en otros grupos para determinar la validez extrínseca, compararla con otros instrumentos para determinar su validez concurrente y aún la validez predictiva.

Es muy importante que el instrumento no pierda validez y que no haya copia en su resolución o que se difunda de manera inadecuada porque esto limitaría su validez y consistencia, con la pérdida del esfuerzo elaborado por tantas personas. En la figura 1 se muestran los pasos del proceso detallado.

Figura. 1 Pasos en la elaboración de un instrumento de lectura crítica de informes de investigación publicados. 

Es recomendable publicarlo como un artículo pues el proceso de validación y su consistencia apoyan su validez extrínseca.

Conclusión

Los instrumentos de evaluación de habilidades complejas como la LCIM, y en general los utilizados en investigación educativa, deben construirse con rigor metodológico para tomar decisiones en el proceso educativo, que impactan el aprendizaje de los alumnos. Este artículo pretende apoyar a los docentes para disminuir este sesgo.