Diseño de un cuestionario para identificar realidades de la práctica de la Medicina Basada en Evidencias en médicos residentes: uso de redes semánticas modificadas

Design of a questionnaire to identify the realities of Evidence-Based Medicine practice in residents: Use of modified semantic networks

Mónica Beatriz Aburto-Arciniega¹, Melchor Sánchez-Mendiola²

¹ Departamento de Embriología, Facultad de Medicina, Universidad Nacional Autónoma de México. México D.F., México.

Correspondencia:
Dra. Mónica Beatriz Aburto Arciniega.
Departamento de Embriología, Edif. A, Planta Baja,
Av. Universidad 3000, Ciudad Universitaria.
C.P. 04510. México D.F., México.
Teléfono: (5255) 5623 2352.
Correos electrónicos: draaburto@yahoo.com.mx, draaburto@liceaga.facmed.unam.mx.

Resumen

Introducción: La Medicina Basada en Evidencias (MBE) es una competencia necesaria en la formación de los médicos. Varias universidades la han incluido en sus planes de estudio, entre ellas a la Universidad Nacional Autónoma de México (UNAM). Diversos cuestionarios se han diseñado para identificar limitantes y barreras para la implementación de esta estrategia en el ejercicio profesional, como son las culturales, personales y tecnológicas.

Objetivo: Diseñar un cuestionario para identificar realidades del ejercicio de la MBE, en médicos residentes de México.

Método: Se usó la técnica de redes semánticas modificadas, para identificar elementos significativos del ejercicio real de la MBE en el ámbito profesional de médicos residentes. Se construyó un cuestionario para identificar barreras del ejercicio de la MBE, en un grupo de residentes de la Facultad de Medicina de la UNAM que asistieron a un curso estructurado sobre este tema.

Resultados: En un grupo de 25 médicos residentes, se obtuvieron 10 conceptos definidores para elaborar un cuestionario de 25 reactivos con escala de respuesta tipo Likert. El cuestionario se aplicó a 20 residentes ocho meses después del curso de MBE. Se identificaron barreras tecnológicas, culturales y personales e inherentes a la institución. El 55% refirió acceso gratuito a revistas electrónicas y tener equipo de cómputo limitado. El 65% reportó que la carga de trabajo impide dedicar tiempo para consultar artículos científicos. El 95% consideran que el idioma inglés es determinante para actualizarse.

Conclusiones: El cuestionario propuesto puede ofrecer información relevante para la implementación de la MBE en los centros de formación de médicos residentes. Las barreras más frecuentes fueron falta de equipo de cómputo, exceso de trabajo, falta de dominio del idioma inglés, cansancio crónico y dificultades para asistir a actividades de educación continua.

Palabras clave: Educación médica de posgrado; medicina basada en evidencias; redes semánticas; médicos residentes.

Abstract

Introduction: Evidence-Based Medicine (EBM) is a necessary competence in medical training. Several universities have included EBM in their curriculum, including UNAM (Universidad Nacional Autónoma de México). Different questionnaires have been designed to identify the cultural, personal and technological limitations for the implementation of this strategy in professional practice.

Objective: To design a questionnaire to identify the realities Mexican medical residents experience during EBM practice.

Method: The Modified Semantic Networks technique was used to identify meaningful elements of EBM during medical resident professional practice. A questionnaire to identify EBM practice barriers of was designed and applied to medical residents after attending a structured course on this subject.

Results: Ten defining concepts were obtained from 25 UNAM Faculty of Medicine residents, to develop a 25-item questionnaire using a Likert scale. The questionnaire was applied to 20 medical residents eight months after an EBM course. Technological, cultural and personal barriers and those inherent to the institution were identified. Fifty-five percent acknowledged having free access to electronic journals and having limited computing equipment. Sixty-five percent reported that work overload hinders dedicating time to read and use scientific papers. Ninety-five percent consider that English language fluency is determinant to be current in medical knowledge.

Conclusions: The proposed questionnaire may offer relevant information for the implementation of EBM in educational and academic health centers. The most frequent barriers are lack of computer equipment, work overload, lack of English language competency, chronic fatigue and difficulties to attend continuing medical education activities.

Keywords: Postgraduate medical education; evidence-based medicine; semantic networks; medical residents.

Introducción

El modelo más citado de la MBE se compone de cinco pasos: el primero es el elaborar una pregunta específica de un problema clínico; el segundo consiste en la búsqueda de la mejor evidencia científica disponible y actualizada que responda dicha pregunta; el tercero es el análisis crítico de la evidencia sobre su relevancia, validez y utilidad en el ejercicio clínico; el cuarto es el utilizar la información analizada en la práctica de la decisión clínica; finalmente, el quinto paso corresponde a la evaluación del rendimiento obtenido durante el proceso realizado previamente, con el objetivo de hacer un análisis de la calidad de la atención, del desempeño profesional y cómo mejorarlos.^1,2,4

Algunas organizaciones como la Federación Mundial de Educación Médica y el Instituto de Medicina de Estados Unidos recomiendan que los médicos en formación sean capaces de utilizar la MBE, para lo cual se requiere su incorporación a los currículos del pre y posgrado de medicina. Varias instituciones académicas y educativas de ciencias de la salud, a nivel internacional, han incluido la enseñanza de esta estrategia en sus programas. En el ámbito nacional, la Facultad de Medicina de la Universidad Nacional Autónoma de México (UNAM) la ha integrado al currículo de sus planes de estudios.^5-7 Por otra parte, se han descrito en la literatura una serie de barreras o limitantes para ejercer la MBE en la clínica. Un estudio cualitativo encontró en un grupo de residentes de cirugía, 41 condiciones que consideraban como barreras para la práctica de la MBE y las agruparon en las siguientes categorías: confusión respecto a la terminología, barreras personales, barreras del personal administrativo y otras características personales del residente.⁸ Green y cols. identificaron barreras técnicas y culturales para implementar la MBE, en un grupo de médicos residentes de la Universidad de Yale: acceso a fuentes de información electrónica, habilidades de búsqueda de información, identificación de las pistas para elaborar la pregunta clínica, disponibilidad de tiempo, iniciativa personal, las dinámicas de los equipos de trabajo y la cultura institucional.⁹ En una revisión sistemática, se identificaron varios obstáculos y limitaciones que afrontan los residentes durante el ejercicio de la MBE en cualquiera de sus pasos. Los más mencionados fueron la falta de tiempo, de motivación e iniciativa personal (actitud), pocas habilidades de búsqueda y análisis crítico de la literatura y un desinterés por parte de las instituciones de salud para implementar la estrategia.¹⁰ Un trabajo en especialistas de Arabia Saudita, reportó que la falta de entrenamiento en MBE es la principal barrera para practicarla, seguida de la poca facilidad para actualizarse y el tiempo.¹¹ Un estudio realizado en Chile encontró que el idioma puede ser una barrera para el ejercicio de la MBE en médicos de habla hispana.¹²

Una estrategia utilizada en la construcción de instrumentos de evaluación es la de redes semánticas naturales, inicialmente formulada por Figueroa y ampliada y modificada por Reyes-Lagunes.^13,14 La red semántica de un concepto es aquel conjunto de conceptos elegidos por la memoria a través de un proceso reconstructivo. El propósito de esta técnica, es la de obtener una indagación directa de las situaciones específicas que se desean estudiar. Se pretende trabajar con las estructuras generadas por los sujetos (definidoras), y así poder identificar los indicadores que la población de estudio considera pertenece al concepto de interés (nodo).¹¹

No identificamos en la literatura publicada cuestionarios que identificaran las limitantes y oportunidades del ejercicio de la MBE en Latinoamérica, por lo que contar con un instrumento que contribuya a explorar estos aspectos permitiría obtener datos valiosos para la difusión del ejercicio de la MBE en México. El objetivo de este trabajo fue diseñar un cuestionario a través de la técnica de redes semánticas modificadas para conocer las limitantes, realidades y barreras del ejercicio de la MBE en un grupo de médicos residentes.

Método

La División de Estudios de Posgrado de la Facultad de Medicina de la UNAM, realiza de manera periódica cursos de MBE para médicos residentes y profesores de la Institución. Dichos cursos son actividades presenciales, de tres días de duración con 16 horas de contacto, generalmente con 20-30 asistentes. Es un programa intensivo e interactivo, impartido por expertos en el área, con conferencias, ejercicios y actividades en grupos pequeños con la metodología de aprendizaje basado en problemas. Los contenidos del curso son:

• Introducción y conceptos generales de MBE.

]]> • Elaboración de preguntas clínicamente relevantes.

• Búsqueda de la mejor evidencia científica.

• Evaluación de la evidencia sobre intervenciones terapéuticas y diagnósticas.

• Evaluación crítica de revisiones sistemáticas, meta-análisis y guías de práctica clínica.

• Aplicación de la MBE durante el ejercicio profesional y la educación médica.

En este contexto, se invitó a los médicos residentes asistentes a uno de los cursos de MBE en el año 2010, de manera voluntaria y con consentimiento informado por escrito, a participar en este estudio con la técnica de redes semánticas modificadas.

Técnica de redes semánticas modificadas

La técnica de redes semánticas modificadas tuvo como objetivo identificar y utilizar los elementos significativos del ejercicio de la MBE, en este grupo de médicos residentes. La aplicación consistió en entregar a los participantes una hoja con conceptos estímulo, solicitándoles que anotaran en una columna hasta 10 palabras sueltas o frases cortas, a manera de asociaciones libres, que definieran cada uno de dichos conceptos. Se les indicó que jerarquizaran las palabras que escribieron como definidoras, según la importancia con la que asociaban cada una de ellas con el estímulo presentado, de forma que le asignaran el número 1 al concepto más relacionado, el 2 al que le siguiera en importancia, y así sucesivamente. Los conceptos estímulo que se utilizaron fueron los siguientes:

Concepto estímulo 1: "Puedo ejercer mejor la Medicina Basada en Evidencias cuando..."

Concepto estímulo 2: "Se me dificulta el ejercicio de la Medicina Basada en Evidencias en mi vida laboral diaria porque..."

• Valor J (corresponde al tamaño de la red). Es el total de las palabras definidoras generadas por los sujetos participantes, es un indicador de la riqueza de la red (a mayor número de palabras mayor riqueza semántica).

• Valor M (corresponde al peso semántico de cada definidora). Se calcula a través de la suma de la ponderación de la frecuencia, multiplicada por la jerarquización asignada por el grupo donde el 1 es multiplicado por 10; el 2 por nueve; el 3 por ocho, y así sucesivamente.

• Conjunto SAM (Semantic Association Memory). Es el conjunto de las 10 definidoras que obtuvieron los valores M más altos.

Se estableció un plan de prueba de acuerdo a la literatura publicada. El plan propuesto incluyó tres dimensiones de estudio y cinco áreas de interés (las áreas de interés fueron las especialidades troncales: pediatría, medicina interna, cirugía general, medicina familiar y ginecología y obstetricia). Las dimensiones están listadas en la Tabla 1.

Los resultados de la aplicación de la técnica de redes semánticas modificadas sirvieron como base, para diseñar un cuestionario que identificara limitantes y barreras del ejercicio de la MBE en residentes. Las definidoras obtenidas en el proceso se consideraron en el diseño del cuestionario, para identificar limitantes y barreras del ejercicio de la MBE.

En total participaron 25 médicos residentes en el ejercicio con la técnica de redes semánticas modificadas, de los cuales 21 pertenecían a la especialidad de pediatría (84%) y el resto a epidemiología (16%). Del análisis de la población estudiada se obtuvo un valor J de 71 para el concepto estímulo 1, y de 46 para el concepto estímulo 2. Se calculó el peso semántico (valor M) de cada una de las definidoras, siendo las de mayor peso semántico las siguientes: "tengo acceso a internet" (M=65), "tengo tiempo" (M=57) y "tengo acceso a la bibliografía" (M=54), correspondientes al concepto estímulo 1. Mientras que para el concepto estímulo 2 fueron: "no tengo tiempo para buscar evidencia" (M=146) y "no hay acceso gratuito a los artículos" (M=119). Aunque la riqueza de la red fue mayor para el concepto estímulo 1 en comparación con el 2, los pesos semánticos de este último fueron mayores. Las definidoras de ambos conceptos estímulo estaban relacionadas con la disponibilidad de tiempo y a la accesibilidad de la literatura científica. Posteriormente, se graficaron las definidoras que pertenecían al conjunto SAM (Figuras 1 y 2).

El cuestionario diseñado basado en la información obtenida, consistió en 25 reactivos en escala de respuesta tipo Likert (siempre, casi siempre, algunas veces, muy pocas veces, nunca). Se elaboraron ocho reactivos para investigar sobre las barreras tecnológicas, 12 para las culturales/personales y cinco para las inherentes a la Institución (Tabla 2). El cuestionario se aplicó a 20 médicos residentes que participaron en el curso de MBE mencionado previamente, ocho meses después de que se impartió.

A continuación se describen los resultados de la aplicación inicial del cuestionario. Con respecto a las barreras tecnológicas, 14 residentes (70%) refirieron tener acceso a internet "siempre" o "casi siempre", aunque de éstos, sólo 11 (55%) tenían acceso gratuito a las revistas electrónicas. Esta última cifra es congruente con el resultado obtenido del reactivo referente a las facilidades para acceder a los buscadores electrónicos, ya que la mitad de los residentes refirió tenerlas. Llama la atención que 11 participantes (55%), refirieron que el equipo de cómputo disponible con acceso a internet es limitado. La mitad de los residentes "muy pocas veces" o "nunca" tuvieron suscripción a las revistas electrónicas de interés. En total, 13 participantes (65%) refirieron que en su institución "siempre" o "casi siempre" cuenta con al menos una computadora con internet, aunque siete (35%) mencionaron tener un acceso limitado a las bibliotecas digitales (Figuras 3 y 4).

En el caso de las barreras culturales y/o personales se encontró que 14 de los encuestados (70%), no tienen un horario exclusivo para la búsqueda de evidencia científica y sólo ocho (40%) refirieron tener al menos una hora diaria libre para leer algún artículo. Un porcentaje alto (75%) de los residentes reportaron conocer la estrategia de búsqueda más adecuada para encontrar literatura científica. Por otro lado, resalta que 13 de los sujetos (65%) refirieran que "algunas veces", la carga de trabajo les impidió dedicar tiempo de la consulta para revisar artículos relacionados con el caso. Sólo nueve (45%) "siempre" o "casi siempre" refirieron consultar evidencia científica de los casos que les parecieron más relevantes. Destaca que 12 participantes (60%) no pudieron aplicar los conocimientos que ofrece la evidencia científica, debido a que no saben identificar cuál es la mejor literatura de acuerdo al caso. Por otro lado, 19 de los sujetos (95%) consideraron que saber el idioma inglés "siempre" o "casi siempre" es determinante para poder actualizarse. Además, nueve residentes (45%) refirieron que "algunas veces" prefieren no leer los artículos en inglés porque no dominan el idioma. En el caso de las responsabilidades laborales de los sujetos, 12 (60%) prefirieron descansar a leer un artículo científico (Figuras 5 , 6, 7).

Finalmente, con relación con las barreras inherentes a la Institución sólo seis de los residentes (30%), refirieron que "siempre" o "casi siempre" los artículos consultados recomiendan el uso de medicamentos que el hospital donde laboran no tiene. Con respecto a su actualización continua, únicamente ocho de los participantes (40%) afirmaron que "siempre" o "casi siempre" cuentan con una sesión académica exclusiva para discutir literatura médica. Asimismo, nueve de ellos (45%) reportan que sólo "algunas veces" la Institución les autoriza para asistir a seminarios de actualización, mientras que seis participantes (30%) eligieron las opciones "muy pocas veces" o "nunca". Por último, con respecto a que la Institución fomente la implementación de nuevos tratamientos, ocho de los participantes (40%) mencionaron que ocurre "muy pocas veces" o "nunca" (Figuras 8 y 9).

Discusión

Este trabajo presenta un ejercicio metodológico con el uso de una técnica específica para diseñar un cuestionario que identifique las limitantes, algunas realidades y barreras del ejercicio de la MBE en médicos residentes de México.

El cambio constante en la formación académica y conducta de los médicos, el tiempo y el modo en que se imparte la enseñanza de la MBE y la deficiencia de instrumentos con suficiente evidencia de validez, son algunas de las causas que dificultan la evaluación de esta estrategia educativa.¹⁶ Asimismo, el ejercicio de la MBE se encuentra limitado por diferentes factores que reporta la literatura.^8-10,18,19 Es importante resaltar que en la bibliografía revisada no se encontró algún otro cuestionario que identificara las limitantes y oportunidades del ejercicio de la MBE en Latinoamérica, por lo que resultó pertinente hacer uso de la técnica de redes semánticas modificadas para hacer una indagación directa y tener evidencia más objetiva de la implementación de esta estrategia educativa, durante el desempeño profesional del médico residente.

Aunque no se encontró otro trabajo que utilizara la técnica de redes semánticas modificadas para diseñar un cuestionario que midiera esos aspectos de la MBE en una población de residentes, hay evidencia del uso de esta técnica para la construcción de herramientas de medición. Sánchez-Ochoa y cols. elaboraron un instrumento para evaluar el desempeño docente, en una universidad de México con ayuda de la técnica de redes semánticas modificadas.²⁰ Asimismo, se debe tomar en consideración que el uso de esta técnica requiere de la aplicación de una metodología rigurosa que permita lograr la mejor equivalencia del significado entre el lenguaje cotidiano no técnico y la interpretación técnica de la ciencia.

En la aplicación del cuestionario diseñado se encontró que una tercera parte de los residentes reportó falta de acceso a internet para consultar la literatura científica, en parte debido a la disponibilidad limitada de equipo de cómputo en el área laboral. Esta puede ser una limitante importante característica de nuestro medio, ya que en la mayoría de los estudios realizados en países desarrollados no fue mencionada. Shawn y cols. reportan que esta limitante, en médicos egresados, sólo fue reportada por la minoría de los participantes de su estudio, los cuales se encontraban laborando en áreas rurales.²¹

Otro dato que resulta relevante es el manejo del idioma para ejercer la MBE. La mayoría de los participantes está de acuerdo en que el conocimiento del idioma inglés es determinante para poder actualizarse. Llama la atención que en promedio el grupo refirió tener un 68% de conocimientos sobre el idioma, y que el 45% de ellos refirió que algunas veces prefiere no leer los artículos porque no dominan el inglés. Esto es interesante porque la mayoría de los estudios consultados no contemplan lo anterior como una limitante, lo que hace evidente la deficiencia de investigaciones en poblaciones de habla hispana con respecto a la implementación de esta estrategia educativa en su medio.

Letelier y cols. realizaron un estudio para analizar la influencia del entendimiento del idioma inglés sobre la enseñanza de la MBE en médicos residentes de Chile, que podría ser de utilidad analizar en los diferentes países de América Latina. En México, el estudio deficiente del idioma inglés se reconoce como un problema nacional, por lo que se han tomado decisiones para incorporar la enseñanza de este idioma en los planes de estudio desde la educación preescolar, de acuerdo al plan de la Subsecretaría de Educación,²² hasta el tercer nivel de educación básica, con el objetivo de que los alumnos desarrollen la competencia plurilingüe que el mundo globalizado les exige para afrontarlo exitosamente. Mientras tanto, es posible que la barrera del idioma se presente en el ejercicio actual de la MBE en México.

Las barreras institucionales, que también son referidas en la literatura, fueron mencionadas en porcentajes altos por parte de la población participante.^8-10 Casi la mitad de ellos refiere que la Institución no cuenta con los medicamentos recomendados en la literatura, y que difícilmente la Institución en la que laboran fomentaría la implementación de nuevos tratamientos, según la evidencia científica. Esto puede dar alguna información de cómo se comporta el sistema de salud en México, en cuestiones de recursos económicos y en general, la actitud institucional ante los cambios actuales en medicina.

Finalmente, se debe comentar que el cuestionario que se propone en este trabajo requiere de un proceso de validación. La aplicación de dicho cuestionario en este estudio se realizó con fines de determinar su aplicabilidad, tiempo de implementación y redacción de los reactivos. Para poder validar de manera ideal este cuestionario se requeriría la aplicación del mismo a una muestra grande, de al menos 1 500 residentes -cifra obtenida de la multiplicación del número de dimensiones del plan de prueba (3), por el número de áreas (5), por el número de reactivos (25) y por el número de individuos necesarios por reactivo (4)-; la cual resulta difícil de alcanzar por los obstáculos logísticos que esto implica (deficiencia de recursos económicos y humanos principalmente, además de la gestión de las autorizaciones correspondientes). Posteriormente, deberá determinarse la consistencia interna del cuestionario y realizar un análisis factorial.^23,24

Algunas de las limitantes del estudio son que se realizó únicamente en residentes de una escuela de medicina, y que pertenecían a la misma especialidad. Esto puede impactar en la generalización de los datos obtenidos. El tamaño de la muestra, si bien fue apropiado para el ejercicio inicial de diseño del cuestionario con las redes semánticas, es limitado para realizar inferencias sobre los resultados obtenidos, que deben tomarse con prudencia. También existen algunas amenazas a la validez interna del estudio,²⁴ como las características individuales de los participantes (actitudes y habilidades particulares para aprender la estrategia) y los aspectos históricos, refiriéndonos a aquellas experiencias que los sujetos de estudio tuvieron durante los ocho meses poscurso, y que pudieron influir en sus puntos de vista sobre las limitantes y realidades de la implementación de la MBE.

Conclusiones

Se diseñó un cuestionario para identificar limitantes y realidades de la implementación de la MBE en médicos residentes mexicanos, diseñado ad hoc a través de la técnica de redes semánticas modificadas. Las barreras tecnológicas más frecuentes encontradas en la población estudiada fueron la deficiencia de equipos de cómputo y suscripción limitada a revistas electrónicas. Las limitantes culturales y/o personales más relevantes fueron el exceso de trabajo, cansancio crónico, la falta del dominio del idioma inglés y el no saber identificar la mejor evidencia científica. De las barreras inherentes a la Institución, la más referida por los residentes fue la falta de autorización para asistir a los seminarios de actualización. Los resultados presentan información preliminar sobre los retos de implementar la MBE en las especializaciones médicas, en países similares al nuestro.

Los autores participaron durante todo el proceso de la investigación, desde el diseño del estudio, la recolección y análisis de los datos. Elaboraron y revisaron el documento aprobando el manuscrito.

Agradecimiento

A Josefina Bolado Garza por su colaboración en corrección de estilo y traducción al inglés.

Financiamiento

Ninguno.

Conflicto de intereses

Presentaciones previas

Ninguna.

Referencias

1. Sackett DL, Rosenberg WM, Gray JA. Evidence-based medicine: what it is and what it isn't. British Medical Journal 1996;312(7023):71-72.         [ Links ]

2. Miser FW. An introduction to evidence-based medicine. Prim Care Clin Office Pract 2006;33:811-829.         [ Links ]

3. Report from the World Federation on Medical Education. WFME task force on defining international standards in basic medical education. Report of the Working Party, Cophenagen. Medical Education 2000;34:665-675.         [ Links ]

4. Sánchez-Mendiola M. La medicina basada en evidencias en México. An Med Asoc Med Hosp ABC 2001;46(2):97-103.         [ Links ]

5. Core Committee, Institute for international Medical Education. Global minimum essential requirements in medical education. Medical Teaching 2002;24:130-135.         [ Links ]

6. Greiner AC, Knebel E. Health Professions education: A bridge to quality. Committee on the Health Professions Education Summit. Institute of Medicine of the National Academies. Washington D.C. The National Academies Press. 2003.         [ Links ]

7. Sánchez-Mendiola M, Durante-Montiel I, Morales-López S, et al. Plan de Estudios 2010 de la Facultad de Medicina de la Universidad Nacional Autónoma de México. Gac Méd Méx 2011;147:152-158.         [ Links ]

8. Bhandari M, Montori V, Devereaux PJ, et al. Challenges to the practice of evidence-based medicine during residents'' surgical training: A qualitative study using grounded theory. Academic Medicine 2003;78(11):1183-1190.         [ Links ]

9. Green ML, Ruff TR. Why do residents fail to answer their clinical questions? A qualitative study of barriers to practicing evidence-based medicine. Acad Med 2005;80(2):176-182.         [ Links ]

10. Dijk N, Hooft L, Wieringa-de-Waard M. What are the barriers to residents´ practicing evidence-based medicine? A systematic review. Academic Medicine 2010;85(7):1163-1170.         [ Links ]

11. Al-Almaie S, Al-Baghli N. Barriers facing physicians practicing evidence-based medicine in Saudi Arabia. The Journal of Continuing Education in the Health Professions 2004;24:163-170.         [ Links ]

12. Letelier LM, Zamarin N, Andrade N, et al. Exploring language barriers to Evidence-based Health Care (EBHC) in post-graduate medical students: a randomized trial. Education for Health 2007;20(3):1-6.         [ Links ]

13. Reyes LI. Las redes semánticas naturales, su conceptualización y su utilización en la construcción de instrumentos. Revista de Psicología Social y Personalidad 1993;9(1):81-97.         [ Links ]

14. Cohen T, Widdows D. Empirical distributional semantics: methods and biomedical applications. Journal of Biomedial Informatics 2009;42:390-405.         [ Links ]

15. Figueroa J, González E, Solís V. Una Aproximación al problema del significado, Revista Latinoamericana de Psicología 1981. 13(3).         [ Links ]

16. Valdez MJL. Las redes semánticas naturales, usos y aplicaciones en Psicología Social. México. Universidad Autónoma del Estado de México. 1998.         [ Links ]

17. Hinojosa RG. El tratamiento estadístico de las redes semánticas naturales. Revista Internacional de Ciencias Sociales y Humanidades SOCIOTAM 2008;18(1):133-154.         [ Links ]

18. Hatala R, Guyatt G. Evaluating the teaching of evidence-based medicine. JAMA 2002;288(9):1110-1112.         [ Links ]

19. McAlister F, Graham I, Karr G, et al. Evidence-Based Medicine and the practicing clinician. J Gen Intern Med 1999;14:236-242.         [ Links ]

20. Sánchez OSA, Domínguez EA. Elaboración de un instrumento de viñetas para evaluar el desempeño docente. Revista Mexicana de Investigación Educativa 2008;13(37):625-648.         [ Links ]

21. Shawn TC, Coelho DG, Upshur REG. Evidence-based medicine in primary care: qualitative study of family physicians. Family Practice 2003;4(6).         [ Links ]

22. Programa Nacional de Inglés en Educación Básica. Asignatura Estatal: lengua adicional inglés. Coordinación Nacional de Inglés de la Dirección General de Desarrollo Curricular. México. Subsecretaría de Educación Básica de la Secretaría de Educación Pública. 2010.         [ Links ]

24. Fraenkel J, Wallen N. How to design and Evaluate Research in Education. 5ª ed New York. McGraw Hill Higher Education. 2003.         [ Links ]