La formación en psicología, de manera semejante a como ocurre en otras disciplinas, ha estado marcada por una división entre lo que se ha denominado “la teoría y la práctica”, como si se tratara de dos polos en la actividad profesional; sin embargo, se ha documentado de la importancia de establecer un vínculo entre ellas, considerándolas entonces como parte de un proceso continuo.
El modelo de Habilidades Metodológicas y conceptuales (HMC) (Santoyo, 2005; Santoyo & Cedeño 1986), propone tres categorías de habilidades: evaluación de información, intervención y análisis de procesos, las cuales son asumidas como relacionales, lo que implica que, determinado nivel de ejecución en una de ellas puede impactar el nivel en que otra se presenta, sin implicar una relación jerárquica (Jiménez, 2016; Jiménez, Santoyo & Colmenares; 2016). Así, las habilidades del psicólogo se ubican dentro de estas categorías, dado que su actividad, ya sea en la práctica profesional o en la práctica científica, requiere que sea capaz de identificar hallazgos derivados de la investigación, analizarlos, valorar su validez empírica, formular hipótesis, identificar problemas sociales o científicos, generar e implementar alternativas de solución y valorar la pertinencia de dicha implementación.
En el caso específico del grado de maestría, la American Psychological Association (2018), señala cinco objetivos de formación en este nivel: a) analizar, integrar y evaluar información conceptual y metodológica en campos específicos de la psicología; b) implementar estrategias metodológicas para responder a cuestiones de investigación o de relevancia social; c) realizar acciones que sean ética y socialmente responsables, considerando la diversidad de contextos actuales; d) comunicar de manera oral y escrita, el conocimiento derivado de la psicología, adaptando las formas de comunicación a la población a la que se destine y e) monitorear y evaluar su propio comportamiento profesional, generando las acciones de formación y entrenamiento continuo.
Sin embargo, las habilidades que forman parte del logro de estos objetivos, generalmente son enseñadas en los programas de pregrado de manera aislada, lo que ha generado que, por un lado, haya profesionales con habilidades para evaluar información y, por otro lado, profesionales con adecuadas habilidades para implementar programas de intervención. Lo cual representa un problema, dado que se ha documentado sobre los costos de hacer intervenciones, cuyo fundamento y eficacia se desconoce debido a que, con frecuencia estas deben ser adaptadas a diversos escenarios, y en ese proceso pueden verse alterados sus resultados (Morales, 2012). Sin embargo, los estudios sobre habilidades del psicólogo han considerado estas destrezas de manera separada.
Así, en el caso de las HMC de evaluación que demandan pensamiento crítico, se ha dado por hecho que, al cursar estudios de licenciatura o cualquier otro nivel académico, estas han sido aprendidas de manera “automática”, dejando de lado que, estas deben ser enseñadas explícitamente. De tal forma que, en diversos estudios se ha señalado la necesidad de cursos destinados a enseñar a estudiantes de psicología a valorar hallazgos científicos.
De manera relativamente reciente se han realizado estudios en los que se ha mostrado un impacto favorable y significativo en el desarrollo de pensamiento crítico, cuando los estudiantes reciben instrucción directa al respecto (Abrami et al., 2008; Colmenares et al., 2022). En este sentido, la investigación realizada por Bensley et al. (2010), en la cual se realizaron dos estudios, la ejecución en pruebas de pensamiento crítico entre estudiantes que recibieron instrucción específica y aquellos que estuvieron en grupos en que se incluyó como parte de un curso genérico, se encontraron mejores puntuaciones entre los del primer grupo. Este tipo de hallazgos han sido replicados en otras investigaciones (Burke et al., 2014; Cloete, 2018).
Por otra parte, en estudios como el de Colmenares et al. (2022), se evaluó el impacto de dos tipos de retroalimentación en una tarea de análisis de textos científicos, encontrando que tanto la retroalimentación genérica como la retroalimentación específica, genera resultados similares en el aumento en el número de aciertos obtenidos por los estudiantes.
Por su parte, Prat-Sala & Duuren (2022), realizaron un estudio de cohorte y posteriormente un estudio longitudinal, en el cual analizaron el pensamiento crítico de estudiantes de psicología, comparando inicialmente a los de primer año, con los del tercer año, encontrando diferencias significativas en todas las puntuaciones obtenidas por los participantes en una prueba estandarizada que medía: inferencia, identificación de hechos, deducción, interpretación y evaluación de argumentos; posteriormente, aquellos que habían sido evaluados durante el primer año de formación, volvieron a ser evaluados durante su último año de estudios y aunque hubo diferencias significativas en la puntuación global, al considerar los resultados por dimensión, no hubo diferencias en lo referente a hacer inferencias, deducciones e interpretaciones.
Los datos sugieren la importancia de continuar con el estudio de las HMC de evaluación, sin embargo, poco se ha reportado sobre su transferencia a las HMC de intervención, por lo que estas generalmente son analizadas por separado, como en las investigaciones en las que se analiza el proceso de formación de terapeutas, los estudios sobre integridad del tratamiento o incluso, como una variable que permite entender resultados de la implementación de intervenciones.
En un estudio realizado por Santoyo et al. (2017), se analizó la transferencia de las HMC de evaluación de información hacia la elaboración de un trabajo final integrando evidencia de diversos artículos, teniendo como base el MAE txt (Santoyo, 2001), por lo que, a partir de los resultados se formaron dos grupos: uno de alto desempeño y otro de bajo desempeño en la tarea de análisis de textos y se encontró una relación positiva y significativa entre el desempeño en esta tarea y la calificación que obtuvieron en el trabajo final. Trabajos equivalentes han sido desarrollados por González & Rivas (2021) en donde el estudiantado al finalizar las tareas de análisis de textos trabajó en la elaboración de un ensayo o glosa en donde la mayoría de las y los estudiantes obtuvieron puntajes superiores al 80% en la calificación final, demostrando lo que ellos llamaron como expansión del MAE txt.
Una vez que los estudiantes son capaces de integrar la evidencia científica en un campo, emplean dichos hallazgos para elegir las mejores intervenciones y posteriormente hacer una adecuada implementación de ellas; sin embargo, poco se ha documentado sobre la manera en que estas habilidades son transferidas a otras como las de intervención. Por tanto, el objetivo del presente estudio es evaluar la transferencia de habilidades de evaluación de información y habilidades de intervención, en estudiantes de maestría, considerando su nivel de desempeño en una tarea de análisis de textos científicos, a través del uso de medidas de ejecución.
Método
Participantes
Participaron en el estudio diez estudiantes de nuevo ingreso a un programa de maestría profesionalizante en psicología, que en promedio tenían dos años de haber egresado de la licenciatura y que contaban con el mismo tiempo de experiencia en la intervención psicológica.
Instrumentos
Hoja de respuestas del MAE txt (Jiménez, 2016). La hoja de respuestas contiene en una sección las instrucciones sobre cómo realizar la tarea de análisis de textos científicos y en una segunda parte, contiene un cuestionario de preguntas abiertas, respecto a las 10 categorías del Modelo de HMC propuesto por Santoyo (2001; 2005): a) Justificaciones: teórica, metodológica y social; b) supuestos básicos; c) objetivo del estudio; d) unidad de análisis; e) estrategias: argumentativa y metodológica; f) evaluación de la validez interna del estudio; g) evaluación de la validez externa del estudio; h) evaluación de las conclusiones del autor; i) conclusiones propias y j) cursos de acción alternativos. En el anexo se incluye la rúbrica utilizada en este trabajo. Dichas categorías han sido validadas en diversos estudios mediante jueces expertos, aplicando en diferentes instituciones educativas, disciplinas diferentes a la psicología, analizando la consistencia interna de las categorías, evaluando su validez convergente, realizando concordancia entre jueces, entre las diversas formas de control de calidad del MAEtxt (Bazán, García & Borbón, 2005; Cepeda & López, 2010; Jiménez, 2016; Villarreal, 2003).
Rúbrica para la evaluación de las HMC de evaluación de información (Jiménez, 2016). Contiene las categorías o reactivos que se incluyen en la hoja de respuestas, así como una escala de evaluación para cada una de ellas, la cual puede ir de 0 a 3 ó 4 puntos, señalando para cada puntuación una descripción del contenido de las respuestas. La confiabilidad de este instrumento se determinó con base en el 80% de acuerdo entre evaluadores de las tareas realizadas por los estudiantes.
Sistema de observación de las HMC de intervención (Jiménez & Santoyo, 2015). Es una herramienta de observación directa de la interacción entre usuario y terapeuta, consta de 22 categorías conductuales de las cuales, 10 conductas solo pueden ser emitidas por el psicólogo, tres pueden ser emitidas solamente por el usuario y el resto se refiere a comportamientos que pueden ser emitidos tanto por el usuario como por el terapeuta.
La concordancia entre observadores, para este estudio, se obtuvo mediante el porcentaje de acuerdo entre observadores entrenados de al menos el 80% y un índice de kappa de al menos .70 (Bakeman & Gotman, 1989).
Diseño Observacional
El diseño corresponde a un estudio observacional de tipo nomotético, puntual y multidimensional (Anguera, Blanco & Losada, 2001); dado que se considera el desempeño de dos tipos de participantes en un momento específico de su formación y con respecto a dos tipos de habilidades con dimensiones diversas.
Procedimiento
Los 10 estudiantes de nuevo ingreso a un programa de maestría en psicología, brindaron su consentimiento informado para participar en el estudio.
El estudio se llevó a cabo en dos sesiones. Durante la primera los estudiantes fueron reunidos para realizar la tarea de MAE txt, para ello se les asignó a todos el mismo artículo, el cual se trataba de un trabajo clásico en análisis de la conducta2, en español y con una extensión de cuatro cuartillas. Se les dio la hoja de respuestas, misma que fue leída de manera grupal, para aclarar dudas en caso de que las hubiera. Cada estudiante podía tomar notas si lo consideraba necesario y no había restricción en cuanto a la cantidad de veces que podría leer el texto. Una vez que se contó con los datos de todos los participantes, las respuestas de cada uno de ellos fueron calificadas por evaluadores entrenados en el uso de la rúbrica mencionada en la sección de instrumentos.
Posteriormente, en la segunda sesión los estudiantes participaron en una situación simulada de interacción usuario-terapeuta. Para esta sesión, dos prestadores de servicio social fueron entrenados como usuarios, con la finalidad de garantizar que todos los participantes tuvieran las mismas condiciones de evaluación. El entrenamiento para fungir como usuario, consistió en el aprendizaje de un diálogo en el que el confederado emitía una serie de conductas resistentes, las cuales eran idénticas en todos los casos y se presentaban en el mismo orden.
Las sesiones de cada participante fueron video-grabadas y tuvieron una duración de 20 minutos cada una. Una vez que se contó con los videos sobre habilidades de intervención, se realizaron registros de intervalo parcial de cinco segundos, elaborados a lápiz y papel, empleando el Sistema de observación de las HMC de intervención (Jiménez & Santoyo, 2015), cabe señalar que los registros fueron realizados por dos observadores previamente entrenados en el uso del sistema de observación, con una concordancia entre observadores mayor al 80%.
Finalmente se realizaron análisis descriptivos, para los datos relacionados con las habilidades de evaluación de información y análisis inferenciales, para los datos sobre habilidades de intervención.
Resultados
Con base en las puntuaciones obtenidas por cada estudiante en la tarea de MAE txt se realizó un análisis de cluster no jerárquico el cual permitió la detección de dos grupos de estudiantes, considerados para este estudio como “alto desempeño” y “bajo desempeño”, conformados por tres y siete estudiantes respectivamente, y teniendo en cuenta estos grupos se realizaron los análisis correspondientes.
Primero se analizó el desempeño de los dos grupos de alumnos en cada una de las categorías del MAE txt, la Figura 1, muestra que los estudiantes considerados de alto desempeño obtuvieron puntuaciones de al menos dos puntos para la mayoría de las categorías, la cual, de acuerdo con la rúbrica empleada es el valor mínimo para considerar una respuesta correcta, mientras que los estudiantes del grupo de bajo desempeño obtienen en la mayoría de los casos, puntuaciones de uno. La misma figura muestra que, solo en las categorías de Justificación teórica y justificación metodológica, ambos grupos de estudiantes dan respuestas que no corresponden con estas por lo que se les asignaba el valor mínimo de la escala que corresponde a 1.

Nota: O: Objetivo; UA: Unidad de Análisis; EA: Estrategia Argumentativa; EM: Estrategia Metodológica; JT: Justificación Teórica; JM: Justificación Metodológica; JS: Justificación Social; S: Supuestos básicos; C: Conclusión del lector; CI: Coherencia interna; CE: Coherencia externa; EC: Evaluación de las Conclusiones del autor; CAA: Cursos de Acción Alternativos
Figura 1 Desempeño global de los participantes de cada grupo, en cada categoría del MAE txt. Valores cercanos a 2 corresponden a respuestas que contienen elementos textuales, mientras que, valores mayores se refieren a respuestas que implican parafraseo de la información.
Cabe señalar que, las categorías del modelo de análisis de textos, fueron agrupadas en cinco habilidades generales: a) identificación, b) comprensión, c) análisis de información, d) deducción y e) evaluación de información, por lo que, se realizó una comparación entre el desempeño de ambos grupos de estudiantes en estas categorías, para lo cual se realizó una prueba de Mann-Withney, la cual permitió identificar diferencias significativas en el desempeño de los estudiantes, en tareas de deducción y de evaluación de información (p<.05).
Una vez analizado lo anterior, se procedió al análisis de las habilidades de intervención de los estudiantes de ambos grupos, para lo cual inicialmente se realizó un análisis molecular con las probabilidades incondicionadas, con que emitieron diversas habilidades de intervención, por lo que se encontró que, la categoría conductual que ocurre con una mayor probabilidad en ambos casos es aquella denominada como atención, la cual consiste en que el estudiante en su rol de terapeuta, permaneciera en silencio y observando al usuario, mientras este le habla, dicho comportamiento ocurrió con una probabilidad de .26 y de .32 entre los alumnos de alto y bajo desempeño respectivamente, mientras que el resto de las categorías conductuales se presentaron en probabilidades menores a .25, tal como se puede observar en la Tabla 1. Se realizó una prueba t de student para comparar la ocurrencia de conductas de intervención entre ambos grupos de estudiantes y solo se encontraron diferencias significativas en la emisión de conductas tales como el reforzamiento social (t=2.435, 8, p=.042) y la retroalimentación correctiva (t= 2.898, 8, p=.02), las cuales fueron realizadas con mayores probabilidades incondicionales, por los alumnos del grupo de alto desempeño (ver Tabla 1).
Tabla 1 Análisis molecular de las probabilidades incondicionadas de las habilidades de intervención
GRUPO | Media | Deviación estándar | t de student | p | ||
Conductas deseables | Cortesia | ALTO | .0167 | .00577 | -.285 | .727 |
BAJO | .0186 | .01069 | ||||
Pregunta cerrada | ALTO | .1767 | .06429 | 1.320 | .256 | |
BAJO | .1171 | .06775 | ||||
Pregunta abierta | ALTO | .1033 | .05132 | -.545 | .623 | |
BAJO | .1214 | .03976 | ||||
Empatía | ALTO | 0.0033 | .00577 | .525 | .639 | |
BAJO | .0014 | .00378 | ||||
Dar razones | ALTO | .0767 | .03512 | -.787 | .463 | |
BAJO | .0986 | .05047 | ||||
Parafrasear | ALTO | .0767 | .02517 | 1.886 | .115 | |
BAJO | .0400 | .03416 | ||||
Escucha reflexiva | ALTO | .0200 | .02646 | .537 | .637 | |
BAJO | .0114 | .01215 | ||||
Apoyar | ALTO | .0100 | .00000 | -1.00 | .356 | |
BAJO | .0143 | .01134 | ||||
Sugerir | ALTO | .0467 | .00577 | -1.130 | .294 | |
BAJO | .0571 | .02289 | ||||
Ensenar | ALTO | .0367 | .02887 | .751 | .509 | |
BAJO | .0229 | .02059 | ||||
Reforzamiento social | ALTO | .0167 | .00577 | 2.772 | .037 | |
BAJO | .0043 | .00787 | ||||
Retroalimentación
Correctiva |
ALTO | .0100 | .01000 | 2.898 | .020 | |
BAJO | .0000 | .00000 | ||||
Dar información
del tratamiento |
ALTO | .0267 | .02082 | -1.293 | .233 | |
BAJO | .0614 | .06362 | ||||
Generadoras de
resistencia |
Emitir juicios | ALTO | .0367 | .01155 | .449 | .666 |
BAJO | .0300 | .03512 | ||||
Respuestas
incompatibles |
ALTO | .0067 | .00577 | -1.000 | .355 | |
BAJO | .0114 | .00900 | ||||
Dar instrucciones/
ordenar |
ALTO | .0067 | .00577 | -2.706 | .028 | |
BAJO | .0286 | .01952 | ||||
Atención | Atención | ALTO | .2467 | .11240 | -1.158 | .348 |
BAJO | .3257 | .05623 |
Posteriormente, se realizó un análisis molar de las habilidades de intervención, agrupándolas en: a) conductas deseables para la intervención, b) conductas generadoras de resistencia y c) atención, la Figura 2, muestra que estas ocurren con probabilidades similares en ambos grupos, sin que hubiera diferencia significativa.
Discusión
Los resultados del presente estudio muestran que, aquellos estudiantes ubicados en el grupo de bajo desempeño en tareas de HMC de evaluación de información, tienen desempeño similar al obtenido por estudiantes de pregrado en la línea base de estudios previos, mostrando una mayor dificultad en las tareas que implican el análisis y deducción de información (Colmenares et al., 2022; Espinosa et al., 2010) este hallazgo es importante al considerar que, se trata de estudiantes que han concluido la formación profesional, que están iniciando con su posgrado y que cuentan con experiencia profesional, lo que podría tener implicaciones en sus habilidades de implementación.
En ese sentido, si bien existen diferencias en las habilidades de evaluación de información entre ambos grupos, estos parecen exhibir habilidades de intervención de manera similar, lo que hace necesario continuar con la investigación respecto al proceso de transferencia de estas habilidades (Santoyo et al., 2017), en tanto que, las habilidades de evaluación de información son la base para la toma de decisiones implicada en lo que se ha denominado Práctica Basada en Evidencia (PBE) en psicología, ya que en una serie de investigaciones se ha reportado que, la habilidad de los profesionales para seleccionar las mejores evidencias en la intervención psicológica, impacta sobre la manera en que implementan dichas intervenciones (Aarons, 2004; Hagermoser & Collier-Meek, 2019; Jiménez-Pérez et al., 2022; Vargas, 2016)
Por otro lado, aunque el análisis molar de habilidades de intervención, no mostró diferencias significativas, se encontró que los estudiantes pertenecientes al grupo de alto desempeño, exhibían con mayores probabilidades conductas de reforzamiento social y retroalimentación correctiva, las cuales son consideradas como deseables para promover el cambio en el comportamiento, de tal forma que sería necesario ampliar el análisis molecular de la interacción social implicada en la intervención y considerar la manera en que estos resultados se vinculan a otros factores como la eficacia en la implementación de un tratamiento (Morales, 2012) o bien, las tasas de deserción.
En el presente estudio se empleó una situación simulada para valorar las habilidades de intervención, dado que en estudios previos han mostrado que esto que este tipo de situaciones constituyen contextos de evaluación confiables, pues con frecuencia las habilidades de intervención son trasladadas de los escenarios controlados a las situaciones de la práctica clínica real (Félix et al., 2021; Kühne et al., 2018; Lane et al., 2008), de tal forma que, es probable que, las habilidades de intervención que se reportan en este estudio con confederados, sean semejantes a las exhibidas con usuarios reales, lo cual podría tener implicaciones cuando se analizan otras variables como por ejemplo la deserción, que podría estar vinculada a las habilidades de implementación con que cuentan las terapeutas (Jiménez et al, 2021)
Los hallazgos aquí presentados permiten identificar la necesidad de diseñar estrategias formativas en la transferencia de HMC de evaluación de información y de intervención, con la finalidad de que ello optimice los resultados derivados del quehacer científico y profesional del psicólogo. Para ello, futuros estudios deberían clasificar de forma estratégica a las y los estudiantes de acuerdo a diferentes niveles de dominio en HMC y en particular en diversas categorías del MAE txt; por ejemplo, ¿los estudiantes con puntajes más elevados en las categorías de coherencia interna y externa (validez experimental), identificación de la justificación y la estrategia metodológicas, proposición de cursos de acción alternativa, exhiben mejores habilidades de evaluación e intervención en condiciones de interacción evaluativa o terapéutica con las y los usuarios? ¿Qué condiciones favorecen de mejor forma la transferencia de las habilidades de evaluación de información recibida en los seminarios de formación hacia la atención eficiente a los usuarios? El camino es amplio pero los cursos de acción a seguir sugieren vías potenciales de investigación y acción.