MemPavox: prueba computarizada para evaluar la memoria de trabajo visual-verbal

MemPavox: Computerized Program to Assess Visual-Verbal Working Memory

A. Sanz-Martin, E. Gumá-Díaz, M.A. Guevara, M. Hernández-González

Instituto de Neurociencias, CUCBA, Universidad de Guadalajara.

Correspondencia:
A. Sanz Martin
Francisco de Quevedo 180,
Arcos Vallarta, 44130,
Guadalajara, Jalisco, México.
Tel 37 77 11 50. Ext. 33365; Fax 33377
Correo electrónico: aracelisanz@yahoo.com

Fecha de recepción:17 de Septiembre de 2013. ]]> Fecha de aceptación: 21 de Enero de 2014.

RESUMEN

La memoria de trabajo es un sistema temporal que permite retener cierta cantidad de información, manipularla y regularla para guiar conductas y procesos cognitivos. Una prueba que se ha utilizado en México para evaluar la memoria visual verbal es PAVOX, en la cual se debe recordar la posición de la categoría semántica de palabras de dos o tres sílabas que se presentan de manera consecutiva y aleatoria en un monitor de computadora. En este trabajo se describe el funcionamiento y ventajas del programa computacional MemPavox, el cual fue creado de acuerdo a los requerimientos de la prueba PAVOX. El programa permite la presentación de palabras o de cualquier otro estímulo visual, controlar de manera precisa el tiempo y la forma en que aparecen los estímulos e implementar diversos paradigmas de estimulación, entre ellos las tres tareas que integran la prueba PAVOX (conteo de vocales, categorización y dual). El programa registra el tipo de respuesta y el tiempo de reacción de los sujetos. Dada su disponibilidad, flexibilidad y manejabilidad MemPavox puede ser utilizado tanto por investigadores en el área de las neurociencias cognitivas, como por profesionales de la psicología en la evaluación de la memoria de trabajo.

Palabras clave: memoria de trabajo, estimulación visual, prueba cognoscitiva.

ABSTRACT

Working memory is a temporary system that makes it possible to retain a certain amount of information and then manipulate and regulate it so as to guide behaviors and cognitive processes. PAVOX is a test that has been used in Mexico to evaluate visual verbal memory. In this test, the subject must remember the position of the semantic category of two-or three-syllable words presented randomly and consecutively on a computer monitor. This paper describes the operation and advantages of MemPavox, a computer program that was created according to the requirements of the PAVOX test. This program allows the presentation of words or any other visual stimulus while providing precise control of both time and the manner in which the stimuli appear, as well as the implementation of various stimulation paradigms, including the three tasks that make up the PAVOX test (vowel counting, categorization and dual). In addition, it records the type of response and subjects reaction times. Given its availability, flexibility and manageability, MemPavox can be used by both researchers in the field of cognitive neuroscience and professional psychologists to assess working memory.

Keywords: working memory, visual stimuli, cognitive test.

La memoria de trabajo es un sistema temporal que permite retener cierta cantidad de información, manipularla y regularla para guiar conductas y procesos cognitivos tales como el aprendizaje, el razonamiento, la comprensión, la aritmética, el cálculo y la solución de problemas. Se caracteriza por poseer una capacidad limitada y una decadencia o borrado espontáneo en pocos segundos [1-3]. Baddeley y Hitch [4] propusieron un modelo para explicar la memoria de trabajo el cual está integrado por tres componentes principales: un sistema ejecutivo, un almacén fonológico y un almacén viso-espacial. El ejecutivo central es un sistema de control atencional que coordina de manera global las actividades, ordena y supervisa la información proveniente de los almacenes y selecciona la información para la realización de las actividades cognitivas prioritarias. El almacén fonológico procesa material verbal y se mantiene a través de la repetición sub-vocal y el repaso articulatorio; está regulado por las regiones temporales. El almacén viso-espacial manipula y mantiene imágenes visuales. Recientemente a este modelo se le ha añadido el almacén episódico, en el cual el procesamiento de información fonológica y visual se combina y se integra con la información que llega de la memoria de largo plazo, formando una representación multimodal y temporal de una situación actual [5].

Para evaluar la memoria de trabajo es común el empleo de tareas en donde se deben repetir series crecientes de letras o dígitos en el orden inverso al que son presentadas. Otros ejemplos son las sub-pruebas de "números letras" y "aritmética" de las escalas de inteligencia y memoria de Wechsler [6-7]. En la primera, se presentan series progresivas de letras y números que se deben ordenar, diciendo primero los números y luego las letras. En la segunda, se deben resolver mentalmente problemas y operaciones aritméticas.

También existen tareas de memoria de trabajo en modalidades viso-espaciales como la secuencia regresiva de toques de cubos de Knox, Corsi y Queensland [8]. Los cubos de Corsi consisten en un tablero en el que se encuentran insertados 9 o 10 cubos numerados. Dicho tablero se coloca frente al sujeto de tal forma que éste no ve la numeración de los cubos pero el evaluador sí lo hace. Este último toca secuencias crecientes de cubos y el sujeto debe repetir dichas secuencias de toques en el orden contrario.

Una forma de evaluar la memoria de trabajo en su modalidad visual-verbal es a través de la prueba PAVOX (P, palabra, A, animal, V, verbo. O, objeto y X, estímulo a categorizar) la cual fue desarrollada por Gumá-Díaz y col. [910]. En dicha tarea se emplean como estímulos palabras de dos o tres sílabas que se presentan de manera consecutiva y aleatoria en un monitor de computadora, la prueba está dividida en tres fases, las cuáles presentan distinto nivel de complejidad (Figura 1).

En la primera fase (la más fácil), denominada conteo de vocales, se evalúa la atención selectiva, es decir la capacidad para seleccionar y procesar los estímulos relevantes e inhibir los estímulos irrelevantes [11-12]. Aquí, el participante debe detectar el número de vocales en cada una de las palabras (las palabras contienen 2 ó 3 vocales) y presionar las teclas 2 ó 3 del teclado numérico de la computadora. En la segunda fase (de mediana dificultad), o de categorización semántica, se pretende evaluar el procesamiento y el almacenamiento simultaneo de la información. Aquí, en cada ensayo se presentan primero cuatro palabras (una por una), pertenecientes a una de cuatro categorías semánticas (nombre de persona, objeto, animal o verbo) y el participante debe recordar la posición en que aparecen, ya que posteriormente se presenta una quinta palabra (en color amarillo), que coincide con alguna de las categorías semánticas de las palabras anteriores. El participante debe responder, con las teclas 1, 2, 3 ó 4 del teclado numérico, en qué posición fue presentada la palabra cuya categoría semántica coincide con la palabra amarilla (1a, 2a, 3a o 4a posición). La tercera fase, denominada dual (la más compleja), es una prueba de interferencia donde el conteo de vocales interfiere con la categoría semántica y esta, a su vez, interfiere con el conteo de vocales. La fase dual es una combinación de las tareas anteriores; es decir, el evaluado tiene que responder contando las vocales en cada una de las primeras cuatro palabras presentadas y a la vez recordar la categoría semántica de cada una de ellas, para posteriormente determinar la posición de la palabra cuya categoría semántica coincide con la quinta palabra presentada en amarillo.

La realización de la segunda y tercera fase de PAVOX requiere de las siguientes estrategias cognoscitivas: a) almacenamiento secuencial de cada ejemplar (en este caso, de cada palabra); b) categorización de cada ejemplar y mantenimiento de esta categoría; c) almacenamiento secuencial de todos los ejemplares y, d) categorización y pareamiento final [9]. Tanto en la primera como en la tercera fase el conteo de vocales requiere de una detección continua de vocales dentro de cada palabra, el conteo de las mismas y la emisión de una respuesta [9].

La prueba PAVOX ha sido empleada en población mexicana tanto en personas sanas (niños y adultos) [9-10] como en niños con hiperplasia adrenal congénita [13] y esquizofrénicos [14]. A este respecto, Gómez y col. [9] aplicaron la prueba PAVOX a 24 jóvenes, quienes realizaban dos veces la fase dual, una con recompensa y una sin ésta. Los autores encontraron que el número de respuestas correctas en la fase dual era mayor cuando a los participantes se les daba una recompensa económica; además, no se encontraron diferencias significativas en el número de respuestas correctas relacionadas con la posición de la palabra a categorizar en cada ensayo (fases de categorización y dual). Hallal y col. [10], encontraron que el desempeño en la prueba de mujeres jóvenes era mayor al de las maduras en las tres fases de la prueba. Sin embargo, independientemente de su edad, las mujeres con actividad laboral, presentaron mayor porcentaje de aciertos en la categorización semántica que aquéllas sin dicha actividad. Inozemtseva y col., [13] observaron un menor número de aciertos en la categorización, así como un mayor tiempo de respuesta en el conteo de vocales en niñas con hiperplasia adrenal congénita con respecto a niñas normales. Por último, Rosales y col. [14] encontraron que los esquizofrénicos tenían un menor número de aciertos y mayor tiempo de reacción en las fases de categorización y dual; para la aplicación del PAVOX, los autores [14] emplearon el programa de computadora MemPavox.

La tarea PAVOX puede ser programada en paquetes computacionales de estimulación visual como STIM, de Neuroscan, Mind Tracer de Neuronic o E-prime. Desgraciadamente, estos programas suelen ser muy costosos, o difíciles de programar por lo que resultan poco accesibles para la mayoría de los investigadores latinoamericanos interesados en estudiar la memoria de trabajo. Por tal motivo, en el Instituto de Neurociencias de la Universidad de Guadalajara se desarrolló el programa MemPavox, el cual permite la aplicación y registros de las respuestas de la prueba PAVOX. Este programa permite la aplicación de la prueba PAVOX reduciendo los costos económicos de su implementación en programas comerciales y además, permite mejorar la precisión de la evaluación de la memoria de trabajo. Por lo anterior, el objetivo del presente escrito es presentar las características, la aplicación y las ventajas del programa computacional MemPavox.

MemPavox es una modificación del programa ESTIMVIS [15]. Para correrlo se requiere de una computadora compatible con PC y que cuente con el sistema operativo Windows, en cualquiera de sus versiones. El programa se realizó en el lenguaje de programación Delphi.

Ejecución del programa

Al inicio aparece una pantalla (Figura 2) donde se solicita la elección, mediante la presión del botón correspondiente ("Archivo de estímulos"), de un archivo conteniendo los nombres de los estímulos que se han de presentar al sujeto. Como puede apreciarse en la Figura 3, el "de nombres" es un archivo de texto con un nombre de imagen por cada renglón. El primer nombre corresponde a un fondo negro el cual permanecerá durante 3 segundos en la pantalla antes de que aparezca el primer estímulo. Los siguientes nombres, indican los archivos de los estímulos que conforman la prueba PAVOX. Además del archivo anterior, se debe seleccionar un archivo de salida para resultados (con el botón "Archivo de resultados") e indicar de qué tipo es cada estímulo a través de un archivo de secuencia. El programa puede ser detenido oprimiendo la tecla "Q".

Características de los estímulos

MemPavox maneja imágenes que permanecen en la pantalla hasta que se cumpla el tiempo de presentación preestablecido. Las imágenes pueden estar en formato JPG, BMP, TIF, PCX o GIF (se sugiere un tamaño no mayor a los 640 × 480 píxeles). Para la prueba de PAVOX se utilizaron 446 imágenes en formato JPG con un tamaño de 640 × 480 pixeles, las cuales consistieron en un rectángulo negro en medio del cual está escrita una palabra de color blanco o amarillo. Sin embargo, se pueden usar más o menos estímulos dependiendo de las necesidades del usuario.

Diseño

X: "Estímulo Blanco 1", al que se debe responder.

Y: "Estímulo No-Blanco", debe ser ignorado.

Z: "Estímulo Blanco 2", al que se debe responder.

Además de lo anterior, es necesario proporcionar un archivo de secuencias, el cual es un archivo de texto, que contiene una letra por renglón (X, Y o Z). Cada letra (renglón) corresponde a un nombre en el archivo de imágenes; con estas letras el programa determinará si la imagen corresponde a un estímulo "prueba" (X o Z) o a uno "no prueba". Después de cada letra, se debe dejar un espacio y luego indicar, mediante los números 0 al 4, si hay que dar una respuesta o no:

1 — Hay que responder 1 en el teclado numérico.

2 — Hay que responder 2 en el teclado numérico.

3 — Hay que responder 3 en el teclado numérico.

4 — Hay que responder 4 en el teclado numérico.

Programación de los tiempos

MemPavox permite la programación precisa de los tiempos de duración del estímulo y del intervalo inter-estímulo. Además, permite la asignación de intervalos inter-estímulos aleatorios.

Como se puede apreciar en la Figura 2, en la sección superior izquierda de la ventana aparece la leyenda "estímulo en pantalla" donde se establece el tiempo que permanece cada estímulo en la pantalla. Debajo de dicha leyenda, aparece "Pantalla sin estímulo", donde se puede asignar el tiempo fijo que transcurre entre un estímulo y otro.

En la opción "Sin estímulo (tiempo variable, en milisegundos)" se define la duración del intervalo variable, cuya duración cambia aleatoriamente entre un estímulo y otro. El valor asignado en esta ventana indicará el tiempo máximo que puede durar el intervalo variable. Si por ejemplo, se escribe 1000 en la ventana de intervalo fijo y 0 en la de variable, pasarán invariablemente 1000 ms desde el momento en que desaparece un estímulo hasta que se presente el siguiente. En cambio, si se selecciona 1000 en la ventana de intervalo fijo y 750 en la de variable, se tendrá un intervalo inter-estímulo cambiante que podrá oscilar aleatoriamente entre los 1000 y los 1750 ms.

Archivo de resultados

MemPavox genera un archivo de resultados, en el cual se guardan, tanto las respuestas del sujeto, como los cálculos estadísticos obtenidos a partir de las mismas (Figura 4). Este archivo posee 5 columnas: en la primera se muestra el número del estímulo presentado, mientras que en la segunda el tiempo de reacción de la respuesta expresado en milisegundos; en la tercera columna, se indica si la respuesta fue correcta (C), incorrecta (I) o no se contestó (N); en la cuarta columna se presenta el tipo de estímulo (X, Y o Z); en la última columna, el programa indica qué botón del teclado numérico oprimió el sujeto (1 al 4).

Después del listado de respuestas, en el archivo de salida se presenta una serie de datos estadísticos. Primeramente, aparece el total de estímulos prueba (blanco) que se presentaron. También, se indica la frecuencia de estímulos prueba contestados correctamente y contestados incorrectamente. Posteriormente, se muestra la media del tiempo de reacción promedio expresado en milisegundos para cada tipo de estímulos. El programa puede generar estos datos estadísticos para dos estímulos prueba (X y Z), si el diseño de estimulación es del tipo XZ (fase dual). Por último, el archivo indica el tipo de diseño empleado y la fecha (día-mes-año) (Figura 4).

Forma de dar las respuestas

Para dar una respuesta a un estímulo blanco X o Z, se puede presionar las teclas 1, 2, 3 ó 4 del teclado numérico. En la prueba se emplean las teclas 2 ó 3 para indicar que las palabras tienen 2 ó 3 vocales en las fases de conteo de vocales y dual, mientras que las teclas 1, 2, 3 ó 4 indican la posición en que apareció la categoría a la que pertenece la palabra blanco (en color amarillo) en las fases de categorización semántica y dual.

Estudios Piloto de MemPavox

Primer Piloto

Con la finalidad de caracterizar la ejecución en la tarea PAVOX aplicada con el programa MemPavox, se evaluaron primeramente 20 hombres sanos con una edad promedio de 38.05 (D.E. 7.58) años y un promedio de 12.8 años de escolaridad (D.E. 3.29). Ninguno tenía alteraciones sensoriales no corregidas ni antecedentes personales o familiares de enfermedades neurológicas o psiquiátricas. Se aplicaron las tres fases de la tarea PAVOX. La fase de conteo de vocales se integró de 60 palabras, mientras que las fases de clasificación y dual se integraron de 180 palabras (36 ensayos). El tiempo de presentación de cada palabra (estímulo) fue de 600 milisegundos con un intervalo inter-estímulo de 3500 milisegundos.

El programa MemPavox se corrió en una computadora portátil compatible con PC (procesador Intel Centrino) y un monitor de 15 pulgadas a la que se anexó un teclado numérico externo conectado a uno de los puertos USB. Los participantes se colocaron a una distancia de 60 centímetros de la pantalla.

En la Tabla 1 se presentan los resultados del primer piloto. Se encontró que los participantes fueron capaces de realizar con una precisión mayor del 80 % la detección del número de vocales en las palabras tanto en la primera como en la tercera fase de la prueba. Sin embargo, la detección de la posición de la categoría que coincidía con la palabra blanco fue tan solo del 77.22 % en la fase de categorización y de 71.39 % en la fase dual, lo que significa que la tarea, tal como se aplicó (empleando cuatro categorías semánticas), tenía un alto grado de dificultad, y sería difícil emplearla en niños o en personas con alguna patología. Por tanto se realizó el piloto 2 con la finalidad de caracterizar la ejecución de personas adultas sanas en una versión simplificada de la tarea PAVOX.

El programa MemPavox fue probado con una versión simplificada de la prueba PAVOX que sólo contaba con tres categorías (persona, animal y objeto). Se evaluaron 10 mujeres sanas, diestras, con estudios de licenciatura, con una edad entre los 22 y 25 años (x=23.5, s=1.08), sin alteraciones sensoriales no corregidas y sin antecedentes personales o familiares de enfermedades neurológicas o psiquiátricas. Cada fase de la tarea PAVOX se integró de 192 palabras, que en las fases de categorización y dual correspondía a 48 ensayos. Tanto el equipo utilizado para correr el programa como los tiempos de presentación de cada palabra y el intervalo inter-estímulo fueron los mismos que en el primer piloto.

En la Tabla 2 se presentan los resultados del segundo piloto. Aquí se observó que, al igual que en el piloto 1, las participantes realizaron con una precisión mayor del 80% la detección del número de vocales en las palabras en la primera fase de la prueba, aunque en la tercera se redujo a un 72.35%. A pesar de la simplificación de la tarea, la detección de la posición de la categoría que coincidía con la palabra blanco fue tan solo del 77.91% en la fase de categorización y de 68.54% en la fase dual, lo que demostró que la tarea seguía teniendo un grado de dificultad alto.

Consideraciones

El programa MemPavox es flexible, ya que permite no sólo la ejecución de la prueba PAVOX, sino también de muchos otros paradigmas experimentales ya que los estímulos en él expuestos pueden ser no sólo palabras, sino cualquier otra imagen. Por ejemplo, MemPavox se ha empleado con éxito para el estudio de la memoria de trabajo en niñas y adolescentes. En este experimento, se han utilizado fotografías de hombres y mujeres con expresiones neutras o de alegría, miedo, tristeza y enojo. Al igual que en la fase de categorización del PAVOX, se presentaban de una a una, tres fotografías con distintas expresiones emocionales; la participante debía recordar la posición en que aparecía cada una, ya que posteriormente se presentaba una cuarta fotografía (con un marco amarillo), que coincidía con alguna de las expresiones emocionales anteriores y se debía responder en qué posición era presentada la fotografía con la misma expresión [12].

DISCUSIÓN Y CONCLUSIONES

La tarea PAVOX ha demostrado ser una prueba útil y sensible para evaluar la memoria de trabajo visual-verbal, ya que ha sido aplicada tanto en personas sanas como en pacientes con ciertas patologías que comprometen a las estructuras cerebrales implicadas en los procesos cognoscitivos. A diferencia de otras pruebas de memoria de trabajo como la retención de dígitos o de secuencias de toques de cubos, el PAVOX es una tarea que demanda una gran manipulación de la información, ya que exige el almacenamiento de ejemplares verbales, la categorización de cada ejemplar y el almacenamiento secuencial de todos los ejemplares para finalmente realizar una categorización y pareamiento final. Además, al tratarse de una prueba visual en la que se manejan estímulos verbales, los sujetos pueden usar estrategias que involucren a los almacenes fonológico y/o visual.

Por otra parte, cuando se requiere diferenciar si un sujeto tiene problemas de atención o de memoria de trabajo, PAVOX cuenta con la fase de conteo de vocales en donde simplemente se evalúa la atención del sujeto al detectar el número de vocales dentro de cada palabra. La tarea permite además, incluir una tarea simultanea de conteo de vocales y categorización semántica (fase dual), lo que obliga al evaluado a dividir los recursos atencionales.

Las investigaciones realizadas con esta prueba han demostrado que es sensible a la asignación o no de recompensa económica [9], a la edad y actividad profesional de mujeres adultas [10] y a patologías como la esquizofrenia [14] y la hiperplasia adrenal congénita [13].

Dada la complejidad de la prueba y la necesidad en ella de medir los tiempos de reacción, se desarrolló una versión computarizada: MemPavox, el cual ha demostrado ser un sistema útil, sencillo y flexible para evaluar la memoria de trabajo visual-verbal en investigación.

Como se mostró en el presente escrito, se realizaron dos estudios piloto para probar la efectividad de la versión computarizada de la prueba PAVOX. A pesar de que estos estudios piloto fueron realizados en muestras pequeñas, el programa MemPavox mostró su utilidad para fines de investigación pues facilitó la aplicación y la calificación de la tarea PAVOX. Sin embargo, en un futuro valdría la pena aplicar este programa en una muestra más grande de sujetos sanos de distintas edades con la finalidad de obtener las puntuaciones normativas de la prueba, y realizar los análisis necesarios para determinar su confiabilidad y validez.

Por ahora, dado que MemPavox no tiene valores normativos se sugiere al usuario emplearlo únicamente en investigaciones en donde se comparen distintos grupos, por ejemplo, pacientes con alguna patología y su grupo control o grupos de sujetos de distintas edades.

La interpretación y el análisis de los resultados con MemPavox es muy sencilla, pues el programa genera un archivo de salida en donde se exhibe el tiempo de reacción en cada respuesta dada y se determina si éstas fueron correctas o incorrectas, además de lo anterior, se cuantifica el número total de respuestas correctas e incorrectas y se calcula el tiempo de respuesta promedio. Estos archivos de salida están escritos en formato ASCII, por lo que los datos contenidos en ellos pueden ser leídos por la mayoría de los editores de texto (Word) y programas estadísticos comerciales (Lotus, Excel, SPSS, Systat, etc.).

Dada su disponibilidad, flexibilidad y manejabilidad MemPavox puede ser utilizado tanto por investigadores en el área de las neurociencias cognitivas, como por profesionales de la psicología en la evaluación de la memoria de trabajo.

REFERENCIAS

1. Baddeley AD. Essentials of Human Memory. East Sussex, Psychology Press (Inglaterra), 1999: 45-70.

2. Baddeley AD. The Psychology of Memory. En Baddeley AD, Kopelman, MD, Wilson BA., editores. The Essential Handbook of Memory Disorders for Clinicians. John Wiley & Sons (Chichester, Inglaterra), 2004: 1-13.         [ Links ]

3. Baddeley AD. "Working Memory: Theories, Models, and controversies", Ann Rev Psychol, 2012; 63, 1-29.         [ Links ]

4. Baddeley AD., Hitch G. Working memory. En G. A. Bower (Ed.). Recent advances in learning and motivation (Vol. 8). Nueva York, NY: Academic Press, 1974, 47-89.         [ Links ]

5. Baddeley, A. "The episodic buffer: a new component of working memory?" Trends in Cognitive Sciences, 2000; 4 (11): 417-423.         [ Links ]

6. Wechsler D. WAIS-III Escala Wechsler de inteligencia para adultos III. México, México: Manual Moderno (México), 2002.         [ Links ]

7. Wechsler D. WMS-III Escala de Memoria de Wechsler. TEA Ediciones (Madrid, España), 2004.         [ Links ]

8. Fleming K, Goldberg TR, Binks S. Randolph C, Gold, JM, Weinberger DR. Visuospatial "Working Memory in Patients with Schizophrenia". Biol Psychiatry, 1997; 41, 43-49.         [ Links ]

9. Gómez FR, Gumá E, González-Garrido A, Santiago JL. "Influencia de la motivación extrínseca sobre la ejecución de una tarea de memoria de trabajo en adultos jóvenes". Revista Latina de Pensamiento y Lenguaje, 1999; 7, 157-174.         [ Links ]

10. Hallal C, Gumá E, Zarabozo D. "Estudio comparativo de memoria de trabajo visual-verbal-semántica entre mujeres mayores y jóvenes". Revista Latina de Pensamiento y Lenguaje, 2003; 11, 237-250.         [ Links ]

11. Meneses-Ortega, S. "Neurofisiología de la atención: potenciales relacionados con eventos" En: Alcaraz-Romero VM y Gumá-Díaz, E. editores, texto de neurociencias cognitivas, El Manual Moderno (México), 2001: 81-110.         [ Links ]

12. Smith EE, Jonides J. "Executive control and thought" En: Squire LR, Bloom FE, McConnell SK, Roberts JL, Spitzer NC, Zigmond MJ, Fundamental neuroscience, second edition, Elsevier Science (USA), 2003: 1377-1394.         [ Links ]

13. Inozemtseva O, Juárez J, Matute E. "Working memory in patients with congenital adrenal hyperplasia". Int J Psychophysiol, 2004; 54, 120-120.         [ Links ]

14. Rosales LA, Sanz-Martin A, Gumá E. Ejecución en tareas de memoria en pacientes con esquizofrenia y sus hermanos biológicos [Resumen]. Revista Mexicana de Psicología, 2009; Número especial, 772.         [ Links ]

15. Guevara, MA, Sanz-Martin A, Ramos J, Hernández-González "M. Estimvis: un sistema computarizado para estimulación visual". Revista Mexicana de Ingeniería Biomédica, 2004; 25, 52-59.         [ Links ]

16. Calderón-Zapeda, Organización eléctrica cerebral ante una tarea de memoria de trabajo emocional en niñas con TEPT secundario a abuso sexual. Tesis de maestría no publicada. Universidad de Guadalajara, Guadalajara.         [ Links ]