SciELO - Scientific Electronic Library Online

 
vol.7 número3Funcionamiento familiar e intentos de suicidio en un hospital público de ArgentinaEl agonista del receptor de serotonina-2C Ro 60-0175 decrementa la expresión de la sensibilización locomotora inducida por etanol índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

  • No hay artículos similaresSimilares en SciELO

Compartir


Acta de investigación psicológica

versión On-line ISSN 2007-4719versión impresa ISSN 2007-4832

Acta de investigación psicol vol.7 no.3 Ciudad de México dic. 2017

https://doi.org/10.1016/j.aipprr.2017.11.002 

Artículos

Evaluación Conductual de la Función Ejecutiva-Versión Infantil (BRIEF-P, versión española): fiabilidad y validez

Behavior Rating Inventory of Executive Function-Preschool Version (BRIEF-P, Spanish adaptation): reliability and validity

Esperanza Bausela-Herrerasa  * 

Tamara Luque-Cuencab 

a Área de Psicología Evolutiva y de la Educación, Universidad Pública de Navarra (UPNA), Pamplona, España

b TEA Ediciones Psychologist, Madrid, España


Resumen:

Introducción:

Evaluación Conductual de la Función Ejecutiva-Versión Infantil (BRIEF®-P) es un cuestionario estandarizado que procede de la versión escolar (BRIEF). Ha sido traducido y adaptado a diversas lenguas y culturas (ver Goldstein y Haglieri, 2014) y recientemente al español. Es un instrumento que permite evaluar las funciones ejecutivas en niños de entre 2 a 5 años y 11 meses por padres, profesores u otros cuidadores habituales del niño. Su aplicación requiere 10-15 min. Se responde empleando una escala de frecuencia tipo Likert con tres opciones de respuesta: nunca, a veces y frecuentemente. Está compuesto por 63 ítems bajo 5 escalas clínicas (Inhibición, Control Emocional, Flexibilidad, Planificación y Organización y Memoria de Trabajo); tres índices (Autocontrol Inhibitorio, Flexibilidad y Metacognición Emergente); un Índice Global de Función Ejecutiva; y escalas de validez (Negatividad e Inconsistencia).

Objetivo:

Analizar las propiedades psicométricas relacionadas con la validez y fiabilidad del BRIEF-P en población española, ya que se estima la importancia de contar con instrumentos adaptados y validados en la población en la que se aplican. Las razones para desarrollar la adaptación de un test de una cultura a otra son diversas, aunque lo más frecuente es para poder permitir estudios comparativos.

Metodología:

No experimental.

Participantes:

Un total de 1,077 padres y 902 profesores.

Análisis de datos:

Se analizaron diversas propiedades psicométricas (fiabilidad y validez). Los resultados muestran que la adaptación española (versión padres y profesores) del BRIEF-P es válida y fiable para la evaluación de las funciones ejecutivas en niños de 2 a 5 años y 11 meses.

Resultados:

Estimamos que puede ser un instrumento especialmente útil y recomendable para ser aplicado por psicólogos educativos y clínicos infanto-juveniles en población con trastornos del neurodesarrollo diversos.

Palabras clave: Funciones ejecutivas; Educación infantil; Autocontrol inhibitorio; Flexibilidad; Metacognición emergente

Abstract:

Introduction:

Behavior Rating Inventory of Executive Function-Preschool Version (BRIEF®-P) is a standard questionnaire coming from the school version (BRIEF). It has been translated and adapted to different languages and cultures (see Goldstein and Haglieri, 2014). It is an instrument facilitating the assessment of executive functions in children between 2 to 5 years and 11 months for parent and guardians of the child. It takes 10-15 min to fill-in. Answers are given using a Likert-type frequency scale with three options answers. There are a total of 63 items under 5 clinical scales (Inhibition, Emotional Control, Flexibility, Planning and Organization, and Working Memory); three clinical indices (Inhibitory Self-control, Flexibility, and Developing Metacognition); an Executive Function Global Index; and two validity scales (Negativity and Inconsistency).

Objective:

Validate and adapt BRIEF-P in Spanish population. It is estimated the importance of having adapted and validated instruments in the population in which they are applied. The reasons for developing the adaptation of a test, from one culture to another are diverse, the most frequent is to be able to allow comparative studies.

Methodology:

Not experimental.

Participants:

1,077 parents and 902 teachers.

Data analysis:

Diverse psychometric properties were analyzed which are related with validity and reliability.

Results:

BRIEF-P is a valid and reliable instrument for assessment executive functions, however, it must be said that it cannot be used for diagnosing deficits in an independent and/or isolated way.

Keywords: Executive functions; Preschool; Inhibitory autocontrol; Flexibility; Emergent metacognition

Introducción

El estudio de las funciones ejecutivas es de especial relevancia como predictoras del rendimiento académico (Cragg y Gilmore, 2014) (lectura, escritura, matemáticas), del ajuste social (Ferrier, Bassett y Denham, 2014) (HHSS, ToM...) y emocional (Liebermann, Giesbrecht y Müller, 2007). Las funciones ejecutivas facilitan, por consiguiente, la adaptación social y el rendimiento académico.

El constructo «funciones ejecutivas» se emplea para referirse a procesos que involucran una intencionalidad en el control de otros procesos cognitivos, que contribuye al control de impulsos, de la atención, del pensamiento y del comportamiento. Es un constructo amplio que puede ser analizado de forma unidimensional o multidimensional (Best y Miller, 2010, Miyake et al., 2000, Schoemaker et al., 2012).

Básicamente, podemos decir que son un conjunto de procesos de orden superior que dirigen y guían las funciones cognitivas, emocionales y comportamentales, por ejemplo, durante la resolución de un problema de índole cognitiva y/o comportamental. Stuss y Benson (1986) las describen como un conjunto de capacidades para resolver un problema intencional que incluye anticipación, selección de objetivos, planificación, monitorización y uso de realimentación. En consonancia con esta definición, Welsh y Pennington (1988) consideran las funciones ejecutivas como «habilidad para mantener un conjunto de estrategias apropiadas de resolución de problemas y poder alcanzar un objetivo». Para otros autores este constructo resulta, tal y como señalan Tirapu, Muñoz y Pelegrín (2002), «excesivamente genérico en su intención de describir funciones metacognitivas y de autorregulación de la conducta, y las definiciones sobre lo que contiene no parecen reflejar que se trate de un sistema unitario sino, más bien, de un sistema supramodal de procesamiento múltiple».

Tirapu, García, Ríos y Ardila (2011) realizan una revisión de distintos modelos para explicar las funciones ejecutivas. Más recientemente, Tirapu, Cordero, Luna y Hernáez (2017) han desarrollado un metaanálisis de modelos factoriales de atención y control ejecutivo en adultos, entre los años 1991-2016, quienes concluyen que son tres las dimensiones que configuran las funciones ejecutivas y que gozan de una mayor estabilidad y consistencia en los estudios: actualización, inhibición y alternancia.

En relación con el desarrollo de las funciones ejecutivas, los años de Educación Infantil -objeto del presente estudio- son un periodo especialmente activo en su desarrollo y de especial relevancia en el desarrollo posterior de las mismas. Siguiendo la revisión de la literatura, podemos enumerar una secuencia en el desarrollo de las diferentes dimensiones que la integran (Carlson, 2005, Garon et al., 2008): (i) inhibición y memoria de trabajo son habilidades que emergen durante el primer año de vida, seguidas de otras formas más complejas (resolución de conflictos y manipulación de la información activa en la memoria) alrededor de los 3 años; (ii) flexibilidad, depende básicamente de la inhibición y de la memoria de trabajo. Alrededor de los 3 años los niños son capaces de cambiar su foco atencional en respuesta a las demandas del contexto, ser flexibles entre un conjunto de respuestas simples y seguir instrucciones verbales claras (Zelazo et al., 2003). En niños de 3 y 4 años se han encontrado habilidades rudimentarias de planificación y organización (Espy, Kaufmann, Glisky y McDiarmid, 2001). Estas habilidades implican otros procesos más básicos de las funciones ejecutivas y muestran una trayectoria más prolongada. La regulación emocional se desarrolla en conjunto con otros procesos ejecutivos, mejorando constantemente a lo largo de toda la infancia (e.g., Lamm y Lewis, 2010, Posner et al., 2012).

En relación con la evaluación de las funciones ejecutivas, esta no es una tarea sencilla, debido a diversas cuestiones, siendo de especial consideración y relevancia la etapa en la que nos centramos, ya que se establecen los cimientos para un posterior desarrollo: (i) no existe una definición única del constructo funciones ejecutivas; (ii) las evaluaciones no comprenden todas las dimensiones de las funciones ejecutivas (frías versus cálidas); (iii) deben ser desarrolladas considerando que en la etapa de Educación Infantil están en proceso de adquirir los prerrequisitos básicos de acceso a la lectoescritura. Rabbit (1997) considera que las funciones ejecutivas pueden ser observadas comportamentalmente a través de diferentes tareas y situaciones, no obstante, no es fácil diferenciar los procesos subyacentes dada su interdependencia. Así, por ejemplo, Barkley (1997) y Tirapu et al. (2017) recientemente han señalado que la inhibición es un factor que permite al mismo tiempo el desarrollo de otras funciones, incluyendo memoria de trabajo (verbal y no verbal), regulación emocional, análisis dirigido hacia un objetivo y síntesis en resolución de un problema (reconstitución). Ambos factores -inhibición y altos niveles de componentes metacognitivos- son importantes en el rendimiento, siendo difícil separarlos desde el punto de vista metodológico y estadístico.

El presente estudio

En este contexto nos proponemos analizar las propiedades psicométricas (fiabilidad y validez) del test Evaluación Conductual de la Función Ejecutiva-Versión Infantil (BRIEF-P) en la adaptación al español en España.

Las razones para desarrollar la adaptación de un test de una cultura a otra son diversas, aunque lo más frecuente es para poder permitir estudios comparativos (transculturales) (The International Test Commission, 2006, Van de Vijver y Poortinga, 1997). La adaptación transcultural de un test en la práctica profesional está siendo cada vez más frecuente. En su interpretación hay que tener cuidado, ya que es difícil encontrar grupos que sean totalmente equiparables (Cardoso, Gómez e Hidalgo, 2010). Otra justificación de por qué adaptar, validar y baremar un test es por la rapidez, y por lo práctico y económico que resulta la adaptación de un test frente a la construcción de uno nuevo en otra lengua y cultura.

La elección del BRIEF-P no es casual y responde a las características del propio test: (i) es sensible a la plasticidad implícita en la neuropsicología del desarrollo; (ii) los destinatarios potenciales de este instrumento de evaluación diagnóstica son niños con afectación en el funcionamiento ejecutivo atribuido a una etiología diversa (adquiridos-desarrollo): trastornos del lenguaje (Henry, Messer y Nash, 2015), déficit de atención con y sin hiperactividad (Biederman et al., 2004), etc.; (iii) es breve, en 10-15 min se puede obtener un perfil del funcionamiento ejecutivo; (iv) resalta su validez ecológica al permitir evaluar en contextos naturales en los que se desarrolla el niño/a (casa y escuela) y el carácter heteroinforme al ser aplicado por los propios padres y profesores.

Método

Metodología no experimental, diseño ex post facto, descriptivo.

Objetivo

Analizar las propiedades psicométricas (fiabilidad y validez) del BRIEF-P en la adaptación al español en España.

Participantes

La muestra de tipificación está constituida por 1,077 padres y 902 profesores. Las muestras son independientes, no están aparejadas en función del niño.

Procedimiento

En el proceso validación se siguieron las pautas de la International Test Commission, AERA, APA y NCME para la adaptación de tests. Entre las pautas se indica que el objetivo de la adaptación de un instrumento a otra cultura es asegurar la equivalencia (lingüística, semántica, cultural) y reproducir en la medida de lo posible las propiedades psicométricas del instrumento original en otra población. Para conseguir este objetivo es necesario seguir una metodología sistemática, exhaustiva y multietápica (Serra y Herdman, 2001, Messick, 1980, Muñiz et al., 2013), que pasamos a comentar: (i) en primer lugar se obtuvo el permiso para la traducción y validación del BRIEF-P; (ii) se desarrolló una traducción directa: el cuestionario fue traducido independientemente por 2 personas bilingües con conocimientos en el ámbito de la psicología; (iii) traducción inversa: se realizó una retrotraducción independiente; (iv) prueba piloto: se realizó una prueba inicial para comprobar la comprensibilidad, la aceptabilidad, el uso de lenguaje común y la factibilidad; (v) el análisis de la validez de la versión final del cuestionario se llevó a cabo mediante un análisis factorial para conocer la estructura interna considerando los dos tipos de informantes: padres y profesores, y (vi) el análisis de la fiabilidad (consistencia interna) se calculó mediante el alfa de Cronbach.

Instrumento de recogida de datos

El BRIEF-P es un instrumento que, como hemos comentado en líneas precedentes, permite evaluar las funciones ejecutivas en niños de entre 2 a 5 años y 11 meses, siendo aplicado por padres, profesores u otros cuidadores habituales del niño (informantes).

Permite evaluar en formato heteroinforme las funciones ejecutivas en niños de entre 2 a 5 años y 11 meses en el contexto escolar y familiar, y está validado para detectar disfunciones ejecutivas en niños con diferentes trastornos del neurodesarrollo: (i) bajo peso: Anderson, McNamara, Andridge y Keima (2015), Verkerk, Jeukens, Houtzager, Koldewijn, van Wassenaer, Nollet y Kok, (2012); (ii) neurofibromatosis tipo 1: Lorenzo, Barton, Arnold y North (2013); (iii) trastorno especifico del lenguaje: Vugs, Hendriks, Cuperus y Verhoeven (2014); (iv) TDAH: Holt, Beer, Kronenberger, Pisoni y Lalonde (2012), Skogan, Zeiner, Egeland, Urnes, Reichborn y Aase (2015) y Veleiro, Peralbo y Artigas (2012); (v) síndrome de Down: Liogier d’Ardhuy et al. (2015); (vi) discapacidad auditiva: Holt et al. (2012); (vi) ácido glutámico tipo 1: Beauchamp, Bonch y Anderson (2009).

Su aplicación requiere 10-15 min. Se responde empleando una escala de frecuencia tipo Likert con tres opciones de respuesta: nunca, a veces y frecuentemente. Está compuesto por 63 ítems bajo cinco escalas clínicas (Inhibición, Control Emocional, Flexibilidad, Planificación y Organización, y Memoria de Trabajo); tres índices clínicos (Autocontrol Inhibitorio, Flexibilidad y Metacognición Emergente); un Índice Global de Función Ejecutiva; y dos escalas de validez (Negatividad e Inconsistencia).

En la Tabla 1 se presentan las escalas e índices clínicos que configuran el BRIEF-P. Se acompaña cada escala e índice clínico de una breve descripción y de un ejemplo de ítem, así como de una aclaración de cómo se obtienen los índices clínicos.

Tabla 1 BRIEF-P: Escalas e Índices Clínicos (descripción y ejemplo) 

Descripción Ejemplo
Escala clínicas
Inhibición Evalúa la presencia de problemas para controlar sus impulsos y la conducta, para detener o regular adecuadamente su comportamiento en el momento o en el contexto adecuado Durante las actividades se desvía fácilmente de su objetivo
Flexibilidad Evalúa la presencia de problemas para cambiar a voluntad de una situación, actividad y para solucionar problemas de manera flexible Le cuesta cambiar de una actividad a otra
Control Emocional Evalúa la presencia de problemas para regular o modular adecuadamente las respuestas emocionales en función de las demandas situacionales Se altera con mucha facilidad
Memoria de Trabajo Evalúa la presencia de problemas para mantener información en la mente con el objetivo de completar una tarea o proporcionar la respuesta adecuada Le cuesta recordar las cosas incluso después de un breve periodo de tiempo
Planificación y Organización Evalúa la presencia de problemas para anticipar acontecimientos o consecuencias futuras Le cuesta encontrar sus cosas en su habitación o en el lugar donde juega incluso cuando se le dan indicaciones concretas
Índices clínicos
Autocontrol Inhibitorio Es el resultado de la suma de las puntuaciones directas en las escalas Inhibición y Control Emocional
Flexibilidad Es el resultado de la suma de las puntuaciones directas en las escalas Flexibilidad y Control Emocional
Metacognición Emergente Es el resultado de la suma de las puntuaciones directas en las escalas Memoria de Trabajo y Planificación y Organización.
Índice Gobal de Función Ejecutiva Es una puntuación resumen a partir de las cinco escalas clínicas del BRIEF-P
Resulta útil como medida general de la presencia de problemas en las funciones ejecutivas en el niño

Fuente: elaboración propia.

El BRIEF-P es un cuestionario estandarizado que procede de la versión escolar (BRIEF) (Gioia, Isquith, Guy y Kenworthy, 2000). Ha sido traducido y adaptado a diversas lenguas y culturas (Bonillo et al., 2012, Duku y Vaillancourt, 2014, Goldstein y Haglieri, 2014), siendo recientemente traducido, adaptado y baremado en nuestro contexto por Bausela y Luque (2016) (ver Gioia, Espy y Isquith, 2016).

Dispone de baremos según informante (padres y maestros) en función de los contextos de desarrollo (familiar o escolar), por sexo y grupos de edad (puntuaciones T). Puntuaciones T mayores o iguales a 65 reflejan mayores niveles de problemas o dificultades. Por ejemplo, una puntuación T mayor de 65 en memoria de trabajo sugiere posibles dificultades relacionadas con la retención y manipulación de la información (verbal o visual) durante un corto espacio de tiempo.

Análisis de datos

Los datos fueron sometidos a análisis descriptivos univariados y bivariados (descriptivos e inferenciales).

Resultados

Seguidamente se presentan los resultados descriptivos e inferenciales.

Descriptivos

La muestra normativa estaba configurada por 1,077 padres y 902 profesores. En la Tabla 2 se presentan las características descriptivas de la muestra normativa constituida por informantes padres y profesores.

Tabla 2 BRIEF-P (versión española): variables sociodemográficas (padres y profesores) 

Padres (n = 1,077) Profesores (n = 902)
Variable Porcentaje Variable Porcentaje
Sexo Sexo
Varón 52.6 Varón 10.7
Mujer 47.4 Mujer 89.2
Edad Edad
2 años 14.5 2 años 13.0
3 años 24.4 3 años 23.1
4 años 31.6 4 años 32.7
5 años 29.5 5 años 31.3

Fuente: BRIEF-P (adaptación española).

De la submuestra informantes padres, podemos destacar lo siguiente (tabla 2): (i) el 52.6% son hombres; (ii) el 31.6% han evaluado a niños de 4 años; (iii) el 52.2% de las informantes madres tienen estudios superiores; (iv) el 41.2% de los informantes padres tienen estudios superiores; (v) el 33.4% de los evaluados tienen 2 hermanos, y (v) el 46.65% de los escolares evaluados asisten a centros concertados.

De la submuestra informantes profesores, podemos destacar los siguientes aspectos (Tabla 2): (i) el 89.2% de los informantes son mujeres; (ii) el 32.7% han evaluado a niños de 4 años; (iii) el 49.85% de los informantes están adscritos a centros concertados, y (iv) el 26.7% de los niños evaluados se encuentran escolarizados en el tercer curso de Educación Infantil.

En la Tabla 2 se presenta la distribución de los niños evaluados en función de los informantes (padres versus profesores), sexo y edad del niño evaluado.

Seguidamente realizamos un análisis descriptivo de las escalas y de los índices clínicos que constituyen el BRIEF-P en la versión padres y profesores, incluyendo: rango, mínimo, máximo, media, desviación estándar, varianza, asimetría y curtosis. En la Tabla 3 se presentan los estadísticos descriptivos obtenidos en función de los informantes (padres y profesores) en las escalas e índices clínicos que constituyen el BRIEF-P. La puntuación media en todas las escalas e índices clínicos del BRIEF-P es superior cuando los informantes son los padres que cuando son los profesores.

Tabla 3 Escalas e índices clínicos de BRIEF-P: estadísticos descriptivos (padres y profesores) 

Variables Padres (n = 1,077) Profesores (n = 902)
Rango Mínimo Máximo Media Desviación estándar Varianza Asimetría Curtosis Rango Mínimo Máximo Media Desviación estándar Asimetría Curtosis
Escalas clínicas
Inh 29 16 45 23.92 5.7 32.6 0.681 0.036 30 16 46 21.9 6.24 1.385 1.560
Fle 17 10 27 13.48 3.2 10.2 1.071 0.898 18 10 28 12.7 3.16 1.500 2.410
Cem 18 10 28 14.48 3.6 13.0 0.771 0.069 18 10 28 13.1 3.73 1.462 1.872
Mtr 30 17 47 23.35 5.5 30.5 0.997 0.616 34 17 51 22.5 6.34 1.589 2.531
Por 17 10 27 14.38 3.3 11.0 0.825 0.467 18 10 28 13.1 3.53 1.483 2.033
Índices clínicos
IAI 43 26 69 38.40 8.5 73.4 0.674 0.025 46 26 72 35.0 9.18 1.407 1.805
IFL 34 20 54 27.96 5.8 33.1 0.823 0.464 32 20 52 25.8 5.92 1.357 1.682
IME 46 27 73 37.73 8.4 70.6 0.947 0.587 51 27 78 35.6 9.59 1.563 2.391
IGE 98 63 161 89.61 17.0 290.1 0.732 0.323 108 63 171 83.3 18.36 1.390 2.134

Escalas clínicas. Cem: Control Emocional; Fle: Flexibilidad; Inh: Inhibición; Mtr: Memoria de Trabajo; Por: Planificación y Organización.

Índices clínicos. IAI: Autocontrol Inhibitorio; IFL: Flexibilidad; IGE: Global de Funcionamiento Ejecutivo; IME: Metacognición Emergente.

Fuente: BRIEF-P (adaptación española).

En la Figura 1 se presentan las puntuaciones medias obtenidas en todas las escalas e índices clínicos del BRIFE-P en función de la puntuación media de los informantes participantes: padres versus profesores. En todas las escalas e índices clínicos, las puntuaciones medias de los padres son superiores a las de los profesores, lo que nos indica que los padres tienden a considerar las conductas que observan más problemáticas que los profesores. Hay que indicar que los datos no están aparejados, se trata de muestras independientes, no aparejadas.

Índices clínicos. IAI: Autocontrol Inhibitorio; IFL: Flexibilidad; IGE: Global de Funcionamiento Ejecutivo; IME: Metacognición Emergente.

Fuente: BRIEF-P (adaptación española).

Figura 1 Media de escalas e índices clínicos en BRIEF-P (padres versus profesores).Escalas clínicas. Cem: Control Emocional; Fle: Flexibilidad; Inh: Inhibición; Mtr: Memoria de Trabajo; Por: Planificación y Organización. 

Se encontraron diferencias estadísticamente significativas en todas las escalas e índices clínicos del BRIEF-P utilizando la prueba t de Student para muestras independientes, cuando se compararon las puntaciones medias emitidas por ambos informantes (padres versus profesores). Debemos señalar que las muestras (padres-profesores) son independientes y que no están aparejadas por el niño que es evaluado (Tabla 4).

Tabla 4 t de Student para muestras independientes (escalas e índices clínicos de BRIEF-P) (padres versus profesores) 

Informante Media Desviación estándar Diferencia medias t gl Sig. (bilateral)
Escalas clínicas
Inhibición Padre 23.92 5.710 2.035 7.579 1,976 0.000***
Profesor 21.89 6.220
Flexibilidad Padre 13.48 3.197 0.793 5.536 1,976 0.000***
Profesor 12.68 3.147
Control Emocional Padre 14.48 3.615 1.357 8.207 1,976 0.000***
Profesor 13.12 3.717
Memoria de Trabajo Padre 23.35 5.529 0.896 3.362 1,976 0.001**
Profesor 22.45 6.325
Planificación y Organización Padre 14.38 3.325 1.253 8.135 1,976 0.000***
Profesor 13.13 3.511
Índices clínicos
Autocontrol Inhibitorio Padre 38.40 8.572 3.393 8.508 1,976 0.000***
Profesor 35.01 9.135
Flexibilidad Padre 27.96 5.761 2.149 8.180 1,976 0.000***
Profesor 25.81 5.888
Metacognición Emergente Padre 37.73 8.408 2.149 5.319 1,976 0.000***
Profesor 35.58 9.557
Función Ejecutiva Global Padre 89.61 17.034 6.332 7.973 1,976 0.000***
Profesor 83.28 18.236

Fuente: BRIEF-P (adaptación española).

** ρ<0.05.

*** ρ<0.01.

Propiedades psicométricas: fiabilidad y validez

Seguidamente se presentan los resultados obtenidos del estudio de las propiedades psicométricas de BRIEF-P en su adaptación española.

Fiabilidad

En relación con la fiabilidad se consideró:

  • a) Consistencia interna: se ha calculado a través del coeficiente α de Cronbach, obteniéndose los siguientes coeficientes: (i) padres-varones [α = 0.906]; (ii) padres-mujeres [α = 0.908]; (iii) profesores-varones [α = 0.901], y (iv) profesores-mujeres [α = 0.903]. En todas las submuestras de estudiantes el coeficiente de fiabilidad obtenido es superior a 0.90, pudiendo afirmarse que es excelente. En la Tabla 5 se presentan los coeficientes de fiabilidad en las diferentes escalas e índices clínicos del BRIEF-P en función del informante y del sexo.

Tabla 5 Estadísticas de fiabilidad en función de los informantes (padres versus profesores) y sexo 

Informante Sexo Alfa de Cronbach Alfa de Cronbach basada en elementos estandarizados Número de elementos
Padres Varón 0.906 0.945 9
Mujer 0.908 0.947 9
Profesores Varón 0.901 0.942 9
Mujer 0.903 0.944 9

Fuente: BRIEF-P (adaptación española).

En la Tabla 6 se presentan los estadísticos para cada una de las escalas e índices clínicos que configuran el BRIEF-P en función de los informantes padres (niños versus niñas). Cuando los informantes son los padres, se obtienen coeficientes excelentes evaluando a niños en las escalas: Control Emocional [α = 0.910], Memoria de Trabajo [α = 0.901], Flexibilidad [α = 0.902] y Función Ejecutiva Global [α = 0.911]. Cuando los informantes son los padres evaluando a niñas se obtienen coeficientes excelentes en las mismas escalas que con los niños: Control Emocional [α = 0.912], Memoria de Trabajo [α = 0.903], Flexibilidad [α = 0.903] y Función Ejecutiva Global [α = 0.916].

Tabla 6 Estadísticas de total de elemento (informantes padres) 

BRIEF-P Padres
Varón Mujer
Media de escala si el elemento se ha suprimido Varianza de escala si el elemento se ha suprimido Correlación total de elementos corregida Alfa de Cronbach si el elemento se ha suprimido Media de escala si el elemento se ha suprimido Varianza de escala si el elemento se ha suprimido Correlación total de elementos corregida Alfa de Cronbach si el elemento se ha suprimido
Fle 264.47 2,572.511 0.830 0.890 253.75 2,180.114 0.829 0.893
Cem 275.90 2,922.447 0.514 0.910 263.09 2,439.993 0.522 0.912
Mtr 274.70 2,791.925 0.787 0.901 262.31 2,335.999 0.774 0.903
Por 265.08 2,596.711 0.816 0.891 254.28 2,198.421 0.818 0.895
Fle 274.51 2,815.406 0.783 0.902 262.72 2,353.741 0.812 0.903
IAI 249.92 2,282.916 0.881 0.879 239.34 1,927.659 0.875 0.883
IFL 261.36 2,614.018 0.764 0.893 248.68 2,170.952 0.791 0.894
IME 250.35 2,331.583 0.835 0.883 240.29 1,964.452 0.845 0.886
IGE 197.68 1,458.480 0.998 0.911 189.28 1,227.810 0.998 0.916

Escalas clínicas. Cem: Control Emocional; Fle: Flexibilidad; Inh: Inhibición; Mtr: Memoria de Trabajo; Por: Planificación y Organización.

Índices clínicos. IAI: Autocontrol Inhibitorio; IFL: Flexibilidad; IGE: Global de Funcionamiento Ejecutivo; IME: Metacognición Emergente.

Fuente: BRIEF-P (adaptación española).

En la Tabla 7 se presentan los estadísticos para cada una de las escalas e índices clínicos que configuran el BRIEF-P en función de los informantes profesores (niños versus niñas). Cuando los informantes son los profesores, se obtienen coeficientes excelentes evaluando a niños en las escalas: Control Emocional [α = 0.904]. Cuando los informantes son los profesores evaluando a niñas se obtienen coeficientes excelentes en las mismas escalas que con los niños: Control Emocional α = 0.907] y Función Ejecutiva Global [α = 0.907].

Tabla 7 Estadísticas de total de elemento (informantes profesores) 

BRIEF-P Profesores
Varón Mujer
Media de escala si el elemento se ha suprimido Varianza de escala si el elemento se ha suprimido Correlación total de elementos corregida Alfa de Cronbach si el elemento se ha suprimido Media de escala si el elemento se ha suprimido Varianza de escala si el elemento se ha suprimido Correlación total de elementos corregida Alfa de Cronbach si el elemento se ha suprimido
Fle 249.85 2,999.126 0.792 0.884 231.76 2,379.722 0.825 0.889
Cem 260.34 3,418.466 0.547 0.904 239.54 2,644.437 0.523 0.907
Mtr 259.63 3,284.618 0.743 0.896 239.41 2,549.420 0.744 0.899
Por 249.90 3,015.961 0.806 0.884 230.51 2,300.359 0.834 0.885
Fle 259.55 3,277.767 0.813 0.895 239.49 2,543.203 0.808 0.898
IAI 236.31 2,684.342 0.841 0.875 219.07 2,132.894 0.846 0.879
IFL 246.81 3,081.951 0.746 0.888 226.85 2,381.552 0.754 0.891
IME 236.29 2,702.061 0.810 0.878 217.89 2,056.599 0.831 0.880
IGE 186.62 1,697.810 0.998 0.901 172.30 1,318.448 0.998 0.907

Escalas clínicas. Cem: Control Emocional; Fle: Flexibilidad; Inh: Inhibición; Mtr: Memoria de Trabajo; Por: Planificación y Organización.

Índices clínicos. IAI: Autocontrol Inhibitorio; IFL: Flexibilidad; IGE: Global de Funcionamiento Ejecutivo; IME: Metacognición Emergente.

Fuente: BRIEF-P (adaptación española).

  • b) Consistencia temporal o estabilidad test-retest: para el Índice Global de Función Ejecutiva el coeficiente fue α = 0.90 (padres, n = 161; profesores, n = 84). Los resultados avalan la estabilidad temporal y su uso como medida de seguimiento o evolución, con un intervalo entre ambas aplicaciones de dos semanas.

Validez

Respecto a las evidencias de validez se analizó la estructura interna mediante un análisis factorial exploratorio (análisis de componentes principales) con rotación Promax con normalización Kaiser, obteniendo tres factores que explican el 91.82% de la varianza en la muestra de tipificación de padres y el 92.6% en la de profesores.

Cuando los informantes son los padres, los resultados de la prueba de esfericidad de Bartlett [x2 (10) = 2,629.521; p < 0.000) y el índice Kaiser-Meyer-Olkin (KMO) de adecuación muestral de 0.764 mostraron la adecuación de los datos para la aplicación de un análisis factorial (Tabla 8).

Tabla 8 Prueba de KMO y Bartlett (padres versus profesores) 

Padres Profesores
Medida Kaiser-Meyer-Olkin de adecuación de muestreo 0.764 0.696
Prueba de esfericidad de Bartlett Aprox. chi-cuadrado 2,629.521 2,571.673
gl 10 10
Sig. 0.000 0.000

Fuente: BRIEF-P (adaptación española).

Cuando los informantes son los profesores, los resultados de la prueba de esfericidad de Bartlett [x2 (10) = 2,571.673; p < 0.000) y el índice Kaiser-Meyer-Olkin (KMO) de adecuación muestral de 0.696 mostraron la adecuación de los datos para la aplicación de un análisis factorial (tabla 8).

En la Tabla 9 se presentan las escalas clínicas que se adhieren a cada factor cuando los informantes son los padres; así, se saturan en: (i) Factor 1, Memoria de Trabajo y Planificación y Organización explicando el 61.98% de la varianza; (ii) Factor 2, Control Emocional e Inhibición explican el 16.38% de la varianza, y (iii) Factor 3, configurado por la escala clínica Flexibilidad, explica el 12.01% de la varianza.

Tabla 9 Matriz de componentes rotados y varianza explicada (informantes padres) 

Padres
Escalas clínicas Componentes
1 2 3
Memoria de Trabajo 0.944
Planificación y Organización 0.940
Control Emocional 0.940
Inhibición 0.884
Flexibilidad 0.993
Varianza explicada 61.983% 16.382% 12.014%

Método de extracción: análisis de componentes principales.

Método de rotación: Promax con normalización Kaiser.

Fuente: BRIEF-P (adaptación española).

En la Tabla 10 se presentan las escalas clínicas que se adhieren a cada factor cuando los informantes son los profesores; así, se saturan en: (i) Factor 1, Planificación y Organización y Memoria de Trabajo explicando el 61.62% de la varianza; (ii) Factor 2, Control Emocional e Inhibición explican el 16.77% de la varianza, y (iii) Factor 3, configurado por la escala clínica Flexibilidad, explica el 14.19% de la varianza.

Tabla 10 Matriz de componentes rotados y varianza explicada (informantes profesores) 

Profesores
Escalas clínicas Componentes
1 2 3
Planificación y Organización 0.955
Memoria de Trabajo 0.950
Control Emocional 0.937
Inhibición 0.847
Flexibilidad 0.958
Varianza explicada 61.622% 16.777% 14.197%

Método de extracción: análisis de componentes principales.

Método de rotación: Promax con normalización Kaiser.

Fuente: BRIEF-P (adaptación española).

En la Figura 2 se muestra el gráfico de sedimentación cuando los informantes son los padres y los profesores.

Fuente: BRIEF-P (adaptación española).

Figura 2 Gráfica de sedimentación de BRIEF-P (padres-profesores). 

Discusión y conclusión

El objetivo del presente estudio era analizar las propiedades psicométricas (fiabilidad y validez) del BRIEF-P en la adaptación al español en España.

En relación con la consistencia interna de la prueba, los resultados de fiabilidad de las escalas e índices clínicos del BRIEF-P oscilan entre 0.95 y 0.96. Estos valores según George y Mallery (1995) pueden ser calificados como excelentes. Las escalas e índices clínicos del BRIEF-P en la versión española son, por consiguiente, fiables; existen pequeñas diferencias en las escalas e índices clínicos en función de los informantes. Los índices obtenidos en esta versión adaptada se aproximan a los obtenidos por los autores en la versión original y son equiparables con dicha versión (Gioia, Espy y Isquith, 2003).

Los resultados del análisis factorial exploratorio de los informantes padres y profesores coinciden con los obtenidos en la versión original (Gioia et al., 2003, Skogan et al., 2016), obteniéndose tres factores, siendo Memoria de Trabajo, Flexibilidad e Inhibición dimensiones independientes; Control Emocional es una dimensión que se adscribe a diferentes factores; Planificación y Organización es una dimensión que se integra junto con Memoria de Trabajo. En el caso de los informantes padres explica el 90.37% de la varianza y en el caso de los profesores el 92.6% de la misma. Esta estructura se encuentra en la misma línea que la obtenida por los autores en la versión original y se aproxima a la propuesta por Miyake et al. (2000) e integra los aspectos cálidos del modelo propuesto por Zelazo, Qu y Muller (2004).

Podemos concluir señalando que los resultados obtenidos en la versión española del BRIEF-P son válidos y fiables para la evaluación de las funciones ejecutivas en niños de 2 a 5 años y 11 meses en población normativa española por los padres y maestros, y se encuentran en consonancia con los resultados obtenidos en la versión original.

Finalmente, indicar que BRIEF-P no puede ser utilizado para diagnosticar déficits de manera independiente y/o aislada, siendo necesario incluirlo en un protocolo de evaluación amplio y comprehensivo, siendo un instrumento sensible al desarrollo (de ahí que se incluyan baremos por grupos de edad 2-3 años y 4-5 años).

Como futuras líneas de investigación, nos planteamos profundizar en la validez de criterio del BRIEF-P con la batería de evaluación neuropsicológica infantil Luria Inicial (Manga y Ramos, 2006), y con el Sistema de Evaluación de Niños y Adolescentes (Fernández et al., 2015) reproducir el estudio del análisis de las propiedades psicométricas en muestra clínica y desarrollar el proceso de adaptación del BRIEF-P al euskera en población euskalduna.

Financiación

Ninguna.

Conflicto de intereses

Las autoras firmantes del presente texto son coautoras de la adaptación de BRIEF-P al español, recibiendo la primera autora como contraprestación los royalties.

Agradecimientos

A todos los niños, sus familias y sus profesores, sin su participación habría sido imposible este estudio. A todos los colaboradores, profesionales, centros educativos, centros psicopedagógicos… que han participado de forma desinteresada.

Referencias

Anderson, S. E., McNamara, K., Andridge, R. y Keima, S. (2015). Executive function and mealtime behavior among preschool-aged children born very preterm. Eating Behaviors, 19, 110-114. http://dx.doi.org/10.1016/j.eatbeh.2015.07.006 [ Links ]

Barkley, R. A. (1997). ADHD and the nature of self-control. Nueva York: Guilford Press. [ Links ]

Beauchamp, M. H., Bonch, A. y Anderson, V. (2009). Cognitive, behavioural and adaptive profiles of children with glutaric aciduria type I detected through newborn screening. Journal of Inherited Metabolic Disease, 32(1), 207-213. http://dx.doi.org/ 10.1007/s10545-009-1167-z [ Links ]

Best, J. R. y Miller, P. H. (2010). A developmental perspective on executive function. Child Development, 81, 1641-1660. http://dx.doi.org/10.1111/j.1467-8624.2010.01499.x [ Links ]

Biederman, J., Monuteaux, M. C., Doyle, A. E., Seidman, L. J., Wilens, T. E., Ferrero, F. … y Faraone, S. V. (2004). Impact of executive function deficits and attention-deficit-hyperactivity disorder (ADHD) on academic outcomes in children. Journal of Consulting and Clinical Psychology, 72, 757-766. http://dx.doi.org/10.1037/ 0022-006X.72.5.757 [ Links ]

Bonillo, A., Araujo, E. A., Jané, M. C., Capdevila, C. y Riera, R. (2012). Validation of Catalan Version of BRIEF-P. Child Neuropsychology, 18(4), 347-355. http://dx.doi.org/10.1080/09297049.2011.613808 [ Links ]

Cardoso, C., Gómez, A. y Hidalgo, M. D. (2010). Metodología para la adaptación de instrumentos de evaluación. Fisioterapia, 32(6), 264-270. http://dx.doi.org/10.1016/j.ft.2010.05.001 [ Links ]

Carlson, S. M. (2005). Developmentally sensitive measures of executive function in preschool children. Developmental Neuropsychology, 28, 595-616. http://dx.doi.org/10.1207/s15326942dn2802 3 [ Links ]

Cragg, L. y Gilmore, C. (2014). Skills underlying mathematics: The role of executive function in the development of mathematics proficiency. Trends in Neuroscience and Education, 3(2), 63-68. http://dx.doi.org/10.1016/j.tine.2013.12.001 [ Links ]

Duku, E. y Vaillancourt, T. (2014). Validation of the BRIEF-P in a sample of Canadian preschool children. Child Neuropsychology, 20(3), 358-371. http://dx.doi.org/10.1080/09297049.2013.796919 [ Links ]

Espy, K. A., Kaufmann, P. M., Glisky, M. L. y McDiarmid, M. D. (2001). New procedures to assess executive functions in preschool children. Clinical Neuropsychology, 15, 46-58. http://dx.doi.org/10.1076/clin.15.1.46.1908 [ Links ]

Fernández, I., Santamaría, P., Sánchez, F., Carrasco, M. A. y del Barrio, V. (2015). SENA. Sistema de Evaluación de Niños y Adolescentes. Madrid: TEA Ediciones. [ Links ]

Ferrier, D. E., Bassett, H. H. y Denham, S. A. (2014). Relations between executive function and emotionality in preschoolers: Exploring a transitive cognition-emotion linkage. Frontiers in Psychology, 5 http://dx.doi.org/10.3389/fpsyg.2014.00487,487 [ Links ]

Garon, N., Bryson, S. E. y Smith, I. M. (2008). Executive function in preschoolers: A review using an integrative framework. Psychological Bulletin, 134(1), 31-60. http://dx.doi.org/10.1037/0033-2909.134.1.31 [ Links ]

George, D. y Mallery, P. (1995). SPSS/PC+ step by step: A simple guide and reference. Belmont: Wadsworth Publishing Company. [ Links ]

Gioia, G. A., Espy, K. A. y Isquith, P. K. (2016). BRIEF-P. Evaluación Conductual de la Función Ejecutiva-Versión Infantil (E. Bausela y T. Luque, adaptadoras). Madrid: TEA Ediciones. [ Links ]

Gioia, G. A., Isquith, K., Guy, S. C. y Kenworthy, L. (2000). Behavior Rating Inventory of Executive Function (BRIEF). Australia: ACER. [ Links ]

Gioia, G. A., Espy, K. A. y Isquith, P. K. (2003). The behaviour Rating Inventory of Executive Function-Preschool versión (BRIEF-P). Odessa: Psychology Assessment Resources. [ Links ]

Goldstein, S. y Haglieri, J. A. (2014). Handbook of executive functioning. Nueva York: Springer. [ Links ]

Henry, L. A., Messer, D. J. y Nash, G. (2015). Executive functioning and verbal fluency in children with language difficulties. Learning and Instruction, 39, 137-147. http://dx.doi.org/10.1016/ j.learninstruc.2015.06.001 [ Links ]

Holt, R. F., Beer, J., Kronenberger, W. G., Pisoni, D. B. y Lalonde, K. (2012). Contribution of family environment to pediatric cochlear implant users’ speech and language outcomes: Some preliminary findings. Journal of Speech Language, and Hearing Research, 55(3), 848-864. http://dx.doi.org/10.1044/1092-4388(2011/11-0143) [ Links ]

Lamm, C. y Lewis, M. D. (2010). Developmental change in the neurophysiological correlates of self-regulation in high- and low-emotion conditions. Developmental Neuropsychology, 35, 156-176. http://dx.doi.org/10.1080/87565640903526512 [ Links ]

Liebermann, D., Giesbrecht, G. F. y Müller, G. (2007). Cognitive and emotional aspects of self-regulation in preschoolers. Cognitive Development, 22, 511-529. http://dx.doi.org/10.1016/j.cogdev.2007.08.005 [ Links ]

Liogier d’Ardhuy, X., Edgin, J. O., Bouis, C., de Sola, S., Goeldner, C., Kishnani, P. … y Khwaja, O. (2015). Assessment of cognitive scales to examine memory, executive function and language in individuals with Down syndrome: Implications of a 6-month Observational Study. Frontiers in Behavioral Neuroscience, 9 http://dx.doi.org/10.3389/fnbeh.2015.00300,300 [ Links ]

Lorenzo, J., Barton, B., Arnold, S. S. y North, K. N. (2013). Cognitive features that distinguish preschool-age children with neurofibromatosis Type 1 from their peers: A matched case-control study. The Journal of Pediatrics, 163, 1479-1483. http://dx.doi.org/10.1016/j.jpeds.2013.06.038 [ Links ]

Manga, D. y Ramos, F. (2006). Batería de evaluación neuropsicológica infantil Luria-Inicial. Madrid: TEA. [ Links ]

Messick, S. (1980). Test validity and the ethics of assessment. American Psychology, 35, 1012-1027. [ Links ]

Miyake, A., Friedman, N. P., Emerson, M. J., Witzki, A. H., Hower-ter, A. y Wager, T. D. (2000). The unity and diversity of executive functions and their contributions to complex “frontal lobe” tasks: A latent variable analysis. Cognitive Psychology, 41, 49-100. http://dx.doi.org/10.1006/cogp.1999.0734 [ Links ]

Muñiz, J., Elosua, P. y Hambleton, R. K. (2013). Directrices para la traducción y adaptación de los tests: segunda edición. Psicothema, 25(2), 151-157. http://dx.doi.org/10.7334/psicothema2013.24 [ Links ]

Posner, M. I., Rothbart, M. K., Sheese, B. E. y Voelker, P. (2012). Control networks and neuromodulators of early development. Developmental Psychology, 48, 827-835. http://dx.doi.org/ 10.1037/a0025530 [ Links ]

Rabbit, P. (1997). Introduction: Methodologies and models in the study of executive function. En P. Rabbit (Ed.), Methodology of frontal and executive function. East Sussex: Psychology Press. [ Links ]

Schoemaker, K., Bunte, T., Wiebe, S. A., Espy, K. A., Deković, M. y Matthys, W. (2012). Executive function deficits in preschool children with ADHD and DBD. Journal of Child Psychology and Psychiatry, 53, 111-119. http://dx.doi.org/10.1111/j.1469-7610.2011.02468.x [ Links ]

Serra, V. y Herdman, M. (2001). Metodología de adaptación transcultural de instrumentos de medida de la calidad de vida relacionada con la salud. Informatiu AATM, 24 [consultado 12 Mar 2016]. Disponible en: Disponible en: http://www.gencat.cat/salut/ depsan/units/aatrm/html/es/dir384/doc8075.htmlLinks ]

Skogan, A. H., Egeland, J., Zeiner, P., Øvergaard, K. R., Oer-beck, B., Reichborn, T. y Aase, H. (2016). Factor structure of the Behavior Rating Inventory of Executive Functions (BRIEF-at age three years. Child Neuropsychology, 22(4), 472-492. http://dx.doi.org/10.1080/09297049.2014.992401 [ Links ]

Skogan, A. H., Zeiner, P., Egeland, J., Urnes, A.-G., Reichborn, T. y Aase, H. (2015). Parent ratings of executive function in young preschool children with symptoms of attention-deficit/-hyperactivity disorder. Behavioral and Brain Functions, 11, 16. http://dx.doi.org/10.1186/s12993-015-0060-1 [ Links ]

Stuss, D. y Benson, D. (1986). The frontal lobes. Nueva York: Raven Press. [ Links ]

The International Test Commission. (2006). International guidelines on computer based and internet delivered testing. International Journal of Testing, 6(2), 143-171. http://dx.doi.org/10.1207/ s15327574ijt0602 4 [ Links ]

Tirapu, J., Cordero, P., Luna, P. y Hernáez, P. (2017). Propuesta de un modelo de funciones ejecutivas basado en análisis factoriales. Revista de Neurología, 64, 75-84. [ Links ]

Tirapu, J., García, A., Ríos, M., y Ardila, A. (Eds.). (2011). Neuropsicología del córtex prefrontal y de las funciones ejecutivas. Barcelona: Viguera Editores. [ Links ]

Tirapu, J., Munoz,˜ J. M. y Pelegrín, C. (2002). Funciones ejecutivas: necesidad de una integración conceptual. Revista de Neurología, 34(7), 673-685. [ Links ]

Van de Vijver, F. y Poortinga, Y. (1997). Towards an integrated analysis of bias in cross-cultural assessment. European Journal Psychology Assessment, 13, 29-37. http://dx.doi.org/10.1027/1015-5759.13.1.29 [ Links ]

Veleiro, A., Peralbo, M. y Artigas, J. (2012). Valor predictivo del BRIEF-P sobre el desarrollo de síntomas y el impacto escolar aso-ciado al TDAH en el ámbito escolar. En L. Mata, F. Peixoto, J. Morgado, J. Castro, y V. Monteiro (Eds.), 12◦ Colóquio Psicologia e Educação - Educação, aprendizagem e desenvolvimento: Olhares contemporâneos através da investigação e da prática - Actas (pp. 91-104). Lisboa: ISPA. [ Links ]

Verkerk, G., Jeukens, M., Houtzager, B., Koldewijn, K., van Was-senaer, A., Nollet, F. y Kok, J. (2012). The infant behavioral assessment and intervention program in very low birth weight infants; Outcome on executive functioning, behavior and cognition at preschool age. Early Human Development, 88, 699-705. http://dx.doi.org/10.1016/j.earlhumdev.2012.02.004 [ Links ]

Vugs, B., Hendriks, M., Cuperus, J. y Verhoeven, L. (2014). Working memory performance and executive function behaviors in young children with SLI. Research in Developmental Disabilities, 35, 62-74. http://dx.doi.org/10.1016/j.ridd.2013.10.022 [ Links ]

Welsh, M. C. y Pennington, B. F. (1998). Assessing frontal lobe function in children: Views from developmental psychology. Developmental Neuropsychology, 4, 199-230. http://dx.doi.org/10.1080/87565648809540405 [ Links ]

Zelazo, P., Qu, L. y Muller, U. (2004). Hot and cool aspects of executive function: Relations in early development. En W. Schneider, R. Schumann, y B. Sodian (Eds.), Young children’s cognitive development: Interrelationships among executive functioning, working memory, verbal ability, and theory of mind. (pp. 71-93). Mahwah: Lawrence Eribaum Associates Publishers. [ Links ]

Zelazo, P. D., Muller, U., Frye, D., Marcovitch, S., Argitis, G., Boseovski, J. … y Sutherland, A. (2003). The development of executive function in early childhood. Monographs for the Society for Research in Child Development, 68(3), vii-viii. http://dx.doi.org/10.1111/j.1540-5834.2003.06803001.x [ Links ]

Recibido: 13 de Abril de 2017; Aprobado: 06 de Noviembre de 2017

Autor para correspondencia. Campus de Arrosadia, Edificio de los Magnolios, C.P. 31006 Pamplona (Iruña), España. Tel.: +34 948 169464/fax: +34 948 169169.Correo electrónico: esperanza.bausela@unavarra.es (E. Bausela-Herreras).

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons