nueva página del texto (beta)
Español (pdf)
Artículo en XML
Referencias del artículo
Traducción automática
Enviar artículo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
Introducción
Existe amplia evidencia de que hay un gran número de competencias -p. ej., la creatividad, el pensamiento analítico, la autorregulación y la inteligencia interpersonal- que no forman parte de los programas escolares tradicionales, a pesar de que resultan fundamentales para el éxito personal y laboral en el mundo digital y globalizado del siglo XXI (Heckman y Kautz, 2012; Robles, 2012; Schulz, 2008; Stevenson y Starkweather, 2010; Wheeler, 2016). A esas competencias algunos autores las han agrupado bajo el nombre general de habilidades blandas (Mitchell, Skinner y White, 2010), sin embargo, vale destacar que en los últimos años han emergido otras denominaciones más específicas, como habilidades metaacadémicas, para referirse en concreto a aquellas variables sociales, emocionales o cognitivas que aunque no se desarrollan ni se evalúan de forma explícita en el currículo escolar, son vitales para conseguir el éxito educativo (Clyde, 2015; Shaw, Gomes, Polotskaia y Jankowska, 2015; Wong, 2016), de ahí que hayan sido caracterizadas de distintas maneras por numerosos autores en la última década, como se enseña en la tabla 1:
Tabla 1 Comparación de habilidades metaacadémicas de diferentes autores
| Robles (2012) | Mitchel, Skinner y White (2010) | Davies, Fidler y Gorbis (2011) | Stevenson y Starkweather (2010) | Salinas y Garr (2009) | Schulz (2008) |
|---|---|---|---|---|---|
| Comunicación | Comunicación | Comunicación | Comunicación | ||
| Flexibilidad | Manejo de ambigüedad | ||||
| Integridad | Ética | Integridad/honestidad | |||
| Habilidades interpersonales | Inteligencia social | Liderazgo | Liderazgo | Empatía/manejo de conflictos | |
| Actitud positiva | Actitud | ||||
| Profesionalismo | |||||
| Responsabilidad | Responsabilidad | ||||
| Trabajo en equipo | Trabajo en equipo | Colaboración virtual | Afiliación | Trabajo en equipo/ sociabilidad | |
| Ética de trabajo | Ética de trabajo | ||||
| Diversidad | Competencia transcultural | Diversidad/ tolerancia | Conciencia cultural | ||
| Pensamiento analítico | Pensamiento crítico | ||||
| Innovación | Creatividad/ innovación | Creatividad/Resolución de problemas | |||
| Pensamiento computacional | |||||
| Transdiciplinariedad | |||||
| Manejo de carga cognitiva | Aprendizaje activo | Manejo de proyectos | |||
| Literacidad de nuevos medios | |||||
| Curiosidad | |||||
| Iniciativa | |||||
| Autoeficacia/ autorregulación | Automanejo |
Fuente: Elaboración propia
En la tabla 1 se puede observar que si bien son diversas las apreciaciones de los autores en relación con las habilidades metaacadémicas, también existe coincidencia en determinadas variables, como comunicación, trabajo en equipo, innovación, creatividad, liderazgo y habilidades interpersonales, las cuales se han intentado desarrollar a través de proyectos y programas tecnológicos de la educación formal e informal (Organisation for Economic Co-operation and Development, 2013).
Una muestra de ello, como lo señalan Cristia, Ibarrarán, Cueto, Santiago y Severín (2012), ha sido el Plan Ceibal, programa uruguayo creado en 2007 (e inspirado en el proyecto One laptop per child) con el propósito de que cada niño tuviera una computadora XO. Estos autores han documentado sistemáticamente el proceso de entrega de esas computadoras y han generado indicadores a través del Departamento de Monitoreo y Evaluación del Plan Ceibal (Plan Ceibal, 2010), que han servido para determinar que con la XO se ha logrado desarrollar hasta en 15 y 20 puntos porcentuales (en comparación con una PC tradicional) diversas habilidades digitales como chatear, bajar música, buscar información en internet, escribir, dibujar y pintar.
Otra experiencia latinoamericana es la desarrollada en Perú, denominada Una laptop por niño, la cual fue creada con el propósito de desarrollar en los estudiantes las habilidades cognitivas (con medidas de aprendizaje curricular), las habilidades TIC, las habilidades no cognitivas (capacidad de resolución de problemas, colaboración, trabajo en equipo, aprendizaje autoguiado) y las conductas facilitadoras del aprendizaje (deserción, asistencia, motivación, esfuerzo y utilización del tiempo dentro y fuera de la escuela) (Santiago et al., 2010).
Estas dos experiencias, sin embargo, además de resultar insuficientes en el ámbito latinoamericano, solo han sido evaluadas utilizando indicadores tradicionales, los cuales solo se enfocan en el desempeño académico y en la adquisición de contenidos del currículo formal. Por este motivo, es necesario diseñar y aplicar otros instrumentos que permitan examinar el desarrollo de las habilidades metaacadémicas, es decir, las relacionadas con el pensamiento analítico, la inteligencia social, la innovación, las habilidades tecnológicas, la colaboración, etc. (Davies, Fidler y Gorbis, 2011; Silva, 2008).
Materiales y métodos
El objetivo de la presente investigación fue diseñar un instrumento -conocido como Escala de medición de habilidades metaacadémicas (EMHMA)- para evaluar las habilidades metaacadémicas en niños de 4.°, 5.° y 6.° de primaria, específicamente las relacionadas con 1) la investigación científica, 2) el pensamiento creativo, 3) el razonamiento y pensamiento crítico, 4) las habilidades humanas y de crecimiento personal, 5) el aprendizaje independiente y 6) las habilidades tecnológicas.
Siguiendo lo planteado por Crocker y Algina (2006), la metodología empelada se llevó a cabo en tres fases: 1) identificación de conceptos, habilidades y base de datos de reactivos, 2) desarrollo del instrumento y 3) validación del instrumento.
Identificación de conceptos y de reactivos
En la primera fase, se realizó una revisión colegiada de instrumentos que a pesar de ser usados para medir habilidades y competencias no tradicionales, han sido considerados como fundamentales para el aprendizaje significativo (Salinas y Garr, 2009). Los instrumentos examinados fueron los siguientes: Assessment of learner centered practices (McCombs y Miller 2007), Khatena-morse multi-talent perception inventory (Khatena y Morse, 1994), Classroom environment scale (Moos y Trickelt, 2002) y Process skills rating scales (Karnes y Bean, 2004), como se indica en la tabla 2.
Tabla 2 Factores, instrumentos y escalas de habilidades considerados
| Factores | Instrumento | Escalas consideradas | Numero de reactivos |
| Motivación y autorregulación | Assessment of learner centered practices | Todas | 75 |
| Creatividad | Khatena-morse multi-talent perception inventory | Creatividad Iniciativa Liderazgo Versatilidad | 50 |
| Trabajo en grupo | Classroom environment scale | Afiliación Innovación | 20 |
| Pensamiento científico y crítico, habilidades de proceso | Process skills rating scales | Investigación independiente Crecimiento personal Pensamiento creativo Razonamiento y pensamiento crítico Investigación científica Habilidades tecnológicas | 360 |
Fuente: Elaboración propia
El análisis se llevó a cabo a través del método de juicio de expertos. Nueve miembros del equipo académico -conformado por personal profesional del Centro Regional de Formación Docente e Investigación Educativa, así como por expertos académicos en Massachusetts (EE. UU.) y México- revisaron y evaluaron los instrumentos base. Luego se tomó una decisión colegiada sobre los factores y reactivos que formarían la base de datos. Para el desarrollo se eligió el Process skills rating scales revised (PSRS-R) de Karnes y Bean (2004), que ya incluía la mayoría de los factores que los expertos habían considerado como centrales para el presente programa.
El PSRS-R es un instrumento de autorreporte, diseñado como apoyo en el proceso de enseñanza y aprendizaje, y enfocado en habilidades de pensamiento, razonamiento y aprendizaje autorregulado. Su objetivo es determinar el nivel que los estudiantes tienen en 13 áreas no académicas, las cuales predicen el éxito escolar. Esta prueba no es estandarizada (con reactivos tipo Likert cuyas frecuencias van de Siempre a Nunca) y puede utilizarse a través de la técnica de autorreporte, o bien a través de la observación de padres o maestros.
Las escalas pueden ser empleadas para diferentes situaciones, como monitorear los avances de los alumnos en las diferentes áreas, retroalimentación para estudiantes, padres o maestros sobre los procesos de desarrollo que siguen los estudiantes, ayudar a los profesores a determinar los avances de los estudiantes, guía para proveer de información a los estudiantes sobre sus propios avances y a los padres de familia sobre las áreas que pueden apoyar a sus hijos en casa. Asimismo, el instrumento era adecuado como base para el presente estudio, ya que fue diseñado para ser aplicado en estudiantes de nivel primaria y secundaria.
Desarrollo del instrumento
Una vez seleccionadas las escalas y los reactivos base para el desarrollo del instrumento, el equipo experto analizó cada ítem para determinar su relevancia y pertinencia en el presente estudio. Los reactivos se seleccionaron o eliminaron basados en los siguientes criterios: 1) relevancia conceptual para el estudio (desarrollo de habilidades metaacadémicas), 2) relevancia para la población del estudio, ya sea por edad o por contexto cultural, y 3) lenguaje apropiado para la edad de los participantes. Asimismo, se propusieron reactivos adicionales para la base de datos con el propósito de evaluar la habilidad de uso de las computadoras XO de One laptop per child. Finalmente, se realizó un piloto técnico en un grupo de 10 niños de diferentes edades (entre 8 y 12 años) para revisar su redacción y pertinencia en el campo. En total, se hizo una reducción acumulada de 18 % de los ítems.
Concluido el primer pilotaje, y con base en el juicio de expertos, se decidió añadir algunos reactivos relacionados con el uso de la XO y el aprendizaje independiente. En tal sentido, se crearon nuevos reactivos para agregar al instrumento, el cual fue sometido a un segundo pilotaje (con 60 niños de 4.°, 5.° y 6.° de primaria) que dio como resultado una versión definitiva.
Protocolo de aplicación del instrumento
Al tratarse de un autorreporte (rating scales), el sujeto debe indicar, con base en una escala gradual de opinión, la autovaloración que tiene sobre su propio desempeño. Sin embargo, en el presente estudio se presentó el reto de que los sujetos de investigación, cuyas edades fluctuaban entre los 8 y los 12 años, se enfrentaban a la resolución de un instrumento conceptual escrito con una escala de valoración. Para solucionar este inconveniente, se procedió a elaborar un protocolo de aplicación sistematizado, el cual se probó en el grupo piloto con una serie de tres aplicaciones, lo cual permitió ajustarlo a las características de la población meta.
Resultados del ajuste de protocolo
El instrumento debe ser aplicado por un facilitador a grupos de entre 5 y 8 niños en los grados de 4.° y 5.° grado, mientras que en 6.° grado se pueden integrar hasta 15 alumnos, sentados preferentemente en círculo. El facilitador dirige la lectura en voz alta de los reactivos y controla el ritmo de la aplicación. Dentro del protocolo se pueden contemplar recesos entre subescalas. Asimismo, y puesto que el lenguaje en ocasiones pudiera resultar complejo para los niños más pequeños, los facilitadores pueden ayudar con breves explicaciones. El tiempo promedio para la aplicación del instrumento es de 30 minutos para estudiantes de 4.° grado, y de 1 hora para alumnos de 5.° y 6.° grado. Esto permite que un grupo de cuatro aplicadores realice el trabajo de levantamiento de datos de 100 niños en un promedio de dos días escolares normales (7:30 a. m. a 12:30 p. m.), lo cual ofrece una ventaja sobre otro tipo de evaluaciones más personalizadas, las cuales requieren más tiempo para su desarrollo.
Posteriormente, se llevó a cabo un análisis factorial confirmatorio utilizando un método de extracción de componentes principales y una rotación varimax. Este examen en general confirmó la estructura de seis escalas. Los reactivos con una carga menor a 0.50 en alguno de los factores fueron evaluados por el comité de expertos para determinar su relevancia. Cuando se consideró que no eran fundamentales, se eliminaron. El número de reactivos se modificó de acuerdo con los procesos mencionados (tabla 3) (ver anexo).
Tabla 3 Número de reactivos por escala
| Escala | Número de ítems originales | Número de ítems finales |
| Habilidades tecnológicas | 45 | 40 |
| Investigación científica | 86 | 41 |
| Razonamiento y pensamiento crítico | 77 | 46 |
| Investigación independiente | 29 | 26 |
| Pensamiento creativo | 43 | 29 |
| Habilidades humanas y de crecimiento personal | 80 | 57 |
Fuente: Elaboración propia
Resultados
Validación del instrumento
La aplicación del instrumento se llevó a cabo en dos escuelas (una fungió como escuela experimental y otra como escuela de control) y su validación se concretó en varias etapas: la primera consistió en la integración y depuración de la base de datos de los alumnos, para lo cual se consideró solo a aquellos que resolvieron un pretest y un postest. En total se contó con 160 registros (87 de la escuela experimental y 73 de la escuela de control).
Asimismo, se verificó el ajuste psicométrico de los ítems que conformaron cada escala, de acuerdo con la teoría de respuesta al ítem. Para ello, se utilizó el modelo de crédito parcial, que forma parte de los modelos Rasch para ítems politómicos. Este permite analizar los ítems que corresponden a respuestas graduadas en varios niveles de cuantificación, como es el caso de la escala tipo Likert (Fisher y Molenaar, 1995; Martínez, Hernández y Hernández, 2006). El procesamiento se realizó con el programa Winsteps (Linacre, 2012). Además se presenta el alfa de Cronbach como medida de la consistencia interna. Las ventajas de empelar el modelo Rasch son múltiples, entre las que se destacan las siguientes:
Medición conjunta. Los parámetros de las personas y de los ítems se expresan en las mismas unidades y se localizan en el mismo continuo.
Objetividad específica. La medición de personas en un atributo no depende de los ítems específicos con los fueron medidos. Igualmente, las características del test es independiente de los sujetos de la muestra (Rasch, 1977).
Especificidad del error típico de medida. Permite cuantificar la cantidad de información con la que se mide en cada punto de la dimensión y seleccionar los ítems que incrementan la información en regiones del atributo previamente especificadas.
Por otra parte, los criterios de bondad de ajuste que se consideraron para cada uno de los reactivos fueron los siguientes:
El ajuste interno (INFIT) y el ajuste externo (OUTFIT). El primer estadígrafo mide si el reactivo que se analiza está siendo respondido por personas cuyo nivel de rasgo es cercano a la exigencia del reactivo. En reactivos de opinión o percepción los reactivos que componen una escala deben ajustar al modelo de contraste con valores de INFIT y OUTFIT (Linacre, 2012) en el intervalo de 0.50 a 1.50.
Correlación punto biserial (PTBIS). Este se interpreta como una correlación que mide el grado de asociación entre el reactivo individual y el puntaje total observado por la escala. Los valores altos de la correlación biserial son un indicativo de que el ítem pertenece a la escala unidimensional respectiva. Se estableció el criterio de PTBIS igual o mayor a 0.20.
Índice de discriminación (DISCR). Es la capacidad del ítem para distinguir entre los respondientes de bajo y alto nivel en el rasgo que se mide. Bajo el modelo de Rasch, el valor ideal para este índice es de 1.00. El criterio aquí establecido es de mínimo 0.90.
Una de las ventajas del modelo Rasch es que permite presentar en una misma escala la habilidad de los sujetos y la dificultad de los ítems. En la figura 1 se muestra el escalamiento conjunto de personas (izquierda) y reactivos (derecha), donde se aprecia que la media de las puntuaciones de los alumnos es ligeramente mayor a la dificultad media de los ítems.
Fuente: Elaboración propia
Figura 1 Escalamiento conjunto de reactivos y personas (escala de habilidades tecnológicas)
Ahora bien, en las figuras 2 a la 6 se muestran las mediciones conjuntas de las escalas, en donde se aprecia, por ejemplo, que faltan ítems de alta dificultad en la mayoría de los constructos. Particularmente, en las escalas Habilidades de pensamiento y razonamiento crítico y Habilidades humanas y de crecimiento personal los datos muestran que la mayoría de los alumnos tienen una alta probabilidad de contestar en las opciones positivas, es decir, es muy “fácil” que los estudiantes estén de acuerdo con las afirmaciones presentadas.
Fuente: Elaboración propia
Figura 3 Escalamiento conjunto de la escala: Habilidades de pensamiento y razonamiento crítico
Fuente: Elaboración propia
Figura 4 Escalamiento conjunto de la escala: Habilidades humanas y de crecimiento personal
Discusión
En una realidad educativa dinámica y cambiante, y en un mundo digital y globalizado, es imperativo fomentar en el niño competencias vinculadas con la investigación, el pensamiento creativo, el razonamiento, las habilidades tecnológicas y otras similares, que le permitan contribuir a la innovación y la transformación positiva de nuestro entorno. Para ello, sin embargo, se deben superar antiguos paradigmas que, como en el caso de México, se enfocan solo en la aplicación de exámenes estandarizados que solo consideran una calificación cuantitativa (Casanova, Díaz-Barriga, Loyo, Rodríguez y Rueda, 2017).
En este sentido, instrumentos como el ofrecido en este documento resultan significativos, pues en él se toman en cuenta habilidades que siendo descartadas por la mayoría de los programas educativos, en realidad aportan innumerables beneficios para el desenvolvimiento productivo del estudiante en su entorno social, profesional y académico. Esto significa que con el ímpetu que tienen las reformas educativas en numerosos países de América Latina (Bruns, Filmer y Patrinos, 2011; Bruns y Luque, 2014), es sumamente necesario que existan instrumentos de medición válidos y confiables para evaluar de forma precisa y confiable las habilidades metaacadémicas, es decir, aquellas que trascienden el conocimiento de los contenidos del currículo escolar.
Conclusiones
El análisis de los resultados presentados en este documento permite formular las siguientes conclusiones. Primero, Los resultados del análisis utilizando la metodología de Rasch (1977) sugieren que las correlaciones de los ítems con la escala son adecuados y presentan una confiabilidad por consistencia elevada. Se cumplen con los requerimientos psicométricos de ajuste al modelo conforme a lo sugerido por Martínez, Hernández y Hernández (2006) y Fisher y Molenaar (1995). Esto significa que las escalas están midiendo de forma prioritaria los constructos para los cuales fueron diseñadas.
Los resultados de estos análisis permitieron determinar los reactivos que podían ser eliminados para conseguir una prueba que resultara no solo más económica en cuanto a su aplicación, sino también más consistente con el objetivo planteado. La EMHMA, por tanto, resultó tener un alto nivel de coherencia interna y una confiabilidad aceptable (Crocker y Algina, 2006) para su aplicación en la población seleccionada. Sin embargo, se encontró que en la mayoría de las escalas haya algunas regiones del continuo que no se miden suficientemente, y por ello, para futuras versiones, se sugiere incluir reactivos de alta dificultad para evaluar apropiadamente a los alumnos con alta habilidad.
En conclusión, los análisis de validez y confiabilidad de la EMHMA permiten afirmar que este es un instrumento razonablemente válido y confiable, que puede ser aplicado en niños de 4.° a 6.° grado de primaria, y que puede ofrecer información muy valiosa sobre el desarrollo de las habilidades cognitivas, sociales y tecnológicas que habitualmente no son tomadas en cuenta en las actividades educativas tradicionales.
Agradecimientos
Los autores desean agradecer a la Dra. Norma Guadalupe Pesqueira Bustamante y a Soledad Barrientos López por su apoyo y participación en el desarrollo de esta trabajo. De misma forma, al Centro Regional de Formación Profesional Docente de Sonora y a la organización One Laptop Per Child por las facilidades brindadas para realizar este estudio.
