Introducción

A partir del informe ^{Delors (1996}) y más aún con la incorporación de las universidades al Espacio Europeo de Educación Superior, ha comenzado a hablarse con profusión de competencias y son muchas las iniciativas que han propuesto modelos, estándares e instrumentos de evaluación de la competencia en Tecnologías de la Información y la Comunicación (TIC) (^{OCDE, 2003}; ^{Ministerio Educación Chile, 2006}; ^{ISTE, 2008}; ^{Prendes, 2010}; ^{Unesco, 2011}; ^{Ferrari, 2013}). Aunque cada vez hay más estudios e investigaciones sobre esta competencia en enseñanza primaria y secundaria, las propuestas son menos si el contexto es el de la Educación Superior (^{Mengual y Roig, 2012}).

Los trabajos sobre el tema de competencias en el ámbito de la educación empiezan a crecer a mediados de la década de los noventa cuando nos encontramos con expresiones como formación por competencias, planes de estudio basados en el enfoque por competencias o propuestas educativas por competencias, como una opción alternativa para mejorar los procesos de formación desde la educación básica hasta la del técnico medio y la de profesionales con estudios de educación superior (^{Díaz Barriga, 2005}). Aquí cabe destacar la catalogación que realizó el proyecto Tuning (Educational Structures in Europe), en 2000, donde encontramos, por un lado, las competencias generales (formadas por instrumentales, interpersonales y sistémicas) y, por otro, las específicas correspondientes para cada área temática.

Dando un paso más allá y aludiendo al término de competencia TIC, observamos que las definiciones lo abordan desde dos grandes perspectivas, por un lado haciendo énfasis en el componente tecnológico y, por otro, en el sentido informacional y/o comunicativo (^{Gutiérrez, 2011}). Inconscientemente las personas relacionamos el término competencia TIC con un enfoque tecnológico, como remarca ^{Schneckenberg y Wildt (2006)}. A pesar de este hecho, y puesto que estamos hablando de la competencia TIC del docente, este término tiene que ser interpretado de un modo más amplio (^{OCDE, 2003}) considerando aspectos sobre la educación en competencias y sobre cómo integrar efectivamente las TIC en los contextos y procesos educativos.

^{Krumsvik (2011)} define competencia digital aludiendo a las implicaciones pedagógicas y didácticas de profesores y formadores de profesores en el contexto profesional, entendiendo que:

[...] la competencia digital es la competencia del profesor/formador de profesores en el uso de las TIC en un contexto profesional con buen criterio pedagógico-didáctico y su conciencia de sus implicaciones para las estrategias de aprendizaje y la formación digital de los alumnos y estudiantes (^{Krumsvik, 2011:44-45}).

Esta definición no solo involucra el componente tecnológico, sino también el uso de la tecnología con un buen criterio pedagógico-didáctico.

Muy parecida es la definición que realizan Gisbert y ^{Esteve (2011)} sobre competencia digital, que definen como la suma de habilidades, conocimientos y actitudes no solo en aspectos tecnológicos, sino también informacionales, multimedia y comunicativos que dan paso a una alfabetización múltiple compleja.

En la definición que realiza ^{Gutiérrez (2011)} de competencia TIC, destacan los aspectos principales que componen este término definiéndola como:

[los] valores, creencias, conocimientos, capacidades y actitudes para utilizar adecuadamente las tecnologías, incluyendo tanto los ordenadores como los diferentes programas e Internet, que permiten y posibilitan la búsqueda, el acceso, la organización y la utilización de la información con el fin de construir conocimiento (^{Gutiérrez, 2011:201}).

En definitiva y como núcleo vertebrador de nuestro trabajo entendemos que un docente competente en cuanto a las TIC debe ser capaz de seleccionar y utilizar adecuadamente las herramientas y recursos digitales necesarios, de gestionar la información, de crear tareas en relación con un problema, de diseñar recursos adecuados a las necesidades de un contexto determinado y de participar en entornos para desarrollar y difundir sus conocimientos. Y todo ello a partir de un conocimiento no solamente técnico sino también de las posibilidades didácticas y comunicativas de las TIC.

Análisis de la competencia TIC

Entonces, si la competencia digital es entendida como una alfabetización múltiple, formada por un conjunto de conocimientos, habilidades y actitudes en diferentes áreas y no como un conjunto de conocimientos tecnológicos, será necesario establecer procedimientos de valoración que puedan dar respuesta a una evaluación con toda la complejidad que se requiere (^{Esteve, Larraz, Espuny y Gisbert, 2011}).

Entre los diferentes estudios, modelos o propuestas relevantes (no la totalidad de los existentes) de estándares de evaluación de la competencia TIC en el ámbito universitario, encontramos el trabajo llevado a cabo por el ^{Ministerio de Educación Chileno (2006)}. Éste destaca por su clara y sencilla definición de un marco de la preparación de los profesionales docentes en diversos aspectos relacionados con las tecnologías. En este trabajo, la formulación de los estándares TIC se organizan en cinco dimensiones: pedagógica, técnica, gestión escolar, desarrollo profesional y aspectos éticos legales y sociales. Además, se definieron 78 indicadores de competencia TIC relacionados con las cinco dimensiones anteriores.

Por otra parte, encontramos que la ^{Unesco (2008}, ²⁰¹¹) define tres enfoques o niveles de avance de la incorporación de las TIC: a) de nociones básicas de TIC orientado a incrementar la comprensión tecnológica de estudiantes, ciudadanos y fuerza laboral mediante la integración de competencias TIC en los planes de estudio y el currículum; b) de profundización del conocimiento orientado a incrementar la capacidad de utilizar conocimientos para resolver problemas complejos y reales; y c) de generación de conocimiento, orientado a incrementar en el estudiante, ciudadano o fuerza laboral la innovación, producción de nuevo conocimiento y sacar provecho de éste (^{Peirano y Domínguez, 2008:111)}.

Otra investigación reciente es de ^{Janssen et al. (2013)}; en ella, por medio del método Delphi, definen unos criterios sobre la percepción por parte de expertos de la competencia TIC en la actualidad y donde, finalmente, concluyen con una relación de 12 áreas de competencia digital que abarcan diferentes aspectos, destacando la importancia del uso cotidiano en la enseñanza y la formación permanente, explorando las tecnologías emergentes e integrándolas en su entorno.

En cuanto al marco de competencias digitales de todos los ciudadanos, se encuentra el informe DIGCOMP, elaborado por el Instituto de Prospectiva Tecnológica (IPTS) de la Comisión Europea. Se trata de un proyecto cuyo fin es mejorar la comprensión y el desarrollo de dichas competencias a nivel Europeo (^{Ferrari, 2013}); .en él se concretan un total de 21 competencias, organizadas en cinco dimensiones: información, comunicación, creación de contenido, seguridad y resolución de problemas.

Finalmente, destaca el proyecto de investigación "Competencias TIC para la docencia en la universidad pública española: indicadores y propuestas para la definición de buenas prácticas" (^{Prendes, 2010}) -que tomamos como punto de partida para el presente trabajo-, financiado por el Ministerio de Educación y en continua actualización con el trabajo de ^{Gutiérrez (2011}, 2013 y ²⁰¹⁴), ^{Prendes y Gutiérrez (2013)}.

Este proyecto exploró y unificó los indicadores utilizados para la medición de la competencia TIC tanto nacional como europea e internacional. De este proyecto resultó un listado de 44 indicadores que se organizaron en torno a ocho bloques: conocimiento general del ordenador y de las posibilidades de las TIC, conocimiento y uso de las estrategias metodológicas para el trabajo en red, posibilidades y limitaciones de las TIC en el proceso de enseñanza-aprendizaje, elección de recursos TIC para el aula, conocimiento y uso de herramientas, publicación de material en la red, uso de las TIC para diferentes tareas docentes y formación docente e innovación con estas tecnologías.

Certificación de la competencia TIC

Llegados a este punto es el momento de plantearse qué mecanismos de certificación para la competencia TIC existen en general y, específicamente, qué sistemas orientados al profesorado universitario hay, espacio en el cual observamos una evidente escasez de propuestas, lo que justifica nuestra investigación.

Podemos destacar el proyecto de certificación acreditativa de la competencia digital ACTIC (^{Departament de Governació i Administracions Públiques, 2009}), que es un instrumento al servicio de la ciudadanía para que ésta pueda acreditar oficialmente sus competencias en el uso de las TIC. En él han participado diversos departamentos del gobierno, administraciones públicas, de educación y del trabajo de la Generalitat de Cataluña. Aquellos que superan satisfactoriamente la prueba obtienen un certificado (básico, medio o avanzado) que emite la Generalitat y que les posibilita acreditar un determinado nivel de competencias en TIC ante cualquier empresa o administración.

Por otro lado, encontramos el sistema de acreditación internacional europea que otorga el reconocimiento de poseer una formación básica y completa en informática a nivel de usuario conocido como European Computer Driving Licence Foundation (ECDL). Esta acreditación es apta para el público en general independientemente de su formación académica y permite al destinatario mostrar que ha adquirido conocimientos y habilidades básicas y completas en las tecnologías de la información a nivel de usuario (^{ECDL España, s/f}).

Como se puede apreciar, estos mecanismos de certificación van dirigidos a la ciudadanía en general y parten de un enfoque puramente tecnológico de la competencia digital. En el ejemplo que alude al profesorado, las pruebas analizan el uso de diversas herramientas TIC pero no se introducen otros muchos aspectos de esta competencia que están más relacionados con la labor propia del docente universitario dentro de los tres ámbitos en los que se suele desenvolver (docencia, gestión e investigación). Todo ello, junto con la necesidad cada vez mayor de acreditación de competencias, nos lleva al planteamiento de esta investigación en la que se pretende diseñar y validar un instrumento para la certificación de la competencia TIC del docente universitario.

Método

Metodología

Partimos del modelo de diseño y desarrollo (^{Reeves, Herrington y Oliver, 2004}; ^{Reeves, 2000}, ²⁰⁰⁶), según el cual la investigación se concibe como un proceso de ciclos continuos de diseño, validación, análisis y rediseño. En este sentido, la investigación basada en dicho modelo se orienta hacia la mejora educativa a partir de propuestas creativas y propone principios que puedan guiar futuros desarrollos (^{Reeves, 2000}). Para el caso de la investigación que presentamos, y como podemos apreciar en la Figura 1, el ciclo metodológico comenzaría con el diseño de una prueba de evaluación que, aplicada en un futuro a los docentes universitarios, permita certificar el nivel de competencia adquirida; continuaría con la validación de esta prueba diseñada a través de diferentes procedimientos; posteriormente realizamos un análisis de los resultados de la validación y, con los cambios propuestos, el ciclo vuelve al principio con el rediseño de la prueba definitiva.

Figura 1: Proceso de investigación acorde a la metodología propuesta 

Tomando como punto de partida la metodología que proponemos y teniendo en cuenta nuestro objetivo, detallamos a continuación las fases de procedimiento:

Fase 1: Análisis de indicadores de evaluación de la competencia TIC del profesorado universitario

En esta primera fase se identificaron los indicadores de evaluación de la competencia TIC del profesorado universitario que sirvieron como referente para la elaboración del instrumento, tomando los propuestos en el proyecto mencionado (^{Prendes, 2010}) por los siguientes motivos:

• La definición de competencia TIC que se considera en el proyecto tiene un carácter holístico y se corresponde con la que entendemos en nuestra investigación.

• El objetivo general de este proyecto fue la catalogación de indicadores abarcando los de otros proyectos anteriores.

• La catalogación y análisis de indicadores, además, fue revisada y completada por grupos de expertos.

• Los indicadores elaborados en el marco de este proyecto se centran exclusivamente en la competencia TIC del profesorado universitario.

Además de lo anterior, hemos de destacar que todos los indicadores resultantes de este proyecto se organizan en torno a un modelo de la competencia TIC en el que encontramos tres niveles consecutivos que nos ayudan a organizar un itinerario de adquisición de la competencia TIC.

• Nivel 1: competencias relativas a las bases de conocimiento que fundamenta el uso de las TIC.

• Nivel 2: incluye las competencias precisas para diseñar, implementar y evaluar acciones con TIC.

• Nivel 3: incluye las competencias que son pertinentes para que el profesor analice reflexiva y críticamente la acción realizada con TIC, ya sea de forma individual o en contextos colectivos (^{Prendes, 2010}:82).

Fase 2: Diseño del instrumento de evaluación

Partiendo de los 44 indicadores de la competencia TIC, llegamos a la fase de diseño del instrumento de certificación. En una primera versión se elaboró un cuestionario en red usando diferentes alternativas de respuesta (dicotómica abierta o cerrada y respuestas libre o múltiple), en el que además se le pediría al sujeto, en algunos casos, adjuntar evidencias (documentos, imágenes, informes, etcétera). Para el bloque de carácter técnico, se diseñó una prueba práctica en donde el método de evaluación fuera la observación directa por parte del evaluador en una sala de computadoras personales. Esta primera versión de nuestro instrumento estaba compuesta de 50 preguntas distribuidas en tres bloques:

• Primer bloque. Cuestionario en red. Constaba de 23 ítems para medir conocimientos hacia las TIC y otros para comprobar el conocimiento de determinadas estrategias metodológicas, herramientas y aplicaciones.

• Segundo bloque. Cuestionario en red. Registro de trabajos: formado por 23 ítems que se centraban en demostrar que el sujeto usa en sus prácticas diarias estrategias metodológicas, herramientas y aplicaciones, que publica en red, que evalúa su propia práctica, que participa en proyectos de innovación, etcétera. Se planteó con un diseño de respuesta cerrada dicotómica (sí/no) donde, en caso afirmativo, el evaluado tenía que hacer una demostración adjuntando algún tipo de documento, enlace, captura de imagen, entre otros.

• Tercer bloque. Prueba en sala de cómputo: este apartado recogía cuatro ítems. Aquí se planteó una prueba práctica donde el docente estaría en una sala de cómputo completamente equipada y el evaluador le pediría oralmente que realizara algunos ejercicios prácticos demostrando manejo, conocimientos observables, capacidad de resolución de incidencias técnicas, etcétera.

Fase 3: Validación del instrumento

Para la validación del instrumento diseñado se emplearon dos procedimientos: el grupo de discusión y la realización de una prueba piloto.

Primer procedimiento: Grupo de discusión

Mediante el grupo de discusión, compuesto por expertos en tecnología educativa, pretendíamos que analizaran el instrumento de evaluación, valorando la pertinencia de los ítems así como los mecanismos de recolección de evidencias de cada uno de ellos de cara a la comprobación y certificación de la competencia TIC.

A lo largo de la discusión, el grupo de expertos decidió realizar una serie de cambios que dieron lugar a la versión 2 del instrumento. Ésta incluyó 13 preguntas con sus respectivos subapartados. Esto no significó que el grupo de expertos eliminara información de la versión anterior o suprimiera indicadores, sino que decidieron reorganizarla, de manera que lo que antes era un ítem, ahora fuera una subcategoría dentro de otra más grande, definiendo un instrumento más simple y coherente cuyos principales cambios son los siguientes:

• Cambios en la estructura general: se decidió mantener el mismo formato para todas las tablas y enunciados. Luego se planteó hacer una tabla de equivalencia para que el evaluador pudiera consultar para cada indicador en qué parte del instrumento se mide (cuestionario o prueba práctica), con qué pregunta del instrumento se corresponde, cómo se planteó su medida tras la discusión y en qué nivel de dominio de competencia TIC se encuentra. Finalmente el equipo de expertos planteó unificar todas las escalas a cinco opciones de respuesta.

• Modificaciones del instrumento: el instrumento siguió teniendo tres partes pero se aplicaron algunos cambios: en la primera parte se decidió realizar solo un cuestionario para medir "Actitud frente a las TIC". Las preguntas de la versión anterior no recogían actitud, por ello se replantearon los mismos indicadores e ítems para crear un cuestionario con preguntas de actitud.

La segunda parte también es un cuestionario, pero aquí se pediría un "Registro de trabajos". El grupo analizó y discutió algunos elementos del instrumento, realizando algunos cambios en cuanto a la forma de recoger evidencias; por ejemplo, poner una definición de una herramienta/aplicación TIC y que el sujeto supiera decir de qué herramienta se trata. Muchos ítems se quedaron igual pero se decidió cambiar la respuesta cerrada dicotómica (si/no) por una escala de frecuencia (nunca/siempre).

La tercera parte siguió siendo una prueba práctica con computadoras pero el equipo de expertos concluyó que se debía hacer una prueba práctica escrita al propio evaluado delante de la computadora con la que usualmente trabaja. Además, se analizaron y discutieron otros aspectos que implicaron modificar el instrumento, por ejemplo, se suprimieron algunas herramientas/aplicaciones TIC que consideraron obsoletas o con poca usabilidad para la docencia universitaria, asimismo decidieron añadir otras que no y resultaron muy útiles.

Segundo procedimiento: prueba piloto

Finalmente se realizó una prueba piloto. Fue aplicada a dos profesores que completaron el instrumento de forma individual. Para la selección de la muestra -de carácter intencional- se decidieron previamente algunas condiciones: consentimiento de participación conociendo el tipo y la duración de la prueba; que no hubieran colaborado en el grupo de discusión; que tuvieran amplia experiencia como profesores universitarios (más de 20 años) y edad en torno a 40 y 50 años; y que pertenecieran a áreas de conocimiento diferenciadas buscando a priori una mayor y menor relación con las TIC (tecnología educativa, en un caso, e historia en otro). Los resultados tras la corrección de la prueba fueron los siguientes:

Para el caso piloto 1, correspondiente al experto en nuevas tecnologías, comprobamos que su aptitud en todos los ámbitos de competencia TIC respondió con una actitud favorable al cuestionario; demostró conocer, utilizar y manejar distintas herramientas, aplicaciones y estrategias metodológicas TIC; que es capaz de resolver de forma autónoma diferentes problemas técnicos y prácticos con su computadora e, incluso, que va más allá difundiendo su experiencia y conocimiento en la red.

Sin embargo, para el caso 2, que se corresponde con el docente inexperto en nuevas tecnologías (aunque con una amplia experiencia en el campo de la docencia universitaria), los resultados indican que no certifica ningún nivel de competencia TIC. Un dato curioso es que sí mostró una actitud medianamente favorable en el cuestionario de actitud frente a las TIC, pero este hecho no implica que realmente el sujeto estuviera al día de las buenas prácticas con tecnologías para la docencia, formado en el uso de las TIC para la enseñanza o que conociera diferentes estrategias metodológicas con TIC o demostrara usarlas en sus clases.

Fase 4: Rediseño: versión definitiva del instrumento

Con la corrección de los resultados de la prueba piloto, se decidió aplicar de nuevo cambios en el instrumento, con correcciones o mejoras, resultando la versión 3 del mismo. En línea con el planteamiento de Reeves, el ciclo metodológico vuelve al principio, replanteando todo lo trabajado en una primera instancia a partir del modelo teórico.

Resultados

Con la puesta en marcha de los procedimientos de validación interna (grupo de discusión) y externa (prueba piloto), obtuvimos como resultado final un instrumento de evaluación acabado que permite certificar la competencia TIC del profesorado universitario. Éste se organiza en tres partes:

Primera parte. Cuestionario: actitud frente a las TIC. Este instrumento recoge, en primer lugar, algunos datos personales, seguido de tres preguntas con sus respectivos subapartados sobre la actitud del docente hacia el uso de las TIC, la importancia de la selección de recursos en su aula, así como la valoración de las posibilidades y limitaciones que ofrecen para su uso en el aula.

Segunda parte. Cuestionario: registro de trabajos. Este instrumento invita a contestar siete preguntas con sus subapartados, donde se podrá pedir una recopilación de enlaces, capturas de imagen, videos o cualquier tipo de documento (siempre respetando el anonimato) para poder demostrar que el profesor:

Tercera parte. Prueba práctica con computadora. En esta parte se le pedirá al docente que realice cuatro ejercicios, con el fin de demostrar que:

La completa realización de esta prueba se lleva a cabo en dos sesiones de, aproximadamente, dos horas de duración cada una: la primera para completar la primera y segunda partes y la segunda para realizar la tercera.

Una síntesis de todo el proceso de validación se incluye el cuadro 1, donde se muestran los cambios más destacados de una versión a otra del instrumento.

Elaboración propia.

Cuadro 1: Síntesis de los cambios elaborados en el instrumento durante la validación 

La versión definitiva del instrumento está disponible para su consulta y/o reutilización en el Depósito Digital Institucional de la Universidad de Murcia (^{Durán, Gutiérrez y Prendes, 2015}). Además, hemos incorporado en el anexo 1 los valores correspondientes, acordados en la validación por expertos, para el cálculo de resultados.

Conclusiones

El punto de partida de esta investigación surge del planteamiento de un problema situado dentro del contexto universitario, donde cada vez se le da más prioridad a la adecuada formación en competencias digitales.

A través de la fundamentación teórica hemos podido comprobar que son escasos los instrumentos de certificación de competencia TIC del profesorado universitario que evalúen todos y cada uno de sus ámbitos. Con la creación de este instrumento damos un paso adelante en este sentido, aportando valor añadido en esta problemática ya que:

La naturaleza innovadora queda completamente justificada al ser la presente investigación un impulso, demandado y necesario, para la mejora de la docencia en la educación superior, pretendiendo no solamente determinar estándares o ámbitos de la competencia digital que son susceptibles de evaluar, sino que va más allá, diseñando una prueba basada en la certificación.

Finalmente, debemos añadir que este trabajo es el primer paso en el desarrollo de una investigación en continua actualización que pretende avanzar en esta línea siguiendo los pasos de un proceso de diseño y revisión riguroso. En fases sucesivas se irán introduciendo las mejoras necesarias hasta conseguir un instrumento que, de forma fiable, permita la certificación de la competencia TIC del profesorado. Detallamos a continuación las principales líneas de trabajo futuras: