Reflexiones en torno a las competencias como objeto de evaluación en el ámbito educativo

Reflections on Competency Based Assessment in Education

Arturo de la Orden Hoz*

* Universidad Complutense de Madrid Ciudad Universitaria, 28040 Madrid, España aforden@telefonica.net

Recibido: 27 de septiembre de 2011;
aceptado para su publicación: 12 de octubre de 2011

Resumen

Asegurar un efecto positivo de la evaluación en la educación basada en competencias (EBC) exige, obviamente, un sistema evaluativo educativamente válido. Para ello, es necesario especificar y definir la competencia como objeto de evaluación. Tras un análisis de la literatura pertinente, el artículo presenta dos concepciones de competencia: 1) La competencia como desempeño efectivo y eficiente de una función o un papel (rol) en un ámbito determinado, y 2) La competencia como conjunto integrado de conocimientos, habilidades, destrezas y actitudes. La primera concepción de competencia exige un modelo holístico de evaluación, es decir, una apreciación global de la competencia, más que la valoración analítica de los requisitos exigidos por ella. Respecto a la segunda concepción de competencia, en principio, resulta teóricamente adecuado el modelo conocido como Performance Assessment. El artículo finaliza con una referencia a los modelos avanzados de performance assessment y a la estructura de su diseño así como una breve alusión a la validación de los sistemas de evaluación de competencias.

Palabras clave: Competencias, evaluación de realizaciones, evaluación de habilidades y destrezas, diseño de evaluación de competencias.

Abstract:

Ensuring a positive impact of assessment on Competency Based Education (CBE) requires, obviously, an educationally valid assessment system. It is therefore necessary that competency be specified and defined as an object of assessment. Following a review of the relevant literature, this article presents two conceptions of competency: 1) Competency as effective and efficient performance of a function or role in a given area, and 2) Competency as an integrated combination of knowledge, abilities, skills and attitudes. The first conception of competency calls for a more holistic evaluation model, which is to say a comprehensive appraisal of competency, rather than an analytical assessment of its requirements. With regard to the second conception of competency, a theoretically adequate model is the one known as Performance Assessment. The article concludes with a reference to advanced models of performance assessment and to their design structure, closing with a brief allusion to the validation of competency assessment systems.

I. Introducción

Uno de los grandes problemas de la Educación Basada en Competencias (EBC) es el diseño y aplicación de adecuados sistemas de evaluación para determinar, por una parte, el logro, por los alumnos, de las competencias previstas en los objetivos curriculares y, por otra, la efectividad de los programas. Probablemente este problema está vinculado a la complejidad del propio constructo competencia, semánticamente próximo a otros conceptos como habilidad, destreza, aptitud, etc. pero también a la dificultad de construir procedimientos evaluativos de alta validez, adecuados a las exigencias de este enfoque educativo.

De modo más general, podríamos explicar el fenómeno de la problemática evaluativa en EBC por la relación singular entre la evaluación y su objeto. En efecto, la función de la evaluación en educación, igual que en el resto de los sistemas sociales artificiales, es optimizar su estructura, proceso y producto actuando como un mecanismo de retroalimentación de tales sistemas para asegurar su permanencia, eficacia y funcionalidad (De la Orden, 2009). Esa relación, obviamente, es interactiva:

• El enfoque dado a la educación determina en gran medida la naturaleza, alcance y rasgos del modelo evaluativo.

• El modelo de evaluación, a su vez, influye decisivamente en el producto y el proceso de la Educación.

Respecto al primer punto, la concepción de la educación y la naturaleza y características de sus objetivos, métodos y productos condicionan en alto grado qué evaluar, cómo evaluar y cuándo evaluar. Así, al adoptar el enfoque educativo EBC, el objeto de la evaluación del logro de los alumnos (qué evaluar) no puede ser otro que las competencias establecidas como objetivos, lo que a su vez condiciona sustancialmente la metodología y los instrumentos de evaluación (cómo evaluar) y por consiguiente habrá que modificar también el número y la frecuencia de las intervenciones evaluativas (cuándo evaluar).

En cuanto al segundo punto, en un trabajo anterior (De la Orden, 2000) me arriesgaba a formular como sigue lo que podría considerarse como el axioma general sobre la influencia o impacto de la evaluación en el objeto evaluado: Sea cual fuere la modalidad, tipo o modelo evaluativo adoptado en cualquier situación educativa, su impacto sobre el proceso y el producto de la educación es decisivo, siempre que la evaluación tenga consecuencias, es decir, siempre que se tomen las decisiones en función de las cuales se decidió la evaluación. Una evaluación sin consecuencias es inútil y puede ser perjudicial para el objeto evaluado y su contexto.

Si, además, consideramos el principio de la determinación teleológica de los medios, es decir, la capacidad condicionante de los fines y objetivos respecto a los medios para alcanzarlos, debemos concluir que la evaluación al prescribir realmente los objetivos de la educación determina, en gran medida, las características de la intervención y del aprendizaje resultante, lo que los alumnos aprenden y cómo lo aprenden, lo que los profesores enseñan y cómo lo enseñan, los contenidos y los métodos, en otras palabras, el producto y el proceso del programa y las características del sistema y de las instituciones escolares. En efecto, si la calidad de la educación está vinculada a un sistema de coherencias entre los elementos educativos, la virtualidad de la evaluación como estímulo o freno de la calidad educativa dependerá enteramente de las características del esquema evaluador: si los criterios y los modos de evaluación, que determinan a su vez los objetivos reales, y en última instancia el producto del sistema o del programa, son coherentes con los objetivos formalmente establecidos –o sobre los que existe un consenso implícito–, y, a través de ellos, con el sistema de valores del que derivan, la evaluación actuará como el más poderoso factor de promoción de la calidad educativa al garantizar la congruencia y eficacia del sistema en su conjunto. Si, por el contrario, los criterios y modos de evaluación movilizan los procesos educativos hacia objetivos no coherentes con las metas formalmente establecidas o implícitamente aceptadas del programa ni, en consecuencia, con el sistema axiológico en que se sustentan, la evaluación se constituye en el mayor obstáculo a la calidad (De la Orden, 1992).

Dado, pues, que la evaluación del aprendizaje puede influir positiva o negativamente en la calidad de la educación, resulta necesario determinar qué características debe poseer un modelo evaluativo para maximizar sus efectos positivos y minimizar o anular los negativos.

Evidentemente, la condición fundamental de un sistema de evaluación es que sea educativamente válido, lo cual implica no solamente que los instrumentos de medida utilizados (test, pruebas, escalas de observación, procedimientos no formales, etc.) sean válidos en el sentido tradicional, sino también que exista un máximo de congruencia entre los criterios y modos de evaluación, la especificación de objetivos y el proceso didáctico o de intervención educativa. Esta triple congruencia supone que el elemento común a los criterios y estándares de evaluación, los objetivos educativos y el proceso docente- discente es el comportamiento cognitivo, afectivo y psicomotor de los alumnos claramente especificado. En efecto, los objetivos no son otra cosa que la especificación de este comportamiento o de la capacidad para el mismo en forma de resultados esperados del proceso educativo; los criterios y estándares de evaluación, lo que se exige, constituyen, en conjunto, una muestra representativa de tal comportamiento; y el proceso didáctico se apoya en este comportamiento como base para su adquisición por los alumnos.

En consecuencia, la validez educativa de la evaluación del aprendizaje, como base de la calidad de la educación, significa:

1. Que el aprendizaje de los alumnos (conocimientos y otros comportamientos que han de ser adquiridos), en nuestro caso las competencias, sean claramente definidos y especificados.

2. Que los criterios y estándares de evaluación (lo que se exige) deben constituir una adecuada muestra representativa de los contenidos y conductas especificados en los objetivos. Esta es la condición básica de la evaluación como palanca de mejora y optimización educativa.

3. Que la forma, procedimientos e instrumentos de evaluación exijan los comportamientos especificados en los objetivos del modo más directo. Es decir, la técnica evaluativa empleada (observación de procesos, análisis de productos, informe, examen escrito tradicional, cuestiones de recuerdo o reconocimiento, pruebas con materiales, preguntas, etc.) debe estar directa y estrechamente relacionada con las características del aprendizaje o realización deseadas. Por ejemplo, si un objetivo del programa de Química es que los estudiantes manejen adecuadamente determinadas piezas del equipo del laboratorio, exigir la descripción oral de cómo manejaría tales piezas, o la elaboración de un esquema gráfico del proceso, son formas menos válidas que requerir el desarrollo real del proceso en el propio laboratorio.

4. Que la evaluación sea fiable y objetiva en el sentido de que el azar o los errores instrumentales tengan un efecto mínimo en los resultados.

La cuestión, no obstante, sigue siendo cómo operacionalizar esta concepción de la validez de la evaluación educativa y lograr formas de examen para los enfoques EBC que garanticen el isomorfismo entre universos de objetivos educacionales, que representen las facetas más significativas del logro de competencias y universos de criterios evaluativos, representados por universos de ítems, cuestiones y exigencias de evaluación, Una vía posible y prometedora para operacionalizar el concepto de una evaluación isomórfica con los objetivos del aprendizaje, como base de la calidad de la educación, consiste, precisamente, en el diseño de procesos evaluativos inspirados más en la referencia criterial que en la normativa. Una evaluación de estas características se acerca mucho a la concepción evaluativa descrita como factor decisivo para optimizar la educación, ya que constituye un intento valioso de asegurar la coherencia entre criterios de evaluación (objetivos reales) y objetivos formales de la educación y, por tanto, con capacidad para movilizar el proceso educativo hacia las metas deseadas y deseables. Naturalmente, que la evaluación referida a criterios no resuelve, por sí misma, el problema de la validez ni de la calidad de la educación que exigen, además, la coherencia entre objetivos específicos y fines generales de la educación y de éstos con un sistema axiológico.

Partiendo de estas consideraciones generales sobre el sentido, funciones de la evaluación y de los requerimientos de su validez educativa, este artículo continúa con nuevas reflexiones sobre cómo adaptar las precedentes consideraciones a un plan o procedimiento general y educativamente válido de evaluación de competencias, en cuanto producto de la intervención educativa en instituciones de educación general de nivel medio o superior, sus fundamentos y justificación lógica.

II. Definición y especificación del objeto de la evaluación

Dadas las características de los fenómenos educativos, inscritos en el ámbito de la conducta humana más compleja y menos asequible a los medios convencionales de observación y medida, el acto evaluador en educación presenta especiales dificultades. Es por ello preciso describir con exactitud la faceta o aspecto de la educación a evaluar, una realidad que, por su complejidad, exige en muchos casos la utilización de instrumentos y técnicas de recolección de información y medida muy especializados y de aplicación difícil. Las competencias constituyen un caso paradigmático de objeto de evaluación de gran complejidad objetiva y subjetiva dadas, por un lado, la polisemia del término competencia y la imprecisión del concepto y, por otro, la frecuentemente insuficiente capacitación y experiencia práctica del profesorado en relación con el enfoque EBC que solo muy recientemente está alcanzando una difusión significativa en el ámbito de la educación.

Así mismo la descripción de la faceta objeto de evaluación exige, además, la organización y expresión integrada de la información relevante en una síntesis descriptiva coherente de modo que permita una interpretación adecuada de la misma para su comparación con la pertinente instancia de referencia. Dado que, en nuestro caso, la faceta u objeto de evaluación son las competencias en cuanto aprendizaje de los alumnos, el criterio o estándar será una buena formulación de objetivos en términos de dominio de competencias que permita comparar con ellos el rendimiento logrado por los estudiantes en este campo.

Definición y descripción de las competencias como objeto de evaluación

Dado que la concepción del objeto de evaluación determina el proyecto evaluativo en su conjunto, intentamos aquí establecer con claridad el, o los, conceptos dominantes de competencia. Si la competencia se identifica con el desempeño efectivo y eficiente de funciones o roles (profesionales, académicos, vitales, etc.) el proyecto evaluativo será diferente de otro en que la competencia se conciba como la posesión de unos determinados conocimientos, el dominio de una serie de habilidades y destrezas y la orientación hacia ciertos valores y actitudes. Pese a esta exigencia, y a la preocupación general por el problema, la actual literatura sobre competencias carece de una base conceptual y analítica y no existe un reconocimiento explícito de la necesidad de programas de investigación tendientes a promover una mejor comprensión de la naturaleza de la competencia, cómo desarrollarla en los alumnos, como puede ser evaluada y cuál puede ser el impacto que tendría tanto en los estudiantes como en las organizaciones educativas y en la sociedad en general.

En efecto, revisando los estudios sobre desarrollo de competencias, se puede concluir que los conceptos de competencia y de educación basada en competencias (EBC) aparecen aún difusos y requieren una definición clarificadora. A este respecto, Mulder (2004) consideraba prudente no partir de una definición cerrada sino, preferentemente, de una definición provisional que sirva de referente de la idea de competencia para iniciar el trabajo y proceder a la búsqueda de una más completa delimitación conceptual. Consecuentemente, Mulder identifica la competencia, en sentido lato con "la capacidad de una persona para alcanzar logros específicos". A continuación presentamos de forma resumida las concepciones prevalentes de competencia en la literatura sobre el tema.

La idea provisional de Mulder sobre la competencia, citada antes, parece suponer que la educación basada en competencias (EBC) apunta como finalidad a preparar a las nuevas generaciones para el desempeño exitoso de funciones y roles académicos, técnicos, profesionales o vitales en general, lo que sugiere una clara connotación de capacidad y aptitud para hacer algo. En consecuencia, epistemológicamente, no parece impertinente el tratamiento del tema en el marco de la distinción entre saber qué y saber cómo en la interpretación de Scheffler (1965). En esta perspectiva, la EBC acentúa el saber cómo, situándose más en la línea del entrenamiento, mientras que la educación general tradicional se sitúa claramente en la línea del saber qué. Esta situación plantea la necesidad de una definición precisa, válida y operativa del concepto de competencia.

En un trabajo reciente (De la Orden, 2011) me refiero a la competencia como un término polisémico que refleja la multidimensionalidad percibida del concepto que expresa. Etimológicamente, el término deriva del verbo latino competere que significa, además de competir, ser suficiente para algo. También se aplica a aquello que conduce a ese algo. Por tanto, un individuo es competente cuando reúne los requisitos suficientes para hacer algo, y lo hace; para llegar a alguna parte, y llega; en fin, para lograr algo. Ribes (2011), con mayor precisión considera que ser competente siempre se refiere a una forma de intervención o hacer específico en un dominio específico. Ser competente, al contrario que ser apto para algo, no antecede a la acción adecuada y efectiva, es equivalente a ella. Toda competencia está acotada por un campo de acción y los logros correspondientes.

En educación, la idea de competencia como objetivo surgió, en parte, como reacción frente a la posición preeminente del conocimiento en este campo, especialmente del conocimiento propositivo, saber qué. Por tanto, esta reacción pretende acentuar la acción, es decir, el saber vinculado a las habilidades y destrezas como manifestaciones del conocimiento procedimental, o saber cómo; pero cada uno de estos términos tiene un sentido especial y, como afirma Ribes (2011), mal-suponer su intercambiabilidad puede llevar a la confusión. Ciertamente, un conocimiento no es una competencia, como tampoco lo son una capacidad, una aptitud, una destreza o una habilidad. Sin embargo, no es pensable una competencia sin ellos. Tomando el segundo sentido etimológico señalado al analizar el término competencia, estas categorías del saber cómo (conocimiento, habilidad, destreza, etc.), requeridas para un funcionamiento exitoso en la posición o papel desempeñado, pueden representar aquello que permite el desempeño que conduce a ese algo, cuyo logro constituye la esencia de la competencia. Ribes (2011) insiste en que ser competente es ejercitar el conocimiento previamente aprendido. Se aprende a ser competente en la medida en que se aprenden desempeños y criterios de ejercicio del conocimiento. Jugadores "igualmente" hábiles en apariencia, pueden ser o no competentes en el cumplimiento de los criterios que se establecen para ser eficaces en un juego. Ser competente es más que ser hábil o experto. Implica ajustar las habilidades, a criterios funcionales de diverso nivel.

En consecuencia, la competencia no se identifica con la posesión de conocimientos, capacidades, destrezas o habilidades sino con el desempeño eficaz y eficiente de un papel o de una función en un ámbito determinado o en la vida en general que implica, obviamente, la posesión, de los requerimientos de éxito, y el uso experto, integrado, de los mismos (De la Orden, 2011).

La competencia como conjunto integrado de conocimientos, destrezas y actitudes

Aunque podríamos hablar de una amplia aceptación, en el ámbito educativo, de la idea general de competencia como desempeño exitoso de funciones o roles, la polisemia del término es un indicador de la carencia de una teoría con suficiente potencial científico explicativo de la conducta humana específica que define el concepto de competencia y de sus relaciones con los conceptos a que hacen referencia los términos semánticamente próximos, como capacidad, aptitud, habilidad o destreza. Esta situación condiciona las posibilidades y modos de su aplicación a la práctica educativa. De hecho, en la literatura sobre planificación, currículo y, especialmente, sobre evaluación de la educación basada en competencias, se confunden con frecuencia estos conceptos, aunque teóricamente se parta de una definición de competencia diferenciada de los mismos.

En efecto, junto a la idea general de competencia como desempeño exitoso de funciones y papeles, surgida en el contexto de Competence-based Teacher Education (CBTE), el movimiento innovador americano para la formación de maestros en las décadas de los sesenta y setenta del siglo pasado (Chickering y Claxton, 1981), comenzó el desarrollo de otra idea de competencia, también general, centrada en los elementos supuestamente implicados en la misma. Quizá esto pueda tener relación con el hecho de que la competencia, por definición, se vincula a algún papel o posición (profesor competente, médico competente, director competente, etc.) y las ligaduras en esta vinculación entre competencia y posición son los conocimientos, destrezas, habilidades y actitudes, etc. que han constituido el núcleo de la capacitación profesional para un funcionamiento exitoso en la posición o papel a desempeñar por estos profesionales.

Por otra parte, uno de los factores que más contribuyeron a la confusión fue la interpretación como competencias para la vida de la expresión inglesa skills for life utilizada para caracterizar lo que las pruebas PISA pretenden medir desde su aplicación del año 2000 (Rychen y Salganik 2001, 2003). Las skills, o destrezas, que pretende medir la prueba PISA se han difundido en el ámbito educativo como competencias básicas identificadas, de forma simple en este caso, con la capacidad de los alumnos para aplicar los conocimientos adquiridos en la escuela a la resolución de problemas en la vida real.

Otra posible consecuencia de la ambigüedad conceptual del término competencia es la insuficiente consideración de las diferencias entre los diversos modos de educación, al aplicar el modelo competencial. Es evidente que el modelo EBC responde mejor a las exigencias de la formación ocupacional y de los diversos niveles de educación profesional, más cerca del entrenamiento, que a los requerimientos de la educación secundaria obligatoria, del bachillerato y de una parte importante de la enseñanza universitaria, más cerca de la educación general. Probablemente, una mayor atención a estas diferencias hubiera permitido soluciones más adecuadas que el mero recurso a la nomenclatura derivada de la inadecuada interpretación de las skills que pretenden medir las pruebas PISA. Así surgieron las denominadas competencias genéricas y competencias básicas; las primeras adoptadas "de jure", por ejemplo, en el bachillerato mexicano (Subsecretaría de Educación Media Superior, 2008), y "de facto" en muchas universidades españolas (Acuerdo de Bolonia), y las segundas legalizadas como base y estructura curricular de la educación primaria y secundaria obligatoria en España (Decretos 1513 y 1631 de 2006). Estas circunstancias, junto a la insuficiencia de una base teórica rigurosa facilitaron la configuración de la EBC como un movimiento orientado fundamentalmente a la formación práctica (performance) centrado, en general, como objeto de educación, en alguna forma de conocimiento aplicado al que se denomina competencia sin suficiente justificación teórica y, en muchos casos, con grave riesgo de caer en la rutina.

Asimismo, desde finales del siglo pasado y hasta nuestros días, se están incrementando los proyectos (CBE) en las universidades. Lucio y Wilson (2004) presentan un excelente trabajo sobre el aprendizaje activo en la educación superior y su potencial para desarrollar la capacidad profesional. En Europa los acuerdos de Bolonia sobre el Espacio Europeo de Educación Superior (EEES) constituyen el referente común de los estudios sobre las llamadas competencias básicas, mayoritariamente concebidas como conjuntos integrados de conocimientos, destrezas, habilidades y actitudes. España no es una excepción como puede constatarse en los trabajos de autores representativos como De Miguel (2005) y Zabalza (2007). Aunque, en ocasiones, los proyectos no parten explícitamente de un concepto específico de competencia, al enfrentarse con la evaluación del aprendizaje, se centran en la determinación del nivel alcanzado por los alumnos en conocimientos y destrezas, como indicadores del grado en que han adquirido las competencias programadas.

En resumen, hemos identificado dos formas generales de concebir y definir las competencias como objetivos de educación y, por tanto, como objeto de evaluación, que podemos caracterizar así:

1. La competencia es el desempeño efectivo y eficiente de una función, de un papel o de una posición.

2. La competencia es la combinación y uso integrado de conjuntos de conocimientos, destrezas, habilidades y actitudes para realizar una determinada tarea.

En coherencia con el principio de la necesaria adaptación de la evaluación a las características de su objeto, cada una de estas concepciones de competencia exige diferentes formas, planes, metodologías, instrumentos de recolección de información y modos de expresar la valoración de los resultados de la intervención educativa.

El resto del artículo se dedica, en consecuencia, a la caracterización general de la evaluación de la competencia, como producto educativo, en las dos concepciones señaladas.

III. Tipos de evaluación de competencias educativamente válidos

La evaluación es percibida como uno de los mayores problemas en el enfoque EBC. Esta dificultad deriva de la complejidad del objeto de evaluación, cualquiera que sea la concepción o definición de competencia que se adopte como base, aunque evidentemente existen diferencias en las exigencias evaluativas entre las competencias definidas, por un lado, como desempeño de funciones y, por otro, como combinacionesde conocimientosy destrezas, incluyendo en este grupo también las denominadas competencias básicas o genéricas.

Según Raven y Stephenson (2001), las siguientes tres características son especialmente importantes en la definición de la evaluación de competencias:

• El énfasis en los resultados o productos, en este caso, de la EBC, específicamente en cada uno de los múltiples resultados, considerando separadamente a cada uno.

• La creencia de que estos resultados pueden y deben ser especificados hasta el punto en que aparezcan con la máxima claridad y "transparencia".

• Separación o desligamiento de la evaluación de instituciones o programas particulares.

Sin embargo, dos de estos rasgos, el énfasis en los resultados y la transparencia, no son exclusivos del contexto competencial en evaluación; también aparecen como características definitorias del tipo de medida y evaluación de referencia criterial, aunque obviamente, evaluación de competencias y evaluación referida a criterios no son idénticas. La primera implica la idea de competencia que es esencialmente no académica. En la práctica, parece derivar del análisis de un rol prospectivo en la sociedad contemporánea con la finalidad de certificar el progreso de los estudiantes en base a demostraciones de desempeño de roles. En otras palabras, la competencia es de origen ocupacional y está vinculada a la idea de realizaciones en la "vida real".

Evaluación de competencias concebidas como Desempeño Efectivo y Eficiente de Funciones y Roles o Papeles

Las bases y postulados de esta orientación educativa parecen apuntar hacia modelos evaluativos holísticos, de apreciación global de la competencia, más que a la valoración analítica de los requisitos exigidos por ella. En efecto, la evaluación global de una competencia resulta mucho más compleja que la simple medida de conocimientos y destrezas básicas, pero constituye la única forma válida de hacerlo. Así, la constatación de que un sujeto no alcanza el nivel de conocimientos, destrezas y actitudes requerido por una competencia determinada indica, sin lugar a dudas, que el sujeto en cuestión no ha logrado dicha competencia; pero esto no permite afirmar que si el sujeto de referencia hubiera alcanzado el nivel establecido en cada uno de los requisitos señalados como exigencia, habría adquirido la competencia pretendida. En otras palabras, el dominio de los conocimientos, destrezas y actitudes, supuestamente requisitos necesarios de una competencia no es evidencia suficiente de la adquisición y dominio de la misma. En efecto, el dominio de una competencia se identifica exclusivamente con el cumplimiento de una función o el desempeño con éxito de un papel, lo cual supone cumplir, claro está, los requerimientos básicos (conocimientos, destrezas, actitudes y su utilización adecuada en un contexto dado).

Como afirma Ribes (2011) el aprendizaje basado en competencias, así concebidas, no requiere de procedimientos de evaluación extrínseca a la propia situación de enseñanza-aprendizaje. La competencia tiene lugar, o no tiene lugar, en términos de actividades y logros en una situación determinada.

Con la idea de competencia como desempeño exitoso de una función o rol, ¿cómo podemos desarrollar un adecuado sistema de evaluación para determinar en qué grado los alumnos han adquirido las competencias previstas? La forma más simple de responder a esta cuestión sería asegurar que la definición de la competencia incluyera la minuciosa descripción del desempeño de la función, o rol, y los criterios de éxito en el desempeño.

En una perspectiva pragmática, pasamos a exponer esquemáticamente los pasos pertinentes en la planificación y diseño de la evaluación de competencias como desempeño exitoso de funciones o roles, en el contexto apuntado:

1) Análisis de los roles y funciones generales a desempeñar y los específicos dentro de cada uno de los generales, y determinación de las competencias.

2) Definición operacional de las competencias deseadas como resultados o productos de la intervención educativa.

La definición operativa de una competencia resulta mucho más compleja que los conocimientos disciplinares y las destrezas básicas. En efecto, es mucho más fácil definir resultados en lenguaje, matemáticas, física o sociología que en el logro de una competencia profesional o vital incluida como objetivo o resultado esperado, por ejemplo, ser un consumidor responsable, un cirujano cardiovascular, un gran orador, un buen padre, un excelente jugador de baloncesto o un buen ciudadano. Por tanto, las especificaciones precisas de esos roles o funciones constituye un primer paso crítico en la evaluación de competencias.

3) Tansformar las competencias en resultados o productos esperados (Objetivos).

4) Establecimiento de criterios y estándares de éxito del desempeño para la evaluación.

5) Determinación precisa de las condiciones de la evaluación del desempeño

Es importante decidir las tareas del evaluando y las situaciones de evaluación, es decir, el contexto de la evaluación, donde realizarla (en el lugar de trabajo, en la escuela, en un contexto de simulación, etc.).

6) Métodos e instrumentos de evaluación.

Deberán seleccionarse los métodos más relevantes y directos para la competencia a evaluar. He aquí algunos de los más adecuados:

• Demostración práctica de la competencia.

La inspección visual y la valoración del producto pueden ser realizados con objetividad. Los instrumentos usuales para registro y valoración del desempeño son las listas de control y las escalas de valoración.

• Simulaciones. Los mismos instrumentos que en la demostración práctica o mecanismos automáticos de registro y valoración.

• Observación directa: listas de control y escalas de valoración; para productos, escalas de producción.

• Observación Indirecta: evidencia de los supervisores, colegas, etc.

]]> • Evidencia de formación anterior: portafolios, cualificaciones, etc.

7) Procedimientos de valoración y su transformación en puntuaciones.

La diferenciación entre niveles de competencia debe objetivarse de forma precisa, para lo cual es necesaria una formalización numérica que represente adecuadamente el grado de dominio de una competencia (Jornet et al., 2011).

8) Establecimiento de las puntuaciones de corte para distinguir nítidamente los niveles de competencia (éxito en el desempeño).

Definir los elementos que diferencian los niveles de competencia es una exigencia básica. La calidad de las puntuaciones de corte afecta directamente a la validez de la evaluación (Jornet et al., 2011)

Evaluación de competencias concebidas como combinación de conocimientos y destrezas

La Educación Basada en Competencias, apoyada en una concepción de la competencia como el conjunto integrado de conocimientos, habilidades y destrezas y actitudes necesarios para el logro de la tarea o la solución de los problemas exige, para la evaluación de los resultados o productos, la determinación y definición de los conocimientos, habilidades, destrezas y actitudes necesarios para el logro de la competencia. La adquisición de estos requisitos constituye el objetivo real de la formación competencial y, en consecuencia, el objeto directo de la evaluación. En esta perspectiva evaluar competencias se limitaría a evaluar conocimientos, destrezas y aptitudes y el dominio de uno, dos o los tres de estos requisitos se identificaría con el dominio de una competencia.

Siguiendo, en general, el análisis que hace Ribes (2011) del significado de estos términos, me limito a una breve caracterización de los conceptos que representan. Destreza (habilidad) se identifica con "hacer algo que se ajusta a algo", es decir, supone una acción y un objeto sobre el que se actúa. Toda destreza presupone siempre una técnica y su utilización apropiada. La aptitud, por su parte, se refiere no a lo que se hace sino a lo que se puede hacer. Se trataría de una propensión a actuar de cierta manera y no de otra y, siempre, este hacer, o no hacer, ligado a un criterio. Es decir, la aptitud delimita la forma en que se cumplirá un requisito. Finalmente, conocer y saber, como términos de capacidad, se relacionan con métodos, técnicas y desempeños acercándose conceptualmente al término destreza, especialmente si nos referimos más al saber cómo, o conocimiento procedimental que al saber qué o conocimiento deliberativo.

Como ya hemos señalado, los instrumentos clasificados en la categoría de Performance Assessment o, evaluación de realizaciones, conocido también como Evaluación Auténtica, resultan adecuados en la medición de las destrezas del estudiante para resolver problemas, para razonar y la habilidad para aplicar el conocimiento a la resolución situaciones importantes y complejas. En esencia, se proponen tareas evaluativas que reproducen habilidades, destrezas, actividades y funciones del mundo real en contextos que reflejan situaciones en las cuales se requiere su práctica (American Educational Research Association, American Psychological Association y National Council on Measurement in Education, 1999)

La característica diferencial de la evaluación de realizaciones (Performance Assessment) es, pues, la alta similitud entre la realización o desempeño que se solicita en la evaluación y la realización que se desea promover en el alumno como resultado de la educación (Kane, 2001). Consecuentemente, proporciona una medida más directa del aprendizaje y logro de los alumnos que los tests de elección múltiple. La evaluación de realizaciones puede, por ejemplo, requerir al estudiante que dirija un experimento de laboratorio (proceso) y elaborar un informe original sobre la realización y el resultado del experimento (producto) con la convicción de lograr una valoración y una medida más directas de las destrezas que formulando preguntas en una prueba de elección de respuestas.

Este tipo de evaluación ha sido adoptado de forma general en las escuelas y universidades con programas de Educación Basado en Competencias en realidad, Performance-Based Education, dado que la concepción prevalente de competencia en estas instituciones supone su identificación de facto con destrezas y conocimientos de diverso orden. En principio, tanto el modelo general, evaluación de realizaciones (Performance Assessment) como su modalidad específica, evaluación de destrezas (Skill Assessment), son teóricamente adecuados en este enfoque educativo por su coherencia con el objeto a evaluar. No obstante, aunque la investigación confirma que la evaluación de realizaciones aporta soluciones a diversos problemas que plantea la evaluación tradicional, su aplicación para evaluar sumativamente amplias poblaciones resulta más costosa e ineficiente que la aplicación de procedimientos tradicionales.

Asimismo, Shavelson, Baxtor y Gao (1993) detectaron problemas en torno a la variabilidad de la muestra de las tareas a realizar. Los estudios pusieron de manifiesto que los resultados de los estudiantes en la realización variaban significativamente de una a otra tarea. Se supone que, idealmente, la realización de los alumnos debería ser similar en todas las tareas. Aparecieron problemas semejantes relacionados con la variabilidad de la muestra de las "ocasiones" para la realización, los estudiantes variaban de una ocasión de prueba a otra. También se descubrió que el muestreo de tareas y ocasiones se confundían, resultando difícil distinguir la causa del error. Como resultado, los investigadores sugieren que se precisan múltiples pruebas para lograr observaciones adecuadas de la realización del estudiante. Métodos diferentes de probar la realización de las tareas proporcionan una variedad de evidencia que puede utilizarse para triangular la evaluación.

En síntesis, la meta de una evaluación es obtener inferencias válidas relacionadas con los resultados esperados de los alumnos (Linn et al., 2002). No es posible conseguir con una evaluación todos los propósitos; por ejemplo, una evaluación que proporcione información sobre la comprensión conceptual profunda de los alumnos que puede utilizarse para orientar la enseñanza, debe ser diferente de otra evaluación que proporcione valoraciones del sistema educativo para dirigir la política y la gestión del mismo.

Sin embargo, la investigación sobre la próxima generación de formas de evaluación podría romper el molde de las prácticas tradicionales de pruebas. Se están diseñando formatos de evaluación innovadores, como las simulaciones, para medir altos y complejos niveles de conocimiento y búsqueda de soluciones a problemas y situaciones nuevas imposibles de probar con los formatos tradicionales (Quellmalz y Pellegrino, 2009). La evaluación en el área de enseñanza de las ciencias destaca claramente en la exploración de nuevos problemas, tipos de ítems y enfoques evaluativos para la educación pre universitaria. En 2006, PISA piloteó la prueba Computer-Based Assessment of Science (CBAS) con la finalidad de probar el conocimiento científico y procedimientos de búsqueda no medidos en el correspondiente test de PISA, en formato papel. CBAS incluye ítems basados en escenario y conjuntos de tareas tales como investigaciones sobre las instalaciones de la temperatura y presión para un reactor nuclear simulado. En 2009 la estructura y especificaciones para la evaluación del conocimiento científico del National Assessment of Educational Progress (NAEP) proponía diseños de tareas interactivas en el computador para probar la habilidad de los alumnos e implicarse en prácticas de investigación científica (Quellmalz et al., 2009).

Los mismos autores describen otras formas innovadoras de evaluar para incrementar tanto la sofisticación de los problemas propuestos a los estudiantes como las observaciones exigidas para la colecta y análisis de evidencia necesarios para hacer inferencias acerca de lo que saben y pueden hacer los estudiantes (Quellmalz et al., 2009).

Diseño y puntuación de la evaluación de conocimientos y destrezas

La planificación y diseño de la evaluación de los conocimientos, destrezas y habilidades con que se identifican las competencias a que me estoy refiriendo en este apartado es muy similar a la apuntada para la evaluación de las competencias concebidas como desempeño exitoso de funciones y roles. Aquí, sin embargo, nos basaremos en uno de los estudios que han supuesto avances significativos en la metodología y el diseño de la evaluación de conocimientos y destrezas en el marco del Performance Assessment, aludidos en los párrafos anteriores. En efecto, asumiendo la idea de Linn et al. (2002), ya citada, de que la meta de la evaluación de realizaciones es proporcionar evidencias válidas relacionadas con lo que esperamos de los estudiantes, uno de los modelos de diseño más avanzado es Evidence-Centered Design (ECD) (Mislevy, Steinberg y Almond, 2003; Mislevy y Haertel, 2006) que, según Clarke-Midura y Dede (2010) proporciona procedimientos rigurosos para unir las teorías del aprendizaje y del conocer a las demostraciones para interpretar las evidencias.

1. Análisis del dominio, objeto de evaluación.

2. Modelamiento del dominio.

3. Estructura conceptual de la evaluación.

4. Arquitectura de la prueba.

Las fases 1 y 2 se centran en los propósitos de la evaluación, en la naturaleza del saber a evaluar y en las estructuras para observar y organizar el conocimiento.

La fase 3 está relacionada con el llamado Triángulo Evaluativo, es decir, el diseño se centra en el modelo del estudiante como sujeto que aprende (qué destrezas se están evaluando); el modelo de evidencia (qué conductas o realizaciones ponen de manifiesto el conocimiento y las destrezas evaluadas); y el modelo de tarea (qué situaciones ponen de manifiesto las conductas o evidencias).

La fase 4 se centra en la presentación y puntuación de la tarea.

La evaluación de la realización del alumno requiere procedimientos de puntuación cuidadosamente diseñados de acuerdo con la naturaleza de las tareas y las destrezas y conocimientos que se trata de medir. Los procedimientos deben basarse en juicios de expertos, ya que las respuestas del estudiante son valoradas de acuerdo con criterios predeterminados. Es absolutamente necesario definir con precisión y claridad los procedimientos para que puedan derivarse interpretaciones válidas de las puntuaciones asignadas.

Se pueden usar rúbricas holísticas o analíticas. En las primeras, no se establecen niveles de realización para cada criterio, sino que se valora la realización, como un todo, con múltiples criterios; en las segundas, se articulan niveles de realización para cada criterio.

Quiero terminar con una brevísima referencia a la validación de la evaluación de competencias, específicamente de la evaluación de conocimientos y destrezas como expresión de competencias. En otras palabras, se trata de destacar la importancia de enfrentarse con el problema de la validez de la evaluación de realizaciones (performance assessment). En efecto, la validez es un tema esencial en la elaboración y aplicación de instrumentos de medida y evaluación. De acuerdo con Messick (1994):

La validez es un juicio evaluativo integrado que indica el grado en que la evidencia empírica y la racionalidad teórica confirman la adecuación y propiedad de inferencias y acciones basadas en las puntuaciones de una prueba o de cualquier otro modo de evaluación.

Intentar obtener evidencia de nuestras preguntas y tareas evaluativas prueba realmente que el conocimiento, destrezas y habilidades de los estudiantes son realidades complejas. Para los tests de Educación y Psicología pueden consultarse los estándares generales de AERA, APA y NCME. Entre los criterios específicos de validez propuestos para la evaluación de realizaciones, se citan con frecuencia, sin que esto suponga limitación alguna para otros, los siguientes:

• Representatividad del contenido en la muestra de conocimientos y tareas seleccionadas para la prueba.

• Complejidad cognitiva, lo cual supone que la realización de las tares propuestas a los estudiantes requiera las destrezas de pensamiento con el nivel de complejidad deseada.

• Significatividad, es decir, las tareas propuestas serán percibidas como significativas y valiosas por alumnos y profesores.

• Generalizabilidad, como indicador de la fiabilidad de la prueba que es requisito necesario de validez.

Son recomendables, entre otros, los siguientes trabajos sobre validez de la evaluación de realizaciones: Quellmalz et al. (2006), Baartman etal. (2007) y Messick (1995).

Referencias

American Educational Research Association, American Psychological Association y National Council on Measurement in Education (1999). Standars for educational and psychological testing. Washington: Autor.         [ Links ]

Baartman, L., Bastiaens, T., Kirschner, P . y Vandervleuten, C. (2007). Evaluating assessment quality in competence-based education. Educational Research Review, 2, 114-129.         [ Links ]

Biemans, H., Nieuwenhuis, L., Poell, R., Mulder, M. y Wesselink, R. (2004). Competence-based vet in the Netherlands. Journal of Vocational Education and Training, 56(4), 523-538.         [ Links ]

Chickering, A. y Claxton, C. (1981). What is Competency? En R. Nickse, y L. McClure (Eds). Competency-Based Education (pp. 5-42). Nueva York: Teachers College-Columbia University.         [ Links ]

Clark-Midura, J. y Dede, C. (2010). Assessment, Technology and Change. Journalof Research of Technology in Education,42(3), 309-328.         [ Links ]

De la Orden, A. (1992). Calidad y evaluación de la enseñanza universitaria. Actas del Congreso Internacional de Universidades, pp. 531-539. Madrid: Publicaciones de la Universidad Complutense.         [ Links ]

De la Orden, A. (1997). Evaluación y optimización educativa. En H. Salmerón (Ed.). Evaluación Educativa (pp. 13-28). Granada: Grupo Editorial Universitario.         [ Links ]

De la Orden, A. (2000). La función optimizante de la evaluación de programas educativos. Revista de Investigación Educativa, 18(2), 381-389.         [ Links ]

De la Orden, A. (2011a). El problema de las competencias en la educación general Revista Bordón, 63(1), 47-63.         [ Links ]

De la Orden, A. (2009). Evaluación y calidad. Análisis de un modelo. Estudios sobre Educación, 16, 17-36        [ Links ]

De la Orden, A. (2001b). Educación y competencias, presentación editorial. Revista Bordón, 63(1), 9-12.         [ Links ]

De Miguel, M. (2005). Modalidades de enseñanza centradas en el desarrollo de competencias. Madrid: MEC y Universidad de Oviedo.         [ Links ]

Eraut, M., Alderton, J., Cole, G. y Senker, P. (1998). Development of knowledgeand skills in employment, Reporte de investigación No. 5. Brighton: Universidad de Sussex.         [ Links ]

Hambleton, R. K. (1996). Advances in assessment models, methods and practices. En D. C. Berliner y R. C. Calfee (Eds.), Handbook of educational psychology, 899-925.         [ Links ]

Jornet, J. et al. (2011). Diseños de procesos de evaluación de competencias: consideraciones acerca de los estándares en el dominio de las competencias. Revista Bordón, 63(1), 125-147.         [ Links ]

Kane, M. T. (2001). Current concerns in validity theory. Journal of Educational Measurement, 38, 319-342.         [ Links ]

Lane, S. y Sean, T. (2008). Performance assessment 21st Century Education: A Reference Handbook. Los Ángeles, CA: Sage Publications.         [ Links ]

Linn, R. L. (1994). Performance assessment: Policy promises and technical measurement standars. Educational Researcher, 23(9), 4-14        [ Links ]

Linn, R. L., Baker, E. L. y Betebenner, D. W. (1994). Accountability systems: Implications of requirements of No Child Left Behind Act of 2001. Educational Researcher, 31(6), 3-26.         [ Links ]

Lizzio, A. y Wilson, K. (2004). Action learning in Higher Education: An investigation of its potential to develop professional capability. Studies in Higher Education, 29, 469-488.         [ Links ]

Messick, S. (1994). The interplay of evidence and consequences in the validation of performance assessment. Educational Researcher, 23, 13-23.         [ Links ]

Messick, S. (1995). Validity of psychological assessmenrt. Validation of inferences from persons responses and performances as scientific inquiry into score meaning. American Psychologist, 50, 741 -749.         [ Links ]

Mislevy, R. J., Steinberg, L. S. y Almond, R. G. (2003). On the structure of educational assessment. Measurement Interdisciplinary Research and Perspectives, 1, 3-62.         [ Links ]

Mislevy, R. J. y Haertel, G. (2006). Implicationsofevidence-centered design foreducational testing (Inf. Téc. No. 17) Menlo Park, CA.         [ Links ]

Mulder, M. (2004). Education, competency and performance. Wageningen: Wageningen University.         [ Links ]

Mulder, M., Weigel, T. y Collings, K. (2008). Concepto de competencia en el desarrollo de la educación y formación en países de la Unión Europea. Revista deCurriculum y Formación del Profesorado, 22 (3).         [ Links ]

Quellmalz, E., Timms, M. y Schneider, S. (2009). Assessment of studentlearningin science simulations and games. Washington: National Research Council.         [ Links ]

Quellmalz, E. S. y Pellegrino, J. W. (2009). Technology and testing. Science, 323, 75-79.         [ Links ]

Raven, D. y Stephenson, J. (Eds.) (2001). Competence in the learning society. Nueva York: Peter Lang.         [ Links ]

Real Decreto 1513/2006 de 7 de diciembre, por el que se establecen las enseñanzas mínimas correspondientes a la Educación Primaria. Ministerio de Educación y Ciencia de España.         [ Links ]

Real Decreto 1631/2006 de 29 de diciembre, por el que se establecen las enseñanzas mínimas correspondientes a la Educación Secundaria Obligatoria. Ministerio de Educación y Ciencia de España.         [ Links ]

Ribes, E. (2011). El concepto de competencia. Revista Bordón, 63(1), 33-47        [ Links ]

Rychen, D. S. y Salganik, N. H. (2003). Key Competences for a successful lifeandwell functioning society. Seatle, Toronto, Berna y Göttingen: Hogrefe and Huber.         [ Links ]

Rychen, D. S. y Salganik, N. H. ((2001). Defining and Selecting key Competences. Seatle, Toronto, Berna y Göttingen: Hogrefe and Huber.         [ Links ]

Scheffle, I. (1965). The conditions of knowledge. Chicago: University of Chicago Press.         [ Links ]

Subsecretaría de Educación Media Superior (2008). Competencias genéricas y perfil del egresado de la Educación Media Superior. México: Secretaría de Educación Pública.         [ Links ]

Shavelson, R. J., Baxter, G. P. y Gao, X. (1993). Sampling variability of performance Assessment. Journal of Educational Measurement, 30(3), p. 215- 232.         [ Links ]

Zabalza, M. A. (2007). Ideas clave.Como aprender yenseñarcompetencias. Barcelona: Graó         [ Links ].