Introducción

El examen de candidatura al grado de doctor es de altas consecuencias por lo que es deseable que se cuente con rúbricas para evaluar tanto la competencia escrita como la oral.

Objetivo

Contar con evidencias de validez de la aplicación de rúbricas para evaluar a los estudiantes que presentan el examen de candidatura al grado de doctor.

Método

Estudio transversal no experimental. Aplicaron rúbricas modificadas de unas previas que se usaban para evaluar la parte escrita del examen y otra para la evaluación de la presentación oral a ambos se les aplicó una escala numérica para determinar si se otorgaba o no la candidatura. Se aplicó a 195 estudiantes de las generaciones 2019, 2020, 2021 y 2022 de todos los campos disciplinarios. Se realizó el análisis de confiabilidad, diferencia de medianas y un análisis de extracción factorial mediante el método de componentes principales.

Resultados

Al menos se obtuvieron tres evidencias de validez de acuerdo con Messick. No hubo diferencias en los resultados numéricos de acuerdo con: la generación, el sexo del estudiante, el número de sinodales o los puntajes en la evaluación escrita o la oral. Los análisis de componentes principales de ambas versiones mostraron un solo componente para la evaluación escrita y dos componentes para la evaluación oral.

Conclusión

Las nuevas rúbricas han funcionado y presentan resultados positivos, ya que la evaluación es más objetiva en comparación con el formato anterior y el hecho de que sea colegiada ha permitido la unificación de la evaluación entre los sinodales. Con estas rúbricas se evalúan las habilidades de comunicación escrita y oral de manera independiente y será de interés hacer un seguimiento de la relevancia que esta separación tendrá en los resultados del Examen de Candidatura.

Introduction

It is desirable to have a rubric that assesses both written and oral skills because the doctoral candidacy examination is a high-stakes assessment.

Objective

To provide evidence of the validity of the use of rubrics in the assessment of students' performance on the doctoral candidacy examination.

Method

Non-experimental cross-sectional study. A rubric was used that was modified from a previous one that evaluated the written part of the exam and another for the oral presentation. For both, a numerical scale was used to determine whether candidacy was granted or not. It was applied to 195 students of the generations 2019, 2020, 2021 and 2022 from all disciplinary areas. Reliability analysis, mean difference, and factor analysis to extract principal components have been performed.

Results

According to Messick, at least three sources of evidence for validity were obtained. Generation, gender of students, number of synods, and scores on the written and oral assessments did not differ in the numerical scores. The factorial analysis of both versions was grouped into a single dimension for the written section and into two for the oral section.

Conclusion

The new form of evaluation has worked and shows positive results, since the evaluation is more objective than the previous one, and the fact that it is collegial has allowed the unification of the evaluation among the Synods. With this instrument, written and oral communication skills are evaluated independently, and it will be interesting to follow up on the relevance of this separation on the results of the evaluation of the candidacy.