Student evaluation through membership functions in CAT systems

J. Suárez

Centro de Investigación en Tecnologías de Información y Sistemas Universidad Autónoma del Estado de Hidalgo,(CITIS), Universidad Autónoma del Estado de Hidalgo, Carretera Pachuca/Tulancingo, Km. 4.5, Cd. Universitaria, C.P. 42184, Pachuca de Soto, Hidalgo, México, e-mail: jsuarez@uaeh.reduaeh.mx

Recibido el 26 de noviembre de 2002.
Aceptado el 23 de mayo de 2003.

Abstract

Generally speaking, the process of student evaluation is based on a procedure where we assume that the student belongs just to one set in a completely specified way, for example the set of excellent students, or the set of regular students. In this paper we use fuzzy sets concepts just to propose a different procedure which can be useful to manage the student's performance in a variation of a computerized adaptive testing administration process. This can be made by assuming that, for a given student, a membership function µ_A is assigned. This membership function gives the membership degree of the student to the fuzzy set A, which can be the set of excellent students, or the set of regular students, or the set of poor performance students. Furthermore, we assume that the item bank contains items belonging, with certain degree, to fuzzy sets describing the complexity of the given items. For example, we can talk about the fuzzy set of difficult questions or the fuzzy set of easy questions. By considering the evaluation process as a problem in the field of control theory, we establish a proper metaphor with a very simple, and very well studied, physical system with behavior described by variables such as the position, velocity and acceleration. Based in this model, we propose fuzzy rules just to control the item administration process as a function of the ability of the student and the item complexity.

Keywords: Fuzzy set; computer adaptive testing; testing administration; student performance.

Resumen

Generalmente hablando, el proceso de evaluación estudiantil se basa en un procedimiento donde se supone que el estudiante pertenece a un conjunto de una manera completamente especificada; por ejemplo al conjunto de estudiantes excelentes o al conjunto de estudiantes regulares. En este trabajo utilizamos conceptos de lógica difusa con el objeto de proponer un procedimiento diferente que sea útil para administrar el desempeño estudiantil en la evaluación de un tópico perteneciente a algún área de conocimiento, es decir, como una variante de los métodos tradicionalmente usados para realizar evaluación adaptativa computarizada. Esto se puede lograr suponiendo que a un estudiante se le asigna un grado de pertenencia a un conjunto A a través de la correspondiente función de membresía µ_A. Esta función de membresía proporciona el grado de pertenencia del estudiante al conjunto A, el cual puede representar al conjunto de los estudiantes excelentes o al conjunto de estudiantes regulares o al conjunto de estudiantes deficientes. Además, suponemos que el banco de preguntas contiene ítems que pertenecen, con cierto grado, a conjuntos difusos que describen la complejidad de los mismos. Por ejemplo, podemos hablar del conjunto difuso de preguntas difíciles, o del conjunto difuso de preguntas fáciles. Considerando el proceso de evaluación como un problema de teoría de control, establecemos una metáfora apropiada con un sistema físico simple y bastante estudiado, cuyo comportamiento es descrito por variables tales como la posición, la velocidad y la aceleración. Basados en este modelo físico, proponemos reglas difusas sencillas para controlar el proceso de administración de preguntas como una función de la habilidad del estudiante y de la complejidad del ítem.

Palabras clave: Conjunto difuso; evaluación adaptativa computarizada; administración de evaluación; desempeño del estudiante.

PACS: 01.40.Fk; 01.40.Gm; 01.50.Kw

References

1. Wim J. Van der Linden and R.K. Hambleton, Handbook of Modern Item Response Theory (Springer Verlág, New York, USA, 1997).         [ Links ]

2. D. Thissen and R.J. Mislevy, Testing Algorithms, in Computerized Adaptive Testing: A Primer, Second Edition, Howard Wainer et al. (Lawrence Erlbaum Associates Publishers, Mahwah, New Jersey, 2000).         [ Links ]

3. W. Pedrycz and F. Gomide, An Introduction to Fuzzy Sets: Analysis and Design (Bradford Book, The MIT Press, London, England, 1998).         [ Links ]

4. S.T. Welstead, Neural Network and Fuzzy Logic Applications (John Wiley & Sons, New York, USA, 1994).         [ Links ]

5. K. Tanaka, An Introduction to Fuzzy Logic for Practical Applications (Springer Verlag, New York, USA, 1997).         [ Links ]

6. G. Lindfield and J. Penny, Numerical Methods Using MatLab (Ellis Horwood, London, England, 1995).         [ Links ]

7. B. Kosko, Neural Networks and Fuzzy Systems: A Dynamical System Approach to Machine Intelligence (Englewood Cliffs, N.J., Prentice Hall, 1992).         [ Links ]

8. Wim J. Van der Linden and P.J. Pashley, Item Selection and Ability Estimation in Adaptive Testing, in Computerized Adaptive Testing: Theory and Practice, Wim J. Van der Linden and Cees A.W. Glas (Eds.), ICO (Kluwer Academic Publishers, P.O. Box 17, 3300 AA Dordrecht, The Netherlands, 2000).         [ Links ]