<?xml version="1.0" encoding="ISO-8859-1"?><article xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
<front>
<journal-meta>
<journal-id>1405-6666</journal-id>
<journal-title><![CDATA[Revista mexicana de investigación educativa]]></journal-title>
<abbrev-journal-title><![CDATA[RMIE]]></abbrev-journal-title>
<issn>1405-6666</issn>
<publisher>
<publisher-name><![CDATA[Consejo Mexicano de Investigación Educativa A.C.]]></publisher-name>
</publisher>
</journal-meta>
<article-meta>
<article-id>S1405-66662019000200463</article-id>
<title-group>
<article-title xml:lang="es"><![CDATA[Identificación de elementos irrelevantes para la comprensión de ítems de una prueba de razonamiento]]></article-title>
<article-title xml:lang="en"><![CDATA[Identification of Irrelevant Elements for Comprehending Items on a Test of Reasoning]]></article-title>
</title-group>
<contrib-group>
<contrib contrib-type="author">
<name>
<surname><![CDATA[Calvo Díaz]]></surname>
<given-names><![CDATA[Karen]]></given-names>
</name>
<xref ref-type="aff" rid="Aff"/>
</contrib>
<contrib contrib-type="author">
<name>
<surname><![CDATA[Rojas Rojas]]></surname>
<given-names><![CDATA[Guaner]]></given-names>
</name>
<xref ref-type="aff" rid="Aff"/>
</contrib>
<contrib contrib-type="author">
<name>
<surname><![CDATA[Pérez Rojas]]></surname>
<given-names><![CDATA[Nelson]]></given-names>
</name>
<xref ref-type="aff" rid="Aff"/>
</contrib>
<contrib contrib-type="author">
<name>
<surname><![CDATA[Ríos Sánchez]]></surname>
<given-names><![CDATA[Armando José]]></given-names>
</name>
<xref ref-type="aff" rid="Aff"/>
</contrib>
</contrib-group>
<aff id="Af1">
<institution><![CDATA[,Universidad de Costa Rica Instituto de Investigaciones Psicológicas ]]></institution>
<addr-line><![CDATA[San Pedro ]]></addr-line>
<country>Costa Rica</country>
</aff>
<pub-date pub-type="pub">
<day>00</day>
<month>06</month>
<year>2019</year>
</pub-date>
<pub-date pub-type="epub">
<day>00</day>
<month>06</month>
<year>2019</year>
</pub-date>
<volume>24</volume>
<numero>81</numero>
<fpage>463</fpage>
<lpage>480</lpage>
<copyright-statement/>
<copyright-year/>
<self-uri xlink:href="http://www.scielo.org.mx/scielo.php?script=sci_arttext&amp;pid=S1405-66662019000200463&amp;lng=en&amp;nrm=iso"></self-uri><self-uri xlink:href="http://www.scielo.org.mx/scielo.php?script=sci_abstract&amp;pid=S1405-66662019000200463&amp;lng=en&amp;nrm=iso"></self-uri><self-uri xlink:href="http://www.scielo.org.mx/scielo.php?script=sci_pdf&amp;pid=S1405-66662019000200463&amp;lng=en&amp;nrm=iso"></self-uri><abstract abstract-type="short" xml:lang="es"><p><![CDATA[Resumen El objetivo de este artículo es describir cuáles son los posibles elementos de comprensión que afectan la resolución de ítems nuevos en una prueba de razonamiento verbal. El punto de partida fue el reporte verbal de un grupo de 13 estudiantes que obtuvieron altas y bajas puntuaciones en la Prueba de Aptitud Académica de la Universidad de Costa Rica. Se realizó un estudio cualitativo exploratorio en el que se identificaron cinco elementos irrelevantes para la comprensión: léxico, redacción, extensión, contexto muy específico y uso de conocimiento previo, que afectan la resolución de ítems de razonamiento en contexto verbal. El reconocimiento de estos aspectos derivó de los resultados de un proyecto de investigación, que buscó determinar los elementos del enunciado, la instrucción o los distractores que dificultan la comprensión y la relación con la dificultad asignada por el examinado. Asimismo, se planteó el uso del reporte verbal como generador de evidencias de validez para una prueba de admisión.]]></p></abstract>
<abstract abstract-type="short" xml:lang="en"><p><![CDATA[Abstract The objective of this article is to describe the possible elements of comprehension that affect the response to new items on a verbal reasoning test. The starting point was the verbal report of a group of thirteen students obtaining high and low scores on an academic aptitude test at Universidad de Costa Rica. An exploratory qualitative study identified five irrelevant elements for comprehension: lexicon, rhetoric, length, very specific context, and use of previous knowledge, which affect the response to items of reasoning in the verbal context. The recognition of these aspects was a result of the research project, which aimed at determining the elements of the sentence, instructions, or detractors that hindered comprehension, and defining their relationship to the difficulty assigned by the test-taker. The suggestion was made to use the verbal report to generate evidence of validity for an admissions test.]]></p></abstract>
<kwd-group>
<kwd lng="es"><![CDATA[elaboración de pruebas]]></kwd>
<kwd lng="es"><![CDATA[evaluación de pruebas]]></kwd>
<kwd lng="es"><![CDATA[admisión a la universidad]]></kwd>
<kwd lng="es"><![CDATA[estudiantes]]></kwd>
<kwd lng="es"><![CDATA[razonamiento]]></kwd>
<kwd lng="en"><![CDATA[test preparation]]></kwd>
<kwd lng="en"><![CDATA[test evaluation]]></kwd>
<kwd lng="en"><![CDATA[university admissions]]></kwd>
<kwd lng="en"><![CDATA[students]]></kwd>
<kwd lng="en"><![CDATA[reasoning]]></kwd>
</kwd-group>
</article-meta>
</front><back>
<ref-list>
<ref id="B1">
<nlm-citation citation-type="book">
<collab>AERA</collab>
<collab>APA</collab>
<collab>NCME</collab>
<source><![CDATA[Standards for Educational and Psychological Testing]]></source>
<year>2014</year>
<publisher-loc><![CDATA[Washington, DC ]]></publisher-loc>
<publisher-name><![CDATA[American Educational Research Association]]></publisher-name>
</nlm-citation>
</ref>
<ref id="B2">
<nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Brizuela]]></surname>
<given-names><![CDATA[Armel]]></given-names>
</name>
<name>
<surname><![CDATA[Montero]]></surname>
<given-names><![CDATA[Eiliana]]></given-names>
</name>
</person-group>
<article-title xml:lang=""><![CDATA[Predicción del nivel de dificultad en una prueba estandarizada de comprensión de lectura: aportes desde la psicometría y la psicología cognitiva]]></article-title>
<source><![CDATA[Revista Electrónica de Investigación y Evaluación Educativa]]></source>
<year>2013</year>
<volume>19</volume>
<numero>2</numero>
<issue>2</issue>
<page-range>1-23</page-range></nlm-citation>
</ref>
<ref id="B3">
<nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Brizuela]]></surname>
<given-names><![CDATA[Armel]]></given-names>
</name>
<name>
<surname><![CDATA[Jiménez]]></surname>
<given-names><![CDATA[Karol]]></given-names>
</name>
<name>
<surname><![CDATA[Pérez]]></surname>
<given-names><![CDATA[Nelson]]></given-names>
</name>
<name>
<surname><![CDATA[Rojas]]></surname>
<given-names><![CDATA[Guaner]]></given-names>
</name>
</person-group>
<article-title xml:lang=""><![CDATA[Autorreportes verbales en voz alta para la identificación de procesos de razonamiento en pruebas estandarizadas]]></article-title>
<source><![CDATA[Revista Costarricense de Psicología]]></source>
<year>2016</year>
<volume>35</volume>
<numero>1</numero>
<issue>1</issue>
<page-range>17-30</page-range></nlm-citation>
</ref>
<ref id="B4">
<nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Brizuela]]></surname>
<given-names><![CDATA[Armel]]></given-names>
</name>
<name>
<surname><![CDATA[Pérez]]></surname>
<given-names><![CDATA[Nelson]]></given-names>
</name>
<name>
<surname><![CDATA[Rojas]]></surname>
<given-names><![CDATA[Guaner]]></given-names>
</name>
</person-group>
<article-title xml:lang=""><![CDATA[Respuestas guiadas por el experto: validación de las inferencias basadas en los procesos de respuesta]]></article-title>
<source><![CDATA[Actualidades Investigativas en Educación]]></source>
<year>2018</year>
<volume>18</volume>
<numero>3</numero>
<issue>3</issue>
<page-range>1-21</page-range></nlm-citation>
</ref>
<ref id="B5">
<nlm-citation citation-type="book">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Emig]]></surname>
<given-names><![CDATA[Janet]]></given-names>
</name>
</person-group>
<source><![CDATA[The composing processes of twelfth graders]]></source>
<year>1971</year>
<publisher-loc><![CDATA[Urbana ]]></publisher-loc>
<publisher-name><![CDATA[National Council of Teachers of English]]></publisher-name>
</nlm-citation>
</ref>
<ref id="B6">
<nlm-citation citation-type="book">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Ericsson]]></surname>
<given-names><![CDATA[Andres]]></given-names>
</name>
</person-group>
<article-title xml:lang=""><![CDATA[Protocol analysis and expert thought: Concurrent verbalizations of thinking during experts&#8217; performance on representative tasks]]></article-title>
<person-group person-group-type="editor">
<name>
<surname><![CDATA[Ericsson]]></surname>
<given-names><![CDATA[A.]]></given-names>
</name>
<name>
<surname><![CDATA[Charness]]></surname>
<given-names><![CDATA[N.]]></given-names>
</name>
<name>
<surname><![CDATA[Feltovich]]></surname>
<given-names><![CDATA[P.]]></given-names>
</name>
<name>
<surname><![CDATA[Hoffman]]></surname>
<given-names><![CDATA[R.]]></given-names>
</name>
</person-group>
<source><![CDATA[The Cambridge Handbook of Expertise and Expert Performance]]></source>
<year>2006</year>
<page-range>223-42</page-range><publisher-loc><![CDATA[Nueva York ]]></publisher-loc>
<publisher-name><![CDATA[Cambridge University Press]]></publisher-name>
</nlm-citation>
</ref>
<ref id="B7">
<nlm-citation citation-type="book">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Ericsson]]></surname>
<given-names><![CDATA[Andres]]></given-names>
</name>
<name>
<surname><![CDATA[Simon]]></surname>
<given-names><![CDATA[Herbert]]></given-names>
</name>
</person-group>
<source><![CDATA[Protocol analysis. Verbal reports as data]]></source>
<year>1984</year>
<publisher-loc><![CDATA[Cambridge ]]></publisher-loc>
<publisher-name><![CDATA[MIT Press]]></publisher-name>
</nlm-citation>
</ref>
<ref id="B8">
<nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Flower]]></surname>
<given-names><![CDATA[Linda]]></given-names>
</name>
<name>
<surname><![CDATA[Hayes]]></surname>
<given-names><![CDATA[John R.]]></given-names>
</name>
</person-group>
<article-title xml:lang=""><![CDATA[A cognitive process theory of writing]]></article-title>
<source><![CDATA[College Composition and Communication]]></source>
<year>1981</year>
<volume>32</volume>
<numero>4</numero>
<issue>4</issue>
<page-range>365-87</page-range></nlm-citation>
</ref>
<ref id="B9">
<nlm-citation citation-type="book">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Haladyna]]></surname>
<given-names><![CDATA[Tomas]]></given-names>
</name>
<name>
<surname><![CDATA[Rodriguez]]></surname>
<given-names><![CDATA[Michael]]></given-names>
</name>
</person-group>
<source><![CDATA[Developing and validating test ítems]]></source>
<year>2013</year>
<publisher-loc><![CDATA[Nueva York ]]></publisher-loc>
<publisher-name><![CDATA[Taylor and Francis Group]]></publisher-name>
</nlm-citation>
</ref>
<ref id="B10">
<nlm-citation citation-type="book">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Jiménez]]></surname>
<given-names><![CDATA[Karol]]></given-names>
</name>
<name>
<surname><![CDATA[Brizuela]]></surname>
<given-names><![CDATA[Armel]]></given-names>
</name>
<name>
<surname><![CDATA[Pérez]]></surname>
<given-names><![CDATA[Nelson]]></given-names>
</name>
<name>
<surname><![CDATA[Rojas]]></surname>
<given-names><![CDATA[Guaner]]></given-names>
</name>
</person-group>
<source><![CDATA[Búsqueda de evidencias para la fundamentación teórica de la Prueba de Aptitud Académica de la Universidad de Costa Rica]]></source>
<year>2015</year>
<publisher-loc><![CDATA[San José ]]></publisher-loc>
<publisher-name><![CDATA[Universidad de Costa Rica]]></publisher-name>
</nlm-citation>
</ref>
<ref id="B11">
<nlm-citation citation-type="book">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Leighton]]></surname>
<given-names><![CDATA[Jacqueline]]></given-names>
</name>
<name>
<surname><![CDATA[Gierl]]></surname>
<given-names><![CDATA[Mark]]></given-names>
</name>
</person-group>
<article-title xml:lang=""><![CDATA[Verbal reports as data for cognitive diagnostic assessment]]></article-title>
<person-group person-group-type="editor">
<name>
<surname><![CDATA[Leighton]]></surname>
<given-names><![CDATA[J.]]></given-names>
</name>
<name>
<surname><![CDATA[Gierl]]></surname>
<given-names><![CDATA[M.]]></given-names>
</name>
</person-group>
<source><![CDATA[Cognitive diagnostic assessment for education. Theory and applications]]></source>
<year>2007</year>
<publisher-loc><![CDATA[Nueva York ]]></publisher-loc>
<publisher-name><![CDATA[Cambridge University Press]]></publisher-name>
</nlm-citation>
</ref>
<ref id="B12">
<nlm-citation citation-type="book">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Molina]]></surname>
<given-names><![CDATA[Mauricio]]></given-names>
</name>
<name>
<surname><![CDATA[Villalobos]]></surname>
<given-names><![CDATA[Janneth]]></given-names>
</name>
</person-group>
<source><![CDATA[Análisis de la estructura subyacente de la Prueba de Aptitud Académica (PAA) de la Universidad de Costa Rica]]></source>
<year>2010</year>
<publisher-loc><![CDATA[San José ]]></publisher-loc>
<publisher-name><![CDATA[Universidad de Costa Rica]]></publisher-name>
</nlm-citation>
</ref>
<ref id="B13">
<nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Moreno]]></surname>
<given-names><![CDATA[Rafael]]></given-names>
</name>
<name>
<surname><![CDATA[Martínez]]></surname>
<given-names><![CDATA[Rafael]]></given-names>
</name>
<name>
<surname><![CDATA[Muñiz]]></surname>
<given-names><![CDATA[José]]></given-names>
</name>
</person-group>
<article-title xml:lang=""><![CDATA[Directrices para la construcción de ítems de elección múltiple]]></article-title>
<source><![CDATA[Psicothema]]></source>
<year>2004</year>
<volume>16</volume>
<numero>3</numero>
<issue>3</issue>
<page-range>490-7</page-range></nlm-citation>
</ref>
<ref id="B14">
<nlm-citation citation-type="book">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Rodríguez]]></surname>
<given-names><![CDATA[Odir]]></given-names>
</name>
<name>
<surname><![CDATA[Fallas]]></surname>
<given-names><![CDATA[Selene]]></given-names>
</name>
<name>
<surname><![CDATA[Morales]]></surname>
<given-names><![CDATA[Saray]]></given-names>
</name>
</person-group>
<source><![CDATA[Destrezas cognoscitivas en los estudiantes de décimo año de educación diversificada en la resolución de ítemes de analogías,]]></source>
<year>2009</year>
<publisher-loc><![CDATA[San José ]]></publisher-loc>
<publisher-name><![CDATA[Universidad de Costa Rica]]></publisher-name>
</nlm-citation>
</ref>
<ref id="B15">
<nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Russo]]></surname>
<given-names><![CDATA[Edward]]></given-names>
</name>
<name>
<surname><![CDATA[Johnson]]></surname>
<given-names><![CDATA[Eric]]></given-names>
</name>
<name>
<surname><![CDATA[Stephens]]></surname>
<given-names><![CDATA[Debra]]></given-names>
</name>
</person-group>
<article-title xml:lang=""><![CDATA[The validity of verbal protocols]]></article-title>
<source><![CDATA[Memory and Cognition]]></source>
<year>1989</year>
<volume>17</volume>
<numero>6</numero>
<issue>6</issue>
<page-range>759-69</page-range></nlm-citation>
</ref>
<ref id="B16">
<nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Smagorinsky]]></surname>
<given-names><![CDATA[Peter]]></given-names>
</name>
</person-group>
<article-title xml:lang=""><![CDATA[Thinking and speech and protocol analysis]]></article-title>
<source><![CDATA[Mind, Culture, and Activity]]></source>
<year>1998</year>
<volume>5</volume>
<numero>3</numero>
<issue>3</issue>
<page-range>157-77</page-range></nlm-citation>
</ref>
<ref id="B17">
<nlm-citation citation-type="book">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Smith]]></surname>
<given-names><![CDATA[Vanessa]]></given-names>
</name>
<name>
<surname><![CDATA[Molina]]></surname>
<given-names><![CDATA[Mauricio]]></given-names>
</name>
</person-group>
<source><![CDATA[La entrevista cognitiva: guía para su aplicación en la evaluación y mejoramiento de instrumentos de papel y lápiz]]></source>
<year>2011</year>
<publisher-loc><![CDATA[San José ]]></publisher-loc>
<publisher-name><![CDATA[Instituto de Investigaciones Psicológicas-Universidad de Costa Rica]]></publisher-name>
</nlm-citation>
</ref>
</ref-list>
</back>
</article>
