SciELO - Scientific Electronic Library Online

 
vol.31 número72Estudio cienciométrico de la actividad científica de Cuba en las Ciencias Naturales e Ingeniería y Matemática-Ciencias de la ComputaciónDiseño de un data warehouse para medir el desarrollo disciplinar en instituciones académicas índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

  • No hay artículos similaresSimilares en SciELO

Compartir


Investigación bibliotecológica

versión On-line ISSN 2448-8321versión impresa ISSN 0187-358X

Investig. bibl vol.31 no.72 México may./ago. 2017

http://dx.doi.org/10.22201/iibi.0187358xp.2017.72.57827 

Artículos

Información de autor y estándares de calidad previos en revistas internacionales sobre educación científica

Previous Author's Information and Quality Standards for International Journals on Science Education

Francisco Javier Perales-Palacios1 

José Miguel Vílchez-González1 

José Gutiérrez-Pérez1 

1Facultad de Ciencias de la Educación. Universidad de Granada. Campus Universitario de Cartuja, s/n. 18071-Granada. fperales@ugr.es; jmvilchez@ugr.es; jguti@ugr.es

Resumen:

La literatura empírica sobre calidad de las revistas científicas ha puesto su énfasis en criterios de calidad de proceso (evaluación de pares) y de producto (impacto y visibilidad). Menos atención se ha dedicado a los estándares, políticas de calidad editorial y guidelines previos a la revisión de manuscritos. El propósito de este artículo es describir y analizar estos criterios tomando como muestra de referencia las revistas sobre didáctica de las ciencias experimentales (Science Education) indexadas en Scopus y en Journal of Citation Reports editadas en lengua inglesa. Partiendo de los estándares de calidad de la American Educational Research Association, se ha revisado si las páginas web de las revistas contemplan estos criterios a priori sobre los requisitos que deben satisfacer los artículos. El trabajo concluye con una propuesta de mejora para las revistas del campo de la educación científica.

Palabras clave:  Revistas de Enseñanza de las Ciencias; Evaluación de la Calidad; Calidad de la Investigación Educativa; Estándares; Análisis de Contenido

Abstract:

The empirical literature on quality of journals has emphasized the quality criteria of process (peer review) and of product (impact and visibility). Less attention has been devoted to standards, editorial quality policies and guidelines employed prior to review of manuscripts. The purpose of this article is to describe and analyze these criteria, taking as reference a sample of reviews on Science Education published exclusively in English and indexed in Scopus and in the Journal of Citation Reports. On the basis of the quality standards issued by the American Educational Research Association, journal websites were examined to determine if these "a priori" criteria were actually employed. The paper concludes with a proposal for improving journals in the field of science education.

Keywords: Journals of Science Education; Quality Assessment; Quality of Educational Research; Standards; Content Analysis

Introducción

La globalización, uno de los conceptos clave que nos permiten caracterizar el mundo actual, ha permitido, más allá de su origen económico, configurar otros escenarios, como el cultural y el de la comunicación. En este último caso, las TIC han logrado incrementar poderosamente la comunicación científica, facilitando el surgimiento de nuevas revistas -especialmente en formato digital- y diversificando los centros de poder de las revistas tradicionales. A esas facilidades hay que unir las presiones externas que, en bastantes ocasiones, experimentan instituciones e investigadores para publicar más y en mejores revistas mediante estímulos académicos y económicos (Towns y Kraft, 2012). Ello ha supuesto que el repertorio de medios donde informarse y publicar haya crecido vertiginosamente. Pero, ¿lo ha hecho del mismo modo la calidad de estos medios?

La bibliometría ha asumido el reto de describir cuantitativamente el ámbito de las publicaciones científicas, elaborando un conjunto de leyes e indicadores basados en distintos criterios (Ardanuy, 2012). La preocupación por clasificar las publicaciones científicas de acuerdo a criterios relacionados con su influencia en un campo de conocimiento no es nueva, e inicialmente estuvo motivada por razones prácticas como la dotación de bibliotecas. Así, por ejemplo, es bien conocida la denominada ley de Bradford, aplicada por vez primera por su autor en 1934, y que centra su interés en seleccionar aquellas revistas que concentran artículos especializados en una temática, aunque ya existían precedentes en el año 1927 de análisis basados en el recuento de citas recibidas por una revista (Restrepo y Urbizagástegui, 2010). Según estos autores, la aplicación conjunta de ambos criterios (mediante indicadores de dispersión y de visibilidad-impacto, respectivamente) constituiría un buen referente de las revistas más representativas e influyentes. Hoy día se ha dado un salto más, al intentar cruzar datos.

En el mundo de las “ciencias duras” ha existido una tradición en la clasificación de las revistas mediante el manejo de rankings cuantitativos, lo que en cierta manera ha proporcionado pautas claras para los investigadores. A partir de la creación de la empresa Institute for Scientific Information (ISI) por Eugene Garfeld en 1960, el cuasimonopolio de la Web of Science ha imperado aunque con algunas críticas (Gámez, 2013; Dorta y Dorta, 2014). La actual ISI Web of Knowledge (WoK) pertenece a la compañía norteamericana Thomson Reuters e incluye tres grandes bases de datos:

  • Science Citation Index (SCI)

  • Social Sciences Citation Index (SSCI)

  • Arts & Humanities Citation Index (A&HCI)

En las denominadas ciencias sociales la aceptación de esas reglas del juego ha sido más tardía, aunque la aparición de la base de datos especializada SSCI ha facilitado la normalización de estas ciencias denominadas “blandas” (no obstante, autores como Klein y Chiang (2004) también han puesto en entredicho los procedimientos que se siguen en la clasificación de las revistas, abogando por unos criterios que primen la orientación social y democrática de aquellas).

Con posterioridad a la creación de dicha base de datos, surgió Scopus (perteneciente a la empresa editorial holandesa Elsevier y creada en el año 2004), base que amplía el número de referencias de la Web of Science y trata de corregir algunas de las limitaciones detectadas en la misma (Gámez, 2013). Mientras que Scopus ofrece una amplia selección de revistas y una interfaz inteligente, WoS ofrece una mayor cobertura en años (Escalona, Lagar y Pulgarín, 2010).

En definitiva, los investigadores de ciencias sociales disponen actualmente de dos herramientas bibliométricas, junto con otras bases de datos con una aplicación geográfica más limitada (como Latindex, de ámbito iberoamericano, o In-Recs y CIRC -Clasificación Integrada de Revistas Científicas en español-) para fundamentar y publicar sus trabajos.

Al margen de los criterios que las bases de datos manejan para la elaboración de sus índices de impacto, y que dependen de las citas que reciben los trabajos publicados en las mismas, deberían plantearse otros criterios alternativos menos cuantitativos (Gorbea y Setién, 1997; Towns y Kraft, 2012) que, a nuestro juicio, no son menos relevantes para evaluar la calidad de una revista. Es en esta línea donde se sitúa nuestro trabajo, buscando cubrir un hueco que otorgue una nueva visión cualitativa -complementaria- de los análisis bibliométricos clásicos.

La relevancia del tópico se perfila como un campo de indagación necesario que debiera aportar mejoras sustantivas en los criterios a priori de los procesos de edición científica. Un trabajo reciente situado en esta perspectiva (Ruiz-Pérez, Marcos-Cartagena y Delgado López-Cozar, 2014) sobre una muestra de 37 revistas de prestigio en el campo de la ciencia y la tecnología analiza los criterios sobre autoría, las responsabilidades derivadas, la función de los agradecimientos, el número de autores, orden de firma y la responsabilidad de correspondencia, sacando a la luz importantes déficits en la explicitación de estos criterios en cuanto prácticas editoriales susceptibles de mejora.

La muestra de revistas que se analizan en este artículo se sitúa en el ámbito de la didáctica de las ciencias experimentales, pretendiendo dar respuesta a las siguientes preguntas de investigación:

  • ¿Qué criterios explicitan las revistas de didáctica de las ciencias experimentales sobre los requisitos que deben satisfacer los artículos para ser publicados en ellas (excluyendo los formales como el formato)?

  • ¿Cómo se adecúan dichos requisitos a unos estándares de calidad de la investigación educativa reconocidos internacionalmente?

La calidad de la investigación educativa

Parece lógico pensar que las revistas educativas más prestigiosas manejen como estándares de calidad para los artículos que publican lo que la investigación en este campo considera como tal y que los den a conocer a los posibles autores. Pero, ¿cuáles son esos estándares y qué grado de consenso albergan?

Debido a su incidencia internacional se ha optado por los estándares establecidos por la American Educational Research Association (AERA) en el año 2006, lo que además se corresponde con la vocación anglosajona de la mayoría de las revistas analizadas en este trabajo. Tales estándares constan de 40 items agrupados a su vez en ocho categorías (Tabla I), describiéndose en el documento citado los pormenores de cada categoría y subcategoría. A los criterios referidos añadiremos dos que forman parte de la práctica habitual de las revistas internacionales, esto es, 1) la política editorial, donde se suele explicitar el tipo de artículos o las materias apropiadas para la filosofía del equipo editorial; y 2) la revisión por pares, es decir, cómo se evalúan los artículos, ya sea mediante doble ciego u otro procedimiento establecido al efecto. Ambos criterios son esenciales para que los potenciales autores conozcan a priori lo adecuado de su investigación y el rigor de los procesos de evaluación de la misma.

Tabla I Lista de estándares considerados para la investigación (AERA, 2006

Es preciso insistir en que este enfoque de evaluación difiere de otros criterios de calidad como Latindex, más centrados en aspectos formales que han de cumplir las revistas; si bien son recomendables, no entran en detalle sobre las características de fondo que han de satisfacer los manuscritos que se remiten a las revistas (en todo caso, Latindex hace referencia en dos criterios a que se trate de aportaciones originales (Román, Vázquez y Urdín, 2002). Un precedente más próximo a nuestro estudio es el de Tavares de Matos (2011), que analiza el cumplimiento de 30 parámetros en la dimensión específica de revisión por pares de una muestra de revistas de ciencias sociales y humanidades; en nuestro caso, el ámbito de conocimiento de las revistas es más coherente y el análisis de la información proporcionada por las revistas posee un carácter más global.

Metodología

Ámbito de la investigación

Nuestra investigación, tal y como adelantábamos, se va a centrar en un área educativa e investigadora consolidada, es decir, la didáctica de las ciencias experimentales, que puede considerarse como un área de trabajo e investigación madura (Perales y Cañal, 2000; Dolby y Rahman, 2008; Fraser y Tolbin, 2012) y que va abriéndose camino con pujanza en el llamado terreno de las didácticas específicas, con un reconocimiento también progresivo entre los propios científicos de la naturaleza (por ejemplo, Donovan (2013)).

Muestra

La selección de revistas de la muestra partió de una consulta en la base de datos Scopus mediante una búsqueda booleana que implicó la combinación dos a dos de las palabras clave agrupadas en [Education, Teacher, Teaching] AND [Science, Physics, Chemistry/Chemical, Biology/Biological, Geoscience]. Ello produjo la identificación de un total de 25 revistas. Se descartaron dos de ellas que carecían de índices de impacto (SJR y SNIP) y figuraban en la base de datos como “coverage discontinued in Scopus”, tampoco se tuvieron en consideración revistas de ámbito interdisciplinar (por ejemplo, Health Sciences) o más particular que las denominaciones del segundo grupo de palabras clave del párrafo anterior (como Cell Biology), así como publicaciones identificadas como Proceedings.

A continuación se hizo una consulta con descriptores similares en el Journals in the 2013 Release in the JCR (Thomson Reuters, 2012). Ello permitió identificar un total de 15 revistas, de las cuales dos no estaban recogidas por la base de datos Scopus. Ello elevó la muestra total de revistas pertenecientes a una u otra base a 27. Sus índices de impacto se obtuvieron de la base de datos del Journal Citation Reports en las categorías de Social Sciences y Sciences.

Fuera de esta selección quedaron revistas de este ámbito publicadas en otros idiomas (Enseñanza de las Ciencias -JCR-, en español, o Revista Brasileira de Ensino de Física -JCR, en portugués, por ejemplo).

En la Tabla II detallamos la relación final de las revistas junto con las bases de datos de referencia y sus índices de impacto.

Tabla II Listado de revistas analizadas con sus índices de impacto en las bases de datos consideradas 

Llama la atención que dos de las revistas consideradas se encuentren incluidas en la base de datos JCR y no lo estén en Scopus, cuando se supone que la primera es más restrictiva.

Procedimiento de análisis

Al enfrentarse a una revisión como ésta, se pueden considerar básicamente tres tipos de criterios de análisis de las revistas:

  • Criterios a priori:

    • Políticas editoriales, éticas, deontológicas, identitarias y tipología de artículos.

    • Recomendaciones sobre contenido, metodología o estructura.

  • Criterios de proceso:

    • Revisión por pares.

    • Calidad editorial y protocolos de edición.

  • Criterios de impacto:

    • Métrica clásica de citas.

    • Métrica moderna basada en aspectos de visibilidad, descargas.

Por los propios objetivos de este trabajo nos centramos sólo en algunos de ellos.

Dejando fuera del análisis todos los criterios de impacto inspirados en los diferentes índices de calidad al uso (JCR, índice H… que utilizaremos sólo como variables de correlación) o de la métrica moderna, así como los criterios formales relativos al proceso de edición (forma de remisión del artículo, normativa APA…), podemos distinguir tres tipos de criterios de calidad que inciden en el valor o mérito de los manuscritos que publican las revistas del campo de la enseñanza de las ciencias: 1) Criterios de identidad editorial y tipología de artículos (política editorial); 2) Criterios de revisión por pares, y 3) Criterios metodológicos y de estructura.

Entre los criterios de identidad destacan todas las consideraciones a priori que contribuyen a difundir artículos que se ajustan a las señas de identidad que definen la política y ética editorial de una determinada revista; ello a su vez constituye una especie de etiqueta y producto con entidad propia que se diferencia en el mercado del conocimiento por ajustarse a una línea editorial con características propias. Se considera igualmente la demarcación disciplinar del campo y el grado de permeabilidad a publicar trabajos propios de áreas exclusivas (enseñanza de la química, geología, biología, física…) o su apertura a trabajos de todo tipo relacionados con la enseñanza de las ciencias en general. Se incluyen también todos aquellos criterios de orden ético-deontológico asociados a principios de plagio, fraude y autoría; también aspectos relacionados con el grado de internacionalización de los trabajos admitidos e, igualmente, normas de cortesía y agradecimiento y reconocimiento explícito de agencias patrocinadoras que aportan fondos financieros para el desarrollo de la investigación. Así, por ejemplo, una de las revistas (R10) señala:

The International Journal of Science Education (IJSE) is firmly established as an authoritative voice in the world of science education. It bridges the gap between research and practice, providing information, ideas and opinion. Special emphasis is placed on applicable research relevant to educational practice, guided by educational realities in systems, schools, colleges and universities... (IJSE, s. a.)

Entre los criterios de revisión por pares se incluyen procedimientos claros de revisión previa, revisión externa y a posteriori, cada uno de los cuales dispone de protocolos estructurados de autocomprobación, de mejora progresiva de manuscritos en el proceso de revisión y control final de los mismos antes de la edición definitiva. Un ejemplo es el siguiente (R7 ):

All published research articles in this journal have undergone rigorous peer review, based on initial editor screening and anonymous refereeing by independent expert referees. (IJMEST, s. a.)

Entre los criterios de contenido argumental podemos destacar como ideas recurrentes la originalidad de los trabajos, el valor innovador de lo que se propone, la capacidad crítica ante el conocimiento previo disponible en el campo, la metodología empleada... Un ejemplo sería el siguiente (R16):

It is expected that you establish the importance of the study for science teaching and learning with reference to previous literature (including relevant articles from the JRST), provide a link between the problem and the study design, establish and justify the guiding theoretical framework and report the study methodology clearly and concisely. Data should be clearly presented, claims supported by evidence, with findings and implications that are clearly presented and advance the field. (JRST, 2016)

Seleccionadas las revistas, se procedió a visitar las páginas web indagando asimismo en los distintos enlaces hasta asegurarnos de que se identificaba toda la información posible sobre la temática y hacer un primer vaciado de información agrupada en tres bloques (o metacategorías) que respondían a los criterios que acabamos de describir:

  1. Criterios de política editorial.

  2. Criterios de revisión por pares.

  3. Criterios metodológicos y de estructura.

Como se ha adelantado, de forma explícita excluimos de este vaciado cualquier referencia a aspectos formales de los artículos (extensión, formato, citación bibliográfica…), ya que estas normas, aunque son necesarias para facilitar y homogeneizar el proceso de edición, no afectan directamente al fondo del artículo y, por lo tanto, a la evaluación de su calidad como investigación.

A partir de ese agrupamiento de la información recabada de las páginas web de las revistas, se procedió a una segunda criba de un modo inductivo en un intento de reducir la información. Para los dos primeros criterios, recopilamos datos de índole cualitativa, dada su naturaleza. Para el tercer criterio cruzamos la información recabada para cada revista con la plantilla formada por los estándares de calidad mencionados con anterioridad (Tabla I). Hay que tener en cuenta que uno de los estándares (dígito 7 Ethics in Reporting) está relacionado con aspectos éticos de la publicación, por lo que no se trató este aspecto dentro de los criterios de política editorial. Ello constituyó un trabajo laborioso que hubo de ser consensuado por los autores de este estudio. Se marcó con un “sí” (1) o un “no” (0) aquellos criterios o estándares indicados explícitamente por cada revista. Por motivos de espacio, en la Tabla III se representan sólo los estándares de primer orden (es decir, con un solo dígito, véase Tabla I). Aparte de ello se fue anotando otro tipo de información que pudiera aparecer en las páginas web de las revistas no vinculada directamente con los criterios establecidos pero que pudiera ser de interés para un análisis posterior.

Tabla III Verificación del grado de cumplimiento de los estándares de calidad del primer orden por parte de las revistas analizadas 

Tras ello se determinaron sendas matrices de correlaciones entre los tres índices de impacto considerados para las revistas y con el total de estándares de calidad cumplidos por aquellas (estándares de un dígito y de dos dígitos, respectivamente; véase Tabla I). Mediante estos cálculos estadísticos se pretendía verificar si tanto los índices de impacto estaban relacionados entre sí, lo que en buena lógica sería de esperar, como si también lo estaban con los estándares de calidad tomados como criterios de contraste. Los resultados se muestran en las Tablas IV y V.

Tabla IV Matriz de correlaciones entre los índices de impacto de las revistas y de estos con los estándares de primer orden (Tabla I) cumplidos por aquéllas (** correlación con un nivel de significación p<0.01) 

Tabla V Matriz de correlaciones entre los índices de impacto de las revistas y los estándares de segundo orden (Tabla I) cumplidos por aquellas (* correlación con un nivel de significación p<0.05; ** correlación con un nivel de significación p<0.01) 

Análisis de resultados

Se presentan en función de los tres criterios definidos con anterioridad:

Criterios de política editorial

Todas las revistas analizadas contemplan explícitamente este criterio; en cambio, no todas incluyen la misma información. La Figura 1 recoge las tipologías.

Figura 1 Histograma de frecuencias de las tipologías de política editorial presentes en la muestra de revistas analizadas 

Como se puede observar, predomina la información sobre las temáticas que abarca la revista, seguida por los objetivos y la tipología de los artículos. Esta información resulta esencial a la hora de que los autores, en función de la investigación realizada, puedan optar por una revista u otra, evitando sorpresas indeseables y retrasos innecesarios en su posible publicación.

Criterios de revisión por pares

Aquí la problemática es más compleja. En la Tabla VI hemos recogido las distintas opciones encontradas junto con sus frecuencias respectivas. Lo hacemos sobre el total de revistas que hacen algún tipo de referencia al respecto (25 sobre las 27 totales) teniendo en cuenta, además, que una revista puede incluir más de una categoría.

Tabla VI Categorías encontradas en el criterio de revisión por pares y su frecuencia (N=25) 

Como se puede apreciar existe una diversidad de procedimientos, tanto en la información ofrecida como en el número de referees y el carácter anónimo o no de aquellos. Aunque minoritario, resalta el hecho de poder sugerir referees (o que no lo sean). Por encima de todos se impone la revisión previa de los artículos por parte del consejo editorial y el anonimato al ser remitidos a los referees.

Criterios metodológicos y de estructura

Apoyándonos en los datos representados en la Tabla III podemos hacer dos tipos de reflexiones. Una afecta a los propios estándares (filas en dicha tabla), los más relevantes están relacionados con el problema de investigación, la ética de la misma y la metodología puesta en juego. La segunda reflexión puede hacerse sobre las propias revistas; vemos cómo una minoría concentra un alto número de estándares de investigación, mientras que la mayoría no explicita ninguno o sólo unos pocos.

En cuanto a los datos correlacionales representados en las Tablas IV y V, la primera de ellas pone de manifiesto que existe una alta consistencia interna entre los tres índices de impacto considerados, a excepción de otros estudios correlacionales que emplean otros indicadores diferentes (Gámez, 2013). Sin embargo, puede afirmarse que tales índices son independientes de los estándares de investigación que satisfacen las revistas como criterios a priori. Si se afinan más los estándares mediante sus subcategorías (Tabla I) y se correlacionan los que verifican las revistas con los índices de impacto, sólo se aprecia una relación positiva significativa entre el índice de Scopus SNIP y la categoría DesLog (diseño y lógica de la investigación); también aparecen correlaciones significativas negativas entre los tres índices de impacto y los estándares relacionados con la metodología cualitativa y cuantitativa, aunque no son relevantes al tratarse de un número de casos mínimo (2). No entran en los propósitos de esta investigación analizar las correlaciones internas entre los distintos estándares, aunque se muestran en general elevadas.

Otros criterios no previstos

Sin ánimos de cuantificación, se aprecian otros criterios considerados por la información proporcionada por las páginas web de las revistas y que no encajaban en los criterios a priori considerados en esta investigación. Por orden de frecuencia, son los siguientes:

  • Uso correcto del inglés escrito. En algunos casos se ofrecen servicios de traducción o manuales de escritura por parte de las propias editoriales o externos a las mismas. Por otro lado, se muestran ejemplos de artículos de interés como modelos y prototipos de lo que sería deseable, así como cursos interactivos sobre cómo escribir un artículo.

  • Se advierte del uso de sistemas antiplagio para evitar posibles fraudes.

  • Aspectos prospectivos de continuidad que contribuyan al desarrollo de futuras posibles investigaciones derivadas de la que corresponde al artículo remitido.

  • Se solicita que los artículos incluyan implicaciones prácticas desde el punto de vista educativo.

En cuanto a la forma de presentar la información en las páginas web, hemos detectado algunas deficiencias, tales como:

  • Orientaciones muy genéricas o escasamente relacionadas con los trabajos de naturaleza educativa, lo que suele ocurrir cuando las empresas editoras publican también revistas de ámbito científico-experimental.

  • Existencia de información solapada o reiterada en varios formatos (en abierto o vinculada a otros archivos) que confunde, dificulta y distrae innecesariamente a los potenciales autores.

Conclusiones

En este artículo hemos pretendido hacer una primera aportación al análisis de un ámbito de trabajo que se muestra cada día más como un factor de selección en la investigación en ciencias sociales y que, en nuestro caso, ha estado acotado a una muestra representativa de revistas internacionales sobre didáctica de las ciencias experimentales. La publicación en revistas de prestigio posee una importante y creciente incidencia en la selección y promoción del profesorado, en la clasificación de instituciones educativas e incluso en las fuentes de financiación de ambos colectivos. Se hace preciso, pues, disponer de unos criterios claros, explícitos y transparentes para evitar en la medida de lo posible la subjetividad en el proceso de admisión de los manuscritos, ya denunciada por Toulmin (1997) en forma de filtros ideologizadores, al comparar este campo con el de las ciencias duras. La creciente política internacional de mejora de la calidad de las revistas en ciencias sociales ha de pasar no sólo por incrementar su visibilidad, sino también por venir acompañada de unos criterios de evaluación de los artículos que sean rigurosos y transparentes.

Retomando las preguntas de investigación que enunciamos originalmente, vamos a tratar de darles respuesta a través de los resultados obtenidos:

  • ¿Qué criterios explicitan las revistas de didáctica de las ciencias experimentales sobre los requisitos que deben satisfacer los artículos para ser publicados en ellas (excluyendo los formales como el formato)?

Hemos podido reunir tales criterios en tres grupos superiores, a los que hemos denominado:

  1. Criterios de política editorial.

  2. Criterios de revisión por pares.

  3. Criterios metodológicos y de estructura.

Tales criterios se han mostrado adecuados para agrupar cualitativa y cuantitativamente la mayor parte de la información contenida en las páginas web de las revistas analizadas. El análisis de contenido al que sometimos a las revistas hizo emerger algunos requisitos no contemplados en los estándares de calidad que se habían considerado inicialmente, esto es, el uso correcto del lenguaje, las implicaciones prácticas de la investigación y la consideración de futuros trabajos de investigación en el seno del artículo remitido para su evaluación. La integración de estos últimos en los indicadores implícitos de los tres criterios previos permitiría disponer de una lista de requisitos que debiera ser conocida por los autores y que operara como mecanismo de preevaluación de sus trabajos, tanto desde los propios comités editoriales como para los evaluadores externos. Este nivel de explicitación añadiría más información que otros criterios con una formulación más vaga, tales como validez, racionalidad, originalidad, rigurosidad, reproducibilidad, relevancia o que proporcione conocimiento para hacer avanzar el área de forma significativa (Molina et al., 2011). El resultado de dicha integración se muestra en el Cuadro 1 y se propone como modelo de buenas prácticas en el ámbito de la edición de revistas de didáctica de las ciencias experimentales. A ello habría que añadir también detalles respecto a cómo se debiera presentar la información de autor en las páginas web de la revista (clara, directa, unificada, separando aspectos formales y de fondo), así como la dirigida a los autores y a los referees. Sin duda estudios como éste pueden contribuir a configurar los requisitos para mejorar las revistas actuales o el diseño de nuevas revistas (Voutssas, 2012).

Cuadro 1 Criterios deseables a incorporar explícitamente por las revistas de didáctica de las ciencias experimentales 

  • ¿Cómo se adecúan dichos requisitos a unos estándares de calidad de la investigación educativa reconocidos internacionalmente?

La adecuación referida puede ser contemplada desde dos perspectivas, una interna y otra externa.

Respecto a la primera, se ha detectado, mediante el análisis de contenido al que sometimos las páginas web de las revistas, una gran variabilidad en cuanto a la cantidad y calidad de la información suministrada a los potenciales autores de artículos para tales revistas, algo ya detectado también por Tavares de Matos (2011) en revistas de más amplio espectro. Esto se manifiesta igualmente en la propia heterogeneidad de los estándares de calidad que verifican las revistas analizadas, evidenciada en su recuento.

En cuanto a la perspectiva externa, está representada en nuestro caso por el análisis de correlaciones. En lo que respecta al cumplimiento de estándares de calidad, en general no se aprecia una correlación significativa entre el número de aquellos cumplidos y los índices de impacto de las revistas, a lo que se une su gran variabilidad entre la muestra de revistas considerada, lo que confirma los hallazgos de otros autores (Gámez, 2013). Esto resulta llamativo y debiera ser resuelto con urgencia por sus respectivos comités de redacción, por cuanto aporta una gran carga de discrecionalidad en cuanto a la aceptación de artículos se refiere. La alternativa ofrecida en el Cuadro 1 sería, en nuestra opinión, un buen punto de partida para avanzar en esa deseable coherencia para las revistas representativas de una comunidad de investigadores. Sugerencia que se complementaría con otras buenas prácticas ya señaladas por Delgado López-Cózar, Jiménez Contreras y Ruiz-Pérez (2007) y Tavares de Matos (2011) que, en definitiva, pretenden contribuir a la homogeneidad y transparencia de los procesos que acompañan a un artículo desde que es enviado a la revista hasta que se conoce el resultado final de su evaluación y es publicado.

Una conclusión indirecta es la alta significatividad de la correlación entre las bases de datos Web of Science y Scopus a través de los índices de impacto que incorporan, lo que refleja criterios comunes para jerarquizar las revistas incorporadas a dichas bases y una alta consistencia en las fuentes de información para el cálculo de los índices que emplean.

Por último, estimamos que los resultados de este estudio podrían ser en gran medida extrapolables a otros ámbitos de investigación psicopedagógica y de las denominadas didácticas específicas (didáctica de la matemática, de las ciencias sociales, entre otras).

Bibliografía

AERA (American Educational ResearchAssociation). 2006. “Standards for Reporting on Empirical Social Science Research in AERA Publications.” Educational Researcher 35 (6): 33-40. [ Links ]

Ardanuy, J. 2012.Breve introducción a la Bibliometría. Barcelona: Universidad de Barcelona. http://diposit.ub.edu/dspace/bitstream/2445/30962/1/breve%20introduccion%20bibliometria.pdfLinks ]

Delgado López-Cozar, E., E. Jiménez-Contreras y R. Ruiz-Pérez. 2007. La edición de revistas científicas: directrices, criterios y modelos de evaluación. Madrid: Fundación Española para la Ciencia y la Tecnología. [ Links ]

Dolby, N. y A. Rahman. 2008.“Research in International Education.” Review of Educational Research 78 (3): 676-727. [ Links ]

Donovan, M. S. 2013. “Generating improvement through research and development in education systems.” Science 340: 317-319. [ Links ]

Dorta, M. I. y P. Dorta. 2014. “Factor de impacto agregado según campos científicos.” Investigación Bibliotecológica 28 (62): 15-28. [ Links ]

Escalona, M. I., P. Lagar y A. Pulgarín. 2010 . “Web of Science vs. SCOPUS: un estudio cuantitativo en Ingeniería Química.” Anales de Documentación 13: 159-175. [ Links ]

Fraser, B. J. y K. Tobin(eds.). 2012. Second International Handbook of Science Education. Holanda: Springer. [ Links ]

Gámez, A. M. 2013. “La evaluación de revistas de psicología: correlación entre el factor de impacto, el índice h y los criterios de Latindex.” Investigación Bibliotecológica 27 (61): 15-27. [ Links ]

Gorbea, S. y E. Setién. 1997. “Las supuestas ‘leyes’ métricas de la información.” Revista General de Información y Documentación 7 (2): 87-93. [ Links ]

IJSE (International Journal of Science Education). s. a.“Aims and scope”, Taylor & Francis Online. http://www.tandfonline.com/action/journalInformation?show=aimsScope&journalCode=tsed20Links ]

IJMEST (International Journal of Mathematical Education in Science and Technology). S. a. “Aims and scope”, Taylor & Francis Online. http://www.tandfonline.com/action/journalInformation?show=aimsScope&journalCode=tmes20Links ]

JRST (Journal of Research in Science Teaching). 2016. “Types of Manuscripts”, Wiley Online Library. http://onlinelibrary.wiley.com/journal/10.1002/(ISSN)1098-2736/homepage/ForAuthors.htmlLinks ]

Klein, D. B. y W. E. Chiang. 2004. “The social science citation index: a black box-with an ideological bias?” Econ Journal Watch 1 (1): 134-165. [ Links ]

Molina, M., P. Gómez, M. C. Cañadas, J. Gallardo y J. L. Lupiáñez. 2011. “Calidad y visibilidad de las revistas científicas: el caso de PNA.” Revista Española de Documentación Científica 34 (2): 266-275. [ Links ]

Perales, F. J. y P. Cañal(eds.). 2000. Didáctica de las Ciencias Experimentales. Alcoy: Marfil. [ Links ]

Restrepo, C. y R. Urbizagástegui. 2010. “La selección de revistas mediante el análisis de citas y la Ley de Bradford en una biblioteca académica.” Revista Códices 6 (2): 159-172. [ Links ]

Sanz, E. y C. Martín. 1997. “Técnicas bibliométricas aplicadas a los estudios de usuarios.” Revista General de Información y Documentación 7 (2): 41-68. [ Links ]

Román, A., M. Vázquez y C. Urdín . 2002. “Los criterios de calidad editorial Latindex en el marco de la evaluación de las revistas españolas de humanidades y ciencias sociales.” Revista Española de Documentación Científica 25 (3): 286-307. [ Links ]

Ruíz-Pérez, R. , D. Marcos-Cartagena y E. Delgado López-Cózar. 2014. “La autoría científica en las áreas de ciencia y tecnología. Políticas internacionales y prácticas editoriales en las revistas científicas españolas.” Revista Española de Documentación Científica 37 (2): 1-11. 10.3989/redc.2014.2.1113 [ Links ]

Tavares de Matos, M. M. 2011. “El peer review de las revistas científicas en Humanidades y Ciencias Sociales: políticas y prácticas editoriales declaradas.” Revista Española de Documentación Científica 34 (2): 141-164. [ Links ]

Thomson Reuters. 2012. Citation Data. http://scientific.thomsonreuters.com/imgblast/JCRFullCovlist-2013.pdfLinks ]

Toulmin, S. 1977. La comprensión humana. 1. El uso colectivo y la evolución de los conceptos. Madrid: Alianza Editorial. [ Links ]

Towns, M. H. y A. Kraft. 2012. “The 2010 Rankings of Chemical Education and Science Education journals by faculty engaged in Chemical Education Research.” Journal of Chemical Education 89 (1): 16-20. [ Links ]

Voutssas, J. 2012. “Aspectos para el desarrollo de una revista científica digital.” Investigación Bibliotecológica 26 (58): 71-100. [ Links ]

Recibido: 02 de Abril de 2014; Aprobado: 05 de Noviembre de 2015

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons