SciELO - Scientific Electronic Library Online

 
vol.11Aplicación de autopsias psicológicas: estudio de caso de dos suicidios en una familia índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

  • No hay artículos similaresSimilares en SciELO

Compartir


Psicumex

versión On-line ISSN 2007-5936

Psicumex vol.11  Hermosillo ene./dic. 2021  Epub 28-Feb-2022

https://doi.org/10.36793/psicumex.v11i1.458 

Artículos

Evaluación de la producción científica del enmarcado ('framing') en psicología (2015-2019)

Evaluation of the scientific production of framing in the psychological field (2015-2019)

Nayeli Valeria Vázquez-Herrera1 
http://orcid.org/0000-0001-5831-3729

Norma Patricia Maldonado-Reynoso1  * 
http://orcid.org/0000-0002-4302-5123

1Centro de Investigaciones Económicas, Administrativas y Sociales. Instituto Politécnico Nacional.


Resumen.

El término enmarcado o encuadre plantea que la toma de decisiones se ve influida por la forma en cómo se presenta determinada información a las personas. Fue introducido como un concepto de origen psicológico, y ha sido adoptado por diversas disciplinas. Es debido a las diferentes definiciones y metodologías que lo conforman, que la presente investigación buscó cartografiar las características del tema, al identificar el estado de su producción científica desde su disciplina de origen, la psicología. Para ello, se realizó un análisis bibliométrico y de contenido cuantitativo de 63 artículos científicos a nivel internacional obtenidos de la base de datos Scopus, durante el periodo 2015-2019. Los resultados permitieron detectar principales temáticas, definiciones y metodologías utilizadas en los artículos, así como las características de autores y publicaciones. Se observó que existen definiciones desarrolladas en otras disciplinas que están repercutiendo en el ámbito psicológico, lo que subraya su impacto interdisciplinar.

Palabras clave: análisis bibliométrico; análisis de contenido cuantitativo; enmarcado; producción científica; psicología

Abstract.

The term framing suggests that decision-making is influenced by the way in which certain information is presented to people. It has a psychological origin and the construct has been adopted by other disciplines. Therefore, framing is a consequence of the different definitions and methodologies that comprise it. This research sought to map framing characteristics, by identifying the state of scientific production from its discipline of origin, psychology. To achieve this objective, a bibliometric and quantitative content analysis of 63 scientific articles was carried out at an international level within the Scopus database, during the period 2015-2019. The results made it possible to detect the main themes and definitions used in the articles, as well as the characteristics of the authors and publications. We observed that definitions developed in other disciplines are impacting the psychological field; therefore, the possibility of carrying out interdisciplinary research is highlighted.

Key words: bibliometric analysis; quantitative content analysis; framing; scientific production; psychology

Introducción

La palabra framing se ha traducido al español como enmarcado o encuadre (Ardèvol-Abreu, 2015) y aparece por primera vez como una aportación de Gregory Bateson (1955) en el campo psicológico. Puede ser definido, de manera general, como el proceso mediante el cual “las personas desarrollan una conceptualización particular de un tema o reorientan su pensamiento sobre el mismo” (Chong y Druckman, 2007, p.104).

El fenómeno entendido en estos términos posee amplias repercusiones en diferentes contextos sociales, ya que, por ejemplo, se han llevado a cabo investigaciones que estudian la relación entre los efectos de enmarcado y diferentes contextos educativos (Fan, 2017), su impacto en salud y prevención de enfermedades (Li et al., 2017), así como en la comunicación política y mercadotecnia (Chong y Druckman, 2007), por mencionar algunas aplicaciones.

Así pues, el término enmarcado o encuadre se ha consolidado como un área fértil para realizar investigación, sobre todo en disciplinas como la comunicación, ciencia política, sociología, psicología y economía del comportamiento (Cacciatore et al., 2016). No obstante, debido a ello y a su generalidad, el término posee algunas dificultades en cuánto a su definición y características (Borah, 2018). A este respecto, existen diferentes clasificaciones del enmarcado o encuadre que dependen de la disciplina en que se aterrice el concepto, por ejemplo, Chong y Druckman (2007) para el caso de la ciencia política, o De Vreese (2017) en ciencias de la comunicación.

A causa de las diferentes definiciones que el enmarcado puede adoptar, algunos autores han resaltado la necesidad de utilizar y difundir entre los académicos terminologías específicas para referirse a éstos, en lugar de utilizar efecto marco, enmarcados o marcos de manera general (Cacciatore et al., 2016). Ya que esta situación también dificulta comprender los procesos psicológicos subyacentes, pues éstos pueden variar con base en el enmarcado específico que se esté estudiando (Borah, 2018).

Producto de esta dificultad para abordar la investigación del enmarcado, se vuelve necesario realizar una evaluación del estado de la producción científica en el tema dentro de una disciplina específica, pues permitiría identificar cuáles son sus tendencias y hacia dónde se dirige la investigación. En este sentido, su estudio dentro del ámbito de la psicología resulta relevante, ya que el término se originó en esta disciplina (gracias a los trabajos de Bateson publicados en 1955 y, posteriormente, de Tversky y Kahneman en 1981) y un amplio número de investigadores se han dedicado al análisis del tema.

En este sentido, el enmarcado en psicología es descrito como un sesgo cognitivo o atajo mental, producto de un rápido procesamiento de la información (Kahneman, 2011). Se refiere al fenómeno en donde la toma de decisiones varía debido a diferencias en los marcos mentales que se utilizan para analizar decisiones (Tversky y Kahneman, 1981). Es decir, refiere a que la toma de decisiones y las conductas derivadas dependen de la manera en que se presenta la información de interés (la cual puede ser enmarcada de formas alternativas, pero siempre lógicamente equivalente).

El enmarcado en psicología es tradicionalmente asociado con el principio de aversión a la pérdida (Kahneman, 2011), por lo que se establece que para el sujeto la percepción de la posible pérdida tiene un mayor impacto que la posible ganancia. Así, por ejemplo, el riesgo de sobrevivir o no a una cirugía puede ser interpretado de forma más positiva y, en consecuencia, estar más dispuesto a someterse a un procedimiento quirúrgico, si los resultados se presentan como: “de 1000 cirugías realizadas, 950 pacientes han sobrevivido”, en lugar de: “de 1000 cirugías realizadas, 50 pacientes han muerto” (Takemura, 2014), a pesar de ser, lógicamente, la misma información en ambos enunciados.

Adicionalmente, se suele utilizar la clasificación de enmarcados propuesta por Levin et al. (1998), quienes distinguen entre enmarcado de elección arriesgada, de atributos y de metas. El enmarcado de elección arriesgada presenta una serie de opciones de elección que difieren en su nivel de riesgo, por lo que se enmarca el mensaje para resaltar las ganancias o pérdidas. En esta categoría se encuentran los trabajos clásicos de Tversky y Kahneman (1981). En el enmarcado de atributos, por otra parte, el foco principal son más bien las características de un objeto o evento, por lo que se evalúan las opciones realizando una comparación del atractivo de éstas. Finalmente, el enmarcado de metas busca que la persona lleve a cabo una acción o comportamiento específico. Se puede buscar alentar a las personas a participar en un comportamiento enfocándose en su beneficio (marco positivo), o bien, en prevenir el posible daño (marco negativo). Así, estas clasificaciones son las que suelen guiar gran parte de las investigaciones en enmarcados en psicología.

Sin embargo, un par de preguntas surgen después de conocer estas clasificaciones: ¿cuál es el tipo de enmarcado más utilizado en psicología?, ¿qué clase de estudios en enmarcados se llevan a cabo en la actualidad? A este respecto, algunos autores como Carpenter (2018) y Krüger et al. (2017) han realizado revisiones generales de carácter narrativo acerca del efecto marco en psicología y del estado de su investigación. Por ejemplo, Carpenter (2018) reconoce que la perspectiva predominante es el enmarcado de elección arriesgada. Además, indica que se han hecho importantes avances relacionados con las áreas cerebrales posiblemente involucradas en el enmarcado, así como el papel de las emociones. Esta autora finaliza reconociendo que es necesario continuar explorando “cuándo y cómo los efectos de enmarcado influyen en el comportamiento, así como proveer mayor evidencia acerca de cómo contextos traslacionales, como el cuidado de la salud y las decisiones políticas se ven afectadas por el enmarcado de los mensajes” (Carpenter, 2018, p.6).

Por otro lado, investigadores relacionados principalmente con las ciencias de la comunicación han señalado la importancia de llevar a cabo revisiones documentales acerca del tema con el objetivo de comprender el estado de la investigación en un periodo de tiempo específico. A este respecto, Piñeiro-Naval y Mangana (2019) indicaban que, debido a la naturaleza y diferentes definiciones que puede adoptar el enmarcado, se requiere cartografiar los usos y aplicaciones conferidos al término en las publicaciones científicas. Asimismo, estos autores (2018) también señalan que la caracterización a partir de análisis descriptivos, como la bibliometría, puede favorecer a identificar qué autores y qué países lideran su estudio. Aspecto que contribuye a comprender cómo las comunidades científicas alrededor de un tema se conforman y modifican con el paso del tiempo (Kuhn, 2012).

De manera paralela y particularmente en el caso de definiciones teórico-conceptuales, es necesario el uso de conceptos claros y precisos para así facilitar y producir investigaciones coherentes. En este sentido, Sher y McKenzie (2006) señalan que, dentro de la psicología, el hecho de que los marcos sean lógicamente equivalentes no quiere decir que sean, necesariamente, informativamente equivalentes. Uno de los ejemplos más utilizados para desarrollar este planteamiento deviene de la situación de describir un vaso como medio vacío o medio lleno. Pues aunque ambas descripciones en el momento presente son lógicamente equivalentes, de acuerdo con estos autores, no proveen la misma información. Ya que la frase el vaso se encuentra medio lleno se relaciona con la idea de que anteriormente el vaso estaba vacío o que debería ser comparado con uno vacío. Mientras que la frase el vaso se encuentra medio vacío parte de la necesidad de ser comparado con un vaso que estaba o debería estar lleno. En este sentido, como señala Keren (2011), es necesario que el estudio de los efectos de enmarcado defina y aclare lo que significa la equivalencia en diferentes condiciones.

De esta forma, con base en el contexto anteriormente presentado, cabe preguntarse ¿cuál es el estado de la producción científica actual del enmarcado en psicología? Por lo que el objetivo de la presente investigación es analizar el estado de la producción científica del tema durante el periodo 2015 a 2019 dentro de un contexto internacional. La finalidad es identificar tendencias propias de la comunidad científica que, dentro de la psicología, se dedican a desarrollar y estudiar el enmarcado, así como las características en cuanto a usos y aplicaciones conferidos al concepto en la actualidad.

Metodología

A fin de dar respuesta a las interrogantes de la presente investigación, se realizó un análisis bibliométrico y de contenido cuantitativo. Primeramente, se eligió la base de datos internacional Scopus, considerada la mayor base de datos de citas y resúmenes de bibliografía revisada por pares, perteneciente a Elsevier (Elsevier, 2020). En esta base de datos se identificaron los artículos científicos publicados entre los años 2015 a 2019 que abordaban el tema del enmarcado. La estrategia que se siguió para la detección de la muestra se orientó a los títulos de los artículos en inglés y español, utilizando los términos framing effect, framing theory, efecto marco, teoría del enmarcado y teoría del encuadre. Se utilizó la palabra teoría como parte de la estrategia de búsqueda para restringir otros posibles usos de la palabra que no tuvieran que ver con el tema de la percepción de la información, así como para dar cabida a estudios de corte teórico. De esta forma, la estrategia de búsqueda quedó definida de la siguiente manera:

( TITLE ( "framing theory" ) OR TITLE ( "framing effect" ) OR TITLE ( "efecto marco" ) OR TITLE ( "teoría de enmarcado" ) OR TITLE ( "teoría del encuadre" ) ) AND ( LIMIT-TO ( DOCTYPE , "ar" ) ) AND ( LIMIT-TO ( SUBJAREA , "PSYC" ) ) AND ( LIMIT-TO ( PUBYEAR , 2019 ) OR LIMIT-TO ( PUBYEAR , 2018 ) OR LIMIT-TO ( PUBYEAR , 2017 ) OR LIMIT-TO ( PUBYEAR , 2016 ) OR LIMIT-TO ( PUBYEAR , 2015 ) ) AND ( LIMIT-TO ( LANGUAGE , "English" ) OR LIMIT-TO ( LANGUAGE , "Spanish" ) )

A partir de esta muestra inicial que arrojó un total de 65 artículos, se revisó cada uno para evitar duplicados y verificar su pertinencia en el tema, así como se descartaron 2 de ellos debido a limitaciones para acceder a los mismos. De esta manera, la muestra final arrojó un total de 63 artículos, los cuales fueron examinados con base en los criterios establecidos para el análisis bibliométrico y de contenido cuantitativo que serán descritos a continuación.

Análisis bibliométrico

La bibliometría puede ser definida como la técnica que describe las características de las publicaciones científicas como: “volumen, crecimiento, dispersión, productividad de los autores y colaboración, entre otras” (Romera-Iruela, 1992, p. 463) para arrojar luz sobre la naturaleza y el curso de desarrollo que sigue una temática, así como de los procesos de comunicación escrita que se forman alrededor de ella (Arbeláez Gómez y Onrubia Goñi, 2016) durante un periodo de tiempo determinado.

Para llevar a cabo el análisis bibliométrico en la presente investigación, se incluyeron las siguientes categorías descriptivas (basado en Piñeiro-Naval y Mangana, 2018):

  1. Número de unidad de análisis o artículo (desde 1 hasta 63).

  2. Año de publicación del artículo (desde 2015 hasta 2019).

  3. Revista donde fue publicado.

  4. País o región geográfica donde se ubica la universidad, o centro de investigación, de procedencia de los autores.

  5. Nombre completo de los autores.

  6. Nombre de la universidad, o centro de investigación, al que se adscriben los autores.

De esta forma, cada uno de los artículos de investigación que conformaron la muestra fueron revisados y clasificados de acuerdo con estas categorías enunciadas. Análisis de contenido cuantitativo

Posterior al análisis bibliométrico, se complementó la investigación con un análisis de contenido cuantitativo que permitió determinar orientaciones temáticas y metodológicas específicas de los artículos (Romera-Iruela, 1992), así como la identificación de las definiciones que actualmente guían y son mayormente aceptadas y utilizadas en el tema.

Se llevó a cabo un análisis cuantitativo temático y de naturaleza deductiva. Entendiendo temático como la consideración de “la presencia de términos o conceptos con independencia de las relaciones surgidas entre ellos” (Arbeláez Gómez y Onrubia Goñi, 2016, p. 20). Y deductivo, definido como la búsqueda “en el texto [de] algunas categorías previamente establecidas y construidas desde el referente teórico” (ibid., p. 25). Es decir, categorías construidas a priori.

Para examinar el estado teórico de la investigación en enmarcado, se utilizó parte de la clasificación propuesta por Piñeiro-Naval y Mangana (2019), y por Saperas y Carrrasco-Campos (2015), considerando las siguientes categorías:

    a). Modalidad del estudio: busca identificar el desarrollo científico que ha tenido el enmarcado, pues permite determinar qué clase de estudios se han llevado a cabo y qué tan frecuentes son:

      1). empírico (se analiza alguna realidad fenoménica relacionada con el enmarcado);

      2). teórico-conceptual (se exponen y discuten teorías y conceptos o se elaboran estados de la cuestión);

      3). metodológico (propuestas sobre métodos, técnicas o procedimientos de investigación);

      4). mixto, combinando distintas modalidades;

      5). no aplicable.

    b). Técnicas metodológicas empleadas (sólo en el caso de estudios de modalidad empírica o mixta): refiere a que dentro del artículo se utilizan técnicas específicas para la recolección de sus datos, las cuales pueden ser:

      1). análisis de contenido;

      2). encuesta;

      3). investigación experimental;

      4). análisis del discurso;

      5). entrevista;

      6). grupos focalizados;

      7). metaanálisis;

      8). análisis bibliométrico;

      9). estudio cualitativo de caso;

      10). varias técnicas a la vez;

      11). no aplicable;

      12). otro.

    c). Construcción teórica de la investigación: caracteriza el papel que juega el enmarcado en los textos analizados:

      1). teoría única y exclusiva: es la única teoría que desarrolla el artículo de forma explícita;

      2). teoría principal: la noción de enmarcado forma el marco teórico del artículo desde una posición dominante, pero aparecen, además, otras teorías solidarias;

      3). teoría complementaria o secundaria: la teoría del enmarcado forma parte del marco teórico, pero con un valor subordinado a otras teorías;

      4). teoría con función contextual: se la identifica como teoría estándar pero no se define ni profundiza en sus supuestos;

      5). no aplicable.

A estas categorías de análisis recopiladas, se agregaron dos categorías más. La primera de ellas con el propósito de determinar cómo se define el enmarcado dentro de cada artículo a partir de la clasificación de Levin et al. (1998):

    d). Clasificación de enmarcados:

      1). marco de elección arriesgada: se presenta como una serie de opciones de elección que difieren en su nivel de riesgo, por lo que se enmarca el mensaje para resaltar las ganancias o pérdidas;

      2). marco de atributos: el foco del marco son los atributos o características de un objeto o evento. Se evalúan las opciones y se compara el atractivo de éstas;

      3). marco de metas: el llevar a cabo una acción o comportamiento se convierte en el foco del marco, el cual es usado para persuadir;

      4). más de dos definiciones;

      5). no aplicable.

La última categoría identificó la temática de los artículos:

    e). Temática de los artículos:

      1). aspectos estructurales: se resaltan aspectos relacionados con diferencias en cuanto a la forma de presentar el problema. Por ejemplo, tipo de letra o formato que se utiliza, tamaño de las cantidades utilizadas para describir los problemas, etcétera;

      2). diferencias individuales: se enfatizan las características propias del individuo y su impacto en los resultados de la investigación. Por ejemplo: experiencia, grado de depresión o cuestiones de personalidad;

      3). neurociencia/fisiología: se lleva a cabo investigación relacionada con cuestiones fisiológicas, de neuroimagen o técnicas y métodos similares. Se enfatizan factores fisiológicos. Por ejemplo: investigaciones con fMRI, técnicas genéticas, entre otras;

      4). comportamiento del consumidor: artículos que estudian el enmarcado y su relación con situaciones donde el sujeto es visto como consumidor de algún producto o servicio;

      5). mecanismos psicológicos: el artículo se centra en explicar por qué/cómo se produce el enmarcado, explorar diferentes teorías o ahondar en los supuestos que lo fundamentan;

      6). interacción social: se remarcan escenarios donde el enmarcado es investigado en situaciones que involucran algún grado de interacción social, la influencia de otras personas, entre otras situaciones similares;

      7). emociones/sentimientos: se enfatiza el papel de alguna emoción/sentimiento en el efecto marco observado, y éste es el eje principal que guía la investigación. Por ejemplo: miedo, felicidad, tristeza, entre otras. Esta categoría excluye padecimientos o trastornos diagnosticados;

      8). efectos en los medios (medios de comunicación): artículos que analizan noticias o mencionan de manera explícita que analizan los enmarcados mediáticos (media frames);

      9). elección intertemporal: se enfatiza el estudio del enmarcado cuando la persona necesita elegir entre situaciones cuyos resultados difieren en el tiempo. Es decir, aspectos temporales guían la investigación. Por ejemplo: elección entre una ganancia en el momento presente o en el futuro;

      10). lenguaje: el tema principal se relaciona con el papel del lenguaje ante el estudio del enmarcado. Por ejemplo: dominio de idioma extranjero, entre otras;

      11). educación: artículo cuyo eje principal gira en torno al papel de la educación y su impacto en el estudio del enmarcado. Por ejemplo: diferencias en el grado de presencia del efecto marco con base en el sistema educativo.

Resultados

Análisis bibliométrico

A partir de los 63 artículos identificados por medio de Scopus durante el periodo 2015 a 2019, se encontró que el promedio de publicaciones fue de 12.6 artículos por año (véase figura 1).

Fuente: Elaboración propia con información obtenida de la base de datos Scopus.

Figura 1 Artículos que abordaron el efecto marco durante el periodo 2015-2019 

La figura 1 muestra, además, que el año 2017 contiene el mayor número de publicaciones sobre el tema (17 artículos). Mientras que el año 2018 únicamente registró nueve. El resto de los años difiere sustancialmente en cuanto al número de artículos totales. Adicionalmente, no se observa una tendencia hacia el incremento en el número de publicaciones científicas a lo largo de los años, por el contrario, ésta tiende a disminuir a partir del 2018.

Por otro lado, la tabla 1 muestra las principales revistas que publicaron más de un artículo sobre el enmarcado durante el 2015-2019.

Tabla 1 Características de las principales revistas que publicaron sobre el enmarcado (framing) y sus áreas, durante 2015-2019 

Número de revista Título de la revista País SJR (2019) Cuartil Áreas dentro de la psicología que aborda Artículos sobre enmarcado
1 Frontiers in Psychology Suiza 0.91 Q1 Varia 4
2 Judgment And Decision Making Estados Unidos 1.5 Q1 Psicología aplicada 4
3 Journal of Behavioral and Experimental Economics Estados Unidos 0.7 Q1 Psicología aplicada 3
4 Journal of Experimental Social Psychology Estados Unidos 2.49 Q1 Psicología social 3
5 Human Communication Research Estados Unidos 2.93 Q1 Desarrollo y psicología educativa 2
6 Journal of Behavioral Decision Making Reino Unido 1.32 Q1 Psicología aplicada 2
7 Journal of Experimental Psychology General Estados Unidos 2.72 Q1 Psicología experimental y cognitiva; varia 2
8 Journal of Experimental Psychology Learning Memory and Cognition Estados Unidos 2.16 Q1 Psicología experimental y cognitiva 2
9 Psychonomic Bulletin and Review Estados Unidos 2.58 Q1 Desarrollo y psicología educativa; psicología cognitiva y experimental 2
10 Quarterly Journal of Experimental Psychology Reino Unido 1.42 Q1 Psicología experimental y cognitiva; varia; neuropsicología y psicología fisiológica 2
11 Social Neuroscience Reino Unido 1.17 Q1 Psicología social 2
12 Psychological Reports Estados Unidos 0.47 Q2 Varia 2

Fuente: Elaboración propia con información obtenida de la base de datos Scopus.

Como se observa en la tabla 1, las revistas Frontiers in Psychology y Judgment and Decision Making publicaron 4 artículos cada una durante el periodo 2015 a 2019. Mientras que el resto de las revistas consideradas publicaron únicamente entre 3 y 2 artículos durante el mismo periodo de tiempo.

Adicionalmente, se puede observar que 11 de las 12 revistas se ubican dentro del cuartil 1, lo que indica que se trata de las revistas más importantes de su área. Mientras que al analizar el indicador SJR (Scimago Journal and Country Rank), que mide el valor de impacto científico de una publicación considerando el número de citas y el prestigio de los medios que las emiten, se puede observar que éste varía considerablemente entre revistas, las cuales pertenecen, en su mayoría, a países anglosajones.

Por otra parte, en la tabla 2 se muestra el número de artículos publicados de acuerdo con el país en el que se encuentra el centro de investigación al que pertenecen los investigadores de cada artículo. Cada publicación fue clasificada en más de una categoría de acuerdo con el país en el que se ubicaba el centro de adscripción de cada autor. Sin embargo, si dos o más autores pertenecían a centros de investigación o universidades dentro un mismo territorio, el país en cuestión solo era contabilizado una vez por artículo. Estas delimitaciones arrojaron un total de 83 datos.

Tabla 2 Número de artículos publicados sobre enmarcado clasificados por país (2015-2019) 

País donde se ubica el
centro de investigación de
los autores
Número de
artículos
Porcentaje
Estados Unidos 24 28.91 %
Alemania 11 13.25 %
China 8 9.63 %
Reino Unido 8 9.63 %
Australia 4 4.81 %
Francia 4 4.81 %
Países Bajos 4 4.81 %
Austria 3 3.61 %
Suiza 3 3.61 %
Israel 2 2.40 %
Italia 2 2.40 %
Dinamarca 1 1.20 %
Hong Kong 1 1.20 %
Hungría 1 1.20 %
India 1 1.20 %
Filipinas 1 1.20 %
Serbia 1 1.20 %
Taiwán 1 1.20 %
Tailandia 1 1.20 %
Turquía 1 1.20 %
Ucrania 1 1.20 %
Total 83 100 %

Fuente: Elaboración propia con información obtenida de la base de datos Scopus.

La tabla 2 muestra que el país que más produjo y coprodujo investigaciones relacionadas con el efecto marco fue Estados Unidos con un total de 24 artículos (28.91 % de la muestra total). Le sigue Alemania con 11 artículos (13.25 %). Y, en tercer lugar, se ubican China y Reino Unido con 8 publicaciones cada uno, o el 9.63 % de la muestra respectivamente. Llama la atención que existen autores cuyos centros de adscripción pertenecen a otras naciones, las cuales han publicado entre cuatro y un artículo sobre el tema (38.55 % de la muestra analizada), siendo un total de 21 países los que han abordado la temática durante el periodo 2015-2019.

Otra característica interesante acerca de los investigadores deviene del hecho de que se identificaron un total general de 203 autores a partir de los 63 artículos analizados, sin embargo, ninguno de ellos publicó más de 3 artículos relacionados con la temática, ya sea como autor principal o coautor, al menos no dentro de los artículos de la muestra estudiada. La tabla 3 identifica a los seis autores más productivos en este sentido.

Tabla 3 Número de publicaciones de los principales autores acerca del enmarcado (2015-2019) 

Nombre del autor Artículos como autor principal Artículos como coautor Artículos totales
Korn, C.W. 2 1 3
Moutier, S. 0 3 3
Oganian, Y. 1 2 3
Diederich, A. 1 1 2
Gosling, C.J. 2 0 2
Heekeren, H.R. 0 2 2

Fuente: Elaboración propia con información obtenida de la base de datos Scopus.

Por otro lado, se identificó que los 63 artículos estaban escritos en idioma inglés, a pesar de que la estrategia de búsqueda implementada también consideró artículos escritos en español.

Análisis de contenido cuantitativo

La tabla 4 ofrece una clasificación de los 63 artículos analizados, donde cada uno de ellos es identificado y subclasificado de acuerdo con la modalidad del estudio (empírico, teórico-conceptual, metodológico o mixto) y, a su vez, de acuerdo con la construcción teórica de la investigación (teoría única y exclusiva, principal o complementaria).

Tabla 4 Clasificación de los artículos de acuerdo con la modalidad de estudio y la construcción teórica del enmarcado (2015-2019) 

Construcción teórica de la investigación
Modalidad del estudio Teoría única y exclusiva Teoría principal Teoría complementaria Teoría con función contextual Total general Total general (porcentaje)
Empírico 20 22 8 1 51 80.95 %
Teórico-conceptual 1 NA NA NA 1 1.58 %
Metodológico NA NA NA NA 0 0
Mixto (empírico-teórico) 3 5 2 NA 10 15.87 %
Mixto (teórico-metodológico) NA 1 NA NA 1 1.58 %
Total general 24 28 10 1 63 100 %
Total general (porcentaje) 38.09 % 44.44 % 15.87 % 1.58 % 100 %

Nota: Elaboración propia con información obtenida de la base de datos Scopus. Los NA indican no aplica, y se refieren a aquellas categorías vacías o que no fueron identificadas dentro del análisis de contenido.

El análisis de contenido de corte cuantitativo indicó que 51 de ellos (80.95 %) eran estudios de tipo empírico, es decir, analizaban alguna realidad fenoménica concreta relacionada con el enmarcado. Mientras que solo 10 de ellos (15.87 %) ofrecían un estudio donde, además de una aproximación empírica, se llevaba a cabo una revisión teórica acerca de alguno de los supuestos relacionados con el enmarcado, es decir, eran estudios de modalidad mixta empírica-teórica (véase tabla 4). En menor número se identificaron artículos puramente teóricos (1.58 %) o teórico-metodológicos (1.58 %).

Continuando con el análisis de la tabla 4, ésta identifica también a aquellos artículos que, de acuerdo con su modalidad, abordaron al enmarcado como teoría única, principal, complementaria o con función contextual. Al respecto, cabe señalar que la mayoría de los artículos analizados, independientemente de su modalidad, se aproximaron al estudio de los enmarcados desde una construcción teórica que la coloca como la teoría principal (28 artículos o 44.44 % de la muestra), mientras que 24 publicaciones (38.09 %) la abordaron como teoría única y exclusiva dentro de su investigación.

Por otro lado, 10 artículos utilizaron al enmarcado como teoría complementaria (15.87 %), para explicar parte de sus resultados (8 de ellos subclasificados como empíricos y 2 mixtos). Mientras que solo un artículo de modalidad empírica ubicó al enmarcado como teoría contextual (1.58 %), es decir, no lo mencionó más allá de un par de veces para dar cabida a otros fenómenos de interés.

Por su parte, la figura 2 ofrece una clasificación de las técnicas metodológicas empleadas por los 62 artículos que se identificaron como de modalidad empírica o mixta.

Fuente: Elaboración propia con información obtenida de la base de datos Scopus.

Figura 2 Técnicas metodológicas empleadas por los artículos sobre enmarcado, 2015-2019 

De acuerdo con la figura 2, la mayoría de los trabajos utilizó el experimento como la principal técnica metodológica para aproximarse al objeto de estudio (47 artículos o 75.80 % de la submuestra analizada). Mientras que el experimento combinado con otras técnicas representó la segunda aproximación más utilizada con 14 artículos en total (22.58 %). Por otro lado, únicamente se identificó una investigación en que utilizó una técnica diferente del experimento, en este caso, la revisión sistemática.

La tabla 5 muestra la clasificación de los artículos de acuerdo con las definiciones que se ofrecen del enmarcado, tomando como base la propuesta de clasificación de Levin et al. (1998).

Tabla 5 Clasificación de las definiciones de enmarcado utilizadas, con base enLevin et al. (1998), en el periodo 2015-2019 

Clasificación de Levin Total Porcentaje
Marco de elección arriesgada 31 49.20 %
Marco de atributos 8 12.69 %
Marco de metas 0 0
Más de dos definiciones
Enmarcado de elección arriesgada y atributos 4 6.34 %
Enmarcado de elección arriesgada y metas 1 1.58 %
No aplicable Su definición no es compatible con las clasificaciones de Levin et al. (es de tiposociológico) 6 9.52 %
No es definido más allá de una concepción general sin ahondar en sus supuestos 8 12.69 %
Propone otra clasificación o tipo de efecto no considerada por Levin 4 6.34 %
Su definición difiere de aproximaciones psicológicas o sociológicas, utilizándolo para referirse al procesamiento de palabras 1 1.58 %
Total general 63 100 %

Fuente: Elaboración propia con información de Levin et al. (1998) y de la base de datos Scopus.

Como se puede observar, 31 de los artículos (49.20 %) analizaron al enmarcado apegándose a la conceptualización tradicional propuesta por Tversky y Kahneman (1981). Mientras que el marco de atributos únicamente fue identificado en 8 artículos (12.69 %). Un aspecto interesante que se observó en 19 publicaciones (30.15 % de la muestra) refiere a que las conceptualizaciones utilizadas para definir al enmarcado no se apegaron a la clasificación de Levin et al. (1998) debido a las razones mencionadas en la tabla 5.

Respecto a los temas abordados en los artículos analizados, (véase tabla 6) se observa que la principal temática se relaciona con aspectos estructurales (14 artículos o 22.22 %), entendiendo éstos como aquellas investigaciones que resaltan algunas diferencias en cuanto a la forma de presentar el problema.

Tabla 6 Artículos sobre enmarcado clasificados por temática (2015-2019) 

Temática Número de artículos Porcentaje
Aspectos estructurales 14 22.22 %
Diferencias individuales 10 15.87 %
Neurociencia/fisiología 6 9.52 %
Comportamiento del consumidor 5 7.93 %
Juicios morales 5 7.93 %
Mecanismos psicológicos 5 7.93 %
Interacción social 4 6.34 %
Emociones/sentimientos 4 6.34 %
Efectos en los medios (medios de comunicación) 3 4.76 %
Elección Intertemporal 3 4.76 %
Lenguaje 3 4.76 %
Educación 1 1.58 %
Total general 63 100 %

Fuente: Elaboración propia.

Asimismo, la tabla 6 indica que otras temáticas estudiadas son las diferencias individuales (10 artículos o 15.87 %), y el ámbito de la neurociencia/fisiología con 9.52 %. Por su parte, los mecanismos psicológicos, los cuales pueden contribuir en el entendimiento del enmarcado, representan una temática que, si bien es abordada por 5 artículos (7.93 %), su frecuencia de aparición no sobresale respecto a las demás.

Discusión

El presente artículo se propuso determinar el estado de la producción científica en el tema del enmarcado en psicología dentro del contexto internacional del 2015 al 2019. Esto debido a que la naturaleza del concepto se ha prestado para que se engloben dentro de diferentes significados, metodologías y alcances en la investigación que pueden dificultar su comprensión. Por tal motivo, se consideró adecuado caracterizar mediante un análisis descriptivo el estado de su producción científica y de la comunidad académica internacional que estudia el tema, a través de una muestra de artículos científicos obtenidos mediante la base de datos Scopus.

En primer lugar, el análisis bibliométrico realizado indicó que el estudio del enmarcado desde una perspectiva psicológica no sigue una tendencia clara respecto al incremento o decremento constante en el número de publicaciones a lo largo del periodo estudiado. Estos resultados contrastan con investigaciones que han abordado el tema desde otras disciplinas, como la comunicación (ver, por ejemplo, Piñeiro-Naval y Mangana, 2018) quienes han señalado que existe cierta tendencia hacia el aumento de publicaciones sobre el tema.

Sin embargo, estos resultados pueden deberse, en parte, a los criterios utilizados para delimitar la muestra, donde únicamente se consideró la base de datos Scopus durante un periodo de cinco años y se utilizaron criterios estrictos de inclusión y exclusión de artículos. En este sentido, se sugiere para estudios posteriores ampliar los criterios de búsqueda para determinar si desde otras disciplinas y criterios más amplios se observa alguna tendencia en cuanto a la cantidad de artículos publicados.

Por otro lado, todos los artículos analizados estaban redactados en idioma inglés, a pesar de que se incluyó dentro de los criterios de búsqueda al idioma español. Esto se puede deber a la tendencia por publicar investigaciones en inglés con la finalidad de internacionalizar el conocimiento, lo que demuestra que el inglés “sigue siendo el idioma hegemónico mundial […] a nivel académico” (Piñeiro-Naval y Mangana, 2018, p.1554). Esta explicación cobra mayor fuerza si se considera que de las 12 revistas que publicaron sobre el tema, 11 pertenecían al cuartil 1, lo que indica que se ubican entre las revistas más importantes a nivel internacional de su área.

Adicionalmente, se destaca que el liderazgo en cuanto al número de artículos por países y autores provenientes de Estados Unidos, Alemania, China y Reino Unido concuerda con los planteamientos de Ciocca y Delgado (2017), quienes señalan que en esta clase de países desarrollados se reconoce la necesidad e importancia de la ciencia para el desarrollo de la sociedad, por lo que se invierte gran cantidad de recursos para financiar investigaciones científicas. Mientras que países menos desarrollados, como es el caso de la región de América Latina, no aparecieron en la muestra seleccionada. Así, estos resultados del análisis bibliométrico permitieron identificar que, a nivel internacional, el idioma inglés y los países anglosajones son los actores que, dentro de la comunidad científica que estudia el enmarcado, lideran la investigación.

Ahora bien, el análisis de contenido cuantitativo brindó valiosa información en cuanto al estado y uso del enmarcado en psicología. Al respecto, la mayoría de los artículos son de modalidad empírica, por lo que se observa una tendencia a realizar investigaciones que estudian una realidad fenoménica concreta en lugar de abordar aspectos teóricos o incluso metodológicos. En este sentido, se coincide con Carpenter (2018), quien indica que, en psicología, hacen falta más investigaciones que aborden cómo se produce en términos psicológicos el enmarcado; es decir, profundizar en aquellos aspectos teóricos y conceptuales que otorgan sustento a la teoría. Este es un resultado que también han señalado autores que estudian el tema desde otras disciplinas, como Piñeiro-Naval y Mangana (2019) y Borah (2011), quienes han identificado una tendencia por dejar de lado cuestiones teóricas en la disciplina de la comunicación. De ahí la preocupación de algunos autores (Cacciatore et al., 2016; De Vreese, 2017) por tratar de ofrecer perspectivas y modelos que integren los hallazgos y las diferentes aplicaciones de los enmarcados, más allá de simplemente realizar investigación que confirme su existencia.

En cuanto a cuestiones metodológicas, el experimento es el método principal que utilizan los estudios en psicología para aproximarse al enmarcado. Sin embargo, a pesar de que permite controlar y manipular diferentes variables, algunos autores señalan que estos métodos pueden no capturar otros fenómenos sociales que podrían repercutir en el enmarcado y sus efectos, por lo que se critica su falta de validez ecológica (Marín Albaladejo y Zamora Medina, 2014). De esta forma, un área de oportunidad en cuanto al estudio del enmarcado en psicología tiene que ver con la incorporación de diferentes métodos, más allá de los experimentales, que permitan capturar y aproximarse de manera diferente al tema.

Por otro lado, a pesar de que la gran mayoría de los artículos analizados colocan al enmarcado como la teoría única o principal que guía su investigación, se observó que existen diferencias en cuanto a la manera en la que se conceptualiza el término. A este respecto, la definición propuesta a partir de los trabajos clásicos en psicología de Tversky y Kahneman (1981), quienes caracterizan al efecto marco como un fenómeno donde se elige entre opciones lógicamente equivalentes que varían en el nivel de riesgo (pérdidas o ganancias) continua siendo la más utilizada, mientras que la definición menos utilizada fue el enmarcado de metas, ya que no constituyó por sí sola el objeto de estudio de ninguno de los artículos de la muestra. Por lo tanto, estos resultados señalan que la visión psicológica clásica todavía domina en un porcentaje mayoritario la producción científica en el tema.

No obstante, también se observó que no todas los trabajos analizados se apegaban a estas definiciones. Por ejemplo, algunos artículos describieron y utilizaron otro tipo de enmarcados, como el denominado marco temporal (donde se enfatiza la presentación de enmarcados considerando diferentes espacios en el tiempo) (Polunin, 2015). E incluso, se identificó que definiciones mucho más apegadas al ámbito sociológico y de las ciencias de la comunicación están llegando al campo de la psicología, entremezclando así los campos de especialidad, como lo demuestran algunas de las investigaciones analizadas. Por ejemplo, se identificó que, en estos casos, el enmarcado no es conceptualizado como un fenómeno de equivalencia, sino más bien es entendido como un énfasis en “patrones distintos y reconocibles de cobertura de noticias que resaltan ciertos aspectos de un tema sobre otros […] [por lo que] sugieren juicios, actitudes y decisiones específicas para el individuo” (Bos et al., 2016, p.98). Es decir, esta clase de enmarcados resaltan algunas partes del mensaje, pero al mismo tiempo, excluyen y limitan otras, fomentando un particular punto de vista sobre el tema en cuestión.

Estos resultados son trascendentes en virtud de considerar la variedad y número de temáticas que fueron identificadas a lo largo de los 63 artículos, pues la repercusión del enmarcado en áreas comúnmente alejadas una de otra, como fisiología y estudios sociales, subraya la importancia de la investigación traslacional. Este aspecto es señalado por Carpenter (2018) y Krüger et al. (2017) quienes indican que este tipo de investigación busca aplicar los hallazgos realizados en investigación básica en contextos “naturales”, por lo que se recalca la importancia del trabajo entre diferentes disciplinas.

Estos resultados coinciden con los planteamientos de Borah (2011) y De Vreese (2017), que están de acuerdo en que es posible y necesario estudiar el enmarcado desde una visión que reconozca la interacción entre los diversos puntos de vista, definiciones y aplicaciones que lo engloban. No obstante, a pesar de que se sugiere “estudiar el proceso de framing desde una aproximación integradora, continúa existiendo un profundo debate sobre cómo llevar a cabo dicha convergencia entre diferentes aproximaciones y líneas de investigación” (Marín Albaladejo y Zamora Medina, 2014, p. 15), por lo que, si bien no es un tema sencillo de delimitar, es necesario reconocer que se están llevando a cabo diferentes esfuerzos por otorgarle mayor coherencia al área.

Finalmente, cabe señalar las limitaciones del estudio realizado. En primer lugar, el número de años considerados (2015-2019) para la recolección de la muestra, así como los criterios de inclusión y exclusión de artículos, que pudieron haber dejado de lado un número importante de estudios que también contribuyeran con la comprensión del tema. Por lo que se sugiere que, en investigaciones posteriores, se amplíe el número de años a 10 o más, así como los criterios de inclusión, para identificar con mayor detalle aspectos bibliométricos importantes. Incluso, futuros trabajos pueden abordar el estado de la producción científica tanto en otras disciplinas como en otras regiones, países y bases de datos, con el objetivo de contrastar los hallazgos realizados en ésta y otras investigaciones.

Por otro lado, el método descriptivo utilizado posee la limitante de ser únicamente un primer acercamiento al estado de la producción científica, por lo que se sugiere que en estudios posteriores se utilice otro tipo de metodología para determinar con mayor exactitud el panorama de la investigación en el ámbito psicológico. Por ejemplo, se sugiere la implementación de revisiones sistemáticas.

Conclusiones

Se concluye que los resultados obtenidos a partir de esta investigación ofrecen un panorama general acerca del estado de la producción científica internacional en el tema de enmarcado en psicología durante el periodo 2015-2019, reflejando aspectos propios de la comunidad científica, así como de las definiciones, aportes temáticos y métodos de investigación en mayor medida utilizados. Asimismo, se concluye que, a pesar de que el enmarcado de elección arriesgada, propuesto por Tversky y Kahneman, continúa dominando en gran porcentaje el estudio del tema en psicología, existen definiciones desarrolladas en otras disciplinas que están impactando dentro del área en la actualidad.

Los resultados obtenidos ponen sobre la mesa la necesidad de desarrollar aproximaciones que estudien el tema más allá de los límites de una disciplina, con el objetivo de ampliar y enriquecer los alcances de la temática del enmarcado.

Conflicto de intereses

Los autores declaran no tener conflictos de intereses.

Financiamiento

No se recibió financiamiento institucional para la elaboración de la presente investigación, la inversión fue directamente realizada por las autoras.

Referencias

Arbeláez Gómez, M. C. y Onrubia Goñi, J. (2016). Análisis bibliométrico y de contenido. Dos metodologías complementarias para el análisis de la revista colombiana Educación y Cultura. Revista de Investigaciones. UCM, 14(23), 14-31. https://doi.org/10.22383/ri.v14i1.5 [ Links ]

Bateson, G. (1955). A Theory of Play and Fantasy; a Report on Theoretical Aspects of the Project of Study of the Role of the Paradoxes of Abstraction in Communication. Psychiatric research reports, 2, 39-51. https://pubmed.ncbi.nlm.nih.gov/13297882/Links ]

Borah, P. (2011). Conceptual Issues in Framing Theory: A Systematic Examination of a Decade's Literature. Journal of Communication, 61(2), 246-263. https://doi.org/10.1111/j.1460-2466.2011.01539.x [ Links ]

Borah, P. (2018). Competitive Frames and Accuracy Motivations. Journal of Media Psychology. 31, 137-148. https://doi.org/10.1027/1864-1105/a000237 [ Links ]

Bos, L., Lecheler, S., Mewafi, M. y Vliegenthart, R. (2016). It's the Frame that Matters: Immigrant Integration and Media Framing Effects in the Netherlands. International Journal of Intercultural Relations, 55, 97-108. https://doi.org/10.1016/j.ijintrel.2016.10.002 [ Links ]

Cacciatore, M. A., Scheufele, D. A. e Iyengar, S. (2016). The End of Framing as we Know it… and the Future of Media Effects. Mass Communication and Society, 19(1), 7-23. https://doi.org/10.1080/15205436.2015.1068811 [ Links ]

Carpenter, S. M. (2018). Framing Effects. En J. Vonk & T. Shackelford (Eds.), Encyclopedia of Animal Cognition and Behavior (pp. 1-7). Springer International Publishing. https://doi.org/10.1007/978-3-319-47829-6_1571-1 [ Links ]

Ciocca, D. R. y Delgado, G. (2017). The Reality of Scientific Research in Latin America; an Insider’s Perspective. Cell Stress and Chaperones, 22(6), 847-852. https://doi.org/10.1007/s12192-017-0815-8 [ Links ]

Chong, D. y Druckman, J. N. (2007). Framing Theory. Annu. Rev. Polit. Sci., 10, 103-126. https://doi.org/10.1146/annurev.polisci.10.072805.103054 [ Links ]

De Vreese, C. H. (2017). Framing as a Multilevel Process. En P. Rössler, C. A. Hoffner, & L. Zoonen (Eds.), The International Encyclopedia of Media Effects (1a ed.). Wiley. https://doi.org/10.1002/9781118783764 [ Links ]

Elsevier. (2020). Elsevier at a Glance. https://www.elsevier.com/about/this-is-elsevierLinks ]

Fan, W. (2017). Education and Decision-making: An Experimental Study on the Framing Effect in China. Frontiers in Psychology, 8, 1-7. https://doi.org/10.3389/fpsyg.2017.00744 [ Links ]

Kahneman, D. (2011). Pensar rápido, pensar despacio. Penguin Random House Grupo Editorial. [ Links ]

Keren, G. (2011). On the Definition and Possible Underpinnings of Framing Effects: A Brief Review and a Critical Evaluation. En G. Keren (Ed.), Society for Judgment and Decision Making series. Perspectives on framing (pp. 3-34). Psychology Press. [ Links ]

Krüger, T., Vogel, T. y Wänke, M. (2017). Framing Effect in Consumer Judgement and Decision Making. En C. V. Jansson-Boyd & M. J. Zawisza (Eds.), Routledge International Handbook of Consumer Psychology (pp. 349-369). Routledge. [ Links ]

Kuhn, T. S. (2012). La estructura de las revoluciones científicas. Fondo de Cultura Económica; (Original publicado en 1962). [ Links ]

Levin, I. P., Schneider, S. y Gaeth, G. (1998). All Frames Are Not Created Equal: A Typology and Critical Analysis of Framing Effects. Organizational Behavior and Human Decision Processes, 76(2), 149-188. https://doi.org/10.1006/obhd.1998.2804 [ Links ]

Li, K. K., Ng, L., Cheng, S. T. y Fung, H. H. (2017). Reverse Message-framing Effects on Accelerometer-assessed Physical Activity among Older Outpatients with Type 2 Diabetes. Journal of Sport and Exercise Psychology, 39(3), 222-227. https://doi.org/10.1123/jsep.2016-0249 [ Links ]

Marín Albaladejo, J. y Zamora Medina, R. (2014). Aproximación integradora en la investigación sobre la teoría del framing desde su condición multiparadigmática. Disertaciones: Anuario electrónico de estudios en comunicación social, 7(1), 6-40. https://revistas.urosario.edu.co/index.php/disertaciones/article/view/3838Links ]

Piñeiro-Naval, V. y Mangana, R. (2018). Teoría del encuadre: Panorámica conceptual y estado del arte en el contexto hispano. Estudios sobre el Mensaje Periodístico, 24(2), 1541-1557. https://doi.org/10.5209/esmp.62233 [ Links ]

Piñeiro-Naval, V. y Mangana, R. (2019). La presencia del framing en los artículos publicados en revistas hispanoamericanas de comunicación indexadas en Scopus. Palabra Clave, 22(1), 1-26. https://doi.org/10.5209/ESMP.62233 [ Links ]

Polunin, O. (2015). Cognitive Representation of Situational and Propositional Time Flow as Basis for Temporal Framing Effect in Future Time Mode. Studia Psychologica, 57(1), 5-20. Scopus. https://doi.org/10.21909/sp.2015.01.670 [ Links ]

Romera-Iruela, J. M. (1992). Potencialidad de la bibliometría para el estudio de la ciencia, aplicación a la educación especial. Revista de Educación, 297, 459-478. http://hdl.handle.net/11162/81717Links ]

Saperas, E. y Carrasco-Campos, Á. (2015). The Operationalization of the Concept of Framing in the Journal of Communication (2009-2013): Objects of Study, Research Techniques and Theoretical Constuction. Communication & Society, 28(4), 49-66. https://doi.org/10.15581/003.28.4.49-66 [ Links ]

Sher, S. y McKenzie, C. R. M. (2006). Information Leakage from Logically Equivalent Frames. Cognition, 101(3), 467-494. https://doi.org/10.1016/j.cognition.2005.11.001 [ Links ]

Takemura, K. (2014). Behavioral Decision Theory. Psychological and Mathematical Descriptions of Human Choice Behavior. Springer. https://www.springer.com/gp/book/9784431545798Links ]

Tversky, A. y Kahneman, D. (1981). The Framing of Decisions and the Psychology of Choice. Science, 211(30), 453-458. https://doi.org/10.1126/science.7455683 [ Links ]

Cómo citar este artículo: Maldonado Reynoso, N. P., & Vázquez Herrera, N. V. (2021). Evaluación de la producción científica del enmarcado (’framing’) en psicología (2015-2019). Psicumex, 11(1), 1-31, e458. https://doi.org/10.36793/psicumex.v11i1.458

Recibido: 23 de Mayo de 2021; Aprobado: 17 de Octubre de 2021

*Autor para correspondencia: nmaldonador@ipn.mx

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons