text new page (beta)
Spanish (pdf)
Article in xml format
Article references
Automatic translation
Send this article by e-mail
Cited by SciELO 
Similars in
SciELO 
Permalink
INTRODUCCIÓN
La educación es un tema en constante transformación, ya que las instituciones buscan servicios de calidad educativa óptimos, con mejores aprendizajes para los estudiantes (Llorente, 2008). Algunas instituciones educativas, en la búsqueda de la calidad educativa, involucran a todos los actores que intervienen en el proceso educativo, tanto en la revisión constante de los programas educativos como en las formas de transmitir sus contenidos (BUAP, 2007).
Diversos autores (Coll, 2004; Cabero, 1996, 2008, 2010; Colina, 2008) destacan las tecnologías de la información y la comunicación (TIC) como un recurso que contribuye con eficiencia al mejoramiento de la calidad educativa, incluyendo infraestructura y formación docente (Lugo, 2010). En este sentido, se considera que la incorporación de las TIC en las aulas proporciona las oportunidades para crear entornos de formación basados en un diseño de calidad, centrados en el estudiante, atractivos, interactivos, económicos, eficientes, accesibles, flexibles y significativos (Coll 2004; Cabero y Colina, 2008; Lugo, 2010).
Fandos, Jiménez y González (2002) señalan que las TIC permiten crear nuevos espacios en línea que ayudan a superar las barreras referidas a la coincidencia de espacio y tiempo que hasta ahora era indispensable entre profesores y estudiantes inmersos en el proceso de enseñanza-aprendizaje. Por su parte, Wagner (2001) y Garza (2001) observan que los ambientes de aprendizaje tecnológicos, además de eficaces, cómodos y motivantes, promueven el desarrollo de conocimientos y habilidades de los estudiantes en un contexto virtual, que pueden tomar lugar en plataformas de internet donde interactúan alumnos y profesores, además de emular la interacción que se tiene en el aula presencial; en ambos casos se busca la generación de aprendizajes, entendido “como un cambio en el significado de sus experiencias”.
Recientemente, Rodríguez y Fernández (2017) demostraron que la implementación de videos en YouTube como material de apoyo en un curso de estadística para estudiantes latinoamericanos de una maestría en línea generó un impacto positivo sobre las calificaciones de los alumnos, resultado que los autores atribuyen a que los alumnos mejoraron la comprensión del contenido de la materia. Los resultados anteriores son muy particulares debido a que los programas en línea pueden atraer estudiantes con un mejor uso de las TIC, o bien, los estudiantes de posgrado pueden tener mayor motivación que otros tipos de estudiantes, lo que hace cuestionar si la aplicación de videos en YouTube para alumnos en otras modalidades de aprendizaje o niveles de educación obtendría resultados similares.
El objetivo de este artículo es estudiar el uso de videos en YouTube como material de aprendizaje en estudiantes de nivel licenciatura, en modalidad presencial, de la materia de Microeconomía, en una universidad ubicada en el estado de Puebla, México. En particular, medimos el efecto causal de usar materiales didácticos basados en la plataforma YouTube sobre las calificaciones obtenidas en la materia mencionada. El estudio es diferente al de Rodríguez y Fernández (2017) porque en este se analizan alumnos de licenciatura, los cuales podrían contar con menor motivación que los de maestría, así como estudiantes de modalidad presencial, los cuales podrían tener un menor conocimiento del uso de las TIC comparado con quienes realizan estudios en línea.
En este estudio hacemos un control más estricto sobre la comparabilidad de los estudiantes, pues todos pertenecen a una misma generación escolar y enfrentan las mismas condiciones de infraestructura en su universidad, a diferencia de Rodríguez y Fernández (2017), en cuya investigación los estudiantes pueden estar incluso en distintos países y, por lo tanto, enfrentar condiciones de infraestructura diferentes dependiendo de la región desde donde se conecten a sus plataformas en línea.
Para encontrar el efecto causal, seguimos la metodología de experimentos controlados aleatorizados (ECA) (Lazcano, Salazar y Gutiérrez, 2004; García, 2011; Baker, 2000; Gertle et al., 2011; Navarro, 2005; Moral-Arce, 2014). Encontramos que el uso de videos como materiales didácticos mejoró las calificaciones de los alumnos tratados en un 36%, a un nivel de confianza de 1%.
El artículo se divide de la siguiente forma: en la primera sección, revisamos la literatura sobre la relación del proceso de enseñanza-aprendizaje y las TIC, así como investigaciones empíricas cuantitativas. En la segunda, abordamos la teoría de los ECA y las razones por las cuales ese efecto causal se identifica. En la tercera, describimos el ECA estimado y el modelo empírico en el que se formula una ecuación que relaciona el desempeño escolar con las características observables y su participación en el ECA. En la cuarta, especificamos las características de la población observada tanto para el grupo de control como para el de tratamiento, lo cual es importante para determinar si los supuestos necesarios para la aplicación de un ECA se cumplen en la población estudiada. En la quinta sección, presentamos los resultados del ECA y, en la sexta, las conclusiones.
CONSIDERACIONES TEÓRICAS
Determinar el impacto de usar las TIC en el proceso de enseñanza-aprendizaje no es una tarea sencilla, debido a la existencia de al menos tres problemas estadísticos: en primer lugar, el problema de selección en características observables y no observables en estudiantes, que se da en virtud de que el éxito de las TIC depende de las capacidades individuales de cada estudiante (López, 2013), las cuales pueden estar asociadas a los recursos que el individuo tuvo disponibles durante su formación académica, el estilo parental con el cual se desarrolló, la educación y condición de actividad laboral de sus padres, entre otras (Cuecuecha, 2017).
El segundo problema es la selección en características observables y no observables de escuelas, ya que la adopción de tecnologías entre escuelas diferentes tampoco ocurre de manera aleatoria, por ejemplo, puede haber escuelas que cuenten con mayores recursos para invertir en las TIC e incorporarlas en sus procesos de enseñanza-aprendizaje. El tercer problema es que la heterogeneidad en tecnologías de información puede generar dificultades de medición: si se desconoce la naturaleza específica de la tecnología de información utilizada se podría medir con error el verdadero impacto de las TIC.
Por lo anterior, el ECA únicamente utiliza videos de YouTube y se aplica en estudiantes de una universidad, de una misma facultad, de una misma licenciatura y de una misma generación. Para controlar las características no observables de los estudiantes, seguimos dos estrategias: primero, la aplicación de una encuesta entre la comunidad que integra la facultad a la cual pertenece la licenciatura estudiada, con el fin de determinar la existencia de selección de estudiantes en función de la carrera preferida dentro de la facultad estudiada; con esa encuesta estimamos la probabilidad de elegir la licenciatura en cuestión.
La segunda estrategia consistió en una metodología de diferencias en diferencias para analizar el impacto del tratamiento únicamente sobre el cambio observado en calificaciones antes y después del tratamiento. Participaron 89 alumnos, de los cuales 41 pertenecen al grupo al que se hace referencia. El tratamiento se dividió en tres etapas: en la primera, todos los estudiantes recibieron materiales tradicionales; en la segunda, el grupo tratado recibió materiales basados en videos de YouTube; en la tercera y última, todos regresaron a utilizar materiales tradicionales. Al final de cada etapa aplicamos exámenes para medir el desempeño de los alumnos. En el estudio, estos no podían elegir al profesor ni la sección de la materia en la que se empleó la intervención.
Ante la evidencia de que la selección en no observables es mínima, en el estudio decidimos utilizar técnicas de emparejamiento aleatorizado de datos (RMS, por sus siglas en inglés), las cuales permiten encontrar el impacto de la intervención no solo en el promedio, sino a lo largo de toda la distribución.
A pesar de las metodologías seguidas para la obtención del efecto causal, hay elementos no observables que podrían generar sesgos en la estimación; por ejemplo, si los alumnos modifican su entusiasmo para estudiar la materia, quizás a consecuencia de usar YouTube, podríamos asignar el impacto al uso de la TIC, cuando de hecho solo varió el entusiasmo de los alumnos para dedicar horas de estudio. Esta investigación se guió por las horas que los alumnos reportaron en la encuesta que dedicaban a estudiar, pero si hubiera variaciones no observadas dentro del momento del experimento en el nivel de entusiasmo, podríamos notar sesgos. Esto hace que las posibilidades de extrapolar los resultados del experimento a otros ambientes sean limitadas. Lo recomendable sería aplicar ECA en otros niveles de educación y en otras materias con el propósito de validar los resultados alcanzados en nuestro estudio.
RELACIÓN CON LA LITERATURA
Existen diversos estudios que buscan evidencia empírica de los logros académicos obtenidos a partir del uso eficiente de las TIC durante el proceso enseñanza-aprendizaje. En primer lugar, destacamos los estudios que evalúan los efectos de las TIC entendidas como hardware. Alderete y Formichella (2016) evaluaron el programa Conectar Igualdad, aplicado en Argentina en 2012, el cual consistió en dotar de notebooks a los estudiantes de 15 años con la finalidad de determinar el rendimiento en los resultados de la prueba PISA (Programa para la Evaluación Internacional de Alumnos) de las materias de Matemáticas, Ciencias y Lenguaje. El estudio mide la propensión del estudiante a participar en el programa y encontró que el nivel socioeconómico de la escuela y la disponibilidad de internet en el hogar poseen un efecto significativo y positivo en la probabilidad de participar en el programa.
Por otra parte, los estudiantes que son repetidores y cuyos padres están desempleados tienen significativamente menos probabilidades de participar en el programa. Los autores concluyen que las características no observables igualan el rendimiento arrojado por el programa; por lo tanto, señalan la necesidad de proveer un fin académico a la dotación de notebooks.
En este sentido, Machin, McNally y Olmos (2006) midieron los efectos del cambio de la política en asignación de recursos para invertir en las TIC sobre los resultados educativos de las escuelas primarias y secundarias en Inglaterra durante 2001. Para ello, primero midieron si el efecto en la asignación de los recursos para las TIC por alumno es diferente para las escuelas primarias que para las secundarias, y encontraron un efecto positivo en las primarias; después midieron el efecto de la asignación de recursos sobre las calificaciones promedio de las materias de Matemáticas, Lenguaje y Ciencias en niños de once años, y advirtieron una relación positiva y significativa entre el financiamiento en las TIC por alumno y el rendimiento en las materias de Inglés y Ciencias, mientras que en Matemáticas la relación fue positiva, pero no significativa.
En segundo lugar, tenemos los estudios que evalúan las TIC como software. Carrillo, Onofa y Ponce (2010) analizan el programa Más Tecnología a partir de 2005, en Guayaquil, Ecuador. Este consistía en dotar a cada escuela primaria de cuatro computadoras que contenían un software diseñado para facilitar el aprendizaje de matemáticas y lenguaje de los alumnos de tercer y quinto grado. Los autores observaron un impacto positivo en los puntajes de las pruebas de matemáticas y uno negativo en los de lenguaje.
Por su parte, Angrist y Levy (2002) miden el efecto del programa Tomorrow-98, desarrollado en Israel desde 1994, sobre las calificaciones obtenidas en las materias de Matemáticas y Hebreo. El programa dotaba a las escuelas primarias y secundarias judías de un software que proporcionaba una instrucción asistida por computadora (CAI) a los alumnos de cuarto y octavo grado a fin de identificar el efecto del programa; consideraron las características de los colegios y los alumnos, así como la intensidad del uso de la CAI.
Angrist y Levy (2002) hallaron que el programa mejoró las puntuaciones de los estudiantes de cuarto grado en matemáticas, pero encontraron poca evidencia de que mejoró las puntuaciones de los alumnos de octavo grado; por lo tanto, concluyeron que la CAI no contribuyó significativamente a mejorar las calificaciones de los alumnos.
Por último, Rodríguez y Fernández (2017) analizaron el uso de videos en YouTube como recurso de contenido didáctico en la materia de Estadística para alumnos de la Maestría en Administración Empresarial, en modalidad a distancia. El estudio consistió en dotar cada semana a un grupo de estudiantes de videos como materiales didácticos; a partir del segundo parcial, los autores encontraron que el grupo que utilizó videos como material de apoyo elevó en un punto la calificación respecto al que usó materiales tradicionales.
LA EVALUACIÓN DE IMPACTO Y LOS ECA
Desde la mitad del siglo pasado, los métodos estadísticos han resultado de gran utilidad. En el sector salud, iniciaron su uso para verificar la eficacia de algún nuevo tratamiento o medicamento y sus efectos en pacientes con padecimientos crónicos (Lazcano et al., 2004). La efectividad de estos métodos cuantitativos llevó a otras ciencias a adoptar las evaluaciones de impacto. El campo de la evaluación de la política pública es uno de los que más ha aprovechado el herramental estadístico para verificar los efectos de aplicar políticas públicas en la población objetivo (Ravillion, 2008).
La evaluación de impacto es un método estadístico que mide los efectos en las condiciones de las personas que pueden atribuirse a un proyecto, programa o política particular (Navarro, 2005; Baker, 2000; Moral-Arce, 2014), centra su atención en la magnitud de los efectos generados y su causalidad con la intervención. Los efectos pueden ser positivos cuando mejoran las condiciones de bienestar, y negativos, cuando los cambios las deterioran. Estos se pueden deber a factores observables, como las características del hogar, sexo, estado civil, etcétera, y no observables, como los valores morales, motivaciones e intereses personales, entre otros.
Las características principales son la verificación de hipótesis y la comparación de grupos: la primera explica la relación entre dos o más variables independientes (causa) y variables dependientes (efecto), mientras que la segunda utiliza un escenario contrafactual para determinar la causalidad entre la intervención y los cambios experimentados por los beneficiados; se entiende como escenario contrafactual la situación de los beneficiarios si no hubieran participado en la intervención.
Cabe destacar que este argumento no se puede observar directamente; en este sentido, Gertle et al. (2011) señalan que es necesario identificar un grupo de comparación con las mismas características del grupo de tratamiento en al menos tres aspectos: ambos grupos deben ser idénticos en ausencia del programa; los grupos deben reaccionar de la misma manera ante el programa; y ningún grupo puede estar expuesto de modo diferente a otras intervenciones durante el período de la evaluación.
El escenario contrafactual se puede determinar usando diseños experimentales o cuasiexperimentales; los primeros son considerados como los más sólidos y robustos (Baker, 2000; Navarro, 2005). Lazcano et al. (2004) destacan el control que el investigador tiene sobre la selección de la población, administración del tratamiento y forma en la que logra las observaciones. La aleatorización garantiza que, en promedio, las diferencias entre estos grupos se deben solo al hecho de participar, o no, en el programa, ya que en el proceso de selección se han eliminado todos los factores observados y los no observados, y se ha controlado la incidencia de otras variables independientes que estén asociadas a la variable de impacto (variable dependiente) y la participación en el programa; de este modo, el grupo de comparación provee información de lo que le habría ocurrido a los beneficiarios si no hubieran participado en la intervención.
Existen dos tipos de ECA que permiten establecer relaciones causa-efecto de una intervención: por una parte, se encuentran los diseños de reemplazo y, por el otro, los diseños cruzados. Los primeros se basan en recolectar una muestra al cambiar un tratamiento A por otro tratamiento alternativo B. En este tipo de ECA, los sujetos de estudio son divididos en dos grupos: uno llamado control y otro, tratamiento; ambos reciben el tratamiento A durante un primer período; en un segundo momento, el grupo control sigue recibiendo el tratamiento A, mientras que el de control es intervenido con el tratamiento alternativo B; en un tercer momento, ambos grupos reciben el mismo tratamiento A. Al final, las observaciones de los tratamientos A y B se comparan en cada momento de la intervención.
En el caso de los diseños cruzados, el grupo 1 recibe el tratamiento A durante un primer período y el B, en un segundo período; por su parte, el grupo 2 recibe los tratamientos en orden inverso al grupo 1; en este tipo de diseño, cada sujeto sirve como su propio control. El ECA presentado en este artículo se configuró para ser un experimento con diseño de reemplazo.
Modelo empírico
Para medir el efecto causal de una intervención (P) sobre un resultado (Y), se parte de considerar que (P) es una variable binaria que adquiere valor de 1 si tomó el tratamiento y 0 si no lo tomó; la no observación del contrafactual surge del hecho de que un individuo no puede pertenecer a ambos grupos.
Tabla 1 Fundamento de la inferencia causal
| Y 0 | Y 1 | |
|---|---|---|
| P=0 | Observable | No observable |
| P=1 | No observable | Observable |
Fuente: elaboración propia.
En este artículo, utilizaremos la metodología de doble diferencia para estimar el efecto promedio de los tratados y el RMS. Diferencias en diferencias (DD): consiste en aplicar una doble diferencia, es decir, estima el contrafactual del cambio en el resultado para el grupo de tratamiento calculando el cambio del resultado para el grupo de comparación. Este método nos permite tener en cuenta cualquier diferencia constante en el tiempo entre los grupos de tratamiento y de control. La estrategia de DD se puede formalizar en un modelo de regresión lineal para poder contrastar la hipótesis sobre los estimadores, o incluir otras variables de control, mediante el uso de una variable binaria (D) que identifica la variable de interés en dos momentos diferentes: uno denominado “antes”, que observa la variable de interés antes de aplicar el tratamiento, D = 0, y el otro llamado “después”, que observa la variable de interés después de aplicar el tratamiento, D = 1 .
Donde el coeficiente de la interacción δP i D i representa el método de diferencia en diferencias; se calcula a partir del siguiente razonamiento:
Lo que significa que el método DD es una doble diferencia: la primera es el valor esperado de los grupos tratados y control después de la intervención; la segunda es el valor esperado de los grupos antes de la intervención.
El método RMS consiste en formar un grupo de control a partir de individuos similares a los del grupo de tratamiento entre un grupo de individuos no tratados. La validez del emparejamiento se basa en dos hipótesis: la primera, llamada hipótesis de independencia condicional, exige que no existan diferencias sistemáticas entre agentes tratados y no tratados una vez que se ha condicionado con valores observables; de esta manera, controlando a los individuos por sus características observables en cada subgrupo, tendremos que el tratamiento es independiente de los resultados y que fue administrado de modo aleatorio. La segunda se denomina hipótesis de soporte común y exige que haya cierta probabilidad entre los tratados y no tratados de recibir el tratamiento. En forma similar a Alderete y Formichella (2016), señalamos los siguientes métodos de emparejamiento:
Vecino más cercano (ATTND): se elige un estudiante no tratado j para ser el contractual del estudiante i, de tal modo que: P 0, j =min j |P i -P j | donde el estudiante control j elegido del grupo no tratado es el que minimiza la diferencia entre su propensity score (PS) y el del estudiante tratado.
Estimador de Kernel (ATTK), según el cual los estudiantes tratados son emparejados con un promedio ponderado de todos los estudiantes de control con ponderaciones que son inversamente proporcionales a la distancia entre el propensity score matching (PSM) de los estudiantes tratados y los no tratados.
Estratificación (ATTS) permite realizar un emparejamiento entre tratados y no tratados basado en una variable que contiene el número de bloque (estrato) al que pertenece el registro de la zona de soporte común. La región de soporte común implica considerar en la estimación del efecto promedio del tratamiento en los tratados (ATT) a los estudiantes que pertenecen al rango delimitado por los propensity scores mínimo y máximo de los estudiantes del grupo de tratamiento.
Si bien estos son los métodos estadísticos más usados, cabe aclarar que la literatura sobre el tema es aún más extensa; sin embargo, contamos con los elementos necesarios para describir el modelo empírico que relaciona el desempeño escolar con las características observables en el experimento.
Descripción del contexto en el que se realiza el experimento
El experimento se llevó a cabo en una universidad del estado de Puebla, México, con estudiantes de la Licenciatura en Relaciones Internacionales (LRI) de cuarto semestre, durante el período escolar otoño 2017, en modalidad presencial. Para ingresar a la universidad, todos los estudiantes presentaron un examen de admisión, cuyo puntaje fue solicitado a los estudiantes y se incluyó como variable de control. La admisión también considera si cursaron sus estudios de preparatoria en escuelas que son parte de unidades académicas que conforman toda la universidad, pues esos estudiantes cuentan con pase directo (tomando en cuenta su promedio de preparatoria y el puntaje obtenido en el examen de admisión). Es importante mencionar que un estudiante promedio de cuarto semestre toma seis materias en el semestre, las cuales le han sido asignadas por las autoridades académicas de su programa; los estudiantes no pueden elegir ni materias ni horarios o secciones; a esto se debe que una materia sea dictada en el mismo horario por distintos profesores.
Descripción del modelo empírico
Proponemos un modelo empírico que relaciona el desempeño escolar de los estudiantes de la LRI en modalidad presencial con su participación en el ECA y las características observables de la siguiente forma:
donde la variable Final i es la calificación obtenida en el curso; toma valores de 0 a 10; p es la participación en el tratamiento; toma valores de 1 si participó y 0 si no participó; X edad es la edad del estudiante; X privada es el tipo de estudios a nivel preparatoria; toma valor de 1 si estudiaron en escuela privada y 0 si estudiaron en preparatoria pública; X prepaconpase toma valor de 1 si estudiaron la preparatoria en una unidad académica de la universidad y 0 en cualquier otro caso; X puntaj1i es el puntaje obtenido en el examen de admisión, su rango es de 550 a 650 puntos; X puntaj2i es el puntaje obtenido cuyo rango es de 650 a 750 puntos; X TiempoEstudio1 son las horas de estudio por semana para el primer parcial; X TiempoEstudio2 horas de estudio por semana para el segundo parcial.
El modelo anterior es válido bajo el supuesto de que el tratamiento es aleatorio y que las variables observables introducidas en el modelo permiten controlar todas las características observables de los estudiantes. Como mencionamos, para no realizar este supuesto, es posible estimar un modelo de doble diferencia, el cual eliminará los factores fijos en los estudiantes; ese modelo se explicó en las ecuaciones 1 y 2 con la finalidad de identificar el efecto en las calificaciones observadas después de utilizar el tratamiento. Este modelo empírico lo presentamos en la ecuación (4):
donde dtest es la diferencia de las calificaciones obtenidas en el segundo parcial respecto a las obtenidas en el primero; dtest1 es la diferencia entre las calificaciones finales con relación a las del segundo parcial; y dtest2 es la diferencia de la calificación final en referencia a la obtenida en el primer parcial.
Finalmente, para analizar el impacto del tratamiento no solo en el promedio de la distribución, sino en toda esta, aplicamos técnicas de RMS, las cuales explicamos anteriormente.
DESCRIPCIÓN DE LA POBLACIÓN
La población de estudio se refiere a estudiantes de la LRI en modalidad presencial que cursaron la materia de Microeconomía durante el otoño 2017. Esta población se describe en la tabla 2, en la cual observamos que se compone de 84 estudiantes, divididos en dos grupos: uno llamado tratado, que se refiere a 41 estudiantes que en un tema se les proporcionó videos como material didáctico, y otro denominado no tratado, conformado por 43 alumnos que no recibieron los videos, a partir de las variables observables.
Tabla 2 Descripción de la población
| POBLACIÓN | NO TRATADA | TRATADA | TOTAL | DIFERENCIA NO TRATADO-TRATADO |
|---|---|---|---|---|
| Parcial 1 | 6.65 | 8.3 | 7.48 | 1.69* |
| Parcial 2 | 7.1 | 8.9 | 7.98 | 1.81* |
| Calificación final | 6.9 | 8.9 | 7.88 | 1.99* |
| Edad | 20.02 | 20.12 | 20.07 | 0.09 |
| Educación privada | 0.39 | 0.36 | 0.38 | -0.02 |
| Prepa con pase automático | 0.16 | 0.19 | 0.17 | 0.03 |
| Puntaje1 | 0.13 | 0.12 | 0.13 | 0.002 |
| Puntaje2 | 0.62 | 0.6 | 0.61 | 0.01 |
| Tiempo estudio1 | 1.25 | 1.51 | 1.38 | 0.25 |
| Tiempo estudio2 | 1.69 | 2 | 1.84 | 0.3 |
| n | 43 | 41 | 84 |
* Significativo al 1%
Fuente: elaboración propia.
A simple vista, existe una diferencia en la calificación final entre la población tratada y no tratada; el promedio del primer parcial para el grupo no tratado fue de 6.65, mientras que para el tratado fue de 8.3. El promedio del segundo parcial para el grupo no tratado fue de 7.1 y para los tratados, 8.9. Cabe mencionar que no estudiamos la significancia estadística de estas diferencias hasta la siguiente sección, debido a que debe ser controlada por las características observables de los estudiantes.
El 39% de los estudiantes del grupo no tratado proviene de una educación preparatoria privada y el 36% del grupo tratado, de una educación preparatoria privada. El 13% del grupo de los no tratados se encuentra en el rango de Puntaje1 y el 12% del grupo de los tratados, en el rango de Puntaje1, mientras que, para la variable Puntaje2, el 62% de los no tratados se encuentran en ese rango. Para el grupo no tratado, observamos que dedicaron 1.25 horas de estudio a la semana para el primer parcial, mientras que el grupo tratado, 1.51 horas de estudio a la semana para el primer parcial. Asimismo, el grupo no tratado dedicó 1.69 horas de estudio a la semana para el segundo parcial y el tratado, dos horas en promedio a la semana al estudio.
Posibles sesgos de selección en la muestra
Para la aplicación de la metodología ECA, partimos del supuesto de que la población de estudio es aleatorizada sobre una población que, desde el punto de vista estadístico, es similar en sus características observables. En este estudio incluimos en el tratamiento alumnos de una misma facultad, de una misma licenciatura y de una misma generación, lo que arroja un población homogénea en características observables, pero que puede tener variaciones en edad, antecedentes en educación preparatoria, sus horas de estudio y, tal vez, los recursos a los que tiene acceso por sus condiciones socioeconómicas de origen.
Estas diferencias en características observables se pretenden obtener a partir de la encuesta realizada con ellos. También podría haber otros sesgos de selección implícitos en el hecho de que cada uno de ellos puede tener una propensión distinta a participar en el tratamiento derivado de su interés por la LRI o por una posible elección para tomar las clases que fueron elegidas para ser tratadas. En esta sección mostramos que hay evidencia de que los estudiantes de LRI son diferentes del promedio de estudiantes de la facultad estudiada, y encontramos que no hay sesgo por selección para participar en el tratamiento.
Para determinar si existe un sesgo de selección por ser alumnos de la LRI, levantamos una encuesta a estudiantes de la generación 2016 de las licenciaturas en Ciencias Políticas, Derecho, Criminología y Relaciones Internacionales, en la cual se preguntaron aspectos generales como sexo, edad, tipo de escuela preparatoria (pública o privada), así como si se trata de una preparatoria con pase directo a la universidad, puntaje de admisión y conexión a internet, la cual se divide en conexión en casa, en el móvil y su uso de internet. Estimamos un modelo Probit, cuya variable dependiente toma el valor de 1 si es un estudiante de LRI y el valor de cero en cualquier otro caso. El modelo se expresa de la siguiente manera:
donde Pr(Y=1│X i ) es la probabilidad de estudiar la LRI; X materiala es la preferencia del alumno por materiales didácticos tradicionales, como libros, revistas, artículos científicos; X materialb es la preferencia del alumno por materiales didácticos basados en TIC; μ es la variable no observable; las demás variables ya fueron explicadas.
En la tabla 3 observamos que, excepto haber estudiado en una prepa con pase automático y haber obtenido el Puntaje1, todas las variables no son significativas estadísticamente. Las dos variables mencionadas reducen la probabilidad de estudiar la LRI y son significativas al 5%. El modelo, en su conjunto, es estadísticamente significativo al 1%; si bien la pseudo R2 puede explicar un 6.4% de la variación en los datos. En las estimaciones se presentan tanto el control de la probabilidad de estudiar LRI como sin dicho control.
Tabla 3 Modelo de preferencia por estudiar la Licenciatura de Relaciones Internacionales
| MODELO DE PREFERENCIA POR ESTUDIAR LRI | ||
|---|---|---|
| VARIABLES | ESTIMACIONES PROBIT | ERRORES ESTÁNDAR |
| Edad | -.004418 | .0737727 |
| Privada | . 1684801 | .229565 |
| Prepaconpase | -.6795953* | .2454751 |
| Puntaje1 | -.8968417* | .323078 |
| Puntaje2 | -.2222637 | .2091178 |
| Materialesa | .2326445 | .2152165 |
| Materialesb | .2964923 | .2718475 |
| _cons | .2786243 | 1.47864 |
| R 2 | 6.4% | |
| N | 187 | |
| Test LR (máxima verisimilitud) chi2 (6) | 16.46 | |
| Valor p | 0.0115 | |
* Significativo al 5%
Fuente: elaboración propia.
En la tabla 4 (siguiente página) incluimos la estimación de un modelo de probabilidad para determinar la aleatoriedad del tratamiento. Esto se hizo incluyendo en la estimación a alumnos que no pertenecen a la LRI, pero que sí forman parte de la facultad a la que esta pertenece. El modelo (6) presenta la ecuación estimada cuya variable dependiente es la participación en el tratamiento y las variables independientes son las mismas mostradas antes:
donde Pr(P=1│X i ) es la probabilidad de participar en el tratamiento y ε son los elementos no observables en la ecuación de tratamiento.
Tabla 4 Modelo de aleatoriedad del tratamiento
| VARIABLES | ESTIMACIONES PROBIT | ERROR ESTÁNDAR |
|---|---|---|
| Edad | .0206427 | .0788509 |
| Privada | .131084 | .2409454 |
| Prepaconpase | -.3171593 | .276501 |
| Puntaje1 | 1.095481 | .9372713 |
| Puntaje2 | .1371527 | .234669 |
| Materialesa | .1557351 | .2371463 |
| Materialesb | .1492576 | .3002784 |
| _cons | -1.330112 | 1.603311 |
| R 2 | 2.3% | |
| N | 189 | |
| Test LR (máxima verisimilitud) chi2 (7) | 4.61 | |
| Valor p | 0.7079 | |
Fuente: elaboración propia.
En la tabla 5 observamos que ninguna variable es estadísticamente significativa y que el modelo, en su conjunto, no es estadísticamente significativo. Esto demuestra que las variables elegidas permiten determinar la existencia de un sesgo de selección por carrera elegida (LRI), pero no un sesgo de selección en el tratamiento.
Tabla 5 Modelo del efecto de las TIC sobre la calificación final
| Tratamiento | 1.532827**
[.2187623] |
| Edad | -.140493*
[.0729101] |
| Privada | .3076795
[.2244591] |
| Prepaconpase | -.1098169 [.3797313] |
| Puntaje1 | -.086287
[.3718612] |
| Puntaje2 | -.215147
[.2276607] |
| TiempoEstudio1 | .602009**
[.1475319] |
| TiempoEstudio2 | 1.000012**
[.1478233] |
| Cons | 7.293339**
[1.527952] |
| N | 82 |
| F | 32.83 |
| Prob > F | 0.0000 |
| R2 | 75% |
| MSE | .91494 |
*Significativo al 1%
** Significativo al 10%
Fuente: elaboración propia.
RESULTADOS DEL ECA
La tabla 5 revela que la variable tratamiento es significativa al 1% y que se obtiene un efecto de 1.54 unidades de calificación, lo que equivale a un aumento del 17% en la calificación obtenida antes del tratamiento. También muestra que las horas de estudio son estadísticamente significativas al 1%, y aumentan la calificación en .60 puntos para el primer parcial y en un punto para el segundo examen. La variable edad es significativa al 10%, y reduce en -.14 puntos la calificación obtenida. Esta estimación puede estar sesgada debido a que asume que el tratamiento es aleatorio y que no está correlacionado con las variables no observadas de los estudiantes, algo que en esta ecuación no puede afirmarse, en virtud de que no hemos aplicado la diferencia entre el antes y después del tratamiento; lo anterior se tratará en la siguiente estimación.
Las estimaciones para el modelo DD se presentan en la tabla 6, en la cual advertimos que, en la columna dtest las horas dedicadas al estudio y preparatoria con pase son estadísticamente significativas; sin embargo, conforme realizamos las pruebas para dtest1 y dtest2, observamos que la variable de preparatoria con pase directo deja de ser significativa; en cambio, la variable estudios privados toma significancia al 5%, lo que sugiere que afectan de modo directo el rendimiento académico de los estudiantes. De igual modo, notamos que el tratamiento es estadísticamente significativo solo cuando se compara el primer examen con el examen final y se alcanza un impacto de .30 puntos de calificación, lo que equivale a un incremento del 3.54% en la calificación.
Tabla 6 Modelo DD
| MODELO DD ROBUST, CON CONTROL POR ESTAR EN LA LRI | |||
|---|---|---|---|
| VARIABLES | DTEST | DTEST1 | DTEST2 |
| Edad | -.0920688
[.0730705] |
.0516805 [.0814963] | -.0403882 [.0617792] |
| Privada | .2627439
[.2139701] |
.1101264
[.2110114] |
.3728703**
[.1657878] |
| Prepaconpase | .5702511*
[.32893] |
-.2639009
[.2806984] |
.3063502
[.2680088] |
| Puntajeb | .0630596
[.2979562] |
-.2043366
[.2957149] |
-.141277
[.2568983] |
| Puntajec | -.13 38628
[.2341151] |
-.0627404
[.2001688] |
-.1966032
[.1988149] |
| Tratamiento | -.0132961
[.2253785] |
.3149593
[.2110734] |
.3016632**
[.1593557] |
| Xtiempohrsem | -1.359175***
[.1529444] |
.6591457***
[.1232337] |
-.7000297***
[.1252032] |
| Xtiempohrsem | 1.220483***
[.1488297] |
-.7758477***
[.1229608] |
.4446357***
[.1144328] |
| _cons | 1.907058
[1.547121] |
-.7235157
[1.693993] |
1.183542
[1.254534] |
| R 2 | 67.7% | 43.3% | 45.2% |
| N | 82 | 82 | 82 |
| F | 15.53 | 8.30 | 4.85 |
| Prob > F | 0.0000 | 0.0000 | 0.0001 |
| Root MSE | .84078 | .84405 | .67205 |
*Significativo al 10%
** Significativo al 5%
*** Significativo al 1%
Fuente: elaboración propia.
Ahora procedemos a realizar un modelo de robustez mediante el método RMS, con la finalidad de identificar el efecto de usar videos de YouTube sobre el rendimiento académico de los estudiantes de LRI. La tabla 7 (siguiente página) indica la diferencia en el rendimiento académico entre los estudiantes que recibieron el tratamiento y los que no es estadísticamente significativa para dos de las cuatro técnicas utilizadas. En los dos casos para los que se encuentra un efecto significativo el tratamiento marca 5%. El efecto causal estimado es mayor al obtenido mediante la técnica DD, lo que implica que, al medir el impacto en el promedio de la muestra, se tenía un sesgo a la baja y que, al medir el efecto a lo largo de la distribución de calificaciones, es posible identificar un impacto mayor.
Tabla 7 Estimación de ATT
| PRUEBA | PSM | TRATADOS | CONTROLES | ATT | T DE STUDENT |
|---|---|---|---|---|---|
| dtest2 | ATTND | 41 | 26 | 0.387
[0.246] |
1.585 |
| dtest2 | ATTR | 27 | 36 | 0.600
[0.308] |
1.947* |
| dtest2 | ATTK | 41 | 42 | 0.280
[0.207] |
1.349 |
| dtest2 | ATTS | 5 | 78 | 0.852
[0.491] |
1.734* |
* Significativo al 5%
Notas: ATT: tratamiento en los tratados; PSM: propensity score matching; ATTND: tratamiento de los tratados según vecino más cercano, se utiliza muestreo con reemplazo; ATTR: tratamiento en los tratados según radio, se utilizó con un radio del 1%; ATTK: tratamiento de los tratados según Kernel; ATTS: tratamiento en los tratados según estratificación.
Fuente: elaboración propia.
Es importante señalar que las estimaciones del ATT se hicieron considerando un soporte común para el tratamiento y los controles; asimismo, utilizamos muestreo con reemplazo; además, los errores estándar se obtuvieron con bootstrap con mil repeticiones.
CONSIDERACIONES FINALES
En el estudio realizado, mediante la aplicación de un ECA, examinamos la relación causal entre el uso de videos de YouTube sobre las calificaciones de estudiantes de la materia de Microeconomía de la carrera de LRI, modalidad presencial, durante el período de estudios correspondiente a otoño 2017.
Encontramos evidencia estadística de que las variables estudios privados y hábitos de estudio adquiridos previos a la educación superior son estadísticamente significativas en las calificaciones obtenidas por los estudiantes; por lo tanto, esas variables afectan de manera directa el rendimiento académico de los estudiantes durante su formación universitaria. Encontramos que la utilización de videos YouTube tiene un impacto aún por encima de los antecedentes de educación preparatoria de los estudiantes, lo cual implica que el uso de las TIC puede ser una forma de mejorar la equidad y reducir las brechas entre estudiantes ocasionadas por el origen socioeconómico, el cual, se ha demostrado, puede afectar la adquisición de educación y la movilidad social (Cuecuecha, 2017).
Finalmente, hallamos evidencia estadística de que la utilización de videos de YouTube implica una mejora promedio del 3.54% en las calificaciones obtenidas por los alumnos tratados, de ahí que se demuestra que los videos de YouTube, acompañados de una estrategia docente adecuada, son una herramienta que ayuda a mejorar el aprendizaje de conocimientos y habilidades de los estudiantes de Microeconomía.
Estos resultados confirman la conveniencia de utilizar videos de YouTube como herramienta de aprendizaje, lo cual había sido mostrado por Rodríguez y Fernández (2017), en el contexto de estudiantes de maestría en modalidad en línea. Por lo tanto, nuestro estudio amplía el conocimiento al confirmar la efectividad de usar videos de YouTube en estudiantes de licenciatura en modalidad presencial.
RECOMENDACIONES
Debido a la extensa discusión del tema de educación, encontramos la necesidad de emprender una investigación que profundizara en las discusiones psicopedagógicas en las que se encuentra inmersa la institución de educación superior donde aplicamos los ECA. Esto con la finalidad de determinar cómo puede entenderse la mejora estudiada en este ECA en un contexto de cambio institucional.
De manera más general, los estudios sobre aplicación de TIC en el proceso de enseñanza-aprendizaje deben también continuarse, ya que los cambios tecnológicos representan una oportunidad para mejorar ese proceso y contribuir a que la educación sea un medio para reducir las brechas sociales que existen en nuestro país.
Es importante destacar que para probar que una mejora en calificaciones lograda utilizando videos de YouTube induce una mejora en la movilidad social de las personas, se requieren estudios a mediano plazo que permitan dar seguimiento a los individuos tratados en su desempeño laboral y económico a lo largo del tiempo. Este tipo de estudios son necesarios para determinar los beneficios de implementar las TIC en el proceso de enseñanza-aprendizaje.
