[Estudio] 20,51% aumentan los estudiantes su rendimiento escolar

El estudio realizado en colegios públicos y privados de Santiago de Chile arrojó que con solo 90 minutos semanales durante dos meses de trabajo con la plataforma se logra un aumento promedio del 20,51% en el rendimiento escolar de los estudiantes de bajo rendimiento.

Estudio financiado por el Instituto Sistemas Complejos de Ingeniería de la Universidad de Chile, 2015.

Santiago de Chile, 2015.

Para obtener resultados empíricos del sistema UMÁXIMO, se realizó un experimento puro en dos colegios de la ciudad de Santiago de Chile con alumnos de 15 años de edad. Dicho experimento se llevó a cabo con una plataforma web prototipo e incorporó tres grupos de estudiantes: aquellos que utilizaron el algoritmo creado en esta tesis, la Teoría de Respuesta al Ítem y un tercer grupo de control.

Los colegios se ubican en diferentes comunas de la ciudad de Santiago de Chile, los cuales poseen distinta dependencia económica: uno con dependencia completa de fondos públicos, y el otro un colegio privado y subvencionado parcialmente por el estado. El total de estudiantes que participaron del experimento alcanzó los 166 alumnos. El experimento tuvo por objetivo validar la efectividad y eficiencia del modelo desarrollado por UMÁXIMO en los aprendizajes de los estudiantes con bajo rendimiento académico, comparándolo con el modelo conocido en la literatura con el nombre de Teoría de Respuesta al Ítem.

Se seleccionó la Teoría de Respuesta al Ítem debido que tiene numerosas aplicaciones en el ámbito de la evaluación del rendimiento académico, medición de competencias, y lo más utilizado, para la construcción de test. En el medio local e internacional, es posible encontrar una amplia gama de evaluaciones que utilizan esta teoría, como por ejemplo la Prueba de Selección Universitaria (PSU) en Chile, Exame Nacional do Ensino Médio (ENEM) en Brasil, Test of English as a Foreign Language (TOEFL) en Estados Unidos, entre otras.

Los estudiantes utilizaron durante dos meses el prototipo desarrollado para aprender y mejorar en matemática.

Antes de comenzar a utilizar el prototipo, los estudiantes rindieron una prueba de diagnóstico para medir el nivel que presentaban en las unidades temáticas de Números, correspondientes a los cursos Séptimo Básico (7°), Octavo Básico (8°) y Primero Medio (9°) de acuerdo al curriculum del Ministerio de Educación de Chile.

Finalmente, los estudiantes rindieron una segunda prueba después de utilizar el prototipo, similar a la primera donde se evaluaron los mismos contenidos, unidades y habilidades. Esto con el fin de medir el impacto que tuvo la utilización de la plataforma en los aprendizajes de los estudiantes.

Medición de efecto de las variables

En concordancia con el diseño experimental planteado en la presente tesis, la métrica más importante para determinar qué modelo tiene mayor eficacia en el aprendizaje de los estudiantes, es el nivel de progreso, que se calcula de la siguiente manera:

Progreso = [% logro diagnóstico final] - [% logro diagnóstico inicial]

Aplicación prueba diagnóstico

Cabe señalar que el diagnóstico inicial se realiza con papel y lápiz, de forma presencial y en la sala de clases, antes de que comiencen a utilizar la plataforma. Mientras que el diagnóstico final, se realiza en las mismas condiciones, pero luego de dos meses de utilización de la plataforma.

Grados de manipulación de la variable independiente

La manipulación de las variables se realiza en tres modalidades, lo que implica que existen tres grupos en el experimento:

• Grupo 1: grupo que utiliza el modelo de UMÁXIMO, basado en la Taxonomía de Bloom.
• Grupo 2: grupo que utiliza la Teoría de Respuesta al Ítem.
• Grupo 3: grupo de control, es decir, que no utiliza modelo técnico para la provisión de ejercicios, y los provee al azar.

Cada grupo fue elegido aleatoriamente, donde posteriormente, y luego de obtener el diagnóstico inicial, se realizó una validación de homogeneidad de los grupos experimentales.

Control de validez interna

Los contenidos que estudiaron los alumnos durante el experimento, pertenecen al eje temático de Números, eje que el colegio, avalado por lo que dicta el curriculum del Ministerio de Educación de Chile, enseña a inicios del primer semestre escolar, con una duración aproximada de medio semestre. Esto permitió que, al implementar el experimento en la segunda mitad del segundo semestre, el profesor no estuvo enseñando contenidos similares a los que los alumnos reforzaron o aprendieron con la plataforma. Esto evitó que existan fuentes de invalidación externas del experimento, como, por ejemplo, afirmar que los estudiantes lograron buenos resultados porque su profesor enseñó en clases, previa o paralelamente, los mismos contenidos.

Además, para eliminar las fuentes de invalidación internas, las pruebas de diagnóstico inicial y final, evaluaron las mismas habilidades, con la misma dificultad y los mismos contenidos, pero las preguntas de cada prueba son levemente distintas. Por lo tanto, las pruebas son equivalentes, y se evita que la aplicación del diagnóstico inicial afecte en alguna medida los resultados del diagnóstico final. Como, por ejemplo, evitar que los estudiantes memoricen las preguntas y/o respuestas.

Validez externa de la situación experimental

Se tuvo la precaución de no trasmitir a los estudiantes que están siendo objeto de una investigación en educación, para evitar los efectos reactivos que esto puede tener en los resultados, de modo que ellos actúen de forma normal haciendo uso de la plataforma prototipo. Además, es importante aclarar dos cosas respecto a los individuos que participaron en el experimento: primero, ningún estudiante tiene dificultades cognitivas severas tal que no le permitan adquirir conocimiento y estudiar por cuenta propia; segundo, los estudiantes son nativos digitales, por lo que todos poseen conocimientos en computación, navegación por internet y en particular, están capacitados para utilizar la plataforma.

Los colegios que participaron en el análisis tienen las condiciones tecnológicas para la aplicación del experimento, es decir, escritorios y computadores con conexión a internet para cada alumno. 

Resultados de la investigación

El prototipo de la plataforma se aplicó en dos colegios de la Región Metropolitana de Chile, los cuales fueron segmentados aleatoriamente en tres grupos, los dos primeros grupos utilizaron modelos de aprendizajes distintos y el tercer grupo utilizó el azar para la provisión de ejercicios. Los resultados del progreso observado en los aprendizajes de cada grupo experimental, se comparan gráficamente a continuación, donde en el primero es posible ver los cuartiles y valores mínimos y máximos.

Fuente: elaboración propia a partir de los resultados del experimento.

En tabla, los resultados son:

Fuente: elaboración propia a partir de los resultados del experimento.

Conclusión

Los niños en sus primeros años de vida son muy curiosos, creativos, imaginativos, capaces de construir su propia realidad con una mente abierta al mundo y las experiencias. ¿Cuantas veces se ha escuchado la palabra “por qué” en un niño? "¿Por qué eso?” “¿Por qué eso otro?” “¿Por qué?" Es su esencia de preguntar. Pero a los doces años ya vemos niños que no tienen ningún interés en abrir un libro.

Con este trabajo, se ha querido iniciar un movimiento donde se busca devolver a la juventud ese entusiasmo por aprender, con los tres pilares fundamentales de la compañía: (1) con la flexibilidad y libertad de aprender a su ritmo, debido a que no se puede pretender que 30 o más niños en un aula quieran hacer lo mismo al mismo tiempo; (2) con la ventaja de aprender de forma personalizada, dado que el aprendizaje no es un proceso lineal que un curso completo de 30 alumnos tenga que seguir el mismo cronograma, y esperando tener los mismos resultados (eso es utópico pues todos las personas son únicas e irrepetibles); (3) con la excelencia de un equipo de personas preparadas tras la plataforma y que provean materiales de estudio de alta calidad.

La personalización, en el contexto de la informática educativa, es concebida en este trabajo como algo que va más allá de que un estudiante tenga una interacción individual con un sistema computacional que le permita aprender a su propio ritmo. Eso es lo lógico en el siglo XXI. El desarrollo de este trabajo va más allá. Allá donde las características de esa interacción que tienen los estudiantes con un sistema computacional son lo central y objeto de estudio, ocupándose de que tal interacción responda a necesidades académicas y pedagógicas del individuo en su conjunto. Esa es la diferencia que marca este trabajo.

De cara al estudiante, hoy la información abunda, basta con abrir un buscador en internet y encontrar un tumulto de conocimiento disponible, con millones de sitios web donde extraer información, por lo que antes de iniciar un proceso de estudio, un alumno tendrá que siempre llevar a cabo una ardua selección de información. Sin embargo, una solución tecnológica como la que se presenta, permite orientar al estudiante en su proceso de aprendizaje, donde él tiene a disposición los contenidos y descubre su propio camino al conocimiento. Que el estudiante conozca su progreso real, experimente un avance en sus habilidades, promueve un aumento en su motivación, perseverancia y autoestima.

Por el lado del profesor, esta herramienta permite optimizar tiempo a los docentes, pues saber exactamente y en tiempo real la situación académica de cada alumno, en vez de conocer esta información al momento de la evaluación, le permitirá tomar decisiones proactivamente en virtud del aprendizaje de los estudiantes. El profesor podrá conocer el momento en el cual los alumnos necesitan su apoyo. En una relación profesor-alumno, es muy importante que este último sienta que el profesor está atento a sus necesidades. Principio básico de managment. Por otra parte, aquellos estudiantes que tienen mejor rendimiento, y que muchas veces quedan olvidados en las clases, pueden potenciar más sus capacidades con actividades controladas por el profesor. Esto, con el foco de obtener el máximo potencial de cada uno de los alumnos.

La visión de la implementación de la plataforma, a través de la optimización de los tiempos y personalización de la enseñanza intelectual, es llegar a entregar apoyo, dar el espacio y el tiempo a las escuelas y profesores para que las salas de clases se conviertan en cunas de crecimiento personal, desarrollo de habilidades sociales en torno al aprendizaje de las asignaturas, relacionarse, entender y colaborar con sus pares, formar un pensamiento crítico, emprender, crear y recrear ideas. Con un entorno así se despertará el interés, voluntad y curiosidad de los jóvenes por aprender, permitiendo tener próximas generaciones con personas integrales, mejor preparadas y amigables con su entorno. El entendimiento y ejecución de este proceso, permitirá observar empíricamente cómo la educación actúa como un motor de movilidad social a gran escala y que es capaz de mejorar notablemente la vida de las personas.

Para lograr esa visión, se hace necesario tener un respaldo teórico que de sustento a un sistema tecnológico que cumpla con las características antes mencionadas. En esta línea, el modelo desarrollado entregó resultados muy positivos para lograr construir una plataforma educativa de alto impacto en los aprendizajes de los estudiantes y la inminente integración de las tecnologías en el trabajo de los educadores. Se demostró la potencia que tiene el tratamiento de los datos para ofrecer experiencias de aprendizaje personalizado, la cual trae enormes beneficios tanto a alumnos, docentes y centros educativos en general. Este tipo de tecnologías aportará un valor diferencial a la oferta de los colegios y ayudará a sus responsables a tomar mejores decisiones.

Si bien estadísticamente los resultados comparativos del modelo UMÁXIMO y TRI no tienen una diferencia significativa con un nivel de confianza del 5%, sino que solo del 11,54%, los resultados de la utilización del modelo desarrollado en este estudio entregan mucha información que permite validar la hipótesis de haber desarrollado un modelo más efectivo y eficiente, pues se evidenció a partir del análisis de datos, que funciona mejor debido a que mezcla variables estadísticas y pedagógicas para la toma de decisiones. Mientras que la Teoría de Respuesta al Ítem sólo considera variables estadísticas. Las ventajas principales se observaron en:

La capacidad de nivelación del modelo desarrollado, que permite que estudiantes con vacíos de aprendizaje no vean agudizada su situación en el tiempo, mientras que además influye en que las clases del profesor sea más efectivas con estudiantes con conocimientos base para su nivel.

La eficiencia del modelo desarrollado en términos del tiempo dedicado y el aprendizaje adquirido por los estudiantes. Se observó que los estudiantes que utilizaron la Teoría de Respuesta al Ítem tardaron más tiempo en aprobar las unidades del prototipo.

El consistente desarrollo de habilidades cognitivas en el modelo de UMÁXIMO, donde es posible observar que el aprendizaje que adquirieron los estudiantes se hizo de una forma gradual en dificultad, logrando fortalecer las habilidades de orden inferior, haciendo una transición a las habilidades de orden superior. Esto permite un desarrollo cognitivo más sólido, haciendo hincapié, nuevamente, en el factor pedagógico.

Para que los resultados de la investigación se puedan extrapolar a nivel nacional o internacional, es necesario incorporar una mayor cantidad de colegios y alumnos en la muestra, así también considerar un tiempo de implementación de la plataforma de al menos un semestre. Debido a que, si se encontraron diferencias en 2 meses de aplicación del experimento, estas diferencias se acentuarán con una mayor cantidad de tiempo de aplicación de la plataforma.

Más allá de los aspectos educacionales abordados, el resultado de esta investigación fue posible gracias a la metodología enfocada en procesos, que permitió hacer un análisis progresivo, coherente y sólido del problema de ingeniería, que no sólo tuvo lugar en el flujo de información o lógica de negocio, sino que también con un enfoque cultural y siempre teniendo en cuenta a las personas que de alguna u otra forma les afecta el cambio en la incorporación de nuevos sistemas. Esto permitió obtener una implementación piloto con un enfoque integral, incorporando inteligentemente las tecnologías de la información en los puntos clave del proceso enseñanza-aprendizaje.

En conclusión, fue posible evidenciar que un modelo de aprendizaje complejo matemáticamente o computacionalmente no es garantía de que tendrá mejores resultados, muy por el contrario, con modelos simples, pero que consideren variables relevantes del problema, se pueden obtener resultados superiores y a muy bajo costo de procesamiento, lo que permite escalabilidad y flexibilidad. Así también fue posible integrar dos disciplinas muy distintas, como es el caso de la ingeniería con la educación, disciplinas que tienen mucho que aportarse una a la otra, y que es difícil encontrar profesionales que sean capaces de ver sinergias entre ellas. La ingeniería permitió en esta tesis dar valor agregado a teorías de ramas pedagógicas, haciendo una abstracción de éstas, ligándolas con ambientes tecnológicos que resultaron finalmente en un nuevo servicio y mecanismo que permite más y mejores aprendizajes en los estudiantes a través de procesos de instrucción individual.

Finalmente, una vez puesto en marcha el sistema tendrá un gran potencial de mejoramiento con los datos obtenidos desde los estudiantes, del cual en un futuro tendrá que desarrollarse un macroproceso de desarrollo de nuevas capacidades, aprovechando la creciente tendencia del crowdsourcing para evaluar de forma experimental metodologías educativas, o incluso poder determinar con qué tipo de ejercicios los estudiantes aprenden mejor, generando un sinfín de posibilidades para el desarrollo del campo de la educación a distancia y la integración con los sistemas educacionales de los países de América Latina.