El Programa de Evaluación de Lenguas Extranjeras (PELEx) de la Escuela de Lenguas Modernas de la Universidad de Costa Rica (UCR) se ha dedicado a investigar y establecer pruebas para evaluar el dominio de lenguas extrajeras. Ahora cuenta con un moderno sistema de evaluación único en la Región por medio de inteligencia artificial (IA).
Gracias a una donación de la UCR, el pasado lunes 7 de agosto inició una evaluación del nivel de dominio del inglés a gran escala en las escuelas y colegios, con la cual Costa Rica se convierte en el primer país en hacerlo con ayuda de inteligencia artificial mediante un avatar que conversa con cada estudiante.
El Programa de Evaluación de Lenguas Extranjeras (PELEx) cuenta ahora con un sistema en el cual personas conocedoras de idiomas extranjeros pueden evaluar su nivel de dominio de la lengua, interaccionando y conversando con un avatar.
Mientras tanto una inteligencia artificial (IA) va procesando la información para, en solo 30 minutos, determinar el nivel de dominio de la lengua que tiene la persona, basado en el Marco Común Europeo de Referencia para las Lenguas, con un alto grado de precisión en las destrezas de producción oral, comprensión auditiva y comprensión escrita.
Los algoritmos que permiten funcionar a esta inteligencia artificial son calibrados constantemente por jueces (as) que escuchan muestras al azar de los audios evaluados para ver si coinciden con el criterio emitido por la IA.
La ventaja de este nuevo sistema no es solo la rapidez y precisión con que entrega el resultado, sino que la evaluación puede ser aplicada de forma masiva a gran escala a miles de estudiantes, educadores (as), profesionales, o cualquier grupo al cual se requiera evaluar su nivel de dominio de algún idioma, con preguntas localizadas al contexto específico de la persona evaluada.
Al respecto el M.Sc. Walter Araya Garita, coordinador del PELEx, explicó que, por ejemplo, en nuestro país existen aproximadamente 80 mil estudiantes de secundaria y 100 mil de primaria que estudian algún idioma extranjero.
Si se quisiera evaluar el nivel de conocimiento de inglés de todos esos 80 mil colegiales (as), se ocuparían unos seis mil evaluadores (as) que dominen esa lengua, lo cual es el total de profesores(as) de inglés que existen en el país.
Además, no basta con ser profesor (a) de inglés para aplicar una prueba de evaluación, sino que la persona tiene que haber sido capacitada para que sepa hacer la entrevista. Por lo tanto, esa tarea sería imposible sin la ayuda de la tecnología y la inteligencia artificial.
El M.Sc. Araya agregó que “la única manera de hacer una prueba de este tipo es por medio de computadoras y utilizando inteligencia artificial, y así fue como se creó esta herramienta para evaluar la destreza oral o auditiva de las personas estudiantes. En este momento estamos desarrollando la herramienta para evaluar también la destreza de producción escrita”.
Actualmente la herramienta tecnológica evalúa la producción oral, la comprensión de lectura y la comprensión oral o auditiva.
El M.Sc. Araya detalló que “la evaluación no consiste en una prueba larga lineal de una hora, sino que con aproximadamente un mínimo de 10 preguntas, el algoritmo entiende cuál es el nivel de inglés en esas dos destrezas específicas que son comprensión de lectura y comprensión auditiva, e inmediatamente le asigna un resultado y por ende un nivel a la persona evaluada”.
En la elaboración de la herramienta diagnóstica están involucrados (as) profesores (as) de la lengua extranjera entrenados (as) en diferentes destrezas, tales como realizar las entrevistas, crear ítems de las pruebas, o fungir como jueces (as) que no solo evalúan la producción de las entrevistas, sino también los ítems creados.
Además de estos (as) especialistas del lenguaje, están involucrados (as) diseñadores (as) gráficos (as), ingenieros (as) informáticos (as), psicometristas y estadísticos (as).
Antes de esta aplicación en gran escala, la prueba fue aplicada en menor escala en el 2022 para calibrarla. Se llevaron a cabo evaluaciones de estudiantes principalmente en Costa Rica, pero también en Colombia y Panamá.
La herramienta ya fue entrenada para evaluar el idioma inglés, ya que en el país cerca del 90% de las mediciones que se requieren son en ese idioma, mientras el restante 10 % se aplica a otras lenguas.
Pero el sistema es adaptable a otros idiomas y a partir del 2024 la herramienta se adaptará para evaluar también el idioma francés.
Con ayuda de esta herramienta, el pasado lunes 7 de agosto inició una evaluación del nivel de dominio del idioma inglés a gran escala en las escuelas y colegios de las 27 direcciones regionales del Ministerio de Educación Pública (MEP).
También se evaluará, con metodología convencional, el nivel de conocimiento de francés o italiano. La evaluaciones se realizan en todo el país durante el mes de agosto de este año.
Los (as) estudiantes que realicen la prueba recibirán una constancia de dominio lingüístico del idioma evaluado que puede ser utilizada en ámbitos académicos, laborales o personales.
Con la realización de estas pruebas, Costa Rica se convierte en el primer país de Latinoamérica en evaluar a gran escala la destreza oral de una lengua mediante un avatar que conversará con cada estudiante.
Estas se llevan a cabo gracias a una donación que supera los $200 mil dólares que hace la UCR al sistema educativo costarricense, por medio del MEP, para evaluar el dominio lingüístico de 25 mil estudiantes de escuelas y colegios.
En el caso del idioma inglés abarcará a un 15% de la población estudiantil. En cuanto al francés e italiano se cubrirá una gran mayoría de la población de secundaria que estudia esos idiomas.
Durante la pandemia el Programa aplicó de manera virtual el Examen de Diagnóstico de Inglés (EDI) a estudiantes de primer ingreso de la UCR de diferentes rincones del país. La prueba fue el primer examen virtual de diagnóstico a gran escala realizado en Costa Rica.
Aparte de este sistema de evaluación de la destreza oral o auditiva, la comprensión de lectura y próximamente la destreza escrita, el PELEx cuenta con alrededor de 14 instrumentos de evaluación de dominio de lenguas extranjeras, algunos de ellos en más de 25 idiomas.
Además, cuenta con más de 25 profesionales en evaluación en un segundo idioma y 16 certificadores (as) internacionales.
Recientemente el PELEx solicitó ser auditado por una de las mayores organizaciones de evaluación a nivel mundial, que es la Association of Language Testers in Europe (ALTE).
Sobre esto el M.Sc. Araya dijo que “en este momento estamos siendo auditados por ellos porque, para ser auditados, hay que cumplir con estándares mínimos de calidad, transparencia y rigurosidad entre otros, que creemos que tenemos, y ellos nos van a pedir evidencias que ya tenemos”.
El Programa también forma parte de la red de investigación internacional Latin American Association for Language Testing and Assessment (LAALTA).
Esto refleja el reconocimiento internacional que han recibido los logros del equipo científico del PELEx, y con ellos la UCR:
El sistema de evaluación de lenguas extranjeras del PELEx asigna un nivel de dominio del idioma que consta seis bandas. A-1, A-2, B-1, B-2, C-1, C-2. Los de la banda A son usuarios básicos, los de la B son intermedios y los de la C son avanzados.
Esto está alineado al Marco Común Europeo de Referencia para las Lenguas. El mínimo es A-1, que es un usuario básico del idioma y el máximo es C-2 que es una persona con un dominio total de la lengua como un hablante nativo instruido.
Además de asignarle un nivel a la persona evaluada y explicarle qué significa ese nivel en ese Marco Común Europeo de Referencia para las Lenguas, se le especifica el nivel en pronunciación, en gramática en fluidez y en vocabulario. Esta es una retroalimentación para que la persona evaluada pueda mejorar a futuro.
A solicitud del Ministerio de Relaciones Exteriores y Culto, PELEx certificó la competencia lingüística, tanto en inglés como en francés, de personas que van a ingresar en la carrera diplomática.
De igual forma, por medio de un convenio de cooperación con el Ministerio de Relaciones Exteriores y Culto, el Programa evalúa a los traductores (as) e intérpretes que aspiran a ser incorporados como oficiales, para garantizar que quienes vayan a ser acreditados (as) como traductores (as) o intérpretes oficiales tengan realmente la capacidad y los conocimientos para cumplir con esa importante labor.
Durante la pandemia, el Programa aplicó de manera virtual el Examen de Diagnóstico de Inglés (EDI) a estudiantes de primer ingreso de la UCR, de diferentes zonas del país, que querían someterse a la prueba con el fin de eximirse del curso LM-1030 “Estrategias de Lectura en Inglés”, requisito en los planes de estudio de 39 carreras.
Esa prueba representó el primer examen virtual de diagnóstico de inglés a gran escala realizado en el país. Con ello se demostró la capacidad que posee esta Universidad para realizar evaluaciones a gran escala de manera virtual utilizando herramientas creadas por la propia Institución.
El Pelex también realizó una certificación de dominio lingüístico en inglés a un grupo de 22 estudiantes de la Universidad de Nariño (UDENAR), en Colombia.
Un examen de diagnóstico o certificación de dominio del idioma cuesta desde los 100 a 400 dólares. Las herramientas de diagnóstico y certificación elaboradas por el PELEx, no superan los 75 dólares.
PELEx ha contado con el acompañamiento de la Unidad de Gestión y Transferencia del Conocimiento para la Innovación (PROINNOVA) y la Dirección de Promoción de la Innovación y Vínculo para el Desarrollo (DIPROVID) de la Vicerrectoría de Investigación de la UCR, con lo que ha calificado como un caso exitoso de innovación.
En estas instancias se está elaborando una estrategia de posicionamiento internacional, así como de propiedad intelectual, ya que las herramientas desarrolladas son productos UCR y deben registrarse las marcas para protegerlas.
El PELEx cuenta con alrededor de 14 instrumentos de evaluación de dominio de lenguas extranjeras, algunos de ellos en más de 25 idiomas; así como con más de 25 profesionales en evaluación en un segundo idioma y 16 certificadores (as) internacionales.
