Foro de la investigación

¿Por qué los ránquines son importantes para las universidades?

M.Sc. Andrea Marín Campos, Vicerrectoría de Investigación
8. 09. 20

Es posible que en algún momento hayamos leído en una nota periodística que, según el “ranking” de universidades QS (Quacquarelli Symonds) para el 2020, la Universidad de Costa Rica (UCR) se ubica en el puesto 19 entre las universidades de América Latina y es la primera en el Istmo. 

M.Sc. Andrea Marín Campos, Unidad de Gestión de la Calidad, Vicerrectoría de Investigación,UCR.

Y entonces suponemos que este “ranking” realiza una jerarquización de todas las universidades latinoamericanas, pero el tema comienza a complejizarse cuando ya no es un número o espacio en la lista, sino un rango de números en el cuál podemos encontrar a la UCR, incluso compartiendo el parámetro con otras universidades.

Seguimos leyendo que la UCR ocupa la posición 511-520 de ese mismo ranking QS, pero esta vez para su versión global. 

Podemos incluso volver aún más complejo el escenario cuando advertimos que la misma universidad ocupa el puesto 901-1000 del Academic Ranking of World Universities (ARWU) conocido como ranking de Shanghái o la posición 601–800 del The Times Higher Education World University Rankings (THE), todos estos para el año 2020.

¿Es acaso que estos “rankings” no tienen precisión y por eso indican rangos tan grandes para posicionar a la Universidad? o bien ¿existe un “ranking” mejor que los otros y por eso algunos se presentan las diferencias? Y esto a pesar de que en la lista generalmente participan las mismas universidades del mundo.

Lo primero que debemos tener claro para entender el tema de los “rankings", es que estos son instrumentos de medición, que se construyen a partir de un objetivo a medir y que para esto se establecen criterios e indicadores. 

Por ejemplo, el “ranking de universidades QS es una publicación anual que tiene como objetivo ser un instrumento para la toma de decisión que hace una persona estudiante a la hora de elegir en cuál universidad estudiar. 

Metodológicamente agrupa sus indicadores de medición en cuatro grandes áreas: indicadores académicos, indicadores de empleo, indicadores de estudiantes y por último indicadores de internacionalidad.

Cada uno de estos indicadores mide un criterio o aspecto que para el “ranking” es importante y al que previamente se le ha asignado un valor o peso según el objetivo a medir.  

Por ejemplo, el “ranking” ARWU establece como criterio la “Calidad de la facultad” con indicadores como el número de personas de una institución ganadoras de premios Nobel y medallas Fields e investigadores altamente citados (1).

Mientras que el ranking QS, en su criterio de “Indicadores académicos” considera la reputación académica, el índice H, la citación por facultad y el personal docente con doctorados (2); 

Por su parte THE estableció el criterio de “Docencia”, donde sus indicadores son una encuesta de reputación, proporción de personal a estudiantes, proporción de doctorado a licenciatura, proporción de doctorados otorgados por personal académico e ingresos institucionales (3).

Lo segundo que debemos de tener claro es que los “rankings” construyen una metodología para poder homologar los indicadores que la entidad ha establecido y puedan ser medibles en todas las universidades que participen, es decir, que pueda utilizarse una misma unidad de medición. 

En este caso utilizaremos como ejemplo al “ranking” THE, que estableció sus indicadores en cinco áreas: docencia, investigación, citación, visión internacional e ingresos de la industria. 

Estos indicadores se normalizan utilizando por ejemplo la unidad de tiempos completos (considerando el número de horas que implica un tiempo completo para la universidad) y no la cantidad de personas. 

Así también se normalizan los datos de ingresos institucionales entre el número de personal académico y de esa forma buscar la paridad del poder adquisitivo (PPA).

Lo tercero que es importante de considerar, son las fuentes de información que se utilizan para recopilar los datos para cada indicador. 

Los “rankings” pueden considerar encuestas, que son suministradas a las autoridades universitarias o a un departamento designado de las propias universidades, y en las que se aportan evidencias o se realizan declaraciones de información. 

También hay datos que se recopilan de Internet (a partir de lo que las mismas universidades generan con su visibilidad “web”), de fuentes de información bibliométrica de reconocida trascendencia y que trabajan precisamente recopilando esos datos. 

La selección de dicha fuente de información que realiza un “ranking” considera la confiabilidad de esa fuente, así como la trazabilidad y disposición de los de los datos disponibles. 

Por ejemplo, el “ranking” ARWU utiliza la Web of Science (4) para medir el indicador del número de “papers” publicados en el área de naturaleza y ciencia y también para el número total de artículos indexados en Science Citation Index-Expanded y Social Science Citation Index. 

Este “ranking” también utiliza los informes de la compañía Clarivate Analytics para el número de investigadores (as) altamente citados,  o bien considera agencias nacionales como ministerios específicos, oficinas de registro, consejos de rectorías, entre otros para otro tipo de datos.

Como cuarto y último punto, se encuentra la generación del “ranking”. Una vez que la entidad ha recopilado los datos para un período específico, realiza la asignación de valor a cada “item” o evidencia recopilada, y esto en última instancia, genera una nota o calificación que permite enlistar a las universidades participantes de mayor a menor, es decir, las que más altos puntajes reflejan en cada una de las categorías se van colocando en las primeras posiciones del “ranking”. 

Los “rankings” pueden considerar un número de universidades participantes o bien considerar la nota como criterio, depende de su metodología y es importante señalar que el número de participantes afecta la posición en el mismo, no solamente la calificación obtenida para los criterios. 

Asimismo, en esta metodología se define, a partir de un número “x” de universidades, la asignación de una posición en el “ranking” o bien un intervalo de ubicación. Estos intervalos frecuentemente se asignan porque estadísticamente no existen diferencias significativas en la nota obtenida, y eso hace posible que varias universidades compartan el mismo intervalo. 

La amplitud de este depende de la variabilidad del grupo de universidades que están compartiendo dicha nota.

 

El 26 de agosto pasado la Universidad de Costa Rica celebró el 80 aniversario de su creación.

¿Por qué varía la posición de las universidades en los "rankings"?

Considerando estos cuatro aspectos se puede explicar que la variación del número de posición de una universidad de un “ranking” a otro no refleja imprecisión de los “rankings”, sino que responde al objetivo, indicadores y metodología establecidos. 

De esta forma,  también puede decirse que el criterio de si existe un “ranking” mejor que otro,  está condicionado al objetivo de la medición, pues podría ser de mayor utilidad un “ranking” para ciertos aspectos y otro para otros.

Aunque todos representen, en última instancia, parámetros de calidad en los criterios considerados. 

Cabe señalar que la mejor forma de verificar la confiabilidad y capacidad de medición de un “ranking” se encuentra en la revisión de la metodología que utiliza, por ende, la transparencia en la información que brinden en esta sección los “rankings” es clave.

Existen dos cuestionamientos que suelen darse en este tema y a los que no me referí inicialmente para poder abordarlos teniendo en cuenta los cuatro aspectos mencionados.

El primero tiene que ver con el cuestionamiento de si puede una universidad influir o no en la mejora de su posición en el “ranking”. Como se ha visto hay aspectos que no se pueden controlar, por ejemplo, los criterios y metodologías son definidos previamente y el número de universidades varía y esto afecta el posicionamiento global. 

Pero la clave está en que la propia  universidad o la persona que quiere tratar de analizar la posición de una universidad en el “ranking” debe considerar los valores de los criterios específicos frente a los valores del año anterior, porque estos podrían revelar una mejora en la calificación de los criterios que no se vuelve clara por el posicionamiento en el “ranking”.

Asimismo, el análisis de estos criterios y fuentes de información puede arrojar datos sobre cuáles son los aspectos más importantes que se miden y de qué forma se podría mantener y mejorar la posición. 

Esto no solo significa ser prolijos en la información que es suministrada por parte de las universidades, sino además comunicar y trabajar con la comunidad universitaria. 

Por ejemplo coordinar con las personas investigadoras, docentes y estudiantes para que visibilicen la producción y actividades de la universidad a través de una correcta señalización de la afiliación institucional en una publicación o material divulgativo.

También se pueden generar  buenas prácticas para establecer sitios “web” que sean propios de las instituciones, entre otras prácticas que permiten sumar a los grandes indicadores con los que se mide el trabajo de una universidad.

El segundo cuestionamiento que podría contestarse ahora teniendo el escenario completo,  es el ¿Porqué es importante para una universidad o bien para el país tener presencia en estos “rankings”? 

Y es que sin lugar a duda  la calidad y excelencia solo pueden lograrse en la mejora, y a su vez esa mejora solo puede darse si medimos los criterios e indicadores en los que queremos avanzar como Universidad o como país, reconociendo que estos no son estáticos y pueden cambiar o fortalecerse en la medida que se van desarrollando.

 Además, tiene una gran importancia establecer estos ejercicios de medida y comparación,  no solo sobre la misma Universidad, sino con otras de mayor o menor similitud en contexto, región, infraestructura, inversión, políticas, recursos y demás. 

Esto no significa que la meta sea lograr ocupar primeras posiciones de los “rankings”, pero sí permite un análisis del trabajo realizado, una orientación de la ruta que puede seguirse y un instrumento sobre el cuál perfilar a una universidad en la docencia,  la investigación y la acción social que redundará en el perfil de la comunidad científica que queremos como país.

Referencias

1.) Ranking de Shangai: http://www.shanghairanking.com/ARWU-Methodology-2020.html

2.) Ranking QS: https://www.qs.com/rankings 

3.) Ranking THE: https://www.timeshighereducation.com/world-university-rankings/world-uni...

4.) Web of science: http://www.webofscience.com/