Evaluación de la calidad de los investigadores II

Ronald Fischer

Esta es la segunda parte de la serie sobre evaluacíón de investigadores.

Los objetivos de un proceso de evaluación

Para atacar las dificultades de la evaluación, se pueden aplicar los objetivos que desea conseguir la unidad académica como una guía para diseñar el proceso de evaluación Como un ejemplo, en la FCFM estos objetivos son:

Calidad de la investigación.
Relevancia del tema, por lo que temas muy específicos deberían tener menos interés.
Evaluación comparativa con instituciones que deseamos emular.
Impacto de la investigación en la ciencia y en el medio.

El primer punto permite descartar métodos de evaluación que se dedican solo a contar trabajos publicados en revistas, sin importar su calidad. Un sustituto ha sido utilizar algún umbral mínimo para que la publicación sea considerada, como por por ejemplo, que la revista sea ISI. El problema, cada vez más reconocido, es que hay muchas revistas ISI de muy baja calidad, y un capítulo en un libro de una editorial importante, o en una conferencia de primer nivel puede ser mucho más valioso que artículos publicados en revistas ISI.[2]

Un segundo punto consiste en reconocer que algunas investigaciones son en temas con un ámbito muy reducido (incluso a nivel mundial). Son temas de interés para unos pocos especialistas, todos relacionados entre sí por lazos de coautoría o simplemente por solidaridad de grupos pequeños. Por mucho que sean fértiles en publicaciones y se citen mutuamente, son trabajos que no tienen mayor impacto, acaso porque la subárea perdió interés para los investigadores de primer nivel. Por lo tanto, la evaluación no puede circunscribirse solo al estrecho círculo de los investigadores cercanos al área, sino que debe evaluarse con una perspectiva más global del área ciéntifica.

Un tercer punto es que la evaluación debe comparar al investigador con el estándar del área. Por ejemplo, si la ambición de la FCFM es estar entre los 100 lugares más importantes en una determinada disciplina, nuestros investigadores deberían ser comparados, en términos de productividad, con los investigadores en las universidades ranqueadas 90-110 en la disciplina, considerando el momento en el ciclo de la vida académica del investigador que está siendo evaluado.

Por último, el impacto de la investigación en el medio debería ser un factor en la evaluación. Si un investigador consigue introducir cambios en el medio (nuevas políticas, ejemplos de aplicación tecnológica, etc), el valor de sus investigaciones debería ser ponderado por este impacto. Por ejemplo, tener muchos trabajos publicados en un área de poco interés es menos valioso que un nuevo método antisísmico que ha sido adoptado en forma generalizada, independientemente de las publicaciones asociadas.

[2] En algunas áreas, coom las ciencias sociales y la economía, Google Scholar puede ser más útil que ISI para las citas, dado que incorpora su impacto en las políticas públicas.