El autor de este blog es miembro de la Comisión de Evaluación de la Facultad de Ciencias Físicas y Matemáticas de la U. Menciono este hecho para comentar sobre las dificultades de evaluar la calidad de la investigación en distintas áreas de las ciencias y de la ingeniería. En la Comisión es necesario evaluara investigadores pertenecientes a áreas que van desde la física teórica a la economía, pasando por la biotecnología, la geología, y otras ciencias duras , así como la ingeniería civil en todas sus múltiples ramas (matemática, mecánica, eléctrica, estructural, química, y otras).
Los estándares de excelencia son distintos en todas las áreas, así como el funcionamiento del sistema de publicaciones. En algunas áreas se publica y se cita mucho: astronomía y química, por ejemplo. Es común tener candidatos con miles de citas y más de una decena de artículos por año. Pero por otro lado, los trabajos pueden tener un carácter industrial.
Recuerdo un investigador joven que tenía siete trabajos publicados como parte de un equipo, todos con títulos casi idénticos (algún fenómeno que se producía en distintos compuestos de cobre –uno por paper– todos a 473ºK), con estructura, diagramas y figuras similares. El trabajo era probablemente importante, pero tenía un componente mecánico que lo hará fácilmente reemplazable por una máquina. Además, debe haber otro equipo preparando publicaciones similares a 474ºK, 475ºK, y así sucesivamente.
En otras áreas como las ingenierías y la economía, las producciones son menores. En economía, por ejemplo, un investigador con tres mil citas está en la zona del premio Nobel. Pero por lo menos en economía y matemáticas, el trabajo de investigación es menos repetitivo.
Otro problema para la Comisión es que las convenciones son diversas en las distintas áreas. En algunas, el orden de los autores es importante, y lo importante es ser el primero (que escribe el trabajo) y el último (el que lo financia). En matemáticas o economía, normalmente el orden es alfabético y se considera que, salvo mención explícita, todos los autores se reparten el mérito del trabajo por igual. Además hay otra dificultad: el número de autores. ¿Es razonable comparar investigadores por número de artículos cuando un autor escribe solo y otro lo hace con coautores? Cuando hay unos pocos autores para el artículo (2, 3 o 4), esto probablemente es razonable, pero ¿qué hacer en el caso de este artículo aparecido en Physical Review Letters que tiene más de 2.000 autores?
El problema para la Comisión es determinar, sin tener especialistas en los temas de investigación que deben evaluar, cuál es la calidad de las investigaciones del candidato. Hay una tendencia natural a tratar de usar criterios numéricos como número de artículos, números de citas, el factor h (número de artículos con más de h citas). Pero ahí aparece el problema de determinar que es lo apropiado para distintas disciplinas. Las publicaciones pueden aparecer en revistas de distintas calidades, y una elaboración de los criterios númericos anteriores considera la calidad de las revistas en las que el investigador publica.
Hay tantas revistas, incluso en un área, que no es fácil determinar sus calidades, especialmente si la Comisión no tiene un representante del área. El primer criterio es que sea ISI, aunque se sabe que ese criterio casi no dice nada: la cantidad de revistas malas que son ISI es enorme. Se ha intentado usar el índice de impacto de la revista, pero es un índice apropiado solo para biología y astronomía, porque considera solo una ventana de pocos años para las citas que incluye en el índice. Éstas son revistas en que la vida media de los artículos es de 2-4 años (la vida media de un artículo mide el tiempo que el artículo tarda en llegara tener la mitad de las citas que tendrá). En matemáticas y economía, en cambio, la vida media de los artículos en las revistas a menudo es superior a diez años, por lo que sus índices de impacto son mucho menores, pero tienen influencia por mucho más tiempo.
Una posibilidad es usar rankings de revistas realizados por expertos del área. Por ejemplo, en economía existen numerosos rankings, y por lo menos en los primeros lugares, tienen bastantes coincidencias, lo que da alguna confianza .
Ante tantas complicaciones, se comprende que la evaluación de los académicos debe ser qualitativa, y por lo tanto discrecional, y no cuantitativa. La dificultad es poder evaluar apropiadamente en forma cualitativa sin caer en favoritismos o por el contrario, descalificaciones. La mejor solución es pedir ayuda a los expertos internacionales del área, solicitándoles que entreguen evaluaciones del investigador. El problema es que se depende de la buena voluntad de los especialistas, que son personas ocupadas. Asimismo, dado que las áreas de investigación son muy especializadas, todos los especialistas se conocen y pueden tener favoritismos. Pero no se puede llegar mucho más allá cuando se intenta encontrar una manera justa de evaluar a investigadores de distintas áreas.
Variacioncompensada's Blog 