Evaluación de la calidad de los investigadores IV

Ronald Fischer

Esta es la sección final de la serie sobre evaluacíón de investigadores.

Una propuesta

Dadas las deficiencias de las tres metodologías, y reconociendo que sus desventajas son independientes, se podrían combinar en forma inteligente para obtener mejores resultados.

La propuesta consiste en usar i) fórmulas para determinar umbrales mínimos que deben cumplir los investigadores (con especificidad por áreas, dada su extrema heterogeneidad). Una fórmula posible es considerar las universidad en el rango de comparación ( en el caso de la FCFM, ranqueadas 90-110) y determinar el promedio de publicaciones (y la calidad de las revistas) de los investigadores en las distintas áreas cuando fueron promovidos al nivel equivalente. Luego se define el estándar como algún porcentaje (por ejemplo el 50-70%) del promedio del área. La razón para establecer el umbral por debajo del promedio se debe a que el promedio esconde la varianza entre los investigadores, y a que se está estableciendo un umbral mínimo y no un promedio.

Si un académico sobrepasa los umbrales anteriores, se pasa a la etapa de consulta a los expertos. Para ello, se solicitan evaluaciones a expertos mundiales en su área. Se les pide determinar la calidad del investigador en términos comparativos con las universidades a las que la facultad (o universidad) desea asimilarse (el rango 90-110 en el caso de laFCFM). Se les pediría explícitamente que evaluaran no solo el número de publicaciones, sino su importancia y relevancia para el área y para el medio (en casos en que sea apropiado).

Dados los problemas que el procedimiento de los expertos pudiera tener, es necesario disponer de un elemento de discrecionalidad al nivel del comité de evaluación. Por ejemplo, si las evaluaciones de los expertos no dieran confianza, podrían rechazar sus recomendaciones, posiblemente solicitando nuevas evaluaciones o rechazando o aprobando al académico sin más. En todos estos casos, es deseable y tal vez imprescindible que el comité fundamente su opinión cuando es contraria a la de los especialistas.

Las características especiales de la propuesta (y en lo que se diferencia de la práctica actual de la FCFM) consisten en i) solicitar a los expertos que comparen al investigador con aquellos en el rango de universidades al que nos interesa asimilarnos, ii) que hayan umbrales mínimos de las distintas tareas académicas, diferenciados por áreas, pero que sean flexibles (en el sentido que haya alguna posibilidad de sustitución entre temas) y iii) que las decisiones del comité evaluador sean fundamentadas cuando se desvién de la recomendación de los especialistas.

El procedimiento tiene varias ventajas, entre ellas que es una versión primitiva de esta metodología ha funcionado relativamente bien en la FCFM. Segundo, mantiene el énfasis en investigación, sin el riesgo que podría introducir usar demasiada discrecionalidad. La discrecionalidad limitada del comité y la intervención de expertos evitan que los investigadores busquen aumentar su número de publicaciones y no la calidad e impacto de su investigación. Así se consigue que el procedimiento de evaluación provea incentivos concordantes con la misión y objetivos de una institución académica como la FCFM.

Evaluación de la calidad de los investigadores III

Ronald Fischer

Esta es la tercera parte de la serie sobre evaluacíón de investigadores.

Problemas de distintas alternativas de evaluación

Es posible pensar en tres metodologías distintas para evaluar la calidad de un investigador:

  1. Discrecionalidad
  2. Fórmula
  3. Recurrir a expertos

Cada una de estas alternativas tiene dificultades y por lo tanto no se pueden usar en forma individual.

1. Discrecionalidad

En un procedimiento discrecional, un comité evaluador, formado por académicos seleccionados, examina los antecedentes de los candidatos y decide usando su experiencia, olfato y conocimiento. La mayor desventaja del sistema es la posibilidad de abuso, en el caso de enemistades personales o entre áreas o subáreas de la ciencia. Debido a que en principio se puede evaluar satisfactoriamente en base a criterios que no son de investigación demostrable, podría debilitar los incentivos a investigar en la Facultad. La otra debilidad es que, como se ha mencionado, el comité podría con cubrir todas las áreas científicas.

2. Fórmula

En este caso hay una fórmula que determina la calidad del investigador. Un ejemplo sería una facultad que decidiera que para ser evaluado en forma satisfactoria como académico, el académico debe realizar un determinado número de cursos, de horas de administración y un cierto número de artículos publicados en revistas ISI. Dado que no se evalúa calidad, sino sólo números, lo que se consigue es incentivar a las personas a cumplir con las reglas, pero no necesariamente con trabajos de buena calidad. Peor aún, no reconoce las diferencias entre distintas disciplinas, por lo que el criterio podría ser fácil de cumplir en algunas áreas y difícil o imposible de cumplir en otras. Su efecto podría ser el de reducir la calidad de la investigación en aquellas áreas en que es fácil cumplir con el criterio, y descorazonar a los investigadores en otras áreas, que ven como imposible ser evaluados positivamente.

Además, se debe considerar que hay áreas en las que las publicaciones son el único test de validez, mientras en otras lo que vale es la importancia de las aplicaciones que son el resultado de la investigación. El problema de la calidad de las publicaciones puede tratar de corregirse utilizando criterios sobre calidad, pero éstos deben estar adaptados a las distintas áreas, ya que varían mucho.

No es imposible construir una fórmula que diferencie por áreas, pero tal fórmula incorporará mucha discrecionalidad en su origen y siempre habrá casos para los que no es apropiada. El método de la fórmula como único mecanismo único es apropiado cuando se trata de un estándar mínimo, y se trata de una etapa de la vida académica en la que una evaluación centralizada no es realmente posible ni deseable.

Esto ocurre en el caso de los profesores asistentes. En la FCFM, por ejemplo, todo lo que se requiere para la promoción a esta categoría es un doctorado y algún artículo aceptado o publicado en una revista ISI. Ambas condiciones son triviales de verificar. Es natural usar un chequeo sencillo en este caso, pues se debe confiar en el criterio de la unidad académica que contrata cuando el académico esta recién comenzando su carrera. No hay aún elementos del candidato que permitan evaluar su calidad académica dada la distancia a que se encuentra un comité de evaluación centralizado. Además, si el cargo es ocupado por un académico mediocre, las consecuencias recaen –en esta etapa– solo sobre el departamento que lo contrata y no tienen mayores consecuencias a nivel de la facultad.

3. Consultas a especialistas del área

Este método resuelve varios de los problemas de los métodos anteriores. El comité evaluador solicita que especialistas de alto nivel en la disciplina (a nivel mundial) evalúen al investigador, como si pertenciera a una universidad o facultad del grupo objetivo (por ejemplo, 90-110 en el ranking mundial). Los especialistas, que conocen el área y son objetivos tienen mayor capacidad para analizar la calidad del investigador. Para hacerlo más efectivo, en algunas universidades de los EE.UU. se le pide al investigador que selecciones sus 5 trabajos más importantes. Luego se solicita a los especialistas externos que los usen para evaluar al académico. Sin embargo, también este procedimiento enfrenta dificultades.

La primera dificultad consiste en determinar quiénes son los potenciales especialistas. El comité evaluador podría enfrentar problemas si no tiene miembros que conozcan el área o alternativamente, cuando el comité es guiado por un solo miembro que conoce el área, y que potencialmente se podría aprovechar su calidad de único experto para favorecer o perjudicar al candidato.

Otra dificultad consiste en que los especialistas externos podrían no dedicarle el tiempo que requiere esta labor, dado que la solicitud proviene de una universidad de país en desarrollo y poco conocido. Peor aún, podrían usar un criterio más débil que el que usarían para una universidad en un país desarrollado.

El último problema del método es que en algunas subáreas el número de investigadores puede ser muy pequeño, por lo que tienen lazos de amistad entre ellos. En tal caso, asegurar la objetividad de la evaluación es imposible.

En conclusión, todos los métodos anteriores tiene graves debilidades. La próxima sección describe una propuesta que combina los métodos anteriores para reducir sus desventajas.

Evaluación de la calidad de los investigadores II

Ronald Fischer

Esta es la segunda parte de la serie sobre evaluacíón de investigadores.

Los objetivos de un proceso de evaluación

Para atacar las dificultades de la evaluación, se pueden aplicar los objetivos que desea conseguir la unidad académica como una guía para diseñar el proceso de evaluación Como un ejemplo, en la FCFM estos objetivos son:

  1. Calidad de la investigación.
  2. Relevancia del tema, por lo que temas muy específicos deberían tener menos interés.
  3. Evaluación comparativa con instituciones que deseamos emular.
  4. Impacto de la investigación en la ciencia y en el medio.

El primer punto permite descartar métodos de evaluación que se dedican solo a contar trabajos publicados en revistas, sin importar su calidad. Un sustituto ha sido utilizar algún umbral mínimo para que la publicación sea considerada, como por por ejemplo, que la revista sea ISI. El problema, cada vez más reconocido, es que hay muchas revistas ISI de muy baja calidad, y un capítulo en un libro de una editorial importante, o en una conferencia de primer nivel puede ser mucho más valioso que artículos publicados en revistas ISI.[2]

Un segundo punto consiste en reconocer que algunas investigaciones son en temas con un ámbito muy reducido (incluso a nivel mundial). Son temas de interés para unos pocos especialistas, todos relacionados entre sí por lazos de coautoría o simplemente por solidaridad de grupos pequeños. Por mucho que sean fértiles en publicaciones y se citen mutuamente, son trabajos que no tienen mayor impacto, acaso porque la subárea perdió interés para los investigadores de primer nivel. Por lo tanto, la evaluación no puede circunscribirse solo al estrecho círculo de los investigadores cercanos al área, sino que debe evaluarse con una perspectiva más global del área ciéntifica.

Un tercer punto es que la evaluación debe comparar al investigador con el estándar del área. Por ejemplo, si la ambición de la FCFM es estar entre los 100 lugares más importantes en una determinada disciplina, nuestros investigadores deberían ser comparados, en términos de productividad, con los investigadores en las universidades ranqueadas 90-110 en la disciplina, considerando el momento en el ciclo de la vida académica del investigador que está siendo evaluado.

Por último, el impacto de la investigación en el medio debería ser un factor en la evaluación. Si un investigador consigue introducir cambios en el medio (nuevas políticas, ejemplos de aplicación tecnológica, etc), el valor de sus investigaciones debería ser ponderado por este impacto. Por ejemplo, tener muchos trabajos publicados en un área de poco interés es menos valioso que un nuevo método antisísmico que ha sido adoptado en forma generalizada, independientemente de las publicaciones asociadas.

[2] En algunas áreas, coom las ciencias sociales y la economía, Google Scholar puede ser más útil que ISI para las citas, dado que incorpora su impacto en las políticas públicas.

Evaluación de la calidad de los investigadores I

Ronald Fischer

Este es un tema en el que he estado trabanajndo para la Comisión de Investigación de la Facultad de Ciencias Físicas y Matemáticas de la Universidad de Chile (y varios años en la Comisión de Evaluación de la Facultad). Como podría tener un interés más general, he decidido presentar mis conclusiones en el blog. El informe está dividido en varias entradas, debido a su extensión:

  1. El problema de la evaluación de la calidad de los investigadores
  2. Los objetivos de un proceso de evaluación.
  3. Problemas de las distintas alternativas
  4. Una propuesta

El problema de la evaluación de la calidad de los investigadores

Un buen sistema de evaluación de investigadores de una unidad académica debe considerar los objetivos de la unidad. Por ejemplo, la Facultad de Ciencias Físicas y Matemáticas (FCFM) tiene como misión:

“la generación, desarrollo, integración y comunicación del saber en ciencias básicas, ingeniería, ciencias de la tierra y economía y gestión.”

La pregunta es cómo desarrollar un sistema de evaluación consistente con estos objetivos. En general, el consenso de la FCFM es que se debería privilegiar la investigación del académico, siempre que se satisfagan requisitos mínimos en las demás áreas académicas.

Incluso si se la da primacía a la investigación, subsiste el problema de evaluar las contribuciones del académico. En primer lugar, porque la variedad de áreas de investigación hacen imposible que un Comité Evaluador (CE), formado necesariamente por un limitado número de individuos, pueda tener el conocimiento para juzgar en forma informada sobre la investigación en las distintas ramas científicas. Incluso dentro de las grandes áreas, los especialistas en un subárea pueden saber muy poco sobre otra subárea.

Un segundo tema es la diferencia entre áreas en términos de lo que representa un buen nivel de investigación. En algunas áreas se publica mucho, y en otras no tanto.[1] No se trata de un problema de calidad contra cantidad de la investigación, pues en algunas áreas se publica mucho en muy buenas revistas, sino de diferencias en las características intrínsecas del área del conocimiento.

La comparación entre revistas ciéntificas de distintas áreas también es compleja. En algunas áreas -–por ejemplo, la biología–- la publicación y las citaciones son rápidas, por lo que los índices de impacto son elevados. En otras áreas, o incluso a nivel de subáreas, pueden haber diferencias en la velocidad de publicación, o en la trayectoria de citaciones. En algunas disciplinas, la vida media de artículos en las revistas importantes es de más de 10 años y en otras disciplinas, de solo dos años. Por lo tanto, los índices de impacto de las revistas tienen distintos significados, ya que tienen ventanas de corto plazo. Un último tema es como comparar trabajos con numerosos autores con trabajos con pocos o con un solo autor.

La heterogeneidad de las distintas áreas se ve incluso en la forma en que se firman los artículos. Hay disciplinas en las que el orden de autoría representa la contribución relativa al trabajo publicado, mientras que en otras lo normal es usar un orden alfabético.

[1] Por ejemplo, el importante economista David Cass, Fellow de la American Academy Arts & Sciences, publicó solo 29 papers ISI, pese a que su vida ciéntifica comenzó a mediados de los 60.