Variacioncompensada's Blog

Evaluación de la calidad de los investigadores III | abril 13, 2011

Ronald Fischer

Esta es la tercera parte de la serie sobre evaluacíón de investigadores.

Problemas de distintas alternativas de evaluación

Es posible pensar en tres metodologías distintas para evaluar la calidad de un investigador:

  1. Discrecionalidad
  2. Fórmula
  3. Recurrir a expertos

Cada una de estas alternativas tiene dificultades y por lo tanto no se pueden usar en forma individual.

1. Discrecionalidad

En un procedimiento discrecional, un comité evaluador, formado por académicos seleccionados, examina los antecedentes de los candidatos y decide usando su experiencia, olfato y conocimiento. La mayor desventaja del sistema es la posibilidad de abuso, en el caso de enemistades personales o entre áreas o subáreas de la ciencia. Debido a que en principio se puede evaluar satisfactoriamente en base a criterios que no son de investigación demostrable, podría debilitar los incentivos a investigar en la Facultad. La otra debilidad es que, como se ha mencionado, el comité podría con cubrir todas las áreas científicas.

2. Fórmula

En este caso hay una fórmula que determina la calidad del investigador. Un ejemplo sería una facultad que decidiera que para ser evaluado en forma satisfactoria como académico, el académico debe realizar un determinado número de cursos, de horas de administración y un cierto número de artículos publicados en revistas ISI. Dado que no se evalúa calidad, sino sólo números, lo que se consigue es incentivar a las personas a cumplir con las reglas, pero no necesariamente con trabajos de buena calidad. Peor aún, no reconoce las diferencias entre distintas disciplinas, por lo que el criterio podría ser fácil de cumplir en algunas áreas y difícil o imposible de cumplir en otras. Su efecto podría ser el de reducir la calidad de la investigación en aquellas áreas en que es fácil cumplir con el criterio, y descorazonar a los investigadores en otras áreas, que ven como imposible ser evaluados positivamente.

Además, se debe considerar que hay áreas en las que las publicaciones son el único test de validez, mientras en otras lo que vale es la importancia de las aplicaciones que son el resultado de la investigación. El problema de la calidad de las publicaciones puede tratar de corregirse utilizando criterios sobre calidad, pero éstos deben estar adaptados a las distintas áreas, ya que varían mucho.

No es imposible construir una fórmula que diferencie por áreas, pero tal fórmula incorporará mucha discrecionalidad en su origen y siempre habrá casos para los que no es apropiada. El método de la fórmula como único mecanismo único es apropiado cuando se trata de un estándar mínimo, y se trata de una etapa de la vida académica en la que una evaluación centralizada no es realmente posible ni deseable.

Esto ocurre en el caso de los profesores asistentes. En la FCFM, por ejemplo, todo lo que se requiere para la promoción a esta categoría es un doctorado y algún artículo aceptado o publicado en una revista ISI. Ambas condiciones son triviales de verificar. Es natural usar un chequeo sencillo en este caso, pues se debe confiar en el criterio de la unidad académica que contrata cuando el académico esta recién comenzando su carrera. No hay aún elementos del candidato que permitan evaluar su calidad académica dada la distancia a que se encuentra un comité de evaluación centralizado. Además, si el cargo es ocupado por un académico mediocre, las consecuencias recaen –en esta etapa– solo sobre el departamento que lo contrata y no tienen mayores consecuencias a nivel de la facultad.

3. Consultas a especialistas del área

Este método resuelve varios de los problemas de los métodos anteriores. El comité evaluador solicita que especialistas de alto nivel en la disciplina (a nivel mundial) evalúen al investigador, como si pertenciera a una universidad o facultad del grupo objetivo (por ejemplo, 90-110 en el ranking mundial). Los especialistas, que conocen el área y son objetivos tienen mayor capacidad para analizar la calidad del investigador. Para hacerlo más efectivo, en algunas universidades de los EE.UU. se le pide al investigador que selecciones sus 5 trabajos más importantes. Luego se solicita a los especialistas externos que los usen para evaluar al académico. Sin embargo, también este procedimiento enfrenta dificultades.

La primera dificultad consiste en determinar quiénes son los potenciales especialistas. El comité evaluador podría enfrentar problemas si no tiene miembros que conozcan el área o alternativamente, cuando el comité es guiado por un solo miembro que conoce el área, y que potencialmente se podría aprovechar su calidad de único experto para favorecer o perjudicar al candidato.

Otra dificultad consiste en que los especialistas externos podrían no dedicarle el tiempo que requiere esta labor, dado que la solicitud proviene de una universidad de país en desarrollo y poco conocido. Peor aún, podrían usar un criterio más débil que el que usarían para una universidad en un país desarrollado.

El último problema del método es que en algunas subáreas el número de investigadores puede ser muy pequeño, por lo que tienen lazos de amistad entre ellos. En tal caso, asegurar la objetividad de la evaluación es imposible.

En conclusión, todos los métodos anteriores tiene graves debilidades. La próxima sección describe una propuesta que combina los métodos anteriores para reducir sus desventajas.

Anuncios

Publicado en Economia

1 comentario »

  1. […] al procedimiento de evaluación de los investigadores presentado aquí en las secciones I, II, III y […]

    Pingback por Addenda: Sistema de evaluación de los investigadores « Variacioncompensada's Blog — abril 26, 2011 @ 7:50 pm


Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s

A %d blogueros les gusta esto: