Uno de los problemas que para aumentar el gasto dedicado a ciencias y a tecnología es que es difícil medir los resultados de la investigación. Una búsqueda en Google por «Measuring Research Productivity» deja claro que no existe un buen mecanismo para medir la productividad científica. Para dar un ejemplo, «Measuring productivity of research in economics. A cross-country study using DEA» intenta medir la eficiencia de la productividad científica como la cantidad de papers publicados en las revistas de mayor impacto. Sin embargo, la noción de productividad depende de identificar los journals de mayor impacto como los que representan de mejor modo la calidad de la investigación. Esto deja de lado el impacto de la investigación en el mundo real, y por otro lado, el índice de impacto es una herramienta que varía entre disciplinas, incluso entre subáreas de una disciplina.
Lo que se hace a menudo es contar papers ISI, lo cual ha llevado a que los investigadores envíen trabajos a revistas ISI de tercera categoría (todos los que trabajan en un área de investigación saben cuáles son) para cumplir con obligaciones impuestas por proyectos de investigación o por imposiciones de la carrera académica. El intento de contar las citas a los papers ayuda en algo, pero es distorsionado por factores como los artículos de recopilación, que son citados porque reúnen muchas fuentes primarias, pese a no tener importancia como investigación. Además se debe eliminar las autocitas y considerar el heeho que en algunas áreas en las que hay pocos investigadores en el mundo, se observa mucha cooperación para citarse mutuamente.
Otro problema (que afecta especialmente a las ciencias sociales y las artes), es que las tasas de publicaciones y citas son distintas –muy distintas– entre áreas. No tiene sentido que se mida la productividad y calidad del trabajo de un investigador en literatura por sus publicaciones en journals. ES probable que en esa área un libro publicado por una editorial reputada sea más valioso, especialmente si las críticas que recibe son buenas. En algunas ciencias, tener cientos de citas es normal, en otras, números mucho menores son estándar.
En Economía, por ejemplo, también es importante el número de citas en Publish or Perish, pues incluyen citas en documentos de organizaciones internacionales o nacionales, que es un mercado relevante para las ideas del área.
Sería bueno pensar bien en estos temas antes de aumentar drásticamente el nivel de recursos dedicados a la investigación científica –para que decir tecnológica–.
Variacioncompensada's Blog 