Variacioncompensada's Blog

El costo de la Contraloría

abril 27, 2011
Dejar un comentario

Ronald Fischer

El costo de la supervisión y fiscalización de la Contraloría General de la República sobre la Universidad de Chile es muy elevado. Dado que todas las decisiones importantes deben ser visadas por la Contraloría, éstas sufren retrasos, pierden agilidad y la flexibilidad necesaria para poder competir con otras universidades. Peor aún, en ocasiones, pequeños errores de forma en un contrrato, que se podrían haber resuelto rápidamente, llevan a su rechazo.

Este costo es tan pesado que uno de los objetivos básicos quiénes desean el bien de la Universidad debería ser sacarse la tutela de la Contraloría. ¿Por qué no tener las mismas condiciones de la P. Universidad Católica, que también recibe recursos fiscales no competitivos, pero que no sufre esa carga? Los ejemplos de los retrasos e impedimentos son numerosos, pero me gustaría narrar un caso que muestra nítidamente y en números el costo de la Contraloría.

La Facultad de Ciencias Físicas y Matemáticas (FCFM) está construyendo un nuevo edificio cuyo costo se estima en unos US$35 millones (o al menos así lo recuerdo). Se hizo una licitación y el ganador, una empresa con mucha experiencia, muy respetada en el ambiente, y cuyos propietarios son ingenieros de la Facultad, ofreció construir el proyecto por un monto inferior en $1.000 millones a las ofertas de sus competidores.

Sin embargo, en alguna parte de su oferta técnica, la empresa específicó que una de las obras secundarias tardaría tres meses en su construcción, pero cuando hizo la carta Gantt del proyecto, transformó esta duración a un plazo medido en semanas, dejádolo como 12 semanas. Este pequeño error significó que la Contraloría encontró vicios de fondo en la oferta, por lo que tuvo que ser descartada. El resultado es que la FCFM tuvo que construir el proyecto con el cuarto oferente, lo cual le ha significado un costo adicional de $1.000 millones.

Si la Contraloría no hubiese revisado el contrato, la Facultad y la empresa habrían corregido este error menor sin que tuviera consecuencias para el contrato. Y se habrían ahorrado $1.000 millones.

Ese es el costo de la Contraloría sobre la Universidad. Y es por eso que el objetivo debería ser el de escapar a su tutela.

(Gracias a N. Figueroa)


Addenda: Sistema de evaluación de los investigadores

abril 26, 2011
Dejar un comentario

Ronald Fischer

Alejandro Jofré ha sugerido una importante mejora respecto al procedimiento de evaluación de los investigadores presentado aquí en las secciones I, II, III y IV.

En mi propuesta sugerí un criterio cuantitativo mínimo en términos de publicaciones de los investigadores. Este criterio se construiría a partir de los promedios de publicaciones de los investigadores de los departamentos en el rango 90-110 en el área del investigador, dado que ese es el nivel en el mundo al que la Facultad aspira. Más específicamente, se proponía un mínimo de publicaciones correspondiente al 50-70% de este promedio, ajustando por ciclo de vida del investigador.

La idea de Alejandro es que en vez de un rango cuantitativo, esto se hiciera en términos de percentiles. Si la FCFM aspira a estar en el percentil 20% de las Facultades similares del mundo, por ejemplo, en cada área se debería usar como estándar los departamentos en el rango 15-25% (digamos) para construir el indicador promedio. Siguiendo mi propuesta, áreas en las que hay pocos departamentos independientes en el mundo podrían enfrentar un estándar fácil de cumplir, mientras que en otras áreas (como matemáticas), esto podría ser un estándar mucho más exigente. Con la propuesta de Alejandro, esta diferencia de estándares desaparece.


Publicado en Economia

Una exportación rara

abril 26, 2011
Dejar un comentario

R. Fischer

Ante el exceso de capacidad de generación (termo-)eléctrica que se avecina en el Sistema Interconectado del Norte Grande (SING), hay propuestas de vender el excedente a Argentina. Debido al défcit de energía en la zona norte de Argentina contigua a Chile, podría ser una posibilidad comercialmente atractiva. Incluso se podría reutilizar línea construida originalmente para enviar electricidad a Chile desde la central que Gener construyó en Salta. El gobierno argentino obliga a que esa central ahora produzca para su mercado doméstico, pero la línea sigue existiendo, aunque no transporta energía.

Mirado un poco más cuidadosamente, parece raro que luego de los conflictos ambientales para instalar centrales de generación en Chile, éstas se dediquen a producir para el mercado argentino. Después de todo, la argumentación para admitir el costo ambiental de las centrales es que ellas ayudarían al desarrollo de Chile, al reducir el costo de la energía para los proyectos mineros del Norte. Por supuesto, al exportar energía, el costo en el Norte tiende a ser más alto, lo que contradice los argumentos en favor de las centrales.

La idea de contaminar en Chile para vender energía a Argentina, que puede ser un buen negocio en el corto plazo, es una mala idea en el más largo plazo, tanto desde el punto de imagen como para contrargumentar a los ambientalistas sobre la necesidad de inversión en generación de bajo costo.


Publicado en Economia

Padres votando por sus hijos en Hungría

abril 21, 2011
Dejar un comentario

R. Fischer

Un colega del DII, Ramiro de Elejalde, me indica que los Húngaros se adelantaron a mi propuesta sobre votos múltiples para padres con hijos menores. De acuerdo a la información aparecida en el Guardian, el gobierno (conservador) húngaro está pensando darle votos a las madres con niños menores.

Lo interesante es que como el gobierno tiene dos tercios de los votos en el parlamento, inicialmente planeaban incorporar esta medida en la Constitución, pero luego lo pensaron mejor y lo harán mediante una Ley. La cantidad máxima de votos de una madre será solo de un voto, porque hay preocupación entre los más racistas porque los Roma (gitanos) tienen muchos hijos.

La oposición intelectual sigue razonamientos como el del profesor de leyes de la U de Chicago, Tom Ginsburg. Este académico asemeja la propuesta a los votos múltiples de los terratenientes en el siglo XIX en Europa. También le preocupan los derechos de las familias sin niños. A este blog le parecen argumentos débiles, porque el primero es un argumento de tipo ad hominem, y el segundo trata los derechos políticos de dos seres humanos en forma distinta, según su edad.


Publicado en Economia

Allanamiento de abogado

abril 20, 2011
Dejar un comentario

R. Fischer

Es raro el escándalo producido por el allanamiento de la oficina del abogado de Karadima. Todos los abogados, incluyendo a Carlos Peña, han coincido en considerar que es un hecho inaceptable, que compromete la confidencialidad de la relación entre el abogado y su cliente. Es probable que, debido a mis pocos conocimientos legales, esté equivocado, pero entiendo que este no es un caso de proteger confidencialidad de la relación abogado-cliente. Estoy de acuerdo en que la justicia debe respetar esta confidencialidad, pero me parece que este no es el caso aquí.

El punto esencial es que el abogado Bulnes es un abogado defensor frente a la condena eclesiástica a Karadima. Dado que las justicias eclesiástica y chilena son independientes, me parece que, desde el punto de vista de la justicia chilena, el no es el abogado de Karadima que está protegido por el derecho a la confidencialidad. La relación protegida es la de Karadima con su abogado defensor frente a la justicia chilena.

Si se considera que también está protegida la relación con el abogado de Karadima frente a su condena Vaticana, ambas justiciias no serían independientes y no existiría separación entre Iglesia y Estado. ¿Estoy equivocado o estamos frente a un caso de defensa corporativa de los abogados?

Tal vez esto sea más claro si pensamos en dos países normales. Supongamos una persona que está siendo investigado en dos países por la justicia, por ejemplo, Chile y Argentina. Si la justicia chilena determina que el abogado argentino está en Chile y tiene en su poder documentos que podrían ser relevantes al caso chileno, ¿cuál sería el motivo legal para no allanarlo en búsqueda de información (salvo por los problemas diplomáticos que ello podría causar, por supuesto)? La confidencialidad de la relación del sospechoso con el abogado argentino es relevante para la justicia argentina, pero no para la justicia chilena.


Evaluación de la calidad de los investigadores IV

abril 13, 2011
1 comentario

Ronald Fischer

Esta es la sección final de la serie sobre evaluacíón de investigadores.

Una propuesta

Dadas las deficiencias de las tres metodologías, y reconociendo que sus desventajas son independientes, se podrían combinar en forma inteligente para obtener mejores resultados.

La propuesta consiste en usar i) fórmulas para determinar umbrales mínimos que deben cumplir los investigadores (con especificidad por áreas, dada su extrema heterogeneidad). Una fórmula posible es considerar las universidad en el rango de comparación ( en el caso de la FCFM, ranqueadas 90-110) y determinar el promedio de publicaciones (y la calidad de las revistas) de los investigadores en las distintas áreas cuando fueron promovidos al nivel equivalente. Luego se define el estándar como algún porcentaje (por ejemplo el 50-70%) del promedio del área. La razón para establecer el umbral por debajo del promedio se debe a que el promedio esconde la varianza entre los investigadores, y a que se está estableciendo un umbral mínimo y no un promedio.

Si un académico sobrepasa los umbrales anteriores, se pasa a la etapa de consulta a los expertos. Para ello, se solicitan evaluaciones a expertos mundiales en su área. Se les pide determinar la calidad del investigador en términos comparativos con las universidades a las que la facultad (o universidad) desea asimilarse (el rango 90-110 en el caso de laFCFM). Se les pediría explícitamente que evaluaran no solo el número de publicaciones, sino su importancia y relevancia para el área y para el medio (en casos en que sea apropiado).

Dados los problemas que el procedimiento de los expertos pudiera tener, es necesario disponer de un elemento de discrecionalidad al nivel del comité de evaluación. Por ejemplo, si las evaluaciones de los expertos no dieran confianza, podrían rechazar sus recomendaciones, posiblemente solicitando nuevas evaluaciones o rechazando o aprobando al académico sin más. En todos estos casos, es deseable y tal vez imprescindible que el comité fundamente su opinión cuando es contraria a la de los especialistas.

Las características especiales de la propuesta (y en lo que se diferencia de la práctica actual de la FCFM) consisten en i) solicitar a los expertos que comparen al investigador con aquellos en el rango de universidades al que nos interesa asimilarnos, ii) que hayan umbrales mínimos de las distintas tareas académicas, diferenciados por áreas, pero que sean flexibles (en el sentido que haya alguna posibilidad de sustitución entre temas) y iii) que las decisiones del comité evaluador sean fundamentadas cuando se desvién de la recomendación de los especialistas.

El procedimiento tiene varias ventajas, entre ellas que es una versión primitiva de esta metodología ha funcionado relativamente bien en la FCFM. Segundo, mantiene el énfasis en investigación, sin el riesgo que podría introducir usar demasiada discrecionalidad. La discrecionalidad limitada del comité y la intervención de expertos evitan que los investigadores busquen aumentar su número de publicaciones y no la calidad e impacto de su investigación. Así se consigue que el procedimiento de evaluación provea incentivos concordantes con la misión y objetivos de una institución académica como la FCFM.


Publicado en Economia

Evaluación de la calidad de los investigadores III

abril 13, 2011
1 comentario

Ronald Fischer

Esta es la tercera parte de la serie sobre evaluacíón de investigadores.

Problemas de distintas alternativas de evaluación

Es posible pensar en tres metodologías distintas para evaluar la calidad de un investigador:

  1. Discrecionalidad
  2. Fórmula
  3. Recurrir a expertos

Cada una de estas alternativas tiene dificultades y por lo tanto no se pueden usar en forma individual.

1. Discrecionalidad

En un procedimiento discrecional, un comité evaluador, formado por académicos seleccionados, examina los antecedentes de los candidatos y decide usando su experiencia, olfato y conocimiento. La mayor desventaja del sistema es la posibilidad de abuso, en el caso de enemistades personales o entre áreas o subáreas de la ciencia. Debido a que en principio se puede evaluar satisfactoriamente en base a criterios que no son de investigación demostrable, podría debilitar los incentivos a investigar en la Facultad. La otra debilidad es que, como se ha mencionado, el comité podría con cubrir todas las áreas científicas.

2. Fórmula

En este caso hay una fórmula que determina la calidad del investigador. Un ejemplo sería una facultad que decidiera que para ser evaluado en forma satisfactoria como académico, el académico debe realizar un determinado número de cursos, de horas de administración y un cierto número de artículos publicados en revistas ISI. Dado que no se evalúa calidad, sino sólo números, lo que se consigue es incentivar a las personas a cumplir con las reglas, pero no necesariamente con trabajos de buena calidad. Peor aún, no reconoce las diferencias entre distintas disciplinas, por lo que el criterio podría ser fácil de cumplir en algunas áreas y difícil o imposible de cumplir en otras. Su efecto podría ser el de reducir la calidad de la investigación en aquellas áreas en que es fácil cumplir con el criterio, y descorazonar a los investigadores en otras áreas, que ven como imposible ser evaluados positivamente.

Además, se debe considerar que hay áreas en las que las publicaciones son el único test de validez, mientras en otras lo que vale es la importancia de las aplicaciones que son el resultado de la investigación. El problema de la calidad de las publicaciones puede tratar de corregirse utilizando criterios sobre calidad, pero éstos deben estar adaptados a las distintas áreas, ya que varían mucho.

No es imposible construir una fórmula que diferencie por áreas, pero tal fórmula incorporará mucha discrecionalidad en su origen y siempre habrá casos para los que no es apropiada. El método de la fórmula como único mecanismo único es apropiado cuando se trata de un estándar mínimo, y se trata de una etapa de la vida académica en la que una evaluación centralizada no es realmente posible ni deseable.

Esto ocurre en el caso de los profesores asistentes. En la FCFM, por ejemplo, todo lo que se requiere para la promoción a esta categoría es un doctorado y algún artículo aceptado o publicado en una revista ISI. Ambas condiciones son triviales de verificar. Es natural usar un chequeo sencillo en este caso, pues se debe confiar en el criterio de la unidad académica que contrata cuando el académico esta recién comenzando su carrera. No hay aún elementos del candidato que permitan evaluar su calidad académica dada la distancia a que se encuentra un comité de evaluación centralizado. Además, si el cargo es ocupado por un académico mediocre, las consecuencias recaen –en esta etapa– solo sobre el departamento que lo contrata y no tienen mayores consecuencias a nivel de la facultad.

3. Consultas a especialistas del área

Este método resuelve varios de los problemas de los métodos anteriores. El comité evaluador solicita que especialistas de alto nivel en la disciplina (a nivel mundial) evalúen al investigador, como si pertenciera a una universidad o facultad del grupo objetivo (por ejemplo, 90-110 en el ranking mundial). Los especialistas, que conocen el área y son objetivos tienen mayor capacidad para analizar la calidad del investigador. Para hacerlo más efectivo, en algunas universidades de los EE.UU. se le pide al investigador que selecciones sus 5 trabajos más importantes. Luego se solicita a los especialistas externos que los usen para evaluar al académico. Sin embargo, también este procedimiento enfrenta dificultades.

La primera dificultad consiste en determinar quiénes son los potenciales especialistas. El comité evaluador podría enfrentar problemas si no tiene miembros que conozcan el área o alternativamente, cuando el comité es guiado por un solo miembro que conoce el área, y que potencialmente se podría aprovechar su calidad de único experto para favorecer o perjudicar al candidato.

Otra dificultad consiste en que los especialistas externos podrían no dedicarle el tiempo que requiere esta labor, dado que la solicitud proviene de una universidad de país en desarrollo y poco conocido. Peor aún, podrían usar un criterio más débil que el que usarían para una universidad en un país desarrollado.

El último problema del método es que en algunas subáreas el número de investigadores puede ser muy pequeño, por lo que tienen lazos de amistad entre ellos. En tal caso, asegurar la objetividad de la evaluación es imposible.

En conclusión, todos los métodos anteriores tiene graves debilidades. La próxima sección describe una propuesta que combina los métodos anteriores para reducir sus desventajas.


Publicado en Economia

Evaluación de la calidad de los investigadores II

abril 13, 2011
1 comentario

Ronald Fischer

Esta es la segunda parte de la serie sobre evaluacíón de investigadores.

Los objetivos de un proceso de evaluación

Para atacar las dificultades de la evaluación, se pueden aplicar los objetivos que desea conseguir la unidad académica como una guía para diseñar el proceso de evaluación Como un ejemplo, en la FCFM estos objetivos son:

  1. Calidad de la investigación.
  2. Relevancia del tema, por lo que temas muy específicos deberían tener menos interés.
  3. Evaluación comparativa con instituciones que deseamos emular.
  4. Impacto de la investigación en la ciencia y en el medio.

El primer punto permite descartar métodos de evaluación que se dedican solo a contar trabajos publicados en revistas, sin importar su calidad. Un sustituto ha sido utilizar algún umbral mínimo para que la publicación sea considerada, como por por ejemplo, que la revista sea ISI. El problema, cada vez más reconocido, es que hay muchas revistas ISI de muy baja calidad, y un capítulo en un libro de una editorial importante, o en una conferencia de primer nivel puede ser mucho más valioso que artículos publicados en revistas ISI.[2]

Un segundo punto consiste en reconocer que algunas investigaciones son en temas con un ámbito muy reducido (incluso a nivel mundial). Son temas de interés para unos pocos especialistas, todos relacionados entre sí por lazos de coautoría o simplemente por solidaridad de grupos pequeños. Por mucho que sean fértiles en publicaciones y se citen mutuamente, son trabajos que no tienen mayor impacto, acaso porque la subárea perdió interés para los investigadores de primer nivel. Por lo tanto, la evaluación no puede circunscribirse solo al estrecho círculo de los investigadores cercanos al área, sino que debe evaluarse con una perspectiva más global del área ciéntifica.

Un tercer punto es que la evaluación debe comparar al investigador con el estándar del área. Por ejemplo, si la ambición de la FCFM es estar entre los 100 lugares más importantes en una determinada disciplina, nuestros investigadores deberían ser comparados, en términos de productividad, con los investigadores en las universidades ranqueadas 90-110 en la disciplina, considerando el momento en el ciclo de la vida académica del investigador que está siendo evaluado.

Por último, el impacto de la investigación en el medio debería ser un factor en la evaluación. Si un investigador consigue introducir cambios en el medio (nuevas políticas, ejemplos de aplicación tecnológica, etc), el valor de sus investigaciones debería ser ponderado por este impacto. Por ejemplo, tener muchos trabajos publicados en un área de poco interés es menos valioso que un nuevo método antisísmico que ha sido adoptado en forma generalizada, independientemente de las publicaciones asociadas.

[2] En algunas áreas, coom las ciencias sociales y la economía, Google Scholar puede ser más útil que ISI para las citas, dado que incorpora su impacto en las políticas públicas.


Evaluación de la calidad de los investigadores I

abril 13, 2011
1 comentario

Ronald Fischer

Este es un tema en el que he estado trabanajndo para la Comisión de Investigación de la Facultad de Ciencias Físicas y Matemáticas de la Universidad de Chile (y varios años en la Comisión de Evaluación de la Facultad). Como podría tener un interés más general, he decidido presentar mis conclusiones en el blog. El informe está dividido en varias entradas, debido a su extensión:

  1. El problema de la evaluación de la calidad de los investigadores
  2. Los objetivos de un proceso de evaluación.
  3. Problemas de las distintas alternativas
  4. Una propuesta

El problema de la evaluación de la calidad de los investigadores

Un buen sistema de evaluación de investigadores de una unidad académica debe considerar los objetivos de la unidad. Por ejemplo, la Facultad de Ciencias Físicas y Matemáticas (FCFM) tiene como misión:

“la generación, desarrollo, integración y comunicación del saber en ciencias básicas, ingeniería, ciencias de la tierra y economía y gestión.”

La pregunta es cómo desarrollar un sistema de evaluación consistente con estos objetivos. En general, el consenso de la FCFM es que se debería privilegiar la investigación del académico, siempre que se satisfagan requisitos mínimos en las demás áreas académicas.

Incluso si se la da primacía a la investigación, subsiste el problema de evaluar las contribuciones del académico. En primer lugar, porque la variedad de áreas de investigación hacen imposible que un Comité Evaluador (CE), formado necesariamente por un limitado número de individuos, pueda tener el conocimiento para juzgar en forma informada sobre la investigación en las distintas ramas científicas. Incluso dentro de las grandes áreas, los especialistas en un subárea pueden saber muy poco sobre otra subárea.

Un segundo tema es la diferencia entre áreas en términos de lo que representa un buen nivel de investigación. En algunas áreas se publica mucho, y en otras no tanto.[1] No se trata de un problema de calidad contra cantidad de la investigación, pues en algunas áreas se publica mucho en muy buenas revistas, sino de diferencias en las características intrínsecas del área del conocimiento.

La comparación entre revistas ciéntificas de distintas áreas también es compleja. En algunas áreas -–por ejemplo, la biología–- la publicación y las citaciones son rápidas, por lo que los índices de impacto son elevados. En otras áreas, o incluso a nivel de subáreas, pueden haber diferencias en la velocidad de publicación, o en la trayectoria de citaciones. En algunas disciplinas, la vida media de artículos en las revistas importantes es de más de 10 años y en otras disciplinas, de solo dos años. Por lo tanto, los índices de impacto de las revistas tienen distintos significados, ya que tienen ventanas de corto plazo. Un último tema es como comparar trabajos con numerosos autores con trabajos con pocos o con un solo autor.

La heterogeneidad de las distintas áreas se ve incluso en la forma en que se firman los artículos. Hay disciplinas en las que el orden de autoría representa la contribución relativa al trabajo publicado, mientras que en otras lo normal es usar un orden alfabético.

[1] Por ejemplo, el importante economista David Cass, Fellow de la American Academy Arts & Sciences, publicó solo 29 papers ISI, pese a que su vida ciéntifica comenzó a mediados de los 60.


Publicado en Economia

Antigüedad de plantas de generación eléctrica

abril 6, 2011
3 comentarios

Nuestro sistema eléctrico está gobernado por principios de eficiencia, especialmente en el segmento de la generación eléctrica. La tarificación a costo marginal entrega señales a los inversionistas para que entren nuevas centrales eficientes, pero tiene algunos problemas.

El problema es que unavez instalado un equipo, se le entregan señales muy débiles de obsolescencia. Mientras una unidad pueda ser despachada con el grado de seguridad requerido, continúa recibiendo el pago de potencia, por lo que no hay incentivos a desecharla del sistema. Basta que el cargo de potencia cubra el costo de mantenimiento para que sea rentable mantenerla en servicio. La siguiente figura (que aparece en “Respuesta a las observaciones del anteproyecto norma de
emisión para termoeléctricas
” de CONAMA) muestra la antigüedad de las plantas térmicas en el SIC:

Es notable que en el sistema se les sigue pagando a plantas instaladas hace 70 años y que deberían ser parte de un museo. Má aún, existe medio gigawatt instalado hace casi medio siglo. Recordemos que esas plantas fueron construidas en una época en que ni se soñaba con problemas ambientales.

Mantener plantas ineficientes y obsoletas.le crea dos problemas a la tarficación a costo marginal. Primero, se reducen los incentivos al ingreso de nuevas plantas más eficientes. Supongamos que se tiene una planta muy antigua de altos costos marginales y que el sistema esta ajustado y sin holguras en la punta (incluyendo los márgenes de seguridad). Dado que la planta ya está instalada, todo lo que se requiere para que no salga de servicio es que el costo de capacidad pague el mantenimiento (los costos de operacion los paga el costo marginal).

Esta planta crea una externalidad negativa a la introducción de nuevas plantas de menor costo de operación porque al entrar la nueva planta al sistema se reduce el ingreso por potencia por cada unidad. El motivo es que el pago total de los usuarios por potencia no cambia, por lo que el mismo pago debe dividirse entre más capacidad. Este problema se podría resolver (y tal vez ya se aplique una solución similar), si se exige que las centrales a las que se les paga potencia sean aquellas que enfrenten escenarios en los cuales son despachadas.

El segundo problema es que las plantas antiguas son más contaminantes, ya que el control de emisiones no formó parte de su diseño. La combinación de los dos factores significa que la legislación eléctrica da pocos incentivos a la entrada de firmas de generación térmica menos contaminante, por lo que se requiere que el sistema medioambiental imponga condiciones sobre centrales nuevas y antiguas, de manera que salgan las unidades obsoletas, al no poder cumplir con estas condiciones a un costo razonable.

En resumen, nuestro sistema de tarificación eléctrica da malas señales de salida de pllantas de generación, lo cual puede no haber sido un problema en una época en que el capital era escaso y la preocupación por el medio ambiente no existía.


Página siguiente »