Indicadores de calidad en ciencias de la salud

Tras reflexionar un poco y leer los documentos para esta tarea, creo que puedo afirmar que a día de hoy el indicador de calidad por excelencia dentro de las ciencias de la salud es el Factor de Impacto (al que voy a pasar a referirme como IF -impact factor- por aquello de abreviar).

En el pdf de Alonso-Gamboa se define el IF como un indicador calculado cada año por la empresa ISI Thompson que se usa como referente del reconocimiento que la comunidad científica otorga a cierta revista y que con frecuencia se asocia también con la calidad de sus artículos. Se calcula como la cantidad de artículos publicados pro una revista en los dos últimos años entre el número de citas recibidas en ese mismo período.

Como ya he comentado en entradas anteriores, el síndrome de "publish or perish" se ha extendido de una forma casi virulenta en la comunidad científica, y actualmente para cualquier científico del mundo publicar es vital. Y no sólo importa el contenido que vas a publicar, igual de importante es dónde publicas los resultados de tu trabajo que tanto te han costado conseguir. Como autor buscas siempre publicar en las mejores revistas; igual que intentas mandar a tus hijos a los mejores colegios que están a tu alcance, intentas publicar los frutos de tu duro trabajo en la mejor revista posible. Pero... ¿cómo podemos saber cuál es la mejor revista?. Se deduce por tanto que la clasificación de las revistas se convierte en un elemento clave del sistema de publicación científica.

Dentro de las ciencias de la salud,  y creo que esto es extensible a todas las llamadas "ciencias duras", el IF es sin duda el indicador estrella. La idea en la que se basa el IF tiene una buena lógica: los artículos con contenidos más interesantes y con mayor impacto científico serán más citados, y por extensión, las mejores revistas serán las que contengan los artículos de mayor interés científico, o lo que es lo mismo, con más citas.

Esta teoría no es mala, y el IF tiene una gran utilidad y muchas ventajas. El problema real se produce cuando el lector extrapola el concepto del IF y sustituye en su cabeza la palabra "interés" por "calidad". El IF es muy útil para establecer la influencia de las revistas científicas dentro de una misma disciplina científica; sin embargo, no puede ser usado como una medida directa de calidad y debe ser empleado con mucho cuidado.  Es cierto que a veces una revista puede despertar mucho interés dentro de un área de la ciencia debido a su calidad, pero no siempre tiene porqué ser así; por ejemplo, una revista de baja calidad cuyos trabajos se citen para ser rebatidos estará generando un gran impacto dentro de la comunidad científica, pero este impacto no es positivo. Además, tampoco debemos perder de vista que dentro de las referencias de artículos hay muchas sombras ("concursos de popularidad", si me citas te cito, y un largo etc.).

En el brillante texto de Amin y Mabe quedan patentes a la perfección todas las limitaciones del IF y aquellos puntos con los que se debe tener especial cuidado a la hora de interpretar los valores de este indicador:

-El valor medio absoluto del IF demuestra una gran variación entre distintos temas. Por tanto, las comparaciones entre IF debe realizarse solo entre revistas del mismo área temática. Debido a que ciertos temas tienes actualmente más repercusión que otros, las revistas de ese área tienen unos IF muy abultados, por ello, la última revista del ranking del área de oncología puede tener un IF mayor que la revista que ocupa el primer puesto dentro del área de la paleontología (por poner un ejemplo), y no por ello significará que su calidad sea menor. 

-Dada la tendencia de los autores a citar sus propios trabajos, no es de extrañar que exista una fuerte correlación entre el número de autores de un artículo y su número de citas. En este punto, la idea de Alonso-Gamboa de excluir las auto-citas me parece una solución razonable y adecuada. 

-Incluso dentro del mismo área temática existe una alta variación del IF según el tipo de revista  o el tipo de artículos contenidos en dicha revista. De ahí que haya que tener especial cuidado al comparar el IF de distintos tipos de revistas o que contengan mezclas de distintos tipos de artículos.

-Como el IF es una media, también sufre variaciones asociadas a efectos estadísticos, los cuales pueden depender del tamaño de la revista (en revistas pequeñas pueden observarse variaciones en el IF de +/- 40% de un año a otro, mientras que en las revistas grandes el IF suele mantenerse más estable y fluctuar en torno al 15%) o de la ventana de medición (cuando aumentamos el marco de años para calcular el IF vemos que las fluctuaciones se suavizan mucho, por lo que usar el IF de los últimos 5 años parece mejor).

-Usar el IF para evaluar a científicos de forma individual es altamente dudoso, dada la variabilidad estadística y sociológica del IF.

-A la hora de calcular el IF hay que tener cuidado con el llamado "problema numerador/denominador": para el denominador muchas revistas solo tienen en cuenta los artículos originales, revisiones y los proceeding papers; mientras que se incluyen las citas de todas las publicaciones de la revista (editoriales, cartas al editor, etc.) en el numerador. Esto conduce a un IF "inflado". De hecho, se estima que el 40% de las revistas de medicina tienen un IF un 10% superior al que les correspondería realmente. 

En conclusión, los llamados indicadores de calidad son totalmente necesarios dentro del mundo de la publicación científica. Dentro de estos, el más extendido en las ciencias fundamentales es el IF, que aunque es muy útil, debe ser interpretado con extremada precaución, ya que no es una medida de directa de calidad, solo de la repercusión que tiene una revista dentro de la comunidad científica. Sin embargo, y como reflexión propia, el hecho de que pertenezca a una empresa privada que cobra por tener acceso a muchos de sus servicios me parece un punto importante en su contra. Creo que la comunidad científica debería tratar de apoyar y propulsar otras iniciativas que contemplen otros indicadores como Scopus o Latinindex, de modo que no se cree una desventaja para las revistas que no se encuentren indexadas en la plataforma de la ISI Web of Science.

Un saludo a todos, feliz navidad y que nadie se atragante con las uvas ;)

Sonia M.H.