Publicidad

¿Son adecuados los criterios utilizados para evaluar la producción de conocimientos en las disciplinas de las Humanidades y Ciencias Sociales?

Por: Integrantes del grupo de estudio de Lingüística y Literatura de Fondecyt, y A y H


Señor Director:

A principios de junio de 2018 supimos que después de cuatro años sin ser convocado, volvía a abrirse un Concurso Nacional de Anillos de Investigación en Ciencias Sociales y Humanidades. Si bien celebramos la apertura de una convocatoria en nuestras áreas, también nos preocupó el corto plazo dado entre el anuncio y el cierre de la postulación (poco más de un mes). Pese a ello diversos grupos se pusieron a trabajar en la preparación de sus propuestas. Y ahí se encontraron con dos sorpresas no menores.

Una es la exigencia de hacer toda la postulación en inglés, que si bien en algunas áreas en las que se requieren evaluadores externos que no saben castellano es comprensible, para el caso de varias disciplinas de las humanidades, que cuentan con una extensa y rica tradición de estudios basados en la lengua española (Literatura hispanoamericana, estudios del español de América, historia de la lengua española, historia hispanoamericana, por nombrar algunas), no es en absoluto indispensable.

Muchas universidades (europeas y estadounidenses) tienen departamentos especializados en romanística, literatura e historia de América Latina, lo que vuelve innecesaria, en los casos de estas áreas del conocimiento, la exigencia de presentar propuestas en inglés. Pero la sorpresa más importante se relaciona con la evaluación de la productividad de los y las investigadoras y es esta la que motiva esta carta.

Si bien se pide que los postulantes suban toda su productividad a la plataforma de CONICYT, en el formulario de postulación al Proyecto Anillos uno de los cuadros a llenar refiere a “Publications within Q1 and Q2 of the discipline (last 5 years)”, es decir, publicaciones indexadas en los cuartiles Q1 y Q2. Esto, obviamente, destaca la importancia que se otorgará en la evaluación a este tipo de publicaciones.

No cuestionamos el que la asignación de recursos financiados con fondos públicos considere entre sus criterios de evaluación el currículo de los postulantes. Pero, si de verdad lo que se busca es promover la investigación de alto nivel e impacto, estamos convencidos de que esta política equivoca el camino.

Para sostener esto, debemos entender primero qué es un cuartil en el ámbito de las publicaciones. En el año 1957, Eugene Garfield, creador y fundador del Instituto de Información Científica (ISI), creó un sistema de clasificación de las revistas a partir de su factor de impacto. El factor de impacto de una revista se calcula dividiendo el número de citas que han recibido los artículos de una revista en un periodo de dos años por el total de artículos publicados por esa revista durante el mismo periodo.

Así, si una revista publicó 100 artículos en dos años y al año 3 se pueden contar 4 citas a esos artículos, la revista tendría un factor de impacto de 0,04. El cuartil de una revista se deriva de su posición en una lista de revistas ordenadas por su factor de impacto. Cada cuartil es un cuarto de esa lista. Esto quiere decir que el primer cuarto de la lista es el de las revistas más citadas (Q1), y el último (Q4) el de las menos citadas.

Es importante recordar que, si bien los sistemas que Garfield inventó han significado un aporte importante a un campo amplio de disciplinas, estos sistemas siempre persiguieron fines comerciales, razón por la cual han tenido consecuencias muy negativas como la privatización del conocimiento científico y la mercantilización de la carrera academia: una política totalmente desconectada de las disciplinas que busca promover. Lejos de determinar la calidad de una publicación, los burocráticos cuartiles se han transformado en meras herramientas de promoción de las instituciones de educación superior.

Entre las razones técnicas por las cuales rechazamos este tipo de políticas se encuentran:

1. Los investigadores de nuestras áreas publican principalmente en revistas de dos índices específicos: El Arts and Humanities Citation Index (AHCI) y, el Social Sciences Citation Index (SSCI). El AHCI ni siquiera es considerado para el cálculo del índice de impacto (JIF), por lo cual no aparecen en los reportes de citas (JCR) que se utilizan para determinar los cuartiles.

2. Por las prácticas de citación propias de nuestras disciplinas, el número de revistas Q1 y Q2 del índice de las ciencias sociales (SSCI) es bajísima en relación con el resto de las disciplinas.

3. El cuartil de una revista depende de la disciplina, de manera que una misma revista puede pertenecer a cuartiles distintos según sea la disciplina en la que se mide.

4. Por último, la arbitrariedad del sistema de cuartiles también se demuestra en el hecho de que la ubicación de una revista dependa de qué empresa elabore la métrica. Cuando se hace referencia a los cuartiles se suele pensar en el indicador que provee Web of Sciencie, ignorando que también SCOPUS y otras empresan entregan estas estadísticas. El que una revista pueda estar en cuartiles distintos dependiendo de la empresa muestra no solo cuán comerciales son los criterios de este sistema, sino también que son poco fiables para orientar políticas de investigación.

Nos preocupa que la inclusión de esa tabla en el formulario de postulación a los Proyectos Anillo en Humanidades y Ciencias Sociales pueda ser una señal de que se está pensando incorporar el criterio de los cuartiles en nuestras disciplinas. Es fundamental conocer bien el sentido de los sistemas de evaluación y comprender el impacto que pueden tener sobre las investigaciones y la producción del conocimiento. Para eso, la participación de las comunidades de investigadores en la generación y definición de políticas resulta indispensable.

Aldo Olate, Universidad de la Frontera *.
Andrea Kottow, Universidad Adolfo Ibañez *.
Carolina Gainza, Universidad Diego Portales **.
Lucía Stecher, Universidad de Chile *, **.
Matías Ayala, Universidad Finis Terrae **.
Omar Sabaj, Universidad de La Serena*.
Romualdo Ibañez, Pontificia Universidad Católica de Valparaíso*.
Valeria de los Ríos, Pontificia Universidad Católica*.

* Integrante del Grupo de Estudio Fondecyt de Literatura, Lingüística y Filología.
** Directiva de la Asociación de Investigadores en Artes y Humanidades.

Publicidad

Tendencias