1. Heteronomía en la gestión editorial

La Fase II de revisión de Minciencias en la que se realiza la “Validación de la política editorial, del proceso de evaluación y de la visibilidad” exige que las revistas estén integradas en su mayoría por contribuyentes externos. Esto es así para el caso de los integrantes del Comité Editorial, por ejemplo, que deben ser un 70 % externos a la institución editora. Lo mismo sucede para los pares evaluadores, pues el 80 % debe ser externo. En el caso de los autores y las autoras, Minciencias ha “flexibilizado” el criterio admitiendo un 50 % de autores de la propia institución editora.

Desde nuestro punto de vista, estos criterios convierten a la gestión editorial en un trabajo heterónomo. Dependemos de otros miembros, que no están asociados a nuestra publicación, para que esta pueda salir a la luz. No tenemos control sobre los procesos de evaluación, no tenemos dirección sobre las personas que publican en la revista y tampoco tenemos autoridad sobre el Comité Editorial, quien, se supone, es la entidad que toma las decisiones del proceso editorial junto con la directora o el director de la publicación.

El argumento para exigir estos requisitos es supuestamente evitar la endogamia en la producción científica, sin embargo, ¿por qué exigir que los tres sean requisitos concurrentes? Es decir, si se tiene un sistema de evaluación por parte del tipo doble ciego (en el cual evaluador no conoce al autor y viceversa) ¿por qué exigir que la mitad de los autores sean externos? o ¿por qué solicitar que la mayoría del comité editorial y de los evaluadores lo sean?

2. Discriminación y obstáculos en los sistemas de medición internacionales

La Fase III evalúa el “Impacto de la revista científica nacional”. A pesar de que se esté evaluando la producción “nacional”, Minciencias considera que el impacto solo puede calcularse a través de tres sistemas de medición internacionales: el Journal Citation Report (JCR) de la empresa privada Clarivate Analytics, el Scimago Journal Report (SJR) de la empresa privada Elsevier y el H5 de Google Scholar. Cada una de estas empresas extranjeras tiene un método que establece jerarquías entre las revistas a partir de su “factor de impacto”. El JCR y SJR manejan cuartiles y califican las publicaciones desde Q1 (el más alto) hasta Q4 (el más bajo). La fuente de donde se toman estas citas son las bases de datos: Web of Science (WoS) y Scopus, respectivamente.

A pesar de que el JCR goza de una fama mundial, por su sistema de rangos entre publicaciones, no está exento de críticas. De hecho, este sistema presenta muchas limitaciones para las publicaciones, mostrando así que el factor de impacto no es un “indicador infalible de calidad” (BUS, 2017). Además, desde nuestro punto de vista, el JCR discrimina a las publicaciones de ciencias políticas y jurídicas que existen en nuestro país.

La Biblioteca de la Universidad de Sevilla ha hecho una revisión del JCR y advierte de los siguientes inconvenientes en el índice:

• No todos los artículos de una revista reciben el mismo número de citas. No es correcto asignar a todos el mismo impacto.

• No distingue entre las citas a artículos de investigación y a cartas o editoriales.

• La comparación de factores de impacto entre diferentes categorías temáticas no es válida.

• Algunos editores animan a los autores a citar artículos de la misma revista en la cual publican, o bien los autores se auto citan.

• Hay citas negativas y estas computan igual que las positivas [desfavorables computan como favorables].

• […] Algunos artículos pueden recibir citas años después de haber sido publicados, hecho frecuente en algunas disciplinas. (BUS, 2017, énfasis añadido)

Sobre la comparación entre factores de impacto de diferentes categorías temáticas, esto es un problema que se ve reflejado especialmente en las revistas de nuestra gran área de conocimiento (ciencias sociales). Nuestras publicaciones son comparadas entre sí y con otras temáticas como economía, sociología, psicología, periodismo, entre otras. Esto desconoce las diferencias entre los objetos de estudio, formas de citación, metodología, medios de difusión de los resultados y cantidad de producción. Por ejemplo, en el índice WoS hay un mayor número de revistas de sociología y psicología que de temas políticos. Sin embargo, las revistas son comparadas entre iguales, y, como la cantidad de la producción es un elemento que se tiene en cuenta en el cálculo del factor de impacto, resulta desventajoso para las revistas que están en minoría.

Ahora bien, sobre la discriminación del sistema de evaluación del JCR, comprobamos que no hay ninguna revista colombiana de temas jurídicos ni relacionados con las ciencias políticas indexada en WoS. La mayoría de las revistas incluidas son anglófonas y, en los escalafones, las revistas que ocupan los primeros lugares proceden de Inglaterra y Estados Unidos. Es decir que tampoco hay un gran número de revistas latinoamericanas presente en WoS. Solo encontramos una jurídica procedente de Chile y cuatro latinoamericanas de ciencias políticas (Venezuela, Chile, México y Brasil). Hay que tener en cuenta que son cerca de 11.000 publicaciones las que pertenecen a esta base de datos. Lo que nos indica que hay una subrepresentación de las revistas de nuestras temáticas escritas en español y procedentes de Latinoamérica. Esto conduce a que nuestras publicaciones se vean obligadas a no hacer un uso del lenguaje propio, lo cual tiene unas implicaciones culturales y académicas que no compartimos.

El otro sistema adoptado por Minciencias es el SJR. Este sistema privilegia las publicaciones que ya son reconocidas por él, creando un círculo vicioso que impide que nuevas publicaciones ganen prestigio. Además, el asunto de las “autocitas” es particularmente grave en este contexto, pues, algunas publicaciones, buscando ingresar a esta base de datos y ganar mejores calificaciones, han sugerido a sus autores que incluyan citas de los artículos que han publicado en revistas reconocidas por Scopus. La práctica es tan común que el SJR se ha visto obligado a retirar publicaciones que se exceden con tal estrategia.

Ahora bien, el SJR también tiene los mismos sesgos que privilegian las publicaciones producidas en los países anglófonos o escritas en inglés. Solo hay tres revistas colombianas de ciencias políticas y estas no están ni siquiera entre las primeras 200. Algo semejante sucede en el caso de las revistas jurídicas, donde hay siete revistas colombianas indexadas –ninguna dentro de las primeras 300– versus 195 estadounidenses, por ejemplo.

Además, es de tener en cuenta que para que una publicación ingrese a una de estas bases no solo tiene que cumplir criterios “anti-endogámicos” como los que ya mencionamos (incluso criterios más estrictos), también tiene que pasar la revisión de la bibliografía empleada por cada uno de los artículos, y por el ajuste y reajuste de las políticas editoriales de la publicación. Es decir que, nuevamente, nos encontramos con criterios que vuelven heterónoma la gestión editorial y que, incluso, constriñen el desarrollo libre de una investigación al presionar a los autores o a las autoras a referenciar textos que sean “relevantes” según el criterio de la base de datos.

El tercer y último sistema de evaluación que tiene en cuenta Minciencias es Google Scholar. Las dificultades con este sistema de evaluación son bien conocidas:

• Se crean sesgos sobre las publicaciones por su índice H. Cuando son altos, se asume que la publicación es de calidad, sin tener en cuenta que el índice H fluctúa de acuerdo con la ventana de observación, las temáticas de investigación y los mismos participantes de las publicaciones

• La búsqueda de un factor de impacto más elevado puede llevar a las publicaciones a elegir temas y posturas más populares, es decir, que llaman más la atención al público y que están “de moda”. En las ciencias políticas y en los asuntos jurídicos esto es especialmente grave, porque se privilegian sesgos y posiciones que reducen los debates que estamos convocados y convocadas a dar (Conroy, 2020).

• El índice H varía según la disciplina. Tenemos que las revistas sobre medicina y química tienen los índices H más altos mientras que las ciencias sociales están muy por debajo de estos. Medicina tiene un índice promedio de 95.8 y las ciencias sociales 40.3 (Conroy, 2020).

• El índice H varía según el idioma. Una vez más encontramos el sesgo anglófono. No hay ninguna revista de ciencias política o jurídica de habla hispana entre las primeras 20 publicaciones ni tampoco pertenece alguna a latinoamérica.

• Google Scholar privilegia las fuentes web lo que de entrada implica una valoración desfavorable de las publicaciones que tradicionalmente tienen una circulación menor en fuentes digitales; además, tratándose de revistas jurídicas y de ciencias sociales, las ventanas de observación de cinco años son cortas teniendo en cuenta las dinámicas de citación de estas.

Lo dicho hasta ahora habla de los sesgos y dificultades presentes en los sistemas de medición que Minciencias escogió como exclusivos para la clasificación de revistas. Sin embargo, esas no son las únicas razones por las que no seguiremos participando en las convocatorias de indexación de Publindex. También está el asunto de la aplicabilidad de estos sistemas de medición.

3. Malinterpretación de los criterios y exceso de confianza en ellos

Minciencias renunció a su propio sistema de medición en el 2017, para estructurar uno que descansa completamente en criterios establecidos por empresas privadas, lo que demuestra un exceso de confianza en estos criterios. Además, Minciencias desconoce el mar de críticas que ya existen sobre esos sistemas e ignora otras bases de datos como Redalyc, Scielo, BIBLAT y Clacso que operan de formas diversas y donde las publicaciones latinoamericanas tienen mayor relevancia. En ese sentido, el reconocimiento de la comunidad jurídica, y científica política y social colombiana depende de los criterios desarrollados por compañías privadas y su modelo de negocio.

Más aún, lo realmente crítico está en que estos sistemas de medición de impacto realmente no tienen una forma de valorar la impresión que nuestras publicaciones dejan en las comunidades y la forma en la que el conocimiento contribuye a transformar realidades sociales.

La función de difundir investigaciones mediante publicaciones seriadas no es sólo compartir conocimiento entre pares académicos, sino tener una posibilidad de diálogo e interacción con diversos sectores de la sociedad civil. Estos sistemas claramente no van en esta dirección y desestiman la misión de mejorar la calidad de vida mediante la producción de conocimiento.

Por si fuera poco, el Ministerio hace una mala interpretación de sus propios criterios de medición. En primer lugar, Minciencias dice que incluyó al Google Scholar para ayudar a las publicaciones que no están indexadas en las grandes bases de datos como Scopus y WoS. Sin embargo, al mismo tiempo que afirma esto, limita la capacidad que el H5 tiene para reflejar el impacto de una revista. Esto es así porque el H5 solo sirve para aspirar a la clasificación B y C del Publindex. Cualquier revista que aspire a estar mejor ranqueada (A1 o A2) está obligada a hacer parte de JCR o SJR y tener una buena calificación en esas bases de datos.

En segundo lugar, el H5 es aplicado en su definición más desfavorecedora. La revista Ingeniería de la Universidad Distrital Francisco José de Caldas publicó una editorial explicando la mala aplicación de este factor de impacto en las políticas de medición de Minciencias. Según la revista, Minciencias estableció que calcularía el factor de impacto de una revista a partir de todas las citas que ha recibido desde que empezó a circular (Rojas, 2017).

Sin embargo, la entidad hace uso de la herramienta Publish or Perish (PoP) que no realiza ese cálculo, sino que solo revisa los artículos publicados en los últimos cinco años. Puesto en estos términos, esta aplicabilidad del H5 solo refleja la vigencia de una publicación y no la trayectoria y la influencia de sus artículos a lo largo de la historia de la revista.

Ahora bien, las dificultades para las ciencias políticas y jurídicas son muchas más. A la hora de hacer la comparación entre factores de impacto, Publindex tampoco diferencia entre áreas temáticas, al tiempo que junta los índices H de las revistas jurídicas con las revistas de ciencia políticas, economía, sociología, etc. El problema es que los cuartiles se establecen en curva, es decir, del puntaje más alto al más bajo. Así es como Minciencia deja por fuera nuestras publicaciones.

Por los argumentos presentados los Comités Editoriales de Pensamiento Jurídico y Ciencia Política consideramos completamente inadecuados los criterios, enfoques y fundamentos del sistema de medición desarrollado por Publindex. Por tales hechos y razones reiteramos nuestra decisión de no volver a participar en las convocatorias de indexación hasta tanto los criterios sean modificados.