Report about the preliminary results of the National Bibliographic Index - Publindex

Continuing with the call for indexing Colombian Specialised Scientific Journals – Publindex, Colciencias recently published a report about its development. This editorial note from Engineering and Research Journal aims to show the readers some of the results from the process mentioned before, especially because such report has had limited access and, in general terms, authors do not know about it.

Informe sobre los resultados preliminares del Índice Bibliográfico Nacional - Publindex

Continuando con la Convocatoria para Indexación de Revistas Científicas Colombianas Especializadas -Publindex, Colciencias publicó recientemente un informe sobre su desarrollo 1. La presente nota editorial de la Revista Ingeniería e Investigación pretende mostrar a los lectores algunos resultados de este proceso, especialmente porque el documento ha tenido un acceso limitado y los autores lo desconocen en general.

Entre los resultados destacados se cuenta que hay 644 revistas nacionales, de las cuales 551 fueron avaladas por sus respectivas instituciones. De las 551 revistas avaladas, 344 cumplieron los seis requisitos que, según Colciencias, definen la calidad editorial de una publicación seriada. Los seis criterios definidos fueron:

1. El porcentaje de autores de la propia institución editora es igual o menor al 50%.

2. El editor publica como máximo un artículo al año en la revista que edita.

3. Al menos el 80% de los miembros del comité editorial-científico tienen filiación externa a la entidad.

4. Al menos el 50% de los miembros del comité editorial o del comité científico son reconocidos por Colciencias (para investigadores vinculados a entidades colombianas) o tienen un título de posgrado y un índice H5 mayor a 2 (para investigadores no vinculados a entidades colombianas).

5. Al menos el 60% de los pares evaluadores que apoyan los procesos de evaluación, no pertenecen al comité editorial/científico, ni a la entidad editora.

6. La revista cumple al menos una de las siguientes condiciones: a) Estar incluida en por lo menos un índice bibliográfico citacional - IBC (JCR de Wob of Science/ SJR de Scimago). b) Estar incluida en, mínimo,un índice bibliográfico - IB. c) Estar incluida en al menos una base bibliográfica con Comité Científico de Selección - BBCS. En cualquiera de las tres condiciones, las bases deberán hacer parte de la versión vigente del listado actualizado de los Sistemas de Indexación y Resumen - SIR.

Los criterios anteriores buscan seleccionar las revistas con dos objetivos claros: que la filiación de los miembros del equipo editorial sea externa a la institución y que la revista se encuentre en ciertas bases de datos citacionales, especialmente Scopus y Web of Science.

Entre las 551 revistas avaladas, 70 están relacionadas en los índices JCR o SJR, por lo cual continúan directamente a la Fase III del proceso. De acuerdo con la valoración de Colciencias, 67 revistas (19,48% de 551) cumplen con todos los requisitos establecidos en el modelo de Publindex actual. Posteriormente, se determinan los índices H5 (Hirsch, 2005) usando la herramienta Publish or Perish, desarrollada por Anne W. Harzing (Harzing, 2007). Esto permite definir un ranking de las revistas de forma similar a la presentada para las revistas nacionales de Ingeniería en (Pavas, 2016a), pero aplicada a todas las seis Grandes Áreas de Conocimiento definidas por Colciencias. Los resultados se muestran en la Tabla 1.

Tabla 1. Resultados de índice H5 para fines de clasificación
por Colciencias.

Área	Mínimo	Q4-Q3	Q3-Q2	Q2-Q1	Máximo
Ciencias Agrícolas	2	3	5	8	15
Ciencias Médicas y de la Salud	2	3	5	8	15
Ciencias Naturales	2	3	4	7	10
Ciencias Sociales	2	2	4	6	22
Humanidades	2	3	4	6	11
Ingeniería y Tecnología	2	2	3	5	14

Fuente: Adaptado de Informe de Colciencias 1

A manera de comparación, se pueden usar los resultados del índice H5 para las revistas colombianas de Ingeniería reportados en (Pavas, 2016a). Aunque los resultados no son iguales, son bastante próximos y las diferencias pueden deberse al método de cálculo, a la ventana de observación y a la actualización de las citaciones encontradas en tiempos posteriores.

Con los índices H5, Colciencias procede a proponer una clasificación preliminar de las revistas, incluyendo en las categorías B y C a aquellas revistas que se encuentren en el primer y segundo cuartil de H5 en su área respectiva, siempre que no tenga indicadores en los índices SJR o JCR. Los resultados se muestran en la Tabla 2.

Tabla 2. Resultados de clasificación preliminar de revistas por modelo Publindex actualizado.

Categoría	SJR/JCR	H5	Total
A1	0	0	0
A2	8	0	8
B	25	17	42
C	37	13	50
Total			100

Fuente: Adaptado de Informe de Colciencias 1

El informe propone ajustes en los umbrales de los seis indicadores con los que se evalúa la calidad editorial de la revista, lo cual, eventualmente, permitiría incluir a algunas revistas en la clasificación de revistas nacionales. En resumen, 100 revistas de 551 van a ser categorizadas por Colciencias; visto de otra forma, 451 (81,85%) van a ser excluidas del Índice Bibliográfico Nacional.

El informe culmina con lo que Colciencias denomina “Objetivos que se plantean para mejorar la calidad de las publicaciones científicas: Estrategias y acciones para el fortalecimiento de las revistas nacionales”. Invito a los lectores a revisar el documento de Colciencias y a plantearse las siguientes reflexiones:

¿Qué importancia tiene por fuera de Colombia el índice Publindex? ¿De qué forma consideran los repositorios y herramientas de generación de indicadores bibliométricos a Publindex para definir los indicadores de cada revista?

¿De qué forma se puede lograr fomentar e impulsar la comunicación científica nacional mediante la exclusión de publicaciones del Índice Bibliográfico Nacional?

¿Es apropiado calificar a las revistas nacionales, cuyo principal público está en el país y en la región hispanoamericana, como se muestra en (Pavas, 2016c) para la Revistas I&I, mediante los indicadores JCR y SJR, y excluyendo a repositorios de alcance regional como SciELO, Redalyc y Google Scholar? El modelo actual permite incluir revistas que tengan indicadores H5 de Google Scholar en Publindex, pero no les permite acceder a las categorías A1 y A2.

Si las revistas nacionales no son incluidas en el Índice Bibliográfico Nacional y una parte importante de los resultados de investigación nacional son publicables sólo en esas publicaciones (debido a su carácter local), ¿no pone en riesgo Colciencias la visibilidad de los resultados obtenidos de los investigadores nacionales excluyendo a las revistas nacionales?

Si las revistas de filiación extranjera no tienen necesariamente interés en publicar los resultados de investigación pertinentes para Colombia, los investigadores se verían obligados a orientar su investigación a los temas aceptables según dichas revistas. En tal caso, ¿cumple Colciencias la función de fomentar el conocimiento y desarrollo nacional apoyando la publicación en revistas extranjeras en temas propios de otros países?

El nuevo modelo de Publindex, y los lineamientos que propone en términos de política de fomento de las publicaciones científicas nacionales, pueden tener como consecuencias: i) una mayor afectación en la calificación de investigadores y grupos como se ha mostrado en Pavas (2015a; 2016b), lo que conllevará a una reducción aún mayor de recursos para jóvenes investigadores y doctorados nacionales, no sólo para la Universidad Nacional de Colombia sino para todas las instituciones nacionales; ii) las revistas excluidas de Publindex estarán en riesgo de afectar su sostenibilidad y su apoyo institucional; iii) la visibilidad de la productividad nacional no tendrá necesariamente el efecto que Colciencias espera, ya que las revistas con filiación extranjera no tienen el mismo interés en las investigaciones desarrolladas en Colombia.

Es indudable que el mejoramiento continuo de la calidad de los procesos es propio de cualquier organización que tenga entre sus fines la actualización y la sostenibilidad. También es cierto que la comparación por medio de indicadores permite identificar falencias y oportunidades de mejoramiento. Lo que nunca debe dejarse de lado es que la comparación debe reconocer el contexto propio, los alcances y la misión de quien se evalúa, sus posibilidades y recursos.

La Revista Ingeniería e Investigación agradece a todos los autores, revisores y lectores por mantener su interés por la difusión del conocimiento y por compartirlo a través de este espacio de acceso abierto. Pueden confiar que el Equipo Editorial mantendrá los esfuerzos para proyectar y posicionar sus contribuciones en todos los repositorios e índices. Esperamos nuevamente que el presente número sea de su interés.

ANDRÉS PAVAS

Director Ingeniería e Investigación
Profesor Asistente Universidad Nacional de Colombia

Referencias

Pavas, A. (2015a). Editorial. Ingeniería e Investigación. Vol. 35(1). 3-4Pavas, A. (2015b). Ranking de revistas científicas colombianas: el caso de ingeniería. Ingeniería e Investigación. 35(3). 3-4

Pavas, A. (2016a). Estado del indicador h5 en revistas colombianas de ingeniería. Ingeniería e Investigación. 36(1). 3-5

Pavas, A (2016b). Resultados de la medición de grupos de investigación de la Universidad Nacional de Colombia. Ingeniería e Investigación. 36(2). 3-5

Pavas, A (2016c). Visibilidad de la Revista Ingeniería e Investigación. Ingeniería e Investigación. 36(3). 3-5

Hirsch, J. E. (2005). An index to quantify an individual’s scientific research output. Proceedings of the National Academy of Sciences of the United States of America, 102 (46), 16569-16572. Recuperado el 29 de marzo de 2017, de http://arxiv.org/abs/physics/0508025.

Harzing, A.W. (2007) Publish or Perish. Consultado el 29 de marzo de 2017, de: http://www.harzing.com/pop.htm

---

1 Disponible en: http://colciencias.gov.co/sites/default/files/upload/noticias/ informe-publindex.pdf

Continuing with the call for indexing Colombian Specialised Scientific Journals – Publindex, Colciencias recently published a report about its development 1. This editorial note from Engineering and Research Journal aims to show the readers some of the results from the process mentioned before, especially because such report has had limited access and, in general terms, authors do not know about it.

Among the outstanding results, it is said that there are 644 national journals, from which 551 were endorsed by their institutions. Among the 551 endorsed journals, 344 met the six requirements that, according to Colciencias, define the editorial quality of a serial publication. The six criteria outlined by Colciencias were:

1. The percentage of authors from the publishing institution, is less or equal to 50%.

2. The editor publishes, at most, one article yearly in the same journal he edits.

3. At least 80% of the members of the editorial-scientific committee have external affiliation to the institution.

4. At least 50% of the members of the editorial or scientific committee are recognised by Colciencias (for researchers that are part of Colombian institutions) or have a postgraduate certification and an H5 index higher than 2 (for researchers that are not part of Colombian institutions).

5. At least 60% of the peer reviewers that support the evaluation processes are neither part of the editorial/scientific committee, nor part of the publishing institution.

6. The journal meets at least one of the following requirements: a) To be included in at least one citation index- IBC (JCR from Wob of Science/ SJR from Scimago). b) To be included in at least one bibliographic index – IB. c) To be included in at least a bibliographic database with a Selection Scientific Committee. In any of the three cases, the databases should be part of the current version of the updated list from the Indexing and Abstracting Systems.

The criteria above aim for selecting the journals with two clear purposes: for the affiliation of the editorial team to be external to the institution, and for the journal to be in certain citation databases, especially Scopus and Web of Science.

Among the 551 endorsed journals, 70 are linked to the JCR or SJR index, reason why they are part of the Phase III of the process. According to the assessment carried out by Colciencias, 67 journals (19,48% out of 551) meet all the requirements that were established in the current Publindex model. Afterwards, the H5 index is determined (Hirsch, 2005) by using the Publish or Perish tool developed by Anne W. Harzing (Harzing, 2007). It allows to establish a journal ranking similar to the one presented for the national Engineering Journals by Pavas, (2016a), but applied to the six big areas of knowledge defined by Colciencias. The results are shown in Table 1.

Table 1. Results for the H5 index for classification by Colciencias purposes.

Area	Mínimum	Q4-Q3	Q3-Q2	Q2-Q1	Máximum
Agricultural Sciences	2	3	5	8	15
Health Sciences	2	3	5	8	15
Natural Sciences	2	3	4	7	10
Social Sciences	2	2	4	6	22
Humanities	2	3	4	6	11
Engineering and Technology	2	2	3	5	14

Source: Adapted from Colciencias Report 1.

The results for the Colombian Engineering Journals reported by Pavas (2016a) can be used as a comparison. Even if the results are not exactly the same, they are similar and the differences can be due to the method used to make the calculations, the observation windows, and the updating of quotations found later on.

With the H5 index, Colciencias proceeds to propose a preliminary classification for the journals, including in the categories B and C, those journals that are between the first and second quartile from H5, in their respective area, only if they do not have indicators in the SJR and JCR index. The results are shown in Table 2.

Tabla 2. Resultados de clasificación preliminar de revistas por modelo Publindex actualizado.

Category	SJR/JCR	H5	Total
A1	0	0	0
A2	8	0	8
B	25	17	42
C	37	13	50
Total			100

Source: Adapted from Colciencias Report 1.

The report proposes adjustments in the threshold of the six criteria used to assess the editorial quality of the journal, which, eventually, may let include some journals in the classification of national journals. As a summary, 100 journals from 551 that are going to be categorized by Colciencias will be included, or seen from another point of view, 451 (81,85%) are going to be excluded from the National Bibliographic Index.

The report closes with what Colciencias refers to as ‘Objectives set to improve the quality of scientific publications: Strategies and actions for strengthen national journals’. I invite the readers to review the document written by Colciencias and to reflect upon the following:

What importance does Publindex have abroad? How is Publindex considered by the repositories and the tools to generate bibliometric indexes to define the indicators of each journal?

How can the exclusion of publications from the National Bibliographic Index can help foster and drive the national scientific communication?

Is it appropriate to assess the national journals, which main audience is located within the country and the Spanish speaking countries as it is shown by Pavas (2016c), for the I&I (Engineering and Research) Journals, throughout the JCR y SJR indexes, and excluding regional repositories such as SciELO, Redalyc and Google Scholar? The current model allows the inclusion of journals that have H5 indicators from Google Scholar, but they are not allowed to reach the A1 and A2 categories.

If the national journals are not included in the National Bibliographic Index, and an important part of the results from national research are publishable just in those publications (due to their local nature), is not Colciencias putting at risk the visibility of the results from national researchers when excluding national journals?

If the journals with foreign affiliation are not necessarily interested in publishing the results from their research that are relevant for Colombia, the researchers would be forced to aim their research to those topics that are accepted by such journals. In that case, is Colciencias fulfilling its function of fostering knowledge and national development by supporting the publication in foreign journals in topics that are more relevant for other countries?

The consequences of the new Publindex model, and the outlines that are proposed in terms of the policy for fostering the national scientific publications can have as consequences: To affect the classification and rating of researchers and research groups as shown in Pavas (2015a; 2016b), which will bring an even bigger reduction of the resources available for Young researchers and national PhDs, not just for the Universidad Nacional de Colombia, but for all the national institutions; the journals excluded by Publindex would be at risk of affecting their sustainability and the institutional support they get; the visibility of the national academic production will not necessarily have the effect Colciencias is expecting because the journals with foreign affiliation do not have the same interest in research developed in Colombia.

Undoubtedly, the continuous quality improvement of any process is part of any organization that has among its aims constant updating and sustainability. It is also true that the comparison throughout indicators allows the identification of issues and opportunities for improvement. What should not be left behind is that such comparison needs to recognize its own context, the reach and mission of those who evaluate, as well as, its possibilities and resources.

The Engineering and Research Journal thanks all the authors, reviewers, and readers for keeping your interest in knowledge dissemination, as well as for sharing it through this open space. You can be sure that the Editorial Team will maintain their efforts to display and position your contributions in all repositories and indexes. We hope, again, that this issue is of your interest.

andrés pavas

Editor-in-chief Ingeniería e Investigación
Assistant Professor. Universidad Nacional de Colombia

Referencias

Pavas, A. (2015a). Editorial. Ingeniería e Investigación. Vol. 35(1). 3-4Pavas, A. (2015b). Ranking de revistas científicas colombianas: el caso de ingeniería. Ingeniería e Investigación. 35(3). 3-4

Pavas, A. (2016a). Estado del indicador h5 en revistas colombianas de ingeniería. Ingeniería e Investigación. 36(1). 3-5

Pavas, A (2016b). Resultados de la medición de grupos de investigación de la Universidad Nacional de Colombia. Ingeniería e Investigación. 36(2). 3-5

Pavas, A (2016c). Visibilidad de la Revista Ingeniería e Investigación. Ingeniería e Investigación. 36(3). 3-5

Hirsch, J. E. (2005). An index to quantify an individual’s scientific research output. Proceedings of the National Academy of Sciences of the United States of America, 102 (46), 16569-16572. Recuperado el 29 de marzo de 2017, de http://arxiv.org/abs/physics/0508025.

Harzing, A.W. (2007) Publish or Perish. Consultado el 29 de marzo de 2017, de: http://www.harzing.com/pop.htm

---

1 Available in: http://colciencias.gov.co/sites/default/files/upload/noticias/informe-publindex.pdf