Are there chances of improving Colombian engineering journals rankings?

¿Hay oportunidades de mejorar la clasificación de las revistas de ingeniería colombianas?

The results of the most recent evaluation of the Colombian scientific journals, performed by Colciencias resorting to the Colombian Bibliographic Index - Publindex, was released recently. Several discussions have been made on the consequences. This document presents and analysis with a different perspective: is there something that authors and editors could do in order to improve the ranking of the journals? The document presents data and analysis applicable to engineering scientific journals.

Editorial

¿Existen oportunidades de mejorar
la clasificación de las revistas
de ingeniería colombianas?

Los resultados de la evaluación más reciente de Colciencias de las revistas científicas colombianas, recurriendo al nuevo Índice Bibliográfico Nacional Publindex, han sido publicados recientemente. Múltiples discusiones acerca de sus consecuencias han sido llevadas a cabo. Este documento presenta un análisis con una perspectiva diferente: ¿hay algo que los autores y editores pueden hacer para mejorar la clasificación de las revistas? Este documento presenta datos y análisis aplicables a las revistas científicas de ingeniería.

En septiembre de 2017, Colciencias publicó los resultados de la Clasificación de Revistas Colombianas (Publindex). El resultado general de esta nueva clasificación es que de 585 revistas que son reconocidas institucionalmente, 244 fueron incluidas y 342 fueron excluidas de Publindex ¹ . Este resultado era esperado, como fue reportado en (Pavas, 2017). Múltiples discusiones, foros y documentos de análisis fueron preparados por instituciones académicas, comités editoriales, editores e investigadores. Varias comunicaciones fueron enviadas a Colciencias desde diferentes partes del país desde el comienzo de la convocatoria en 2016. Ninguna de ellas fue realmente escuchada y la situación actual continúa sin cambios: 58,4% de las revistas científicas colombianas han sido excluidas de Publindex.

El resultado de esta clasificación no es sólo la exclusión del 58.4% de las revistas colombianas. Además, los que han sido incluidos fueron clasificados de acuerdo a los indicadores SJR, (SCImago Journal Rank), JCR (Clarivate Analytics Journal Citation Reports) y h5 de Google Scholar (h5GS). Los cuartiles de SJR y JCR fueron traducidos directamente en las clasificaciones A1, A2, B y C de Publindex. Los cuartiles de h5GS fueron calculados para cada área del conocimiento por Colciencias y solo permiten alcanzar las clasificaciones B y C de Publindex. Los resultados obtenidos por Colciencias acerca del índice h5GS se pueden comparar estrechamente con aquellos reportados en (Pavas, 2016) para las revistas científicas de ingeniería de Colombia. Como un resultado adicional de la evaluación de Publindex, 41,6% de las revistas científicas colombianas indexadas bajaron de categoría. Entonces, si sólo se pueden alcanzar las más altas clasificaciones de Publindex a través de una mejor clasificación en SJR o JCR, ¿es posible que las revistas colombianas de ingeniería obtengan clasificaciones superiores en SJR o JCR?

Investigamos los indicadores de desempeño de revistas para la categoría de Engineering (miscellanous) de Scopus. Anteriormente, el desempeño de las revistas colombianas de ingeniería fue explorado brevemente en (Pavas, 2015). Todas las revistas colombianas indexadas en Scopus han sido incluidas dentro de esta categoría. Los datos usados en esta nota fueron consultados en el Scimago Journal Rank, el primero de noviembre 2017. Estos datos cubren el rango de tiempo desde el 2009 hasta el 2016. Las revistas colombianas de ingeniería que están actualmente indexadas en el SJR son: DYNA ² e Ingeniería e Investigación ³ - I&I (Universidad Nacional de Colombia), Revista Facultad de Ingeniería ⁴ - RFI (Universidad de Antioquia) e Ingeniería y Universidad ⁵ - IyU (Pontificia Universidad Javeriana). Sus indicadores de calidad en la clasificación SJR, correspondientes a 2016, están resumidos en la Tabla 1. La clasificación SCImago está basada en el índice SJR. Éste depende del número y origen de las citas (González, Guerrero, y Moya, 2010). No se puede determinar cuáles pueden ser las herramientas usadas por el SJR para rastrear información como citas y documentos publicados dentro de un periodo de tiempo. Por ello, algunos indicadores serán explorados con el fin de evaluar las posibilidades de las revistas de mejorar sus clasificaciones. Los indicadores considerados son: Citas por Documento, Referencias por Documento, Documentos Publicados por año (este indicador fue calculado basado en los datos originales), e índice h. Los índices h de Scopus y h5GS no son comparables, ya que ellos son calculados teniendo en cuenta diferentes fuentes de información; sin embargo es de esperar que el indicador h5GS sea más alto que el indicador H de Scopus.

Tabla 1. Indicadores de calidad de las revistas de ingenieria colombiana de acuerdo a SJR 2016

Revista	SJR	Citas/Doc	Refs/doc	Docs/Revist.año	Indice H (h5GS)
DYNA	0,250 Q2	0,38	29,6	170,7	10 (12)
I&I	0,214 Q3	0,46	24,4	47,7	6 (8)
RFI	0,147 Q3	0,36	28,8	74,7	7 (8)
IyU	0,119 Q4	0,21	29,8	22,7	4 (6)

Fuente: Autor

Los datos obtenidos del SJR fueron procesados así: solamente revistas científicas fueron tomadas en cuenta, (otro tipo de publicaciones, como conferencias, fueron excluidas); los indicadores de las revistas clasificadas en 2017 (2016 SJR) fueron rastreados hasta el 2009; se identificaron 317 revistas; se calculó el valor de la media de sus indicadores de desempeño; los estadísticos mostrados se obtuvieron a partir de los valores medios, y fueron organizadas de acuerdo con la clasificación de cuartiles actual en SJR.

El primer resultado importante para gestión editorial es cuántas revistas no han sido indexadas todos los años, i.e., continuamente. Para el Q1: 13,2% de las revistas no han sido indexadas por al menos un año, para Q2: 24,39%, para Q3: 41,95% y para Q4: 39,44%. Este resultado revela que las revistas que están altamente clasificadas muestran una aplicación constante y persistente a la clasificación de las mismas.

La Table 2 muestra las estadísticas para SJR en la categoría considerada.

Tabla 2. Promedio de cuartiles SJR

SJR	Q1	Q2	Q3	Q4
Mínimo	0,443	0,230	0,143	0,100
P25%	0,568	0,252	0,168	0,104
Mediana	0,908	0,283	0,184	0,117
P75%	1,440	0,337	0,209	0,130
Máximo	6,133	0,960	0,971	0,240

Fuente: Autor

Las Citas por Documento para las revistas actualmente clasificadas aparecen en la Table 3. Entre más alto el indicador, más alta la clasificación. Sin embargo, se puede observar la superposición de algunos valores; entonces, si este indicador fuera usado para la clasificación, sería posible que las revistas estuvieran clasificadas en posiciones más altas. DYNA, I&I y RFI probablemente serían clasificadas en Q2, IyU en Q3. La media de los valores SJR y las citas por documento están altamente correlacionadas, como es de esperarse. Para los años analizados, los datos revelan una correlación de 89,2% entre los dos indicadores, sin considerar la clasificación en cuartiles dada a estas revistas. No obstante, si la correlación es analizada por cada cuartil, los resultados son diferentes: Q1 84,7%, Q2 66,5%, Q3 74,9% y Q4 32,5%. Estos resultados muestran que las citas por documento no parecen explicar completamente el indicador SJR, en el caso de las revistas clasificadas en el rango inferior.

Tabla 3. Cuartiles para el promedio de citas por documento al año

Citas/Doc	Q1	Q2	Q3	Q4
Mínimo	0,476	0,198	0,076	<0,001
P25%	1,277	0,388	0,204	0,047
Mediana	1,826	0,606	0,291	0,109
P75%	2,745	0,906	0,400	0,228
Máximo	11,756	1,980	1,278	3,000

Fuente: Autor

Los Documentos publicados por Revista al año no es un indicador empleado frecuentemente. La tabla 4 revela que las revistas mejor clasificadas tienden a publicar más documentos. Todas las revistas colombianas de ingeniería podrían estar clasificadas en cualquier posición de acuerdo a este indicador. El lector no debe pensar que incrementar el número de documentos publicados mejorará la clasificación. De hecho, puede traer consecuencias opuestas porque el índice SJR se reduce a medida que el número de documentos incrementa, asumiendo que el número de citas permanece constante. Una interpretación diferente puede ser dada: una mayor cantidad de documentos publicados puede facilitar el incremento del número de citas ya que los lectores pueden encontrar un mayor número de documentos a citar.

Tabla 4. Cuartiles para el promedio de documentos publicados por año

Docs/Rev.año	Q1	Q2	Q3	Q4
Mínimo	6,4	2,7	1,7	0,3
P25%	35,6	25,2	18,8	13,3
Mediana	69,8	46,1	41,2	21,8
P75%	139,9	96,9	103,3	61,0
Máximo	971,2	1300,6	670,1	890,5

Fuente: Autor

Las referencias por documento tampoco han sido un indicador de calidad usualmente empleado. Sin embargo, pueden arrojar información útil para autores y editores. La Table 5 muestra que las revistas en posiciones de clasificación altas tienden a utilizar un número mayor de citas. Usando la mediana como punto de comparación, las revistas clasificadas en Q1 tienen 1,54 veces las referencias que una revista Q2, y 1,91 y 2,4 las referencias de revistas Q3 y Q4, respectivamente. Al comparar las revistas colombianas de ingeniería, se puede ver que todas ellas pueden ser clasificadas en cualquier posición. El análisis anterior sugiere que los autores y editores podrían considerar incrementar el número de referencias usadas, ya que ésta es una característica común en los documentos que hacen parte de revistas con clasificación alta. Es importante recordar que una referencia debe ser usada solo si es pertinente para la justificación del artículo y del problema del mismo. Ésta sirve para relacionar la perspectiva del autor y el contexto, y debe proveer sustento suficiente y claro.

Tabla 5. Cuartiles para el promedio de referencias por documento al año

Refs/Doc.año	Q1	Q2	Q3	Q4
Minimo	6,9	8,4	7,8	<0,02
P25%	26,6	18,8	15,2	8,0
Mediana	36,7	23,8	19,2	15,3
P75%	43,3	28,8	21,2	20,7
Maximo	74,0	82,7	55,7	45,9

Fuente: Autor

La Table 6 muestra los datos estadísticos para el índice H. Como era de esperarse, valores altos del índice H tienden a ser clasificados en posiciones superiores. Con base en esto, todas las revistas de ingeniería colombianas podrían ser clasificadas hasta en Q2, DYNA podría ser clasificada en Q1, pero esta revista apenas alcanza el mínimo valor para el índice H. El índice H es susceptible a las citaciones recibidas durante el período de evaluación. Por este motivo, está relacionado a la atención que los lectores prestan a documentos que han sido publicados recientemente.

Tabla 6. Cuartiles para el Índice H incluido

Indice H	Q1	Q2	Q3	Q4
Minimo	10	3	2	<1
P25%	26	10	7	3
Mediana	46	18	10	6
P75%	75	26	14	10
Maximo	247	107	25	34

Fuente: Autor

Los datos estadísticos presentados en este documento muestran que las revistas colombianas de ingeniería presentan indicadores de calidad que son moderadamente inferiores a los de otras revistas con clasificaciones superiores en la misma categoría de base de datos. Sin embargo, las revistas muestran otros indicadores de calidad comunes a otras revistas clasificadas en posiciones superiores. Aunque ningún ajuste de los indicadores de calidad puede garantizar un mejoramiento en la clasificación, sí puede ayudar a autores y editores a discutir y reflexionar acerca de la forma en la que preparan las revistas.

El comité editorial de la revista Ingeniería e Investigación se complace en publicar el tercer número del Volumen 37. Hemos hecho un gran esfuerzo para brindar a nuestros lectores una vista acerca de los desarrollos recientes en el campo de la ingeniería. Esperamos que esta selección de artículos sea interesante y útil para el lector. Quisiéramos expresar nuestra apreciación a todos los autores y examinadores por sus valiosas contribuciones. El comité editorial quisiera agradecer a todos sus lectores por su interés en Ingeniería e Investigación.

andrés pavas

Director Revista Ingeniería e Investigación
Profesor Asistente Universidad Nacional de Colombia

Referencias

Andrés Pavas (2015) Ranking de revistas científicas colombianas: el caso de ingeniería. Ingeniería e Investigación 35(3). p 3-4. https://doi.org/10.15446/ing.investig.v35n3.54609

Pavas, A (2016) Estado del indicador h5 en revistas colombianas de ingeniería. Ingeniería e Investigación 36(1). p 3-5. https://doi.org/10.15446/ing.investig.v36n1.56850

Pavas, A (2017) Informe sobre los resultados preliminares del Índice Bibliográfico Nacional - Publindex. Ingeniería e Investigación 37(1). p. 3-5. https://doi.org/10.15446/ing.investig.v37n1.63709

Borja González-Pereira, Vicente P. Guerrero-Bote y Félix Moya-Anegón (2010) The SJR indicator: A new indicator of journals’ scientific prestige.https://arxiv.org/abs/0912.4141v1

---

¹ Disponible en: Resultados de Colciencias 768 Edición 2017 http://www.colciencias.gov.co/sites/default/files/listado-revistas-por-categoria-conv-768.pdf

²Disponible en: https://revistas.unal.edu.co/index.php/dyna

³Disponible en: https://revistas.unal.edu.co/index.php/ingeinv

⁴Disponible en: http://aprendeenlinea.udea.edu.co/revistas/index.php/ingenieria

⁵Disponible en: http://revistas.javeriana.edu.co/index.php/IyU

---

The results of the most recent evaluation of the Colombian scientific journals, performed by Colciencias resorting to the new Colombian Bibliographic Index - Publindex, were released recently. Several discussions of the consequences have been held. This document presents an analysis with a different perspective: is there something that authors and editors could do in order to improve the ranking of the journals? This text presents data and analysis applicable to engineering scientific journals.

In September 2017, Colciencias published the results of the Colombian Publindex ranking. The overall outcome of this new classification is that, from 586 institutionally recognized journals, 244 journals were included and 342 were excluded from Publindex ¹ . This result was expected, as reported in (Pavas, 2017). Several discussions, forums and analysis documents were prepared by academic institutions, editorial boards, editors and researchers. Several communications were sent to Colciencias from the whole country since the call beginning in 2016, none of them was truly heard and the current situation remains unchanged: 58,4% of the Colombian Scientific Journals have been excluded from Publindex.

The ranking outcome was not only the exclusion of 58.4% of Colombian journals. The included ones were ranked according to its SCImago Journal Ranking (SJR), Clarivate Analytics Journal Citation Reports (JCR) and h5 Google Scholar index (h5GS). The SJR and JCR quartiles were directly translated into A1, A2, B and C Publindex classifications. The h5GS quartiles were calculated by Colciencias for each knowledge area and they only allow to reach B and C Publindex classifications. The results obtained by Colciencias in regards to h5GS are closely comparable to those reported in Pavas (2016) for Colombian Engineering scientific journals. As an additional result from the Publindex assessment, 41,6% of the ranked Colombian scientific journals were downgraded. Thus, if the highest Publindex ranks can be reached only through a higher ranking in SJR or JCR, is it possible for Colombian engineering journal to climb up to the top of SJR or JCR?

Let us investigate the journal performance indicators for the Scopus Engineering (miscellaneous) category. Previously, the performance of Colombian Engineering Journals was briefly explored in (Pavas, 2015). Within this category, all Colombian Engineering journals indexed in Scopus are included. The data used in this note were consulted on 1st November 2017, from Scimago Journal Rank. These data go from 2009 to 2016. The Colombian engineering journals in SJR currently are: DYNA ² and Ingeniería e Investigación ³ - I&I (National University of Colombia), Revista Facultad de Ingeniería ⁴ - RFI (University of Antioquia) and Ingenieria y Universidad ⁵ - IyU (Pontifical Xavierian University). Their most recent SJR ranking performance indicators are summarized in Table 1. It corresponds to the 2016 ranking. The SCImago ranking is based on the SJR Index. The latter depends on the number and origin of citations (González, Guerrero and Moya, 2010). It is not straightforward to determine what information is being used to calculate the SJR. Therefore, let us explore other indicators that could lead to assess the possibilities of journals to improve their rankings. The considered indicators are: Cites per document, References per document, published Documents per journal a year (this indicator was calculated from the original data), and h-index. The indicators h-index of Scopus and h5GS are not comparable, as they are calculated considering different data sources; however, h5GS is expected to be higher than the Scopus h-index.

Table 1. Colombian engineering journals performance indicators by SJR 2016

Journal	SJR	Cites/Doc	Refs/doc	Docs/Jour.yr	h-index (h5GS)
DYNA	0,250 Q2	0,38	29,6	170,7	10 (12)
I&I	0,214 Q3	0,46	24,4	47,7	6 (8)
RFI	0,147 Q3	0,36	28,8	74,7	7 (8)
IyU	0,119 Q4	0,21	29,8	22,7	4 (6)

Source: Author

The data obtained from SJR were processed as follows: only scientific journals listed in the above mentioned category were taken into account (all other listed publications, like conferences, were excluded); the indicators of journals ranked in 2017 (2016 SJR) were traced back up to 2009; 317 journals were identified; mean values of their performance indicators were calculated; statistics were obtained from the calculated mean values and were listed according to the current SJR based quartile classification.

A first useful result for editorial management is how many journals have not been indexed all years, i.e., continuously. For Q1: 13,2% of journals have not been ranked at least one year, for Q2: 24,39%, Q3: 41,95% and Q4: 39,44%. This result reveals that highly ranked journals show a persistent and continuous indexing to the journal ranking.

Table 2 shows the statistics for SJR in the considered category.

Table 2. Average SJR quartiles

SJR	Q1	Q2	Q3	Q4
Minimum	0,443	0,230	0,143	0,100
P25%	0,568	0,252	0,168	0,104
Median	0,908	0,283	0,184	0,117
P75%	1,440	0,337	0,209	0,130
Maximum	6,133	0,960	0,971	0,240

Source: Author

The Cites per Document are listed in Table 3 for all the currently ranked journals. The higher the indicator, the higher the ranking. However, values overlapping can be observed; then, if this indicator were used for ranking, it would be possible to be ranked at higher positions. DYAN, I&I and RFI would be likely ranked at Q2, and IyU at Q3. Mean SJR values and Cites per Document are highly correlated, as it would be expected. For all the years analyzed, data reveal a correlation of 89,2% between these two indicators, without considering the journals’ ranking. Nevertheless, if correlation is observed for each quartile, the results are different: Q1 84,7%, Q2 66,5%, Q3 74,9% and Q4 32,5%. These results show that cites per document do not seem to explain completely the SJR for lower ranked journals.

Table 3. Quartiles for Average Cites per document a year

Cites/Doc	Q1	Q2	Q3	Q4
Minimum	0,476	0,198	0,076	<0,001
P25%	1,277	0,388	0,204	0,047
Median	1,826	0,606	0,291	0,109
P75%	2,745	0,906	0,400	0,228
Maximum	11,756	1,980	1,278	3,000

Source: Author

The Documents per Journal a Year is not frequently employed as a performance indicator. Table 4 reveals that journals higher ranked are prone to publish more documents. All Colombian engineering journals could be ranked at any position based on this indicator. The reader should not think that increasing the number of published documents would help improve its positioning. In fact, it would cause the opposite result because the SJR reduces as the number of documents increases, supposing that citations remain constant. A different interpretation can be derived: a larger amount of published documents could eventually facilitate to increase the number of citations as the journal readers could find additional documents worth citing.

Table 4. Quartiles for Average Documents per Journal a year

Docs/Jour.yr	Q1	Q2	Q3	Q4
Minimum	6,4	2,7	1,7	0,3
P25%	35,6	25,2	18,8	13,3
Median	69,8	46,1	41,2	21,8
P75%	139,9	96,9	103,3	61,0
Maximum	971,2	1300,6	670,1	890,5

Source: Author

The references per document have not been either a typically employed performance indicator. Let us see if there is some useful information for editors and authors. Table 5 shows that the journals at higher positions tend to grant a higher number of citations. Using the median as setting point, Q1 journals have as 1,54 times the references as Q2 journals, and 1,91 and 2,4 the granted citations of Q3 and Q4, respectively. Comparing Colombian engineering journals show that all of them could be ranked at any position. The previous analysis suggests that the authors and editors might consider increasing the number of references, as it is a common characteristic of documents in highly ranked journals. It is noteworthy to remember that a reference should be cited as long as it is pertinent to the article justification and problem statement. It would serve to relate the authors’ perspective to the context and should provide sufficient and clear support to it.

Table 5. Quartiles for Average References per document a year

Refs/Doc.yr	Q1	Q2	Q3	Q4
Minimum	6,9	8,4	7,8	<0,02
P25%	26,6	18,8	15,2	8,0
Median	36,7	23,8	19,2	15,3
P75%	43,3	28,8	21,2	20,7
Maximum	74,0	82,7	55,7	45,9

Source: Author

Table 6 shows the h-Index values statistical data. As it could be expected, higher h-Index values tend to be ranked at higher positions. Based on this, all Colombian engineering journals could be ranked up to Q2, DYNA could be ranked at Q1 but this journal barely reaches the minimum h-index value. The h-index is sensitive to the citations received within the assessment period, then it is related to the attention that readers pay to recently published documents.

Table 6. Quartiles for listed h-Index

h-Index	Q1	Q2	Q3	Q4
Minimum	10	3	2	<1
P25%	26	10	7	3
Median	46	18	10	6
P75%	75	26	14	10
Maximum	247	107	25	34

Source: Author

The statistical data presented in this document show that Colombian engineering scientific journals present journal performance indicators that are slightly below from those shown by journals at higher ranking in the same database category. However, the journals show performance indicators common to journals ranked at higher positions. Although any adjustment of those performance indicators cannot warranty any ranking improvement, it could help authors and editors to discuss and reflect on the manner they prepare their journals.

The Ingeniería e Investigación Editorial Board is very pleased to publish the third Number of Volume 37. We have made a great effort to provide our readers with a view on the recent developments in engineering. Hopefully, the current selection of articles will be interesting and useful. We would like to express our appreciation to all authors and examiners for their very valuable contributions. The Editorial Board would like to thank all our readers for their interest in Ingeniería e Investigación.

andrés pavas

Editor-in-chief Ingeniería e Investigación Journal
Assistant Professor with Universidad Nacional de Colombia

References

Andrés Pavas (2015) Ranking of Colombian scientific journals: Engineering case. Ingeniería e Investigación 35(3). p 3-4. https://doi.org/10.15446/ing.investig.v35n3.54609

Pavas, A (2016) State of h5 indicator for Colombian engineering journals. Ingeniería e Investigación 36(1). p 3-5.https://doi.org/10.15446/ing.investig.v36n1.56850

Pavas, A (2017) Report about the preliminary results of the National Bibliographic Index - Publindex. Ingeniería e Investigación 37(1). p. 3-5.https://doi.org/10.15446/ing.investig.v37n1.63709

Borja González-Pereira, Vicente P. Guerrero-Bote and Félix Moya-Anegón (2010) The SJR indicator: A new indicator of journals’ scientific prestige. https://arxiv.org/abs/0912.4141v1

---

¹Available in: Results of Colciencias 768 call 2017 http://www.colciencias.gov.co/sites/default/files/listado-revistas-por-categoria-conv-768.pdf

²Available in: https://revistas.unal.edu.co/index.php/dyna

³Available in: https://revistas.unal.edu.co/index.php/ingeinv

⁴Available in: http://aprendeenlinea.udea.edu.co/revistas/index.php/ingenieria

⁵Available in: http://revistas.javeriana.edu.co/index.php/IyU