What are the differences between engineering journal performances?

Cuáles son las diferencias entre el desempeño de las revistas científicas de ingeniería?

In recent Editorial letters of Ingeniería e Investigación the performance of engineering scientific journals has been reviewed to provide information with regard to their ranking, which could be used by editors and authors for improving their productivity. Journal performance refers to the set of indicators that allow to compare quantitatively different journals. This editorial letter revisits the topic and formulates the following question: what are the difference in performance of engineering journals?

Editorial

¿Cuáles son las diferencias
en el desempeño de las revistas
científicas de ingeniería?

En las cartas editoriales recientes de Ingeniería e Investigación, se ha revisado el desempeño de las revistas científicas de ingeniería para proveer información acerca de su posicionamiento que pueda ser usada por los editores y autores para mejorar su productividad. El desempeño de las revistas científicas se refiere a un grupo de indicadores que permiten comparar diferentes revistas cuantitativamente. Esta carta editorial revisita ese tema y formula la siguiente pregunta: ¿Cuáles son las diferencias en el desempeño de las revistas científicas de ingeniería?

Actualmente, cuatro revistas colombianas de ingeniería están indexadas en Scopus y su posicionamiento ha sido explorado en Pavas (2015) y Pavas (2016). En Pavas (2017a), se describieron los resultados principales del nuevo Índice Bibliográfico Nacional - Publindex ¹, lo que motivó la nota editorial publicada en Pavas (2017b). Allí, se exploraron las posibilidades de movilidad a lo largo de las categorías en las que las revistas colombianas están clasificadas, usando datos extraídos de la categoría de ingeniería (miscelánea) de Scopus. Los datos usados en Pavas (2017b) se referencian y describen brevemente aquí: en noviembre 2017 se consultaron datos desde el 2009 hasta el 2016. No han sido publicados datos clasificatorios desde ese momento. La categoría de ingeniería (miscelánea) de Scopus contiene 518 publicaciones, de las cuales 317 son revistas científicas, 13 son series de libros y 188 son memorias de conferencias. Solo las revistas científicas serán analizadas en este documento.

Previamente, cinco indicadores de desempeño de revistas científicas fueron tomados en cuenta: Scimago Journal Rank (SJR), Citas por Documento al año (CpD), Referencias por Documento al año (RpD), Documentos por Revista al año (DpJ) y el índice h. Esta nota editorial no tomará en cuenta el SJR ni el índice h. Se presentará información estadística acerca de los otros tres indicadores de desempeño para brindar información que revele las diferencias existentes entre las revistas. Los indicadores de desempeño fueron calculados para cada cuartil y serán mencionados en los siguientes párrafos.

De acuerdo con los datos descritos en Pavas (2017b), las funciones de densidad de probabilidad fueron determinadas. En Rouco et al. (2017), se presenta una explicación acerca de la aparición de indicadores bibliométricos con una distribución log-normal ². Los indicadores de desempeño observados parecen ajustarse a este comportamiento en la mayoría de los casos. Sin embargo, algunos de los datos se ajustaron mejor a distribuciones de probabilidad exponencial³ y normal⁴. Los resultados obtenidos se muestran en la Tabla 1. Los datos se calcularon utilizando la aplicación de ajuste de función de distribución de probabilidad Matlab®.

Tabla 1. Funciones de densidad de probabilidad (FDP) para los indicadores de desempeño de las revistas

Ind.Ren.	Param.	Cuartil 1	Cuartil 2	Cuartil 3	Cuartil 4
CpD	FDP	log-norm	log-norm	log-norm	exp
	mu	0,6342	-0,5280	-1,2363	0,1965
	sigma	0,5734	0,5339	0,4928	-
RpD	FDP	log-norm	log-norm	log-norm	norm
	mu	3,4958	3,1514	2,9706	14,93
	sigma	0,3812	0,4075	0,3961	10,179
DpJ	FDP	log-norm	log-norm	log-norm	log-norm
	mu	4,2621	3,9409	3,8358	3,2797
	sigma	1,0564	1,1081	1,1950	1,3922

Fuente: Autor

La Tabla 1 confirma lo que se ha reportado acerca de la distribución de probabilidad de los indicadores de desempeño. Aunque proporcionar una conclusión sobre las diferencias de rendimiento no es sencillo, se puede decir que cada cuartil se caracteriza por diferentes parámetros, y estos parámetros tienden a disminuir a medida que la clasificación se hace más baja.

En Bornmann (2017) se sugiere el uso de intervalos de confianza para ver las diferencias en los indicadores bibliométricos. Las Tablas 2 a 4 muestran los intervalos de confianza para los valores promedios de los indicadores de desempeño

Los promedios de las citas por documento son claramente diferentes para cada cuartil, como se muestra en la Figura 1. Además, no se produce superposición entre ningún intervalo, lo que lleva a concluir que las revistas mejor clasificadas tienen un valor promedio de citación por documento mayor que aquellas que tienen una clasificación más baja. Esto confirma lo que se conoce ampliamente acerca de las clasificaciones y también lo que se presentó en Pavas (2017b), i.e., las revistas con mayor cantidad de citas se clasifican más alto ya que el posicionamiento depende del número de citas recibidas.

Tabla 2. Intervalos de confianza para las citas por documento al año, 95 % nivel de significancia, n representa el número de revistas en cada cuartil

Cuartil	n	Promedio	Des Esta.	Interv Confianza
Q1	83	2,250	1,638	1,892 - 2,608
Q2	82	0,678	0,373	0,596 - 0,760
Q3	81	0,329	0,188	0,288 - 0,371
Q4	71	0,196	0,373	0,108 - 0,285

Fuente: Autor

Figura 1. Intervalos de confianza para citas por documento.

Fuente: Autor

Las referencias por documento al año son el segundo indicador de rendimiento considerado. Sus intervalos de confianza se muestran en la Tabla 3. Hay una leve superposición entre los cuartiles 2 y 3, pero, también aparece la tendencia de mayor número de referencias a medida que la revista obtiene un puesto más alto. La Figura 2 muestra los valores de la Tabla 3 e ilustra la conclusión descrita.

Tabla 3. Intervalos de confianza para referencias por documento al año, 95 % nivel de significancia

Cuartil	n	Promedio	Des Esta.	Interv Confianza
Q1	83	35,20	12,40	32,49 - 37,91
Q2	82	25,47	11,94	22,84 - 28,09
Q3	81	21,15	9,27	19,10 - 23,20
Q4	71	14,93	10,19	12,52 - 17,34

Fuente: Autor

Figura 2. Intervalos de confianza para Referencias por Documento.

Fuente: Autor

La Tabla 4 y la Figura 3 muestran los intervalos de confianza para el indicador Documentos por Revista (DpJ). Este indicador de rendimiento no aparece comúnmente en el análisis de la clasificación de revistas, pero será tenido en cuenta aquí. El promedio de DpJ es más alto a medida que la clasificación mejora. A pesar de la tendencia observada, todos los intervalos de confianza se superponen. Existe una dispersión significativa del DpJ dentro de cada cuartil, lo que puede explicar la superposición.

Tabla 4. Intervalos de confianza para Documentos por Revista al año, 95 % nivel de significancia

Cuartil	n	Promedio	Des Esta.	Interv Confianza
Q1	83	124,57	163,50	88,87 - 160,27
Q2	82	101,77	176,84	62,91 - 140,62
Q3	81	97,30	137,53	66,89 - 127,71
Q4	71	70,68	142,44	36,96 - 104,39

Fuente: Autor

Figura 3. Intervalos de confianza por documentos por revista al año.

Fuente: Autor

Los resultados presentados en esta nota editorial proporcionan información complementaria sobre el desempeño de las revistas. Cuanto más arriba se clasifica una revista, más altos tienden a ser sus indicadores de desempeño. Me gustaría mostrar algunos datos finales: La cantidad total de citas recibidas en la última clasificación de Scopus (2014-2016) y la correspondiente cantidad total de documentos publicados se muestran en la Tabla 5. Los porcentajes se calculan con respecto al total de citas y documentos de cada cuartil, respectivamente.

Tabla 5. Citaciones recibidas de todas las revistas y documentos publicados entre 2014 y 2016

Clasificación	Citas recibidas		Documentos Publicados
	Cantidad	%	Cantidad	%
Q1	105553	79,5%	30982	32,7%
Q2	18002	13,6%	24996	26,4%
Q3	5653	4,3%	23610	25,0%
Q4	3630	2,7%	15023	15,9%
Total	132838		94611

Fuente: Autor

La Tabla 5 confirma lo que se mencionó sobre el número de documentos publicados. Las revistas de mayor rango publican más documentos, pero la diferencia no es muy grande. Sin embargo, el número de citas recibidas es significativamente mayor. El primer cuartil concentra el 79,5% de todas las citas, y publica el 32,7 % de todos los documentos. Este resultado no puede derivarse directamente de los indicadores de desempeño. Surgen múltiples preguntas a raíz de este resultado, por ejemplo: ¿de dónde provienen todas las citas recibidas por las revistas en el cuartil 1?, o ¿a dónde van todas las citas concedidas en esta categoría? Se requieren más esfuerzos y un análisis más profundo con respecto al tema.

El Comité Editorial de Ingeniería e Investigación se complace en publicar el primer número del Volumen 38 de esta revista, proporcionando los primeros quince artículos a ser publicados en 2018. El Equipo de Gestión Editorial ha hecho un gran esfuerzo para proveer una selección exhaustiva de los documentos presentados. De nuevo, al Comité Editorial le gustaría expresar su agradecimiento a todos los autores y evaluadores por sus contribuciones invaluables. El Comité Editorial agradece a todos nuestros lectores por su creciente interés en Ingeniería e Investigación.

andrés pavas

Director Revista Ingeniería e Investigación
Profesor Asociado
Departamento de Ingeniería Eléctrica y Electrónica Universidad Nacional de Colombia
http://orcid.org/0000-0002-0971-0725

Referencias

Pavas, A. (2015). Ranking of Colombian scientific journals: Engineering case. Ingeniería e Investigación 35(3). 3-4. https://doi.org/10.15446/ing.investig.v35n3.54609

Pavas, A. (2016). State of h5 indicator for Colombian engineering journals. Ingeniería e Investigación 36(1). 3-5.https://doi.org/10.15446/ing.investig.v36n1.56850

Pavas, A. (2017a). Report about the preliminary results of the National Bibliographic Index - Publindex. Ingeniería e Investigación 37(1). 3-5. https://doi.org/10.15446/ing.investig.v37n1.63709

Pavas, A. (2017b) Are there chances of improving Colombian engineering journals rankings? Ingeniería e Investigación 37(3). 3-7 https://doi.org/10.15446/ing.investig.v37n3.69519

Ruocco, G., Daraio, C., Folli, V., and Leonetti, M. (2017). Bibliometric indicators: the origin of their log-normal distribution and why they are not a reliable proxy for an individual scholar’s talent. Palgrave Communications 3 (17064). https://doi.org/10.1057/palcomms.2017.64

Bornmann, L. (2017). Confidence intervals for Journal Impact Factors. Scientometrics (2017) 111(3). 1869-1871. https://doi.org/10.1007/s11192-017-2365-3

---

¹ Disponible en: Resultados de Colciencias 768 convocatoria 2017 http://www.colciencias.gov.co/sites/default/files/listado-revistas-por-categoria-conv-768.pdf

²La definición de distribución log-normal empleada en este documento se puede encontrar en https://goo.gl/LoEnF3

³Para la distribución exponencial, consulte https://goo.gl/HQEiPu

⁴Para la distribución normal, consulte https://goo.gl/fUJUi5

Four Colombian engineering scientific journals are currently indexed in Scopus, their positioning has been explored in Pavas (2015) and Pavas (2016). In Pavas (2017a) the principal outcomes of the new Colombian Bibliographic Index - Publindex ¹ were described, which motivated the editorial note published in Pavas (2017b). This last editorial note of Ingeniería e Investigación explored the possibilities of moving across the category where Colombian journals are ranked, resorting to data extracted from Scopus Engineering (miscellaneous) category. The data used in Pavas (2017b) are recalled here and are described briefly in the following: data from 2009 to 2016 were consulted on November 2017, no new ranking data have been published recently therein. The Scopus Engineering (miscellaneous) category contains 518 publications, 317 are scientific journals, 13 book series and 188 conference proceedings. Only scientific journals will be analyzed in this document.

Five journal performance indicators were taken previously into account: Scimago Journal Rank (SJR), Cites per Document a year (CpD), References per Document a year (RpD), Documents per Journal a year (DpJ) and h-index. This editorial note will not address SJR and h-index. Here statistical information about the remaining performance indicators will be presented, in order to provide information that reveal performance differences among journals. The performance indicators were calculated for each quartile and will be listed in the next paragraphs.

From the data described in Pavas (2017b) the probability density functions were determined. In Rouco et al. (2017) an explanation for the appearance of log-normal distributed ² bibliometric indicators is presented. The observed performance indicators seemed to adjust in most cases to this behavior. However, some data adjusted better to exponential ³ and normal ⁴ probability distributions. The obtained results are listed in Table I. Data were calculated using the probability distribution fitter application of Matlab®.

Table 1. Probability density functions (PDF) for journal performance indicators

Perf.Ind.	Param.	Q1	Q2	Q3	Q4
CpD	PDF	log-norm	log-norm	log-norm	exp
	mu	0,6342	-0,5280	-1,2363	0,1965
	sigma	0,5734	0,5339	0,4928	-
RpD	PDF	log-norm	log-norm	log-norm	norm
	mu	3,4958	3,1514	2,9706	14,93
	sigma	0,3812	0,4075	0,3961	10,179
DpJ	PDF	log-norm	log-norm	log-norm	log-norm
	mu	4,2621	3,9409	3,8358	3,2797
	sigma	1,0564	1,1081	1,1950	1,3922

Source: Author

Table 1 confirms what has been reported with regard to the probability distribution of the performance indicators. Although a conclusion about performance differences is not straightforward, it can be said that each quartile is characterized by different parameters, and these parameters are prone to decrease as the ranking becomes lower.

In Bornmann (2017) the utilization of confidence intervals is suggested to see differences in bibliometric indicators. Tables 2 to 4 show the confidence intervals for the performance indicators mean values.

The Cites per Document mean values are clearly different for each quartile, as depicted in Figure 1. In addition, no overlapping occurs between any interval, leading to conclude that highly ranked journals have higher Citation per Document mean value than lower ranked ones. This confirms what is widely known about rankings and also what was presented in Pavas (2017b), i.e., journals with larger amount of citations are ranked higher as the positioning depend on the number of received citations.

Table 2. Confidence intervals for Cites per Document a year, 95% significance level, n represents the number of journals at each quartile.

Quartile	n	Mean	Std Dev	CI
Q1	83	2,250	1,638	1,892 - 2,608
Q2	82	0,678	0,373	0,596 - 0,760
Q3	81	0,329	0,188	0,288 - 0,371
Q4	71	0,196	0,373	0,108 - 0,285

Source: Author

Figure 1. Confidence Intervals for Cites per Document.

Source: Author

The References per Document a year is the second performance considered indicator, whose confidence intervals are listed in Table 3. There exists a slight overlapping between quartiles 2 and 3, but the trend of higher number of references as the journal gets ranked higher appears as well. Figure 2 displays the values of Table 3 and depicts the described conclusion.

Table 3. Confidence intervals for References per Document a year, 95 % significance level

Quartile	n	Mean	Std Dev	CI
Q1	83	35,20	12,40	32,49 - 37,91
Q2	82	25,47	11,94	22,84 - 28,09
Q3	81	21,15	9,27	19,10 - 23,20
Q4	71	14,93	10,19	12,52 - 17,34

Source: Author

Figure 2. Confidence Intervals for References per Document

Source: The author

Table 4 and Figure 3 show the confidence intervals for the indicator Documents per Journal. This performance indicator does not appear commonly in the analysis of journal rankings, but it will be recalled here. The Mean value of DpJ is higher as the ranking increases. Despite of the observed trend, all confidence intervals overlap. There is a significant dispersion of the DpJ within each quartile, which can explain the overlapping.

Table 4. Confidence intervals for Document per Journal a year, 95 % significance level.

Quartile	n	Mean	Std Dev	CI
Q1	83	124,57	163,50	88,87 - 160,27
Q2	82	101,77	176,84	62,91 - 140,62
Q3	81	97,30	137,53	66,89 - 127,71
Q4	71	70,68	142,44	36,96 - 104,39

Source: Author

Figure 3. Confidence Intervals for Documents per Journal a year

Source: Author

The results presented in this editorial note provide supplementary information about the journals performance. The higher a journal is ranked, the higher its performance indicators tend to be. I would like to show some final data. The total amount of received citations in the last Scopus ranking (2014-2016) and the corresponding total amount of published documents are listed in Table 5. Percentages are calculated with respect to the total cites and documents, respectively.

Table 5. Received Citations of all journals and published documents between 2014 and 2016

Rank	Received Cites		Published Documents
	Count	%	Count	%
Q1	105553	79,5 %	30982	32,7 %
Q2	18002	13,6 %	24996	26,4 %
Q3	5653	4,3 %	23610	25,0 %
Q4	3630	2,7 %	15023	15,9 %
Total	132838		94611

Source: Author

Table 5 confirms what was presented before about the number of published documents. Higher ranked journals publish some more documents, but the difference is not very large. However, the number of received citations is significantly large. The first quartile concentrates the 79,5 % of all citations, it publishes the 32,7 % of all documents. This result cannot be directly derived from the performance indicators. Several questions arise from this result: Where do all the cites received by Q1 journals come from? Where do all granted citations in the category go to? Further efforts and deeper analysis are required.

The Ingeniería e Investigación Editorial Board is very pleased to publish the first Number of Volume 38, providing a set of the first fifteen articles to be published in 2018. A great effort has been made by the Editorial Management Team to provide an exhaustive selection of the submitted documents. Once again, the Editorial Board would like to express our appreciation to all authors and examiners for their invaluable contributions. The Editorial Board would like to thank all our reader for their rising interest in Ingeniería e Investigación.

andrÉs pavas

Head Editor of Ingeniería e Investigación
Associate Professor
Electrical and Electronic Engineering Department
Universidad Nacional de Colombia
http://orcid.org/0000-0002-0971-0725

References

Pavas, A. (2015). Ranking of Colombian scientific journals: Engineering case. Ingeniería e Investigación 35(3). 3-4. https://doi.org/10.15446/ing.investig.v35n3.54609

Pavas, A. (2016). State of h5 indicator for Colombian engineering journals. Ingeniería e Investigación 36(1). 3-5. https://doi.org/10.15446/ing.investig.v36n1.56850

Pavas, A. (2017a). Report about the preliminary results of the National Bibliographic Index - Publindex. Ingeniería e Investigación 37(1). 3-5. https://doi.org/10.15446/ing.investig.v37n1.63709

Pavas, A. (2017b) Are there chances of improving Colombian engineering journals rankings? Ingeniería e Investigación 37(3). 3-7. https://doi.org/10.15446/ing.investig.v37n3.69519

Ruocco, G., Daraio, C., Folli, V., and Leonetti, M. (2017). Bibliometric indicators: the origin of their log-normal distribution and why they are not a reliable proxy for an individual scholar’s talent. Palgrave Communications 3 (17064). https://doi.org/10.1057/palcomms.2017.64

Bornmann, L. (2017). Confidence intervals for Journal Impact Factors. Scientometrics (2017) 111(3). 1869-1871
https://doi.org/10.1007/s11192-017-2365-3

---

¹Available in: Results of Colciencias 768 call 2017 http://www.colciencias.gov.co/sites/default/files/listado-revistas-por-categoria-conv-768.pdf

²The definition employed in this document for the log-normal distribution can be found at https://goo.gl/LoEnF3

³ For the exponential distribution see https://goo.gl/HQEiPu

⁴ For normal distribution see https://goo.gl/fUJUi5