Administración Pública

## Análisis bibliométrico sobre la implementación de las tecnologías de la información y la comunicación en las administraciones públicas: aportaciones y oportunidades de investigación

### BIBLIOMETRIC ANALYSIS OF ICT IMPLEMENTATION IN PUBLIC ADMINISTRATIONS: CONTRIBUTIONS AND RESEARCH OPPORTUNITIES

### ANÁLISE BIBLIOMÉTRICA SOBRE A IMPLEMENTAÇÃO DAS TIC NAS ADMINISTRAÇÕES PÚBLICAS: CONTRIBUIÇÕES E OPORTUNIDADES DE PESQUISA

### UNE ANALYSE BIBLIOMÉTRIQUE SUR LA MISE EN CEUVRE DES TIC DANS LES ADMINISTRATIONS PUBLIQUES: DES CONTRIBUTIONS ET ES POSSIBILITÉS DE RECHERCHE

Laura Alcaide Muñoz lauraam@ugr.es
Universidad de Granada, Spain
Manuel Pedro Rodríguez Bolívar manuelp@ugr.es
Universidad de Granada, Spain
Antonio M. López Hernández alopezh@ugr.es
Universidad de Granada, Spain

Resumen: En la actualidad el e-Gobierno es considerado uno de los principales temas incluidos en las agendas gubernamentales, parte central de la transformación de las administraciones públicas, e innovación en la gestión y rendición de cuentas. Aunque muchas han sido las investigaciones llevadas a cabo sobre esta temática desde diferentes perspectivas, no existe aún una clara justificación percibida por los expertos de su necesidad en procesos de reformas administrativas. Esta investigación plantea como objetivo ofrecer una base sólida para futuras investigaciones mediante el análisis de las publicaciones sobre la evolución de la implementación de las tecnologías asociadas a la información y la comunicación en las administraciones públicas (e-Gobierno) como instrumento esencial para las reformas administrativas realizadas en las revistas incluidas en el índice del Instituto para la Información Científica. El análisis bibliométrico llevado a cabo destaca el bajo grado de madurez de este tema y, como principal oportunidad de investigación, la necesidad de dotar al e-Gobierno de teorías sólidas y de investigaciones de carácter cuantitativo.

Palabras clave: e-Gobierno, estudio bibliométrico, métodos de investigación, administración pública y ciencias de la información.

Abstract: Currently, e-Government is considered one of the main issues in government agendas, a central part of changes in public administrations, and an innovative feature in management and accountability. Although many research studies have underpinned this topic from different perspectives, there is no a perceived consensus among experts about its relevance for administrative change processes. Thus, the aim of this research is to enable a solid baseline for future research studies on the topic, by carrying out an analysis of the publications about the evolution of technologies for information and communication (ICT) in public administrations (e-Government), as an essential instrument for administrative changes in the journals included in the Institute for scientific Information (ISI) citation index. The bibliometric analysis highlights the degree of maturity of this topic and the need to provide e-Government with robust theories and quantitative research studies.

Keywords: E-Government, bibliometric study, research methods, Public Administration and Information Science.

Resumo: Na atualidade, o e-Governo é considerado um dos principais temas incluídos nas agendas governamentais, parte central da transformação das administrações públicas, e inovação no gerenciamento e prestação de contas. Ainda que tenham sido muitas as pesquisas realizadas sobre essa temática a partir de diferentes perspectivas, não existe ainda uma clara justificativa percebida pelos especialistas de sua necessidade em processos de reformas administrativas. Esta pesquisa propõe, como objetivo, oferecer uma base sólida para futuras pesquisas mediante a análise das publicações sobre a evolução da implementação das tecnologias associadas à informação e à comunicação (TIC) nas administrações públicas (e-Governo) como instrumento essencial para as reformas administrativas realizadas nas revistas incluídas no índice do Instituto para a Informação Científica (ISI). A análise bibliométrica realizada destaca o baixo grau de maturidade desse tema e, como principal oportunidade de pesquisas, a necessidade de dotar o e-Governo de teorias sólidas e de pesquisas de caráter quantitativo.

Palavras-chave: e-Governo, estudo bibliométrico, métodos de pesquisa, administração pública e ciências da informação.

Résumé: Aujourd'hui, on considere l'Administration électronique comme l'une des principales questions à inclure dans les agendas gouvernementaux, et comme une partie centrale de la transformation des administrations publiques et de l'innovation dans la gestion et la responsabilité. Bien que de nombreuses recherches aient été menées sur ce sujet à partir de différents points de vue, il n'y a toujours pas de justification claire perçue par les experts sur sa nécessité pour les processus de réforme administrative. Cette recherche pose comme objectif celui de fournir une base solide pour la recherche future en analysant la littérature versant sur l'évolution de la mise en œvre des technologies liées à reformation et la communication (TIC) dans les administrations publiques (Administration électronique) comme un instrument essentiel pour les réformes administratives dans les revues qui sont inclues dans l'indice de l'Institute for Scientific information (ISI). L'analyse bibliométrique réalisée met en évidence le faible degré de maturité de cette question et identifie, comme la principale possibilité de recherche, la nécessité de fournir l'Administration électronique avec des théories solides et des recherches quantitatives.

Mots-Clé: Administration électronique, étude bibliométrique, méthodes de recherche, administration gouvernementale, sciences de l'information.

### Introducción

En las últimas décadas, las administraciones públicas se han sentido presionadas para ser más eficientes (Rocheleau y Wu, 2002) y más transparentes (Piotrowski y Ryzin Van, 2007), dando lugar a una mejora de la competitividad y una mayor participación de los ciudadanos en la vida pública (Hui y Hayllar, 2010).

En respuesta a la creciente demanda de los ciudadanos, muchos países han llevado a cabo transformaciones en los sistemas de gestión de las administraciones públicas, en lo que se ha venido a denominar la Nueva Gestión Pública (NCP). De acuerdo con Hood (1991, 1995), algunos de los principales fundamentos de la NCP se sustentan en un mayor énfasis en la satisfacción de los ciudadanos, entendidos estos como "clientes" de los servicios públicos, y en un mayor énfasis en el establecimiento de métodos de evaluación de la gestión y de la rendición de cuentas de las administraciones públicas.

Para el cumplimiento de estos objetivos, las reformas administrativas se han apoyado en la introducción de nuevas herramientas, muchas de ellas trasladadas desde el sector privado, para poder lograr una mayor transparencia y una mayor participación de los ciudadanos en la toma de decisiones públicas (Bonson, Escobar y Flores, 2006). De entre estas, la adopción de las nuevas tecnologías asociadas a la información y comunicación (TIC) se han convertido en una herramienta esencial, especialmente en lo que a la satisfacción de los ciudadanos y al fomento de la participación ciudadana en la formulación de políticas públicas se refiere (OCDE, 2003), permitiendo, asimismo, el cumplimiento en mayor medida de las demandas sociales de eficiencia y eficacia en la utilización de los recursos (Welch y Hinnant, 2002).

A este proceso de aplicación de las TIC en las administraciones públicas es a lo que se le ha venido a denominar, en sentido amplio, e-Gobierno, y es considerado uno de los temas más importantes en la actualidad dentro de las agendas políticas para fomentar la transformación de las administraciones públicas (Jaeger, 2003) convirtiéndose, en realidad, en una parte central de dicho proceso (Borins, 2001; Chan y Chow, 2007). De hecho, si bien las investigaciones previas indican que las nuevas tecnologías no tienen la capacidad de transformar directamente la naturaleza de las administraciones públicas (Fountain, 2002; Holden, 2003; Holden, Norris y Fletcher, 2003; Kaylor, Deshazo y Van Eck, 2001; Moon, 2002; Norris, 2005), sí que se convierten en un instrumento fundamental en el cambio de la forma en la que se desarrollan las actividades públicas, así como en la organización de estas (Kraemer y King, 2008).

Es por ello que, en los últimos años, las administraciones públicas se han centrado en la creación de páginas web oficiales, como base para la implantación del gobierno electrónico (Joseph y Jeffers, 2009), todo ello favorecido por el hecho de que Internet se haya convertido en una de las herramientas más utilizada por los ciudadanos para acceder a la información financiera del Gobierno (Borins, 2002).

Pese a lo comentado, los esfuerzos dedicados por las administraciones públicas para la mejora de la prestación de servicios públicos y del nivel de transparencia mediante la adopción de las TIC están siendo irregulares (Paris, 2005). Además, las investigaciones previas se han realizado atendiendo a diferentes perspectivas (Grönlund, 2005), lo que no ha permitido obtener un consenso respecto de la relevancia que el e-Gobierno tiene en los procesos de reformas administrativas, poniendo de manifiesto que los estudios empíricos, sin una sistematización que los estructure y reúna, no son capaces de crear nuevos argumentos teóricos, ni proporcionar conceptos ni categorías nuevas que permitan entender los procesos políticos de e-Gobierno, lo que favorece la madurez del campo de estudio (Yildiz, 2007).

Es por esto que, ante la gran heterogeneidad existente en la literatura académica sobre la administración electrónica y la escasez de estudios bibliométricos sobre esta cuestión, se haga necesario analizar las principales contribuciones realizadas por las investigaciones previas, con el fin de asentar una base sólida para futuras investigaciones. Para ello, este trabajo de investigación pretende identificar el cuerpo base de la literatura de e-Gobierno, un campo de investigación ecléctico que reúne diferentes disciplinas, campos y áreas de investigación, intentando, con ello, identificar los temas importantes de investigación y asentar las bases teóricas que favorezcan el avance del conocimiento.

Para alcanzar este objetivo, las investigaciones previas en otros campos de investigación, tales como en teoría de la gestión estratégica basada en recursos y competencias (Ramos-Rodríguez y Ruíz-Navarro, 2004), o en modelos de medición de la calidad percibida de los servicios electrónicos (Juliani y José de Oliveira, 2016), se han apoyado en el desarrollo de análisis bibliométricos como una herramienta válida para llevar a cabo este tipo de investigaciones (Rodríguez y Gutiérrez, 1999). Con su utilización, se pretende ayudar a los investigadores tanto en el desarrollo y dirección de los futuros análisis, como en la identificación de tendencias en materia de investigación y en la metodología a utilizar. Además, en este trabajo identificamos también las universidades y departamentos que han producido los principales artículos sobre e-Gobierno, con el fin de ubicar y contextualizar la investigación llevada a cabo en este campo de estudio, así como para mejorar la intercomunicación entre los investigadores y, por ende, el conocimiento desarrollado en el mismo.

A la vista de lo comentado, el principal objetivo de este artículo es analizar de manera crítica, a través de las investigaciones previas, la evolución de la implementación de las nuevas tecnologías como un instrumento esencial para el desarrollo del e-Gobierno, así como identificar posibles líneas de investigación futuras en este campo de investigación. Para ello, se lleva a cabo un análisis bibliométrico que ayude tanto a vislumbrar el estado actual de la cuestión, como a llevar a cabo un profundo análisis de la contribución y metodologías utilizadas en este campo de investigación en particular.

#####
Figura

#####

Aunque existen algunos estudios bibliométricos en este ámbito de estudio, estos son parciales (Yildiz, 2007; Heeks y Bailur, 2007), por lo que consideramos necesario el contribuir a la investigación sobre e-Gobierno con análisis más globales, críticos y detallados que recojan el acervo sobre esta materia y dirijan, de la manera lo más acertada posible, a los investigadores en la dirección de sus futuros análisis.

Este artículo está organizado de la siguiente manera. En la siguiente sección, se repasan los principales análisis bibliométricos desarrollados en el ámbito de la Administración Pública y e-Gobierno. La tercera sección recoge la investigación bibliométrica desarrollada en el presente trabajo, haciendo referencia inicialmente al proceso de selección de la muestra, metodología de análisis y, posteriormente, a los resultados obtenidos de la investigación propuesta. Finalmente, se destacan los principales hallazgos y conclusiones obtenidos en la investigación, identificando posibilidades futuras de desarrollo de análisis en el área de e-Gobierno y señalando la necesidad de potenciar trabajos de carácter cuantitativo y de construcción de teorías que soporten la implementación de las nuevas tecnologías dentro de los movimientos actuales de reformas administrativas.

#### Los análisis bibliométricos como metodología de investigación y su aplicación al campo de la administración pública y del e-Gobierno

La literatura académica existente ofrece un gran número de estudios en los que se emplean herramientas de investigación informétricas, específicamente, metodología bibliométrica. En consecuencia, existe un animado debate y discusión en este ámbito, tanto acerca de la materia en sí misma, como en lo referente a la forma más adecuada para abordar la cuestión. Estas revisiones permiten a los miembros de la comunidad académica identificar las raíces históricas de un determinado campo de estudio (Atkins, 1988), para predecir las tendencias futuras de investigación (Lõfstedt, 2005), y discernir la dirección correcta hacia la que hay que apuntar las posteriores líneas de investigación.

En el campo de la administración pública podemos encontrar literatura que ha avivado el debate con el tiempo, fomentando la discusión sobre la madurez alcanzada por este campo de investigación. En este sentido, McCurdy y Cleary (1984) analizaron una serie de tesis doctorales, ofreciendo un examen crítico de los alcances y la utilidad de los principales enfoques y conceptos empleados en este campo de investigación. A su juicio, pusieron de relieve los problemas que presentaban y la existencia de debilidades metodológicas y enfoques triviales, junto con la escasa importancia de muchos de los temas analizados, concluyendo que dichos estudios tendrían poco impacto en el desarrollo de la administración pública como área de investigación. De hecho, Stallings y Ferris (1988) declararon que, hasta ese momento, los intentos de llevar a cabo la investigación habían sido inicialmente dirigidos a la conceptualización de problemas, a delinear las posibles áreas de investigación y a describir los objetos en cuestión, a menudo utilizando una metodología inapropiada. Cleary (2000), sin embargo, observó un avance significativo en la investigación y un notable incremento en el uso de las tesis doctorales como herramienta de investigación y de aportación a la ciencia, constatando una mayor calidad en la investigación doctoral realizada por los estudiantes de posgrado.

No obstante, este problema en términos de calidad de la investigación no se limita a las tesis doctorales, sino que se extiende a trabajos académicos publicados en revistas, como lo demuestra el análisis realizado sobre los artículos recogido en revistas de impacto internacional (Lan y Anders, 2000; Plümper y Radaelli, 2004). En opinión de Stallings y Ferris (1988) y Houston y Delevan (1990), las revistas son consideradas como las principales fuentes de difusión de la investigación académica. Además, manifiestan que la causa de la baja calidad de la investigación se debe principalmente al uso excesivo de los métodos cualitativos, tales como los estudios de casos e investigaciones no empíricas. Llegaron así a la conclusión de que un cambio en la metodología de investigación era necesario, si se quería alcanzar plena madurez como ciencia, ya que la investigación debe basarse en el desarrollo de las teorías empíricas y no ser simplemente un reflejo de la realidad actual (Houston y Delevan, 1990). Aunque los enfoques cuantitativos y cualitativos podrían contribuir a la ciencia del conocimiento, existe una clara necesidad de más estudios que apliquen métodos cuantitativos de investigación y no cualitativos (Bailey, 1992), en vista de la creencia de que los métodos empíricos cuantitativo son más precisos y objetivos para alcanzar este fin.

Pese a ello, tanto los métodos cuantitativos como cualitativos de investigación han estado sujetos a revisión por los investigadores en administración pública (Lowery y Evans, 2004). Así, la metodología cualitativa ha suscitado un gran interés por parte de los investigadores, quedando patente en el trabajo llevado a cabo por Brower, Abolafia, M. Y. y Carr (2000). De igual forma, Cozzetto (1994) y Wright, Manigault y Black (2004) hicieron lo propio con la metodología cuantitativa, clarificando la importancia de las técnicas y métodos de medidas, así como la falta de rigor y claridad de la que adolecen los trabajos, llegando a sugerir los caminos a seguir para mejorar la investigación, dando credibilidad a los datos y a las conclusiones finamente extraídas de los mismos.

Finalmente, en el ámbito del e-Gobierno, son pocos los estudios bibliométricos que nos podemos encontrar en la literatura. Por un lado, Yildiz (2007) discute las limitaciones de la investigación previa en este ámbito, tales como la vaguedad en la definición de e-Gobierno, y señala la necesidad de estudios empíricos que darían lugar a nuevos argumentos teóricos, además de nuevos conceptos y categorías. Sin embargo, este estudio no se puede considerar un estudio bibliométrico en el sentido estricto, ya que no se específica la metodología y estrategia de recolección de los estudios, ni la codificación de temáticas y metodologías, sino que lleva a cabo una evaluación crítica de las investigaciones realizadas en e-Gobierno y las futuras líneas de investigación. Se realiza una revisión académica de los artículos centrados en la implementación de las TIC en las administraciones públicas y los modelos de implementación del e-Gobierno, sin tener en cuenta otras facetas de este y sin saber qué artículos ha dejado por el camino. Al no considerar toda la gama de estudios existentes en el momento de la investigación, las conclusiones podrían considerarse sesgadas.

Por otro lado, Heeks y Bailur (2007) centran su análisis en las perspectivas sobre e-Gobierno, la filosofía de investigación y el uso de la teoría, analizando únicamente las comunicaciones y participaciones realizadas a una reunión científica a nivel europeo y las aportaciones científicas publicadas en dos revistas catalogadas dentro del ámbito de estudio de las Ciencias de la Información: Government Information Quarterly e Information Policy, dando lugar a un análisis parcial sobre este tema y obviando las aportaciones realizadas en el congreso en su versión internacional, y las realizadas por otras revistas catalogadas dentro de las ciencias de la información, como Information Society, Social Science Computer Review, etc., o revistas de administración pública, como American Review of Public Administration o Public Administration Review, todas ejemplos de calidad y referentes en investigación. De esta forma, se quedan fuera aportaciones que podrían resultar interesantes y que no se han tenido en cuenta, además de que en cada continente existen tendencias de investigación diferentes, como veremos en nuestra investigación.

Sin embargo, tenemos la intención de ir más lejos, haciendo una revisión completa y minuciosa, identificando los departamentos y universidades que hacen las principales contribuciones científicas, y localizar las investigaciones llevadas a cabo en el ámbito de la administración electrónica, con el objetivo de que los investigadores pueden hacer uso de los resultados aquí ofrecidos, a la hora de establecer las relaciones que promueven la madurez de este tema, y explotar las posibles sinergias.

#### Investigación bibliométrica sobre e-Gobierno

#### Muestra y metodología de la investigación

Para ofrecer un completo examen del estado en el que se encuentra la investigación sobre la implementación de las TIC en las administraciones públicas y las reformas administrativas fruto de esta, hemos analizado las revistas de gran prestigio e impacto internacional incluidas dentro de las categorías de "administración pública" y "ciencias de la información", establecidas por el Instituto para la Información Científica (ISI).

Aun existiendo otras fuentes de difusión del conocimiento -como las tesis, monografías, libros y capítulos-, nos hemos decantado por el examen de revistas, frecuentemente utilizadas por los académicos como fuente de nuevos conocimientos y vehículo de difusión de estos (Nord y Nord, 1995). Además, las revistas dictan estándares de calidad, al someter a los estudios de investigación a un riguroso proceso de revisión (Perry y Kraemer, 1986), por lo que actúan como filtro, estableciendo la naturaleza y el alcance de las ideas presentadas para la difusión entre la comunidad académica (Forrester y Watson, 1994). En este sentido, podemos afirmar que las revistas pueden ser consideradas indicadores de calidad de la productividad científica (Legge y Devore, 1987).

También hay que tener en cuenta que hemos excluido del examen los simposios, resúmenes de comunicaciones, artículos de carácter profesional y reseñas, por entender que ofrecen una limitada extensión en el tema que tratan (Lan y Anders, 2002), aunque sí hemos tenido en cuenta artículos de suplementos especiales, por considerar que estos reflejan un mayor interés en la investigación de un determinado tema y la necesidad de profundizar en él (Rodríguez-Bolívar, Alcaide-Muñoz y López-Hernández, 2010).

Para la selección de las revistas que finalmente serán objeto de análisis, hemos utilizado indicadores objetivos (Forrester y Watson, 1994; Vocino y Elliott, 1982). Aunque estos no están exentos de críticas (Cameron, 2005; Colson, 1990), por la dificultad de expresar en una sola medida un rasgo tan complejo como es la calidad, existe un amplio consenso de que los indicadores basados en la metodología de las citas proporcionan declaraciones provechosas y razonablemente válidas del valor en términos de consumo de investigación (Garfield, 1972). Es por ello que, con base en lo establecido en estudios previos (Plümper y Radaelli, 2004), en nuestro trabajo de investigación hemos excluido aquellas revistas que tengan una importancia marginal, es decir, aquellas con un factor de impacto inferior a 0,25 o con menos de 50 citas totales.

En cuanto a la selección de los artículos que componen la muestra, hemos revisado todos los artículos de cada una de las revistas que cumplían con las condiciones anteriormente reseñadas. Para ello, nos hemos fijado inicialmente en el título y resumen de cada uno de los artículos (Lan y Anders, 2000; Plümper y Radaelli, 2004), así como en sus palabras clave (Barki, Rivard y Talbot, 1988). Además, se procedió a la lectura de la introducción de los artículos para analizar el objetivo de la investigación y determinar los factores relevantes del análisis a desarrollar. Finalmente, en el caso extremo de que para un artículo de la muestra no fuese suficiente con estos criterios de discriminación, procedimos a la lectura completa de este. Fruto de esta labor, disponemos de una base de datos compuesta por 137 artículos publicados en 26 publicaciones periódicas catalogadas isi dentro del área de la administración pública (15) y las ciencias de la información (11), durante el periodo de tiempo 2000-2010 (tabla 1).

##### Tabla 1
Artículos publicados en cada una de las revistas (2000-2010).

##### Fuente: elaboración propia.

Con la intención expresa de alcanzar el objetivo establecido en esta investigación, cada uno de los artículos incluidos en nuestra base de datos fue catalogado, usando para ello ms Excel software, el año de publicación, el título de la revista, la afiliación institucional de los autores (departamentos y universidades), el principal tema tratado y la principal metodología utilizada. Cuando el artículo examinaba múltiples temas de investigación y para ello utilizaba diferentes metodologías de investigación, se ha evitado la doble contabilización de este centrándonos únicamente en el objetivo principal de la investigación y en la metodología utilizada para su cumplimiento. En este sentido, fue esencial identificar el objetivo principal del documento científico.

La determinación de la temática analizada en los artículos y las metodologías aplicadas se ha obtenido mediante la aplicación de un análisis de contenido exploratorio de cada uno de los artículos, que permitió poner a prueba por primera vez los datos. Durante esta fase de investigación se utilizó el paquete de software QSR NVivo en su octava versión, con la intención de automatizar la codificación de artículos (Frasser, 2000). Esta codificación se lleva a cabo usando la opción de construir etiquetas aleatorias que permite el software, alcanzándose una estructura de conceptos jerarquizada, que se va mejorando, ampliando y cambiando, tomando como base la literatura académica sobre e-Gobierno.

Para esta fase de codificación, los investigadores celebraron varias reuniones para la determinación de las etiquetas y las temáticas finalmente elegidas en consenso (tabla 2), para posteriormente proceder a una codificación por separado de cada uno de los artículos que componen la muestra. Al igual que para la determinación de las temáticas, se celebraron posteriores reuniones y se discutieron las controversias existentes hasta alcanzar un consenso en la definición de las seis subcategorías que se analizan en este trabajo.

##### Tabla 2
Distribución cronológica de los diferentes temas de investigación en e-Gobierno.

##### Fuente: elaboración propia.

#### Análisis de resultados

Evolución del tema de investigación y metodologías usadas

En los últimos años, la implementación de las TIC en las administraciones públicas ha generado un creciente interés entre la comunidad académica, reflejado en un aumento paulatino de las investigaciones llevadas a cabo en el campo de e-Gobierno hasta la actualidad, aunque en los años 2008 y 2009 presenta un leve descenso que parece recuperarse de nuevo en el 2010, ya que con solo la mitad de los números publicados, disponemos de 13 estudios de investigación (tabla 2).

Los principales enfoques giran en torno al análisis de las iniciativas de e-Gobierno implantadas (24,09%), el análisis de los aspectos críticos y factores clave en la adopción del e-Gobierno (22,63%), las revisiones de literatura que muestren una visión general del estado actual y que brinden una proyección de las tendencias futuras (16,79%), así como el análisis de la implementación de nuevas aplicaciones informativas y sistemas de información que favorecen el mejor funcionamiento de las administraciones públicas (16,06%) (tabla 2).

En cualquier caso, parece clara la predilección de algunas revistas por recoger este tipo de investigaciones, ya que en el caso de las revistas catalogadas dentro de las ciencias de la información podemos observar que más de la mitad de los artículos (54,55%) se encuentran publicados en la Government Information Quarterly, mientras que en el caso de las revistas de administraciones públicas esta tendencia no parece tan clara, aunque si hay cuatro revistas que destacan sobre el resto por publicar más de la mitad de los artículos, American Review of Public Administration (16,67%), Internacional Journal of Administrative Sciences (16,67%), Public Administration Review (13,33%) y Public Administration and Development (11,67%).

La evolución cronológica de cada una de las temáticas de investigación analizadas (tabla 2) nos pone de manifiesto que, entre los principales tópicos tratados en la literatura sobre la reinvención e innovación de las administraciones públicas, son los estudios que analizan los modelos de e-Gobierno implementados, así como aquellos que miden la evolución y desarrollo de la adopción de las TIC e Internet en los organismos gubernamentales, los que muestran una tendencia creciente, intentando poner de manifiesto la utilidad de dicha implementación y permitiendo la comprensión de la evolución real de la administración electrónica.

Además, los estudios sobre los principales aspectos críticos y factores clave en la adopción de los avances tecnológicos siempre han estado presentes en la literatura, mostrando una tendencia similar a la expuesta por las investigaciones sobre las nuevas aplicaciones y herramientas que favorecen un funcionamiento más eficiente de la administración pública. Por su parte, los artículos que pretenden realizar una revisión de la literatura sobre e-Gobierno, centrados principalmente en estudios bibliométricos y de metasíntesis sobre el e-Gobierno, han sido hasta ahora parciales (Rodríguez et al., 2010) y han mostrado una tendencia irregular, con un punto álgido en el 2007. No obstante, su utilidad ha quedado bastante contrastada, ofreciendo tanto una visión general de lo investigado hasta ese momento, como un punto necesario para identificar nuevas temáticas sobre las que avanzar en la investigación, intentando resolver las contradicciones empíricas obtenidas en los estudios previos, e identificando tendencias y factores reales de desarrollo del e-Gobierno (Sánchez-Meca y Ato-García, 1989).

Centrándonos en la metodología usada en los artículos publicados, se observa una preferencia por el uso de métodos de investigación empíricos (81,02%), sobre los no empíricos (18,98%). En este último caso, nos encontramos con estudios que realizan revisiones de literatura, integrando investigaciones y trabajos que tratan la implementación del e-Gobierno, así como extrayendo conclusiones globales sobre los aspectos críticos y factores clave que favorecen u obstaculizan su adopción. Entre los métodos empíricos usados, las herramientas cualitativas (67,88%) superan a las herramientas cuantitativas (13,14%) (tabla 3), siendo los estudios de casos (55,91%) los que destacan claramente dentro de las herramientas de carácter cualitativo.

##### Tabla 3
Metodologías usadas para analizar cada uno de los fenómenos relacionados con el e-Gobierno.

##### Nota.* En el apartado “otras” se encuentran incluidos artículos que siguen las siguientes metodologías: esce (1); fac (2); long (1) y meta (1). El significado de las abreviaturas, así como la definición de cada una de las metodologías, se encuentran recogidas en el anexo 2. Fuente: elaboración propia.

De hecho, los estudios de casos se han utilizado para enfocar cualquier investigación sobre la inclusión de las nuevas tecnologías en las administraciones públicas, aunque su utilización tiene un lugar predominante tanto en el análisis de las iniciativas adoptadas de e-Gobierno, como en el conocimiento de los factores críticos necesarios para la implementación de la administración electrónica, porque supone una metodología apropiada para el análisis de este tipo de investigaciones, toda vez que describe situaciones y hechos concretos, permite conocer la situación en la que se encuentra una determinada administración, y comprueba y contrasta los fenómenos, situaciones y hechos, lo que permite al investigador el planteamiento de hipótesis.

La metodología cuantitativa más utilizada es el análisis de regresión (38,88%), sin que destaque ninguna otra metodología (tabla 3), siendo ampliamente utilizada en el análisis de los aspectos críticos y la determinación de los factores institucionales y del entorno que favorecen o que, por el contrario, complican la adopción e implementación de las estrategias de modernización de las administraciones públicas.

En resumen, existe una clara preferencia por el uso de metodologías cualitativas y, aunque esta tendencia (gráfico 1) se debilitó por un tiempo, ha vuelto a aumentar desde el 2008, gracias -en gran medida-, al intensivo uso de los estudios de casos para analizar y comprender el establecimiento de programas, políticas y estrategias de e-Gobierno. Mientras, el empleo de metodologías cuantitativas ha mantenido una tendencia constante, aunque su utilización está siendo menor en los últimos años (gráfico 1).

#####
Gráfico 1
Evolución histórica de las metodologías cuantitativas y cualitativas.

#####

#### Procedencia de las principales aportaciones

El mayor grupo de trabajos de investigación sobre e-Gobierno publicados en revistas de impacto internacional proceden de universidades del Norte de América (42,95%) -de este grupo, el 33,49% procede de autores de universidades de Estados Unidos y el 9,45% de autores de universidades canadienses- (tabla 4). Entre las universidades de Estados Unidos más activas en este sentido, se encuentran las universidades públicas de reconocido prestigio por sus investigaciones, tales como la Universidad Estatal de Nueva York, la Universidad Estatal de California, la Universidad Estatal de Georgia y la Universidad de Maryland, junto con otras menos renombradas pero que en temas de e-Gobierno realizan importantes investigaciones, como la Universidad de Texas en San Antonio, y universidades privadas altamente selectivas como la Universidad del Sudeste de California. En el caso de las universidades canadienses, la mayoría de los estudios proceden de universidades públicas, como la Universidad de Carleton y la Universidad de Toronto.

##### Tabla 4
Temas de investigación analizados por cada uno de los países y sus universidades.

##### Fuente: elaboración propia.

Posteriormente, en importancia, se encuentran las universidades europeas (35,47%). En este caso, la mayoría de los artículos publicados sobre innovación y tecnología en las administraciones públicas proceden de universidades del Reino Unido (40,09%), España (16,45%) y Holanda (16,05%) (tabla 4). Entre las universidades británicas más representativas encontramos las universidades de Manchester y Cranfield, mientras que las universidades de Zaragoza, Pompeu Fabra y Complutense de Madrid son las principales contribuyentes de este tipo de artículos en España. En el caso de Holanda, aparecen dos universidades como las principales contribuyentes de estudios de investigación sobre reinvención e innovación de los organismos gubernamentales: la Universidad de Twente y la Erasmus de Róterdam.

Sin embargo, los estudios de investigación no solo provienen de Norte América y Europa. Una parte importante de los estudios proceden de universidades de Asia (14,19%). Entre las principales universidades asiáticas encontramos la Universidad Nacional de Singapur, la Yonsei University y la Dankook University, para el caso coreano, y la Universidad de Hong Kong, para el caso de China. Del mismo modo, los estudios de administraciones electrónicas provienen, de manera más residual, de universidades de Australia (4,33%), y Nueva Zelanda (1,94%). Finalmente, las contribuciones de los universidades de África y los países de Sur y Centro América (1,94% y 1,67%, respectivamente) son muy escasas al respecto.

Los artículos publicados son en su mayoría producidos por dos o más compañeros (80,51%), usualmente de la misma universidad (68,10%), aunque no es extraño encontrarse con artículos fruto de colaboraciones entre miembros de diferentes universidades, e incluso miembros de universidades de diferentes países. Los autores son, en su mayoría, hombres; la participación de las mujeres como autoras de este tipo de investigación representa menos del 30%.

Por su parte, el tema en cuestión parece ser de interés para una comunidad académica diversa, pero hay un especial dominio por los autores en el ámbito de la administraciones públicas (24,45%), ciencias públicas y políticas (16,91°%), ciencias de la computación (16,17%) y gestión y organización de empresas (12,33%), aunque es posible observar la participación residual de áreas de conocimiento tan heterogéneas como ciencias de la información y biblioteconomía, contabilidad, economía, marketing y comunicación (gráfico 2).

#####
Gráfico 2
Departamentos académicos que tratan la transformación e innovación del e-Gobierno.

##### Fuente: elaboración propia.

Por otra parte, la colaboración de los profesionales en esta área de investigación supone un peso importante de 10,06%, dotando al artículo de una visión práctica y conocimientos de primera mano sobre la situación de los distintos organismos gubernamentales, aunque suelen participar en la mayoría de este tipo de artículos como coautores junto a investigadores académicos y especialistas (66,67%). Estas personas son por lo general funcionarios y administradores, afiliados a departamentos del gobierno, como el departamento de defensa, energía, servicios de información o informática y telecomunicaciones. También encontramos profesionales que forman parte de las fundaciones e instituciones públicas y empresas privadas, así como bibliotecarios que trabajan en bibliotecas públicas, como la Biblioteca del Congreso y la Biblioteca Nacional de los Estados Unidos.

En la tabla 5 mostramos la preferencia de temáticas de investigación por parte de los distintos departamentos que investigan en este área. Según se observa en dicha tabla, existe una clara preferencia de algunas áreas de conocimiento por investigar en determinados temas como, por ejemplo, los departamentos de administraciones públicas, de ciencias políticas y ciencias de la computación, que están interesados en conocer los aspectos críticos y factores clave que favorecen u obstaculizan la implementación de las nuevas tecnologías en las administraciones públicas. Por su parte, los departamentos de organización de empresas están interesados en dar a conocer las nuevas aplicaciones informáticas que favorecen la innovación en los organismos gubernamentales, mientras que los departamentos de contabilidad y económicas están interesados en conocer el estado y situaciones de programas, políticas y proyectos de difusión e integración de las nuevas tecnologías en los organismos gubernamentales. Finalmente, los profesionales suelen participar en artículos relacionados con las iniciativas implantadas y el uso de nuevas aplicaciones y sistemas de información que favorezcan las buenas prácticas de e-Gobierno.

##### Tabla 5
Temas de investigación analizados por los principales departamentos académicos.

##### Fuente: elaboración propia.

Si nos centramos en el origen de los estudios de investigación realizados, la tabla 4 muestra que, aunque las universidades de los Estados Unidos producen todo tipo de estudios, los principales artículos publicados hacen referencia a: a) análisis sobre aspectos críticos y claves para la adopción del e-Gobierno (investigado en las universidades de Maryland y Texas); b) análisis de las principales aplicaciones informativas que favorecen el correcto funcionamiento de las estrategias de e-Gobierno (investigado por universidades de Texas y Missouri), y c) revisiones de literatura y análisis del estado actual para conocer las tendencias futuras (investigado en las universidades de Maryland y Universidad de Georgia).

En el caso de las universidades británicas, las principales contribuciones se encuentran dirigidas al análisis de aspectos críticos y clave para la adopción de e-Gobierno y al análisis del estado de la cuestión y de las futuras tendencias de investigación (Universidad de Manchester), mientras que en España, la mayoría de las contribuciones se centran en los estudios sobre la evaluación de las iniciativas de e-Gobierno y en el análisis de los modelos de administración electrónica más eficientes, así como su evolución en el tiempo (investigado fundamentalmente por la Universidad de Zaragoza). Por otra parte, en Canadá destaca el interés sobre las principales aplicaciones informativas que favorecen la implementación del e-Gobierno, así como sobre la evaluación y comprensión de cómo las administraciones públicas han conseguido introducir e integrar las nuevas tecnologías, los problemas que le han supuesto y los beneficios que encuentran en su aplicación, mientras que en el caso de las universidades australianas y neozelandesas, sus intereses giran en torno al conocimiento del estado actual de las iniciativas establecidas por los organismos públicos.

En el caso de las universidades asiáticas, hay un marcado interés en dar a conocer todas las peculiaridades de las iniciativas implementadas, tema analizado sobre todo en las universidades de Singapur y China, mientras que las universidades coreanas diversifican sus esfuerzos en investigaciones relacionadas con la evolución del e-Gobierno y con el conocimiento del estado actual de la investigación y en las futuras tendencias.

Finalmente, en Holanda, el interés se encuentra disperso entre varias alternativas de investigación, sin que ningún interés resalte sobre el resto.

### Conclusiones

La introducción de las nuevas tecnologías como una herramienta importante para llevar a cabo reformas administrativas en el sector público ha dado lugar, en la última década, a una gran difusión de estudios científicos sobre este tema, siendo las áreas de administración pública y ciencias de la información aquellas que, por sus objetivos y temáticas, más han abordado esta materia. Si bien las reformas administrativas y las herramientas necesarias para llevarlas a cabo, como la introducción de las nuevas tecnologías, supone una temática esencial para cualquier revista incluida en el área de administración pública, desde el punto de vista del área de las ciencias de la información, las publicaciones han estado concentradas principalmente en aquellas revistas que tratan de manera conjunta el aspecto de nuevas tecnologías y las administraciones públicas, destacando claramente, en este sentido, la revista Government Information Quarterly, por su alto contenido de artículos.

En cualquier caso, al igual que Heeks y Bailur (2007) y Yildiz (2007), podemos afirmar que las investigaciones tienden a centrarse en estudios que observan y evalúan los resultados de iniciativas en materia de innovación tecnológica, haciendo especial hincapié en los modelos de e-Gobierno implementados, presentando los hallazgos de análisis de factibilidad, de contenido y heurístico de los sitios web gubernamentales, en algunos casos con consejos y buenas prácticas a seguir, pero sin entrar en poner en prueba teorías anteriores, ni producir nuevas teorías o perfeccionar las ya existentes. Aunque los descubrimientos de los factores o aspectos que facilitan la introducción de las TIC a favor de la implementación de las nuevas reformas administrativas pueden resultar prácticos, dado su carácter meramente descriptivo, no resulta de ayuda a los planificadores gubernamentales y gestores públicos con poder de decisión a la hora de mejorar los planes relativos a la administración electrónica (Yildiz, 2007).

En este sentido, la mayoría de las investigaciones publicadas han utilizado metodología empírica, a través de los análisis del caso. Derivada del carácter sociológico que ostenta el área de reformas administrativas, a través de la implementación de nuevas tecnologías, la mayoría de estas investigaciones se han basado en metodologías de carácter cualitativo. Por su parte, las metodologías cuantitativas han venido, principalmente, a cubrir el campo de la determinación de los factores críticos -favorables o desfavorables- para la implementación de la administración electrónica y, para ello, se han basado en la aplicación del análisis de regresión. En tanto que la determinación de estos factores debería presentar un carácter general y no depender de los casos analizados, la utilización de esta metodología ha ido disminuyendo en importancia relativa a lo largo del tiempo.

No obstante, el hecho de un mayor peso de investigaciones que utilizan metodología cualitativa hace pensar en la necesidad de consolidar la investigación de e-Gobierno con la utilización de metodología de investigación cuantitativa, siendo esta una de las grandes oportunidades de investigación que se abren en el futuro para el área de la implementación de las nuevas tecnologías en las administraciones públicas, máxime si consideramos su importante poder inferencial y el hecho de que los métodos cuantitativos ofrecen unos datos más precisos y objetivos en las investigaciones (Bailey, 1992). Las investigaciones futuras podrían basarse en este tipo de metodologías cuantitativas que permiten la creación de argumentos teóricos, lo que favorece el progreso del conocimiento existente, a partir de los datos empíricos que justifiquen las hipótesis planteadas de manera deductiva, constituyendo nuevas teorías y enriqueciendo las existentes, es decir, aportando un mayor sustento teórico a la disciplina y permitiendo una mayor madurez de este campo de investigación.

De hecho, el campo de investigación del e-Gobierno es un campo de investigación ecléctico, capaz de reunir diferentes disciplinas, campos y áreas de estudio. Cada área de investigación aporta las teorías y metodologías propias y afines a esa área, empleando los métodos y técnicas que considera oportunos para examinar el fenómeno, tales como la investigación-acción, característica de ciencias de la educación o los análisis de factibilidad y heurístico propios de las ciencias de la computación o sistemas de información, implicando, a su vez, continuos cambios que no favorecen la maduración de la disciplina científica.

Sea como fuere, siendo los países anglosajones los que han estado inmersos en reformas administrativas, en las cuales la introducción de las nuevas tecnologías ha tenido una presencia importante, han sido los principales centros universitarios de esos países los que han centrado gran parte de su investigación en el estudio de casos específicos de la aplicación de las nuevas tecnologías dentro de las administraciones públicas. Esto explica que hayan sido las universidades de Estados Unidos, canadienses y británicas las que, por excelencia, destacan en investigación sobre esta temática. Todo ello obedece a un doble motivo: por un lado, porque están interesados en observar si las reformas administrativas llevadas a cabo en sus países, y basadas en la introducción de las nuevas tecnologías, estaban permitiendo alcanzar los objetivos de una mayor eficacia y eficiencia en la gestión pública de las administraciones; por otro, para seguir avanzando en el desarrollo de la implementación de nuevas tecnologías dentro de la administración pública que permitiera tanto la digitalización de los servicios públicos y la difusión de información, como la mejora de la interacción con los ciudadanos.

De hecho, esto ha dado lugar a que los principales temas de investigación abordados por estas universidades hayan estado dirigidos al análisis de los factores clave para la implementación de las nuevas tecnologías en las administraciones públicas, al análisis del comportamiento positivo o negativo de las nuevas tecnologías en el día a día de estas administraciones y al conocimiento de las principales aplicaciones informáticas que favorecen la implementación del e-Gobierno. No obstante, aún no se ha publicado un gran número de investigaciones teóricas que puedan encuadrar a la implementación de las nuevas tecnologías dentro de las reformas administrativas. Estos estudios son necesarios para poder comprender el papel de las nuevas tecnologías en dichas reformas y poder derivar hipótesis que permitan contrastar su utilidad real dentro del modelo de gestión pública actual. Esta es, por tanto, una oportunidad de investigación futura en la que los investigadores podrían trabajar en los próximos años.

Además, no existen numerosos estudios sobre la implementación de las TIC en las economías menos favorecidas, por lo que las investigaciones deberían tender a ayudar al desarrollo de este tipo de administraciones públicas, para lo que sería necesario conocer cuál es la percepción y la actitud de los gestores públicos y la gente con poder de decisión sobre políticas de e-Gobierno, así como los procesos de planificación y toma de decisiones, permitiendo comprender mejor la complejidad que supone la innovación de las administraciones públicas y el proceso de reforma al que se están viendo sometidas. En este sentido, estamos de acuerdo con Yildiz (2007) cuando afirma que los investigadores deberían tratar de conocer las experiencias de e-Gobierno de manos de los responsables políticos, ya que sus percepciones constituyen un componente importante de sus acciones, funciones y formulación de políticas, lo que permitiría obtener información sobre lo que está sucediendo en el interior del cuadro negro de la administración electrónica, y ofrecer información de exitosos casos a imitar.

Por su parte, en tanto que las reformas administrativas constituyen el eje central de la utilización de las nuevas tecnologías en las administraciones públicas, han sido los investigadores ligados a los departamentos de administración pública, de ciencias públicas y políticas, y de gestión y organización de empresas los que de forma mayoritaria han aportado a la investigación sobre dicha utilización y su repercusión en la gestión pública. Además, investigadores ligados al departamento de ciencias de la computación, en cuanto generadores de nuevas tecnologías e investigadores sobre los efectos de su aplicación, también han ostentado un gran papel en la investigación sobre e-Gobierno hasta hoy día.

Ahora bien, el carácter esencialmente empírico en el que se ha basado la investigación sobre e-Gobierno en los últimos años ha favorecido tanto las colaboraciones entre los investigadores de diferentes áreas, que han dado lugar a una gran cantidad de artículos publicados en las revistas de la muestra del presente trabajo de investigación, como también a la existencia de una importante colaboración de profesionales de las administraciones públicas, que han aportado sus experiencias profesionales en los casos de estudio analizados por los investigadores académicos.

En conclusión, la revisión de la literatura presentada en este trabajo de investigación suministra un detallado análisis de la investigación desarrollada sobre la implementación de las nuevas tecnologías en las administraciones públicas dentro del campo de la administración pública y las ciencias de la información. En él se han identificado los principales tópicos analizados, las metodologías utilizadas y la procedencia de las investigaciones, intentando dar explicación a este fenómeno. Se han identificado, además, posibilidades de investigación derivadas de las observaciones desarrolladas, lo que muestra la necesidad de poner un mayor énfasis en trabajos de carácter cuantitativo y en la construcción de teorías que soporten la implementación de las nuevas tecnologías dentro de los movimientos actuales de reformas administrativas. A este respecto, investigaciones futuras encaminadas a conocer el estado de la participación ciudadana, de la e-Democracia y de la e-Gobernanza, así como a delimitar los factores que podrían favorecer tales aspectos, podrían ser interesantes para la literatura de gestión pública y reformas administrativas.

### Referencias bibliográficas

Arnal, J., Del Rincón, D., & La Torre, A. (1994). Investigación educativa. Fundamentos y metodología. Barcelona: Labor.

Atkins, S. E. (1988). Subject trends in library and information science research 1975-1984. Library Trends, 36(4), 633-658.

Babbie, E. (2000). Fundamentos de la investigación social. Madrid: Paraninfo.

Bailey, M. T. (1992). Do Physicists Use Case Studies? Thoughts on Public Administration Research. Public Administration Review, 52(1),47-55.

Barki, H., Rivard, S., & Talbot, J. (1988). An Information Systems Keyword Classification Scheme. MIS Quarterly, 12(2), 299-322.

Berelson, B. (1952). Content Analysis in Communication Research. New York: Free Press.

Bonsón, E., Escobar, T., & Flores, F. (2006). Online transparency of the banking sector. Online Information Review, 30(6), 714-730.

Borins, S. (2001). Public Management Innovation: Toward a Global Perspective. American Review of Public Administration, 31(1), 5-21.

Borins, S. (2002). On the frontiers of electronic governance: a report on the United States and Canada. International Review of Administrative Science, 68(2), 199-211.

Brookes, B. C. (1990). Biblio-, sciento-, informetrics? What are we talking about?. Informetrics, 89/90, 31-43.

Brower, R. S., Abolafia, M. Y., & Carr, J. B. (2000). On Improving Qualitative Methods in Public Administration Research. Administration and Society, 32(4), 363-397.

Busha, C., & Harter, S. P. (1980). Research Methods in Librarianship: techniques and interpretations. New York: Academic Press.

Byrne, M. (2001). Hermeneutics as a methodology for textual analysis. AORN Journal, 73(5), 968-970.

Cameron, B. D. (2005). Trends in the Usage of isi Bibliometric Data: Uses, Abuses, and Implications. Portal: Libraries and the Academy, 5(1), 105-125.

Cejudo, G. M. (2008). Explaining change in the Mexican public sector: the limits of New Pubic Management. International Review of Administrative Sciences, 74(1), 111-127.

Chan, H. S., & Chow, K. W. (2007). Public Management Policy and Practice in Western China: Metapolicy, Tacit Knowledge, and implications for Management Innovation Transfer. American Review of Public Administration, 37(4), 479-497.

Charih, M., & Robert, J. (2004). Government On-line in the federal government of Canada: the organizational issue. International Review of Administrative Sciences, 70(2), 373-384.

Cleary, R. E. (2000). The Public Administration Doctoral Dissertation Reexamined: An Evaluation of the Dissertations of 1998. Public Administration Review, 60(5), 446-455.

Colson, H. (1990). Citation Rankings of Public Administration. Administration and Society, 21 (4), 452-471.

Cook, I., & Horobin, G. (2006). Implementing eGovernment without promoting dependence: Open Source software in developing countries in Southeast Asia. Public Administration and Development, 26(4), 279-289.

Cooper, H. M. (1988). Organizing knowledge syntheses: A taxonomy of literature reviews. Knowledge in Society, 1(1), 104-126.

Coursey, D., & Norris, D. F. (2008). Model of E-Government: Are they correct? An Empirical Assessment. Public Administration Review, 58(3), 523-536.

Cozzetto, D. A. (1994). Quantitative Research in Public Administration: A Need to Address Some Serious Methodological Problems. Administration and Society, 26(3), 337-343.

Evans, D., & Yen, D. C. (2006). E-Government: Evolving relationship of citizens and government, domestic, and international development. Government Information Quarterly, 23(2), 207-235.

Federowicz, J., & Dias, M. A. (2010). A decade of design in digital government research. Government Information Quarterly, 27(1), 1-8.

Flanagan, J. (1954). The critical incident technique. Psychological Bulletin, 51 (4), 327-358.

Forrester, J. P., & Watson, S. S. (1994). An Assessment of Public Administration Journals: The Perspective of Editors and Editorial Boards Members. Public Administration Review, 54(5), 474-482.

Fountain, J. E. (2002). Information, institutions and governance. Cambridge: Harvard University.

Frasser, D. (2000). QSR Nvivo. NUDIST Vivo. [Computer software]. Reference Guide. Malaysia. QSR International Pty. Ltda. Melbourne Australia.

Galton, F. (1886). Regression towards mediocrity in hereditary stature. Journal of the Anthropological Institute, 15, 246-263.

Garfield, E. (1972). Citation analysis as a tool in journal evaluation. Science, 178(60), 471-479.

Georgakellos, D. A., & Marcis, A. M. (2009). Application of the semantic learning approach in the feasibility studies preparation training process. Information Systems Management, 26(3), 231-240.

Grönlund, A. (2005). What's in a field: Exploring the e-Government domain. In Proceedings of the 38th Hawaii International Conference on System Sciences, Hawaii.

Grosser, A. (1973): Politik erkláren (Explicar la Política). Munich: Hanser.

Hartmann, J. (Ed.). (1980). Vergleichende politische Systemforschung: Konzepte und Analysen. Colonia/Viena: Böhlau.

Heeks, R., & Bailur, S. (2007). Analyzing e-government research: Perspectives, philosophies, theories, methods, and practice. Government Information Quarterly, 24(1), 243-265.

Holden, S. H. (2003). The evolution of information technology management at the federal level: Implications for public administration. En G. D. Garson (ed.), Public information technology: Policy and management issues (pp. 53-73). Hershey: Idea Group Publishing.

Holden, S. H.; Norris, D. F., & Fletcher, P. D. (2003). Electronic government at the local level: Progress to date and future issues. Public Performance and Management Review, 26(3), 1-20.

Hood, C. (1991). A Public Management for All Seasons? Public Administration, 69(1), 3-19.

Hood, C. (1995). Contemporary Public Management: A New Global Paradigm? Public Policy and Administration, 10, 104-117.

Houston, D. J., & Delevan, S. M. (1990). Public Administration Research: An Assessment of Journal Publications. Public Administration Review, 50(6), 674-681.

Hui, G., & Hayllar, M. R. (2010). Creating Public Value in E-Government: A Public-Private-Citizen Collaboration Framework in Web 2.0. Australian Journal of Public Administration, 69(S1), S120-S131.

Jaeger, P. T. (2003). The endless wire: E-government as global phenomenon. Government Information Quarterly, 20(4), 323-331.

Jong, M., & Lentz, L. (2006). Scenario evaluation of municipal Web sites: Development and use of an expert-focused evaluation tool. Government Information Quarterly, 23(2), 191-206.

Joseph, R. C., & Jeffers, P. I. (2009). E-Government in the Caribbean Nations. Journal of Global Information Technology Management, 12(1), 52-70.

Juliani, F., & José de Oliveira, O. (2016). State of research on public service management: Identifying scientific gaps from a bibliometric study. International Journal of Information Management, 36(6), 1033-1041.

Justis, R. T., & Kreighmann, B. (1979). The feasibility study as a tool for venture analysis. Business Journal of Small Business Management, 17(1), 35-42.

Kaylor, C. H., Deshazo, R., & Van Eck, D. (2001). Gauging e-government: A report on implementing services among American cities. Government Information Quarterly, 18(4), 293-307.

Kraemer, K., & King, J. L. (2008). Information Technology and Administrative Reform: Will E-Government be Different? En Donald Norris (ed.), E-Government Research: Policy and Management (pp. 1-20). Hershey, New York: IGI.

Krebs, T. B., y Pelissero, J. P. (2010). What influences City Council adoption and support for Reinventing Government? Environmental or Institutional Factors? Public Administration Review, 70(2), 258-267.

Krippendorff, K. (1980). Content analysis: An introduction to its methodology. USA: SAGE.

Kurt, L. (1946). Action research and minority problems. Journal of Social Issues, 2(4), 34-46.

Lan, Z., & Anders, K. K. (2000). A Paradigmatic View of Contemporary Public Administration Research: An Empirical Test. Administration and Society, 32(2), 138-165.

Lee, J. (2010). 10 year retrospect on stage models of e-Government: Qualitative meta-synthesis. Government Information Quarterly, 27(3), 220-230.

Legge, J. S. Jr., & Devore, J. (1987). Measuring Productivity in Public Administration and Public Affairs Programs 1981-1985. Administration and Society, 19(2), 147-156.

Löfstedt, U. (2005). E-Government: Assessment of current research and some proposals for future direction. International Journal of Public Information Systems, 1 (1), 39-52.

Lowery, D., & Evans, K. G. (2004). The Iron Cage and Methodology: The Vicious Circle of Means Limiting Ends Limiting Means. Administration and Society, 36(3), 306-327.

McCurdy, H. E., & Cleary, R. E. (1984). A Call for Appropriate Methods. Public Administration Review, 44(6), 49-55.

Moon, M. J. (2002). The evolution of e-government among municipalities: Rhetoric or reality. Public Administration Review, 62(4), 424-433.

Nielsen, J. (1994). Heuristic evaluation. En J. Nielsen & R. L. Mack (Eds.), Usability Inspection Methods (pp. 25-62). New York: Wiley.

Nord, J. H., & Nord, G. D. (1995). MIS research: Journal status and analysis. Information and Management, 29(1), 29-42.

Norris, D. F. (2005). Electronic democracy at the American grassroots. International Journal of Electronic Government Research, 1 (3), 1-14.

OECD [Organization for Economic Co-operation and Development] (2003). Engaging Citizens Online for Better Policy-making. OECD Observer, Policy Brief. Recuperado el 17 de febrero del 2010 de Recuperado el 17 de febrero del 2010 de http://www.oecd.org/publications/Pol_brief .

Palmer, R. E. (1969). Hermeneutics: Interpretation Theory in Scleiermacher, Deilthey, Heidegger and Gadamer. Evanston-Illinoir: Northwestern University Press.

Paris, M. (2005). Local E-Government and Devolution: Electronic Service Delivery in Northern Ireland. Local Government Studies, 31 (3), 307-319.

Perry, J, L., & Kraemer, K. L. (1986). Research Methodology in the Public Administration Review, 1975-1984. Public Administration Review, 6(3), 215-226.

Piotrowski, S. J., & Van Ryzing, G. G. (2007). Citizen Attitudes Toward Transparency in Local Government. American Review of Public Administration, 37(3), 306-323.

Plümber, T., & Radaelli, C. M. (2004). Publish or perish? Publications and citations of Italian political scientists in international political science journals, 1990-2002. Journal of European Public Policy, 11(6), 1112-1127.

Pritchard, A. (1969). Statistical bibliography or bibliometrics. Journal of Documentation, 25(4), 348-349.

Ragin, C. C., & Zaret. D. (1983). Theory and Method in Comparative Research: Two Strategies. Social Forces, 61(3), 731-754.

Ramos-Rodríguez, A. R., & Ruíz-Navarro, J. (2004). Changes in the intelectual structure of strategic management research: a bibliometric study of the Strategic Management Journal, 1980-2000. Strategic Management Journal, 25(10), 981-1004.

Rocheleau, B., & Wu, L. (2002). Public Versus Private Information Systems. Do they differ in important ways? A review and empirical test. American Review of Public Administration, 32(4), 349-397.

Rodríguez, E. A. I., & Gutiérrez, C. J. (1999). Ciencia y método científico. En F. J. Saravia (ed.) (1999), Metodología para la investigación en marketing y dirección de empresas (pp. 21-50). Madrid: Pirámide.

Rodríguez-Bolívar, M. P., Alcaide-Muñoz, L., & López-Hernández, A. M. (2010). Trends of e-Government research: Contextualization and research opportunities. International Journal of Digital Accounting Research, 10, 87-111.

Ronan, W., & Latham, G. (1974). The reliability and validity of the critical incident technique: A closer took. Studies in Personnel Psychology, 6(1), 53-64.

Sánchez-Meca, J., & Ato-García, M. (1989). Metaanálisis: Una alternativa metodológica a las revisiones tradicionales de la investigación. En J. Arnau y H. Carpintero (Eds.), Tratado de psicologia general 1: Historia, teoría y método (pp. 617-669). Madrid: Alhambra.

Scholl, H. J. (2006). Electronic government: Information management capacity, organizational capabilities, and the sourcing mix. Government Information Quarterly, 23(1), 73-96.

Sharifi, M., & Manian, A. (2010). The study of the success indicators for pre-implementation activities of Iran's E-Government development projects". Government Information Quarterly, 27(1), 63-69.

Stallings, R. A., & Ferris, J. A. (1988). Public Administration Research: Work in par, 1940-1984. Public Administration Review, 48(1), 580-585.

Suchman, E. (1967). Evaluative Research. New York: Russell Sage Foundation.

Thatcher, J. B., Brower, R. S., & Mason, R. M. (2006). Organizational fields and the diffusion of information technologies within and across the Nonprofit and Public Sectors: A Preliminary Theory. American Review of Public Administration, 36(4), 437-454.

Visser, R. A. (1985). Analysis of longitudinal data in behavioural and social research. Leiden: DSWO Press.

Vocino, T., & Elliott, R. H. (1982). Journal Prestige in Public Administration: A Research Note. Administration and Society, 14(1), 5-14.

Welch, E. W., & Hinnant, C. C. (2002). Internet Use, Transparency, and Interactivity Effects on Trust in Government. Proceedings of the 36th Hawaii International Conference on System Sciences-2003, Hawaii, USA.

Wright, B. E., Manigault, L. J., & Black, T. R. (2004). Quantitative Research Measurement in Public Administration: An Assessment of Journals Publications. Administration and Society, 35(6), 747-764.

Yildiz, M. (2007). E-government research: Reviewing the literature, limitations, and ways forward. Government Information Quarterly, 24(3), 646-665.

Yin, R. K. (1994). Case Study Research. Design and Methods. London: SAGE.

Zeger, S. L., & Liang, K. Y. (1992). An overview of methods for the analysis of longitudinal data. Statistics in Medicine, 11, 1825-1839.

Anexo 1. Definición de las temáticas de investigación

#####

##### Fuente: elaboración propia.

Anexo 2. Lista de abreviaturas y definición de metodologías

#####

##### Fuente: elaboración propia.

### Notas

1 CITACIÓN: Alcaide Muñoz, L., Rodríguez Bolívar, M. P., & López Hernández, A. M. (2017). Análisis bibliométrico sobre la implementación de las tecnologías de la información y la comunicación en las administraciones públicas: aportaciones y oportunidades de investigación. Innovar, 27(63), 141-160. doi: 10.15446/innovar.v26n63.60674.

### Notas

2 CLASIFICACIÓN JEL: O38, H11, M15.

### Notas de autor

*CORRESPONDENCIA: Laura Alcaide Muñoz. Facultad de Ciencias Económicas y Empresariales. Campus La Cartuja s/n. Código Postal 18071. Granada, España.