Evaluating technology intelligence system efficiency

Luz Marina Torres P.; Óscar Fernando Castellanos Domínguez; Claudia Nelcy Jiménez H.

doi:10.15446/ing.investig.v30n3.18182

Published

2010-09-01

Evaluating technology intelligence system efficiency

Valoración de la eficiencia de los sistemas de inteligencia tecnológica

DOI:

https://doi.org/10.15446/ing.investig.v30n3.18182

Keywords:

technology intelligence system, producing knowledge, decision-making, agro-industrial chains (en)
inteligencia tecnológica, generación de conocimiento, toma de decisiones, cadenas agroindustriales (es)

Downloads

Authors

Luz Marina Torres P. Universidad Nacional de Colombia
Óscar Fernando Castellanos Domínguez Universidad Nacional de Colombia
Claudia Nelcy Jiménez H. Universidad Nacional de Colombia

Abstract (en)
Abstract (es)

Formalised intelligence systems in organisations lead to identifying their technological abilities/capabilities and changes in their environment by transforming data into knowledge having strategic value. Technology intelligence systems (TIS) have emerged, involving the suitable incorporation of technology into production and entrepreneurial systems, thereby enabling their management and generating the basis for developing innovation. This article describes the work involved in defining a subsystem allowing TIS implementation to be followed-up and evaluated. The evolution of technological intelligence was thus reviewed; the pertinent literature regarding measuring TIS efficiency was analysed. A model involving the system´s main variables was then constructed; its simulation was based on implementing intelligence in several agro-industrial chains. The model´s main contributions to optimum TIS performance were then considered.

Los sistemas formalizados de inteligencia en las organizaciones permiten identificar sus capacidades tecnológicas y los cambios del entorno, a través de la transformación de datos en conocimiento con valor estratégico. El sistema de inteligencia tecnológica (SIT) surge con el objeto de incorporar adecuadamente la variable tecnológica en el sistema productivo y empresarial, permitiendo su gestión y la generación de bases para el desarrollo de procesos de innovación. El objetivo de este artículo es el de definir un subsistema que permita realizar seguimiento y evaluar la implementación de los SIT. Con ese fin, inicialmente se revisa la evolución del tema de inteligencia tecnológica, para luego analizar los fundamentos en la literatura con respecto a la medición de la eficiencia de los SIT. Posteriormente se plantea un modelo que involucra las principales variables del sistema, el cual fue simulado sobre la base de la implementación de la inteligencia en varias cadenas agroindustriales. Finalmente se plantean los principales aportes del modelo desarrollado para el desempeño óptimo de los SIT.

HTML (es)
HTML (en)

DEFINICIÓN DE UN SUBSISTEMA DE EVALUACIÓN Y SEGUIMIENTO DE LOS COMPONENTES DEL SISTEMA DE INTELIGENCIA TECNOLOGICA

Valoración de la eficiencia de los sistemas de inteligencia tecnológica

Evaluating technology intelligence system efficiency

Luz Marina Torres P.¹, Oscar F. Castellanos D.², Claudia Nelcy Jiménez H.³

¹ Ingeniera química. M.Sc., en ingeniería industrial. Investigadora del grupo BioGestión. Universidad Nacional de Colombia. lumatopi@gmail.com

² Ingeniero químico. M.Sc. en Ciencias Técnicas. M.Sc., en Administración. Ph.D. en Química, Universidad Estatal de Moscú. Estudios posdoctorales en Biotecnología de enzimas. Profesor Facultad de Ingeniería, Universidad Nacional de Colombia, Sede Bogotá. Coordinador Grupo de Investigación y Desarrollo en Gestión, Productividad y Competitividad, BioGestión. ofcastellanosd@unal.edu.co

³ Ingeniera química. M.Sc., en Administración, Candidata a Ph.D., en Ingeniería industrial, Universidad Nacional de Colombia. Profesora Escuela de Ingeniería de la Organización, Facultad de Minas, Universidad Nacional de Colombia, Sede Medellín. Integrante de los grupos de investigación BioGestión e Innovación y gestión tecnológica. cnjimenezh@unal.edu.co

RESUMEN

Los sistemas formalizados de inteligencia en las organizaciones permiten identificar sus capacidades tecnológicas y los cambios del entorno, a través de la transformación de datos en conocimiento con valor estratégico. El sistema de inteligencia tecnológica (SIT) surge con el objeto de incorporar adecuadamente la variable tecnológica en el sistema productivo y empresarial, permitiendo su gestión y la generación de bases para el desarrollo de procesos de innovación. El objetivo de este artículo es el de definir un subsistema que permita realizar seguimiento y evaluar la implementación de los SIT. Con ese fin, inicialmente se revisa la evolución del tema de inteligencia tecnológica, para luego analizar los fundamentos en la literatura con respecto a la medición de la eficiencia de los SIT. Posteriormente se plantea un modelo que involucra las principales variables del sistema, el cual fue simulado sobre la base de la implementación de la inteligencia en varias cadenas agroindustriales. Finalmente se plantean los principales aportes del modelo desarrollado para el desempeño óptimo de los SIT.

Palabras claves: inteligencia tecnológica, generación de conocimiento, toma de decisiones, cadenas agroindustriales.

ABSTRACT

Formalised intelligence systems in organisations lead to identifying their technological abilities/capabilities and changes in their environment by transforming data into knowledge having strategic value. Technology intelligence systems (TIS) have emerged, involving the suitable incorporation of technology into production and entrepreneurial systems, thereby enabling their management and generating the basis for developing innovation. This article describes the work involved in defining a subsystem allowing TIS implementation to be followed-up and evaluated. The evolution of technological intelligence was thus reviewed; the pertinent literature regarding measuring TIS efficiency was analysed. A model involving the system's main variables was then constructed; its simulation was based on implementing intelligence in several agro-industrial chains. The model's main contributions to optimum TIS performance were then considered.

Keywords: technology intelligence system, producing knowledge, decision-making, agro-industrial chains.

Recibido: septiembre 4 de 2009
Aceptado: noviembre 15 de 2010

Introducción

Los sistemas formalizados de inteligencia (económica, organizacional, comercial, tecnológica, competitiva) se han posicionado en las organizaciones por su versatilidad para identificar capacidades endógenas y cambios del entorno a través de la transformación de datos en conocimiento con valor estratégico. Particularmente, la inteligencia tecnológica ha sido concebida como una capacidad que permite identificar desarrollos tecnológicos a tiempo y además, surge como un modelo que vincula las necesidades del mercado a la innovación tecnológica, permitiendo distinguir entre campos tecnológicos basados en tecnologías en uso y campos tecnológicos de interés, los cuales pueden ser limitados mediante funciones futuras del producto y señales débiles en las tendencias tecnológicas(Lang y Mueller, 1997). Su función operativa principal consiste en capturar y entregar información para desarrollar conocimiento sobre las amenazas y las oportunidades tecnológicas; de aquí que Savioz et al. (2001) la definen como un modelo sistemático para recopilar, analizar y diseminar la información sobre el ambiente técnico con la finalidad de encontrar nuevas oportunidades, coincidiendo con lo planteado por Lang y Mueller (1997), quienes consideran que un proceso de inteligencia tecnológica está integrado por: formulación de las necesidades de información, selección de fuentes de información, recolección de datos y evaluación de la información.

La inteligencia tecnológica como esquema conceptual y metodológico de gestión tiene diversas aproximaciones (Savioz et al., 2004): están aquellos trabajos que presentan métodos con el objetivo de predecir el desarrollo tecnológico en el futuro, junto con las investigaciones sobre el desarrollo de sistemas que permitan observar periódicamente el ambiente tecnológico en el que se mueve la organización, con el fin de evaluar su impacto. En el marco de este último enfoque, para acercarse a un concepto de la inteligencia tecnológica es necesario incluir una visión sistémica y el cumplimiento de procesos inteligentes que promuevan el aprendizaje organizacional y la generación de capacidades de toma de decisiones. Así, la inteligencia tecnológica puede ser interpretada como la capacidad para llevar a cabo el proceso de búsqueda, manejo y análisis de información que, al transformarla en conocimiento, permitirá la adecuada gestión de los recursos para el diseño, producción, mejoramiento y comercialización de tecnologías de productos y procesos, a través de la generación de planes y estrategias tecnológicas para la toma de decisiones acertadas (Castellanos y Jiménez, 2004; Castellanos et al., 2005a; Castellanos et al., 2005b; Castellanos, 2007; Castellanos et al., 2007; Torres et al., 2008). De esta forma se atribuye dinamismo y versatilidad al proceso de inteligencia tecnológica, al ser un instrumento integrador de herramientas como el diagnóstico tecnológico, la prospectiva, el benchmarking, entre otras, que tradicionalmente se han utilizado de manera independiente.

Con anterioridad los autores del presente artículo han abordado el desarrollo conceptual de la inteligencia tecnológica, sus componentes esenciales, sus atributos genéricos y particulares, sus especificidades epistemológicas, sus estructuras de implementación, así como algunos casos de implementación. En este proceso se ha considerado prioritario valorar la eficiencia en la aplicación de la inteligencia tecnológica, lo cual es abordado en este documento.

Evolución de la inteligencia tecnológica

La inteligencia tecnológica se ha consolidado en el nivel mundial como una temática de interés creciente. La literatura disponible sobre el tema en los últimos diez años⁴ permite identificar dos escuelas de pensamiento: la primera, encabezada por autores como Kostoff, Tshiteya, Malpohl, Humenik, Karypis, Toothman y otros miembros de la Oficina Naval de Investigación de los Estados Unidos, cuya denominación es inteligencia técnica (technical intelligence), con publicaciones que han venido incrementándose gradualmente sobre temas como el análisis de tecnologías a través de métodos bibliométricos, tomografía de bases de datos y de minería de textos (por ejemplo: Kostoff et al., 1998; Kostoff et al., 2005). Estos métodos permiten explorar bases de datos científicas y realizar análisis de coocurrencias de palabras y frases para identificar tecnologías en desarrollo, competencias nucleares y definir la ruta tecnológica o roadmap de un sector o industria, con el propósito de anticiparse a los cambios y apoyar la toma de decisiones.

Este enfoque inicial de la inteligencia, muy ligado a la denominada vigilancia tecnológica, cambió a comienzos del segundo milenio, con autores como Norling, quien se desempeña como asesor tecnológico corporativo de Dupont y concibe el proceso como inteligencia tecnológica, más allá del escaneo o la vigilancia, proceso que aborda la información sobre desarrollos científicos y tecnológicos que afectan la posición competitiva de una empresa y está compuesto por cuatro etapas que lo distinguen como un proceso inteligente (Norling et al., 2000): 1) planeación, organización y dirección de los esfuerzos de inteligencia competitiva; 2) recolección inteligente de información; 3) análisis de datos; 4) diseminación de resultados.

Esta segunda escuela cuenta con numerosos representantes, siendo Lichtenthaler uno de los autores más importantes, quien viene trabajando en el tema desde 2004. De acuerdo con este autor (Lichtenthaler, 2003; Lichtenthaler, 2004a; Lichtenthaler, 2004b; Lichtenthaler, 2007), la implementación de procesos de inteligencia tecnológica dependen del estilo de toma de decisiones y de la cultura de la organización. Además, señala que la distribución y el tamaño de las actividades de inteligencia tecnológica están supeditados a la localización de la toma de decisiones en las actividades de innovación. También hace referencia a los tipos de coordinación de los procesos de inteligencia tecnológica (estructural, híbrido e informal) y menciona que la calidad de un proceso de inteligencia tecnológica influencia la efectividad de la gestión tecnológica, por ejemplo en la adquisición de la información sobre tendencias tecnológicas. Lichtenthaler et al. (2009) introducen un nuevo concepto, la inteligencia de comercialización tecnológica technology commercialization intelligence, que se refiere a la observación del entorno con especial énfasis en identificar oportunidades de licenciamiento tecnológico.

La escuela de inteligencia técnica es la que mayor trayectoria posee, mientras que la segunda, con apenas diez años de trayectoria, comienza a posicionarse con temáticas como conocimiento, estrategias y procesos inteligentes. Es importante resaltar que son comunes temas como capacidades, forecasting e innovación, que pueden considerarse como ejes articuladores de las dos escuelas.

Por ser la suma de métodos, procesos, mejores prácticas y herramientas, la inteligencia tecnológica es una respuesta al cambiante entorno de los negocios y los desarrollos tecnológicos o tendencias que pueden influir en la posición competitiva de una organización (Chang et al. 2008). Sin embargo, su implementación debe ser un esfuerzo organizado (Lichtenthaler, 2004c), por lo cual Norling et al. (2000) recomiendan utilizar medios sofisticados para recopilar y analizar información, transportar la inteligencia a quienes pueden actuar sobre ella, y emplear a los individuos con la experiencia, las habilidades y el temperamento correctos para su desarrollo. Así mismo, es crucial tener en cuenta que la calidad de la información tiene diferentes categorías y su evaluación permite la detección de errores (Berti, 1999).

Antecedentes en la mediación del impacto del proceso de inteligencia

Para establecer el valor o impacto de un proceso de inteligencia (no necesariamente tecnológica), Lönnqvist y Pirttimäki (2006) plantean la necesidad de diferenciar claramente el concepto de valor en este contexto, el cual depende en la mayoría de casos, de la apreciación subjetiva y de las necesidades, o puede evaluarse en términos de mejora en la utilidad percibida. Los sistemas de inteligencia no tienen un valor como tal, puesto que el valor es el resultado de usar la inteligencia. Estos autores señalan que con el análisis de dos cuestionamientos básicos es posible establecer el valor o impacto del proceso de inteligencia: ¿cuánto cuesta aplicar un sistema de inteligencia?, ¿cuáles son los beneficios de aplicar un sistema de inteligencia? Por tanto, indican que en la implementación de sistemas de inteligencia se contabilizan los recursos operacionales, el capital inicial de inversión y los costos laborales, de información y otros gastos; sin embargo, no todos los beneficios de un sistema de inteligencia se miden por costos, e incluso muchos de los efectos no son financieros o intangibles, como el mejoramiento de la calidad y del tiempo de respuesta con información actualizada.

Entre los desarrollos para medir el impacto de sistemas de inteligencia se encuentra el modelo de medición de la inteligencia competitiva, CIMM (por sus siglas en inglés), propuesto por Davidson (2001), que puede ser usado para calcular el retorno de la inversión en inteligencia competitiva, considerando que el valor de inteligencia competitiva (IC) es igual a la sumatoria de los proyectos de IC, y que las salidas de la IC son el resultado de los efectos del logro de los objetivos del sistema de IC sumados a la satisfacción del tomador de decisiones. De esta manera, se calcula el retorno de la inversión en IC como la diferencia entre las salidas y las entradas del sistema de IC, dividida por las entradas al sistema, relación que se conoce como ROCII (por las siglas en inglés). Empero, el cálculo del ROCII puede no ser tan fidedigno, ya que incluye valoraciones cualitativas.

Elbashir et al. (2008) mencionan que resulta poco apropiado usar medidas contables como la rentabilidad de la empresa o el retorno de la inversión en la medición del desempeño del negocio con base en herramientas como los sistemas de procesamiento transaccional o los sistemas de soporte a las decisiones. Argumentan que tales medidas frecuentemente son poco consistentes con la intención estratégica de la empresa en relación con la tecnología, y no son suficientemente cercanas a la influencia o beneficios de aplicar tales sistemas. Por su parte, Lönnqvist y Pirttimäki (2006) realizaron un análisis sobre las estrategias para evaluar la eficiencia de la aplicación de sistemas de inteligencia, retomando trabajos previos (Tabla 1).

Modelo para la mediación de la eficiencia del SIT

Un sistema de inteligencia tecnológica (SIT) involucra la transformación de elementos, insumos o estímulos del entorno (entradas) en resultados (salidas), los cuales son generalmente intangibles. Esta característica hace posible concebirlo como un proceso productivo cuyas principales entradas son el conocimiento y la información, y su principal salida es la inteligencia, como capacidad para la toma de decisiones en el ámbito tecnológico, que impacta estratégicamente en la gestión organizacional. Este proceso productivo tiene las características de los servicios intensivos en conocimiento, ya que involucra la interacción entre un proveedor del servicio, quien realiza la búsqueda, procesamiento, análisis de información y la difusión de conocimiento, y los tomadores de decisiones o consumidores del servicio.

La identificación de la cadena de valor del SIT constituye un paso indispensable para establecer posibles mecanismos de evaluación y seguimiento. Dicho análisis resulta compatible con los enfoques reseñados en la Tabla 1, ya que se evidencia la necesidad de identificar las consecuencias para la empresa de la implementación de las estrategias generadas por el sistema, así como el impacto en la organización, medido por la satisfacción del cliente. En lo que respecta al primer aspecto, la definición de indicadores dependerá de la visión de la organización y de los objetivos perseguidos con la aplicación de la inteligencia tecnológica, por lo cual deben establecerse de manera particular para cada caso, y su medición sólo podrá realizarse después de un espacio de tiempo. En lo que concierne a la medición del impacto, se evalúa la satisfacción del cliente, traducido en capacidades de toma de decisiones y generación de estrategias. En la Tabla 2 se presentan las principales variables, considerando los elementos más importantes para cada uno de los eslabones de la cadena de valor del SIT. Uno de los indicadores que permite evaluar el impacto del SIT es el tiempo de procesamiento del servicio, que no debe exceder el nivel permitido por el cliente (Powell et al., 2001). Además, como lo plantea Ojasalo (2003), los aportes del cliente dependerán del tipo de servicio que se esté prestando; incluso en ocasiones el cliente no tiene claras sus expectativas, pero a través de su interacción con el prestador del servicio define las características que espera recibir.

Evaluación y seguimiento del SIT

Se plantea un subsistema de evaluación y seguimiento del SIT con el propósito de describir y analizar el comportamiento de este sistema, y así, valorar su eficiencia. Para representarlo se formuló un modelo que respondiera al problema: ¿cómo aumentar la capacidad de toma de decisiones y formular estrategias acertadas con la implementación de sistemas de inteligencia tecnológica?

Posteriormente se identificaron las variables y sus conexiones tomando en cuenta que la prestación de servicios de inteligencia tecnológica involucra dos actores: el proveedor del servicio y el usuario; para el primero, lo más relevante es lograr la eficiencia en el uso de los recursos alcanzando el resultado esperado, mientras que el usuario busca un impacto en la organización, como la sostenibilidad, al incorporar capacidades de toma de decisiones. Estas metas permiten identificar dos enfoques del subsistema de medición: la gestión del proceso y el impacto de la implementación. Cada enfoque maneja variables diferentes, puesto que los propósitos de evaluación y seguimiento son distintos.

Las variables de entrada y de salida fueron establecidas tomando como referencia la influencia que ejerce cada actor de la prestación del servicio en la gestión del proceso y en el impacto de la aplicación del SIT. Los actores básicos de prestación del servicio pueden, a su vez, abarcar otros actores y contener otros elementos, como en el caso del proveedor del servicio, que involucra personal de contacto y personal generador del servicio, además de la información que se maneja. En la Tabla 3 se presentan las variables identificadas.

Como lo sugieren Spector et al. (2001), se procedió a establecer el número de interrelaciones entre las variables, las relaciones y el número de ciclos de retroalimentación y retrasos. En la Figura 1 se presentan las relaciones existentes entre las variables identificadas. La estructuración de esta interpretación se hizo con base en la experiencia de los autores en el acompañamiento y asesoría a la implementación de la inteligencia tecnológica en diferentes niveles organizacionales del ámbito nacional: empresas manufactureras; sectores como el biotecnológico, el de empaques plásticos flexibles y el del software y servicios asociados, y cadenas productivas como las de cacao-chocolate, cosméticos y productos de aseo, artefactos domésticos, fique, caucho y panela.

El seguimiento y evaluación de cualquier sistema se realiza generalmente usando un marco de medición del desempeño, el cual consiste en varias medidas o indicadores individuales; aunque existen numerosos modelos como el balance Scorecard, el prisma de desempeño o la pirámide del desempeño, las medidas que se elijan deben estar basadas en la visión y estrategia de la organización (Okkonen et al., 2002). A este fenómeno se le suma la necesidad de contar con un modelo que no contradiga el conocimiento del sistema real, por lo cual es necesario hacer una verificación de la estructura (Luna y Lines, 2003). Forrester (1988) señala que las variables de un modelo deben medirse en las mismas unidades que las variables reales, por ello se tomaron siete casos de implementación del SIT en cadenas productivas agroindustriales (cacao-chocolate, tabaco, palma africana, fique, algodón, carne bovina y ají) para establecer las unidades que se deben emplear en el modelo de evaluación y seguimiento del sistema, considerando que la mayoría de las variables son de carácter cualitativo. A manera de ejemplo, en la Tabla 4 se presenta la escala de medición de una de las variables definidas en el modelo.

Simulación del modelo de valoración de la eficiencia del SIT

La simulación y validación del modelo planteado, explicado ampliamente con datos de entrada, consideraciones y valores respectivos a los indicadores propuestos, fue llevado a cabo por Torres (2010). La representación del subsistema de medición y seguimiento se ajustó a las características de las variables identificadas como independientes y dependientes, y fueron adicionadas las variables específicas de interacción, gestión de conocimiento y gestión inteligente. Como resultado se obtuvo un modelo del subsistema simulado en el software Stella® 8.0, utilizando datos de los siete casos de estudio en cadenas agroindustriales mencionados. Es importante aclarar que este software se emplea para la simulación de sistemas dinámicos, y aunque el subsistema objeto de modelamiento no presenta cambios en el tiempo, posee retroalimentaciones entre sus variables, por lo cual este programa facilitó su análisis.

Mejoramiento en la implementación del SIT

La simulación y validación del modelo de valoración de la eficiencia del SIT permitió establecer, con base en las variables influyentes en el desempeño de este sistema, varios aspectos orientados al mejoramiento en su implementación en las organizaciones y en los resultados obtenidos: 1) la información, como materia prima del proceso de inteligencia, debe tener los más altos estándares, pero en el caso de organizaciones cuya estructura dificulta la existencia de información de calidad será necesario realizar estudios previos que garanticen su disponibilidad. 2) La disposición de los tomadores de decisiones permite generar vectores de conocimiento y propiciar capacidades de toma de decisiones; por tanto, en el caso en que no haya voluntad de participación en este nivel de la organización, lo mejor es reevaluar la necesidad de implementar la inteligencia tecnológica en un momento dado; se requerirá entonces un análisis de la cultura organizacional y la gestión del cambio, que puede revelar situaciones problemáticas para la organización, las cuales deberán atenderse de forma previa a la implementación de un SIT. 3) Los dos aspectos anteriores evidencian que la implementación del SIT está influenciada por la especificidad del contexto, por lo cual se requerirán más o menos etapas previas para que una organización se encuentre suficientemente preparada para que el SIT funcione satisfactoriamente. 4) La obtención de resultados satisfactorios en la implementación de la inteligencia tecnológica será resultado de la interacción entre los tomadores de decisiones y los proveedores del servicio, siendo insuficientes desempeños satisfactorios de las variables de manera individual<

Conclusiones

La inteligencia tecnológica se ha consolidado como una temática de gestión de gran relevancia en el ámbito investigativo, pero también se posiciona como un servicio de conocimiento prestado por centros de investigación y empresas consultoras. Dada la cantidad de recursos necesarios para la implementación de sistemas de inteligencia tecnológica en diversos ámbitos, se hace necesario establecer el impacto logrado y valorar la eficiencia de estos sistemas. No obstante, dicha valoración no puede medirse sólo en términos cuantitativos, debido a que muchos de los impactos y beneficios se expresan en aspectos cualitativos, como el fortalecimiento de capacidades en la organización y un mejor flujo y aprovechamiento de la información para generar conocimiento. El modelo propuesto se considera novedoso en la medida en que se plantea como un nuevo subsistema del SIT (no considerado aún por otros autores), y está definido por variables de tipo cualitativo que permiten medir los aportes y beneficios de la inteligencia tecnológica tanto en la gestión del proceso como en el impacto de su implementación.

La validación de este modelo del subsistema de seguimiento y evaluación del SIT reveló una alta correlación con los resultados obtenidos en los casos prácticos, lo cual evidenció la validez de las premisas y la coherencia del modelo, a la vez que permitió plantear algunas consideraciones para el mejoramiento en la implementación del SIT, orientadas básicamente a preparar a las organizaciones para que los resultados de los procesos de inteligencia tecnológica sean satisfactorios.

Bibliografía

Berti, L., Quality and recommendation of multi-source data for assisting technological intelligence applications., Lecture notes in computer science, 1677, 1999, pp.282-291

Castellanos, O. F., Gestión tecnológica: de un enfoque tradicional a la inteligencia., Editorial: Universidad Nacional de Colombia, 2007, ISBN 958-701-685.

Castellanos, O. F., Jiménez, C. N., Importancia de la inteligencia en la gestión tecnológica de las organizaciones contemporáneas., Memorias del XXIII Simposio de Gestión de la Innovación tecnológica, Brasil, 2004.

Castellanos, O. F., Torres, L. M., Rosero, I. J., Modelo estructurado de inteligencia tecnológica para la generación de conocimiento y la direccionamiento estratégico del sector productivo., Memorias del IX Congreso Anual de la Academia de Ciencias Administrativas ACACIA, México, 2005a.

Castellanos, O. F., Rosero, I. J., Torres, L. M., Jiménez, C. N., Aplicación de un modelo de inteligencia para definición de estrategia tecnológica en diferentes niveles de complejidad institucional., Memorias del XI Seminario Latino Iberoamericano de Gestión Tecnológica ALTEC, Brasil, 2005b.

Castellanos, O. F., Torres, L. M., Fonseca, S. L., Montañez, V. M., Sánchez, A. P., Agenda prospectiva de investigación y desarrollo tecnológico de la cadena productiva de cacao-chocolate., Ministerio de Agricultura and Desarrollo Rural, 2007.

Chang, H., Gausemeier, J., Ihmels, S., Wenzelmann, C., Innovative technology management system with bibliometrics in the context of technology intelligence., Trends in Intelligent Systems and Computer Engineering, 2008, pp.349-349

Davison, L., Measuring competitive intelligence effectiveness: insights from the advertising industry., Competitive Intelligence Review, 12 (4), 2001.

Elbashir, M. Z., Collier, P. A., Davern, M. J., Measuring the effects of business intelligence systems: The relationship between business process and organizational performance., International Journal of Accounting Information Systems, 9 (3), 2008, pp.135-153

Forrester, J. W., Dinámica Industrial., Editorial Ateneo, Buenos Aires, 1988.

Kostoff, R. N., Eberhart, H. J., Toothman, D. R., Database tomography for technical intelligence: A roadmap of the near-earth space science and technology literature., Information Processing & Management, 34 (1), Jan.,1998, pp.69-85.

Kostoff, R. N., Tshiteya, R., Pfeil, K. M., Humenik, J. A., Karypis, G., Power source roadmaps using bibliometrics and database tomography., Energy, 30 (5), Apr.,2005, pp.709-730.

Lang, H.C., Mueller, M., Technology intelligence identifying and evaluating new technologies, Innovation in Technology Management - The Key to Global Leadership., PICMET'97: Portland International Conference on Management and Technology, 1997.

Lichtenthaler, E., Third generation management of technology intelligence processes, R&D Management, 33 (4), 2003, pp.361-375.

Lichtenthaler, E., Coordination of technology intelligence processes: A study in technology intensive multinationals., Technology Analysis & Strategic Management, 16 (2), 2004a, pp.197-221.

Lichtenthaler, E., Technological change and the technology intelligence process: a case study., Journal of Engineering and Technology Management, 21 (4), Dec., 2004b, pp.331-348.

Lichtenthaler, E., Technology intelligence processes in leading European and North American multinationals., R & D Management, 34 (2), 2004c, pp.121-135.

Lichtenthaler, E., Managing technology intelligence processes in situations of radical technological change., Technological Forecasting and Social Change, 74 (8), Oct., 2007, pp.1109-1136.

Lichtenthaler, U., Lichtenthaler, E., Frishammar, J., Technology commercialization intelligence: Organizational antecedents and performance consequences., Technological Forecasting and Social Change, 76 (3), Mar., 2009, pp.301-315.

Lönnqvist, A., Pirttimäki, V., The measurement of business intelligence., Information System Management Journal, 23 (1), 2006, pp.32-40.

Luna, L., Lines, D., Collecting and analyzing qualitative data for system dynamics: methods and models., System Dynamics Review, 19 (4), 2003.

Norling, P. M., Herring, J. P., Rosenkrans, W. A., Stellpflug, M., Kaufman, S. B., Putting competitive technology intelligence to work, Research-Technology Management, 43 (5), 2000, pp.23-28.

Ojasalo, K., Customer influence on Service Productivity., Advance Management Journal, 68 (3), 2003, pp.14-19.

Okkonen, J., Pirttimäki, V., Hannula, M., Lönnqvist, A., Triangle of business intelligence performance measurement and knowledge management., Tampere University of Technology, Finland, 2002, consulted on the 12^th November 2009. Available at http://www.tut.fi/units/tuta/teta/mittaritiimi/julkaisut/tukholma.pdf

Powell, S., Schwaninger, M., Trimble, C., Measurement and control of business processes., System Dynamic Review, 17 (1), 2001, pp.63-91.

Savioz, P., Luggen, M., Tschirky, H., Technology intelligence, Structuring it into the new-technology-based firm (NTBF)., Tech Monitor, Heft, Jul-Aug, p. 41-46, 2004.

Savioz, P., Scacchi, M., Tschirky, H.P., Implementing a technology intelligence system in a medium-sized medtech company., 2001.

Spector, M., Christetnsen, D., Sioutine, A., Mrccormack, D., Models and simulations for learning in complex domains: using causal loop diagrams for assessment and evaluation., Computers in Human Bahavior, 17, 2001, pp.517-545.

Torres, L. M., García, M. E., Castellanos, O. F., La inteligencia tecnológica como capacidad para las tomas de decisiones estratégicas., En: Retos y nuevos enfoques en la gestión de la tecnología y el conocimiento, Universidad Nacional de Colombia, 2008, pp.131-173.

Torres, L. M., Definición de un sistema de evaluación y seguimiento de los componentes del sistema de inteligencia tecnológica., MSC Industrial Engineering thesis, Universidad Nacional de Colombia, Bogotá, 2010.

4 Se efectuó un análisis de publicaciones científicas y técnicas posteriores al año 1998 (un total de 144 artículos relacionados con inteligencia tecnológica) mediante la ecuación de búsqueda TITLE-ABSTR-KEY ("techn* intelligence") en las bases de datos de ScienceDirect, EBSCO, ISI Web of Knowledge e Informa World, disponibles en el Sistema Nacional de Bibliotecas de la Universidad Nacional de Colombia (SINAB-UN). La consulta fue realizada en abril de 2009.

Evaluating technology intelligence system efficiency

Luz Marina Torres P.¹, Oscar F. Castellanos D.², Claudia Nelcy Jiménez H.³

¹Chemical engineer. M.Sc., in industrial engineering. BioGestión research group. Universidad Nacional de Colombia. lumatopi@gmail.com

²Chemical engineer. M.Sc. Technical Sciences. M.Sc., in Management. Ph.D. Chemistry, Universidad Estatal de Moscú. Postdoctoral studies in Biotechnology of enzymes. Professor Faculty of Engineering, Universidad Nacional de Colombia, Sede Bogotá. Coordinating Group for Research and Development Management, Productivity and Competitiveness, BioGestión. ofcastellanosd@unal.edu.co

³ Chemical engineer. M.Sc., Management, Ph.D., Candidate, Industrial Engineering, Universidad Nacional de Colombia. Professor School of Engineering Organization, School of Mines, Universidad Nacional de Colombia, Sede Medellín. Member of the research groups BioGestión and Innovation and technological management. cnjimenezh@unal.edu.co

ABSTRACT

Formalised intelligence systems in organisations lead to identifying their technological abilities/capabilities and changes in their environment by transforming data into knowledge having strategic value. Technology intelligence systems (TIS) have emerged, involving the suitable incorporation of technology into production and entrepreneurial systems, thereby enabling their management and generating the basis for developing innovation. This article describes the work involved in defining a subsystem allowing TIS implementation to be followed-up and evaluated. The evolution of technological intelligence was thus reviewed; the pertinent literature regarding measuring TIS efficiency was analysed. A model involving the system´s main variables was then constructed; its simulation was based on implementing intelligence in several agro-industrial chains. The model´s main contributions to optimum TIS performance were then considered.

Keywords: technology intelligence system, producing knowledge, decision-making, agro-industrial chains.

Received: september 4th 2009

Accepted: november 15th 2010

Introduction

Formal intelligence systems (economic, organisational, commercial, technological, competitive) have become positioned in organisations due to their versatility in identifying endogenous capacity and changes in pertinent settings by transforming data into knowledge having strategic value. Technology intelligence (TI) has been conceived as being the ability to identify technological developments in time and has also emerged as a model involving technological innovation-based market needs; this has led to distinguishing between technologybased fields regarding current technologies and technological fields of interest, which could be limited by future product functions and weak signals in technological trends (Lang and Mueller, 1997). Its main operating function consists of capturing and delivering information for developing knowledge about menaces and technological opportunities. Savioz et al., (2001) have defined a systematic model for compiling, analysing and disseminating information about the technical setting, aimed at finding new opportunities, coinciding with that proposed by Lang and Mueller (1997) who considered that a TI process is made up by formulating information needs, selecting sources of information, collecting data and evaluating such information.

There are many approaches to TI as a conceptual and methodologycal management scheme (Savioz et al., 2004); some work presents methods aimed at predicting future technological development, togethe with research into systems´ development, leading to periodically observing an organisation´s technological setting to evaluate its impact. A systemic vision and one regarding how intelligent processes promote organisational learning and generate decision-making ability should be included within the latter approach´s framework for dealing with the concept of TI. TI could be interpreted as being, "how the capacity to carry out the process of searching for, managing and analyzing information, which on becoming transformed into knowledge, will lead to the suitable management of resources for designing, producing, improving and selling technologies for products and processes, through generating technological plans and strategies for relevant decision-making" (Castellanos and Jiménez, 2004; Castellanos et al., 2005a, Castellanos et al., 2005b; Castellanos et al., 2007, Castellanos, 2007, Torres et al., 2008). TI´s dynamism and versatility has thus been attributed to being an instrument integrating tools which have traditionally been used independently, such as technological and prospective diagnosis, benchmarking, etc.

The authors of the present article have previously approached TI´s conceptual development, its essential components, its generic and particular attributes, its epistemological specificities, its implementation structures and some cases of its being implemented. This article deals with evaluating the efficiency of applying TI, as this was seen as being a priority issue in the foregoing work.

The evolution of technological intelligence

Technological intelligence has become consolidated around the world as being a topic of growing interest. The available literature on the topic during the last ten years⁴ has led to two schools of thought being identified. The fist had been led by authors such as Kostoff, Tshiteya, Malpohl, Humenik, Karypis, Toothman and other members of the US Office of Naval Research who use the term technical intelligence; they have gradually increased their output of publications on topics such as analysing technologies through bibliometrics, database tomography and text mining (e.g. Kostoff et al., 1998; Kostoff et al., 2005). These methods allow scientific databases to be explored as well as the co-occurrence of words and phrases to be analysed for identifying developing technologies, nuclear skills and defining a sector or industry´s technological route or roadmap for anticipating changes and supporting decision-making.

This initial approach to intelligence, very much linked to so-called technological surveillance, changed at the beginning of the second millennium with authors such as Norling (working as Dupont corporate technological assessor) who conceived the process as being technological intelligence, this being something more than scanning or surveillance for him. Such process deals with information about scientific and technological developments affecting a company´s competitive position and consists of four stages distinguishing them as being an intelligent process (Norling et al., 2000): planning, organising and directing competitive intelligence efforts, intelligent information collection, analysing data and disseminating results.

This second school includes many authors, such as Lichtenthaler, who has been working on the topic since 2004. He has stated that of (Lichtenthaler, 2003, Lichtenthaler, 2004a, Lichtenthaler, 2004b, Lichtenthaler, 2007) implementing TI depends on an organisation´s decision-making style and its culture. He has also stated that TI activities´ distribution and size are conditional on decision-making´s place within innovation activities. He has also referred to the types of TI coordination (structural, hybrid and informal) and mentioned that the quality of a TI process influences technology management effectiveness, for example, acquiring information about technological trends. Lichtenthaler et al., (2009) introduced a new concept, technology commercialization intelligence, referring to observing a particular setting and placing special emphasis on identifying technological licencing opportunities.

The IT school has the longest trajectory, whilst the second (having been in existence for just 10 years), has begun to position itself by dealing with topics such as knowledge and intelligent strategies and processes. It should be stressed that common topics such as capacities/ abilities, forecasting and innovation can be considered articulator axes for both schools.

Being the sum of methods, processes, best practices and tools, TI provides a response to the changing business setting and technological developments or trends which can influence an organisation´s competitive position (Chang et al., 2008). However, its implementation must result from an organised effort (Lichtenthaler, 2004c), meaning that Norling et al., (2000) recommended using sophisticated means for compiling and analysing information, transporting intelligence to those who can act on it and use individuals having the experience, abilities and correct temperament for developing it. Likewise, it must be born in mind that quality of information has different categories and its evaluation leads to detecting errors (Berti,1999).

The background to measuring the impact of intelligence processes

Lönnqvist and Pirttimäki (2006) posed the need for clearly differentiating the concept of value within this context for establishing an intelligence process´s (not necessarily technological) value or impact depending (in most cases) on subjective appreciation and needs, or which could be evaluated in terms of improving perceived usefulness. Intelligence systems do not have value as such, as value results from using intelligence. These authors have stated that analysing two basic questions can lead to establishing the value or impact of an intelligence process. How much does it cost to apply an intelligence system? What are the benefits of applying an intelligence system? They thus indicate that operating resources, initial investment capital and labour costs regarding information and other expenses must be counted in implementing intelligence systems; however, not all of an intelligence system´s benefits can be measured by costs and many effects are not financial or intangible such as response quality and time with updated information.

The competitive intelligence measurement model (CIMM) proposed by Davidson (2001) is one of the developments for measuring intelligence systems´ impact; this can be used for calculating investment return on competitive intelligence, considering that the value of competitive intelligence (CI) is equal to the sum of CI projects and that CI output is the result of the effects of achieving CI system objectives added to the satisfaction of taking decisions. Return on investment in CI can thus be calculated as being the difference between CI system output and input divided by system input (known as ROCII). However, the ROCII calculation may not be so reliable since it includes qualitative evaluations.

Elbashir et al., (2008) have mentioned that it is not very appropriate to use accounting measurements such as company profitability or the return on investment when measuring business performance based on tools such as transactional processing systems or decision-making support systems. They argue that such measurements are often not very consistent with a company´s strategic intention regarding technology and are not sufficiently close to the influence or benefits of applying such systems. Lönnqvist and Pirttimäki (2006) have analysed strategies for evaluating the efficiency of applying intelligence systems by taking up previous work (Table 1 ).

Model for measuring TIS efficiency

A technological intelligence system (TIS) involves transforming elements, consumables or environmental stimuli (input) into results (output), these usually being intangible. This characteristic makes it possible to conceive it as being a production process whose main input is knowledge and information and its main output is intelligence, this being decision-making capacity within a technological environment, having a strategic impact on organisational management. This production process has the characteristics of knowledge-intensive services, since they involve interaction between a service provider (searching for, processing, analysing information and broadcasting knowledge) and decision-makers or people consuming a particular service.

Identifying the TIS value chain is an indispensable step in establishing possible evaluation and follow-up mechanisms. Such analysis is compatible with the approaches described in Table 1, since it shows the need for identifying the consequences for a company of implementting the strategies generated by the system, as well as the impact on an organisation as measured by customer satisfaction. Regarding the first aspect, defining indicators will depend on an organisation´s vision and the objectives pursued by applying TI, meaning that they must be individually established for each case and they can only be measured after a period of time has elapsed. Concerning measuring impact, customer satisfaction will be evaluated (i.e. decision-making and strategy-generating capacities). Table 2 presents the main variables,considering the most important elements for each link in the TIS value chain. One of the indicators allowing TIS impact to be evaluated is service processing time which must not exceed the level allowed by a customer/client (Powell et al., 2001). Ojasalo (2003) has also stated that client constitutions will depend on the type of service which is being provided, or even on those occasions when a client does not have clear expectations but defines the characteristics which he/she expects to receive through interaction with the service provider.

Evaluating and following-up TIS

A TIS evaluation and follow-up subsystem is proposed for describing and analysing such system´s behaviour and thereby evaluating its efficiency. A model was formulated to represent it which responded to the problem expressed as follows. How can decision-making capacity/ ability and good strategy formulation be increased by implementing TI systems?

The variables and their pertinent connections were then identified, taking into account that providing TI services involves two actors: the service provider and the user; the most relevant aspect for the former is achieving efficient resource use, thereby achieving the expected result, whilst a user seeks an impact on an organisation, such as sustainability by incorporating decision-making capacities/ability. These goals led to identifying two approaches for the measurement subsystem: process management and the impact of its implementation. Each approach manages different variables, as they have different evaluation and follow-up purposes.

Input and output variables were established by taking the influence exercised by each actor on the service provider in managing the process and on the impact of applying TIS as reference. Basic service provider actors could, in turn, cover other actors and contain other elements, as in the case of the service provider involving contact personnel, service generating personnel, as well as the information managed by them. Table 3 shows the variables so identified.

The number of interrelationships between variables and the number of feedback and delay cycles were established as suggested by Spector et al., (2001).Figure 1 presents the relationships between the variables so identified. This interpretation was structured based on the authors´ experience in accompaniment and consultancy for implementing TI at different organisational levels in Colombia: manufacturing companies, sectors such as biotechnology, flexible plastic packaging and software and associated services and production chains such as the cacao-chocolate chain, cosmetics and cleaning products, domestic appliances, sisal, rubber and brown sugarloaf.

Any system´s performance is usually followed-up and evaluated by using a performance measurement framework, consisting of several individual measurements or indicators. Even though there are many models such as the balanced scorecard, the performance prism or the performance pyramid, the chosen measurements must be based on an organisation´s vision and strategy (Okkonen et al., 2002). The need for having a model which does not contradict the real system´s knowledge must be added to this, meaning that the structure must be verified (Luna and Lines, 2003). Forrester (1988) has stated that a model´s variables must be measured using the same units as those of real variables; seven cases of implementing TIS in agro-industrial production chains (cacao-chocolate, tobacco, African palm, sisal, cotton, beef and chilli-pepper) were thus taken for establishing the units which should be used in a TIS evaluation and follow model, considering that most variables were qualitative. Table 4 presents the scale for measuring one of the variables defined in the model.

Simulating a model for evaluating TIS efficiency

The proposed model was simulated and validated by Torres (2010), thoroughly explained by input data, considerations and values regarding the proposed indicators. The representation of the measurement and follow-up subsystem was adjusted to the characteristics of the variables so identified as being independent and dependent, and specific interaction, knowledge management and intelligence management variables were added. A model of the subsystem was simulated with Stella 8.0 software using data from the aforementioned seven agro-industrial chain case studies. It should be mentioned that this software is used for simulating dynamic systems and, even though the subsystem being modelled did not present changes over a period of time, it did have feedback between its variables, meaning that this software facilitated analysing it.

Improving TIS implementation

Simulating and validating the model for evaluating TIS efficiency led to establishing several aspects orientated towards improving its implementation in organisations based on influential variables regarding this system´s performance. Information, as raw material in the intelligence process, must have the highest standards; however, in the case of organisations whose structure hampers the existence of quality information, then prior studies will be needed to guarantee its availability. Decision-makers´ attitude will lead to generating vectors of knowledge and foster decision-making capacities/ability. This means that when there is no desire to participate at this level of an organisation, the best thing is to re-evaluate the need for implementting TI at a given moment. Organisational culture and the management of change must thus be analysed as this could reveal problematic situations for a particular organisation which must be dealt with prior to implementing a TIS. Both foregoing aspects show that implementing TIS is influenced by the context´s specificity, meaning that prior stages will be needed so that an organisation is sufficiently prepared for TIS to function satisfactorily. Obtaining satisfactory results when implementing TI will result from the interaction between decision-makers and service providers, individual variables´ satisfactory performances being insufficient.

Conclusions

TI has become consolidated as a management topic having great relevance in research; however, it has become positioned as a knowledge service provided by research centres and consulting companies. Given the amount of resources needed for implementing TI systems in different settings, it has become necessary to establish the impact of achieving and evaluating such systems´ efficiency. Nevertheless, such evaluation cannot be measured in just quantitative terms as many of the impacts and benefits are expressed in quailtative aspects such as strengthening an organisation´s capacities/abilities and achieving better information flow and exploiting it for generating knowledge. The proposed model is considered novel in the sense that it is proposed as a new TIS subsystem (not yet having been considered by other authors) and is defined by qualitative variables allowing TI contributions and benefits to be measured regarding both process management and the impact of its being implemented.

Validating this TIS follow-up and evaluation subsystem model revealed high correlation with results obtained in practical cases, showing the validity of the premises and the model´s coherence, in turn, leading to some considerations being proposed for improving TIS implementation, basically orientated towards preparing organisations so that the results of TI processes should be satisfactory.

References