ISSN 0798 1015

Vol. 38 (Nº 22) Año 2017. Pág. 28

Vigilancia tecnológica y análisis del ciclo de vida de la tecnología: técnicas de evaluación de la usabilidad, métricas y herramientas en el sector TICs

Technological surveillance and technology life cycle analysis: usability assessment techniques, metrics and tools in the ICT sector

Mónica Lorena TOBÓN Clavijo 1,2, Raúl Hernández ZARTA 1, Jhon Wilder ZARTHA Sossa 1, Rodrigo ESTRADA Reveiz 1, Jorge Humberto DÍAZ Uribe 1, Jonathan GÓMEZ Garcés 1

Recibido: 23/11/16 • Aprobado: 21/12/2016

Contenido

1. Introducción

2. Metodología

3. Resultados

4. Discusión

5. Conclusiones y trabajo futuro

Referencias

1. Introducción

La Vigilancia Tecnológica (VT) es un proceso cuyo objetivo es la realización, de manera sistemática, de la captura, el análisis, la difusión y la explotación de las informaciones científicas o técnicas útiles para la Organización y alertar sobre las innovaciones científicas o técnicas susceptibles de crear oportunidades o amenazas (AENOR, 2006) p.15. Por otro lado, (Palop & Vicente, 1999) definen la VT como “(…) el esfuerzo sistemático y organizado por la empresa para la observación, capacitación, análisis, difusión precisa y recuperación de información sobre los hechos del entorno económico, tecnológico, social o comercial. Los hechos son relevantes para la empresa ya que éstos implican oportunidades o amenazas”.

El propósito de este artículo es reportar los resultados obtenidos al realizar un estudio de VT en el sector TICs del departamento del Quindío, con el propósito de determinar tecnologías de interés para el sector e indagar el estado actual de dichas tecnologías, permitiendo así la formulación de una base de conocimiento a empresarios y académicos que permita la toma de decisiones empresariales y de investigación. Es importante mencionar que las organizaciones consultadas para la definición de los parámetros para el estudio de VT tienen experiencia realizando investigación o prácticas relacionadas con la captación y análisis de la información, sin embargo, la mayoría de los consultados no siguen un proceso formal o sistemático para realizar la extracción y el posterior análisis de la información. De acuerdo con (Palop, Martínez, & Bedoya, 2012), “(…) muchas organizaciones evolucionan con el tiempo; éstas parten de una situación inicial de práctica de la VT ‘espontanea’, individual o en pequeños equipos, aislada en determinados departamentos, con carácter predominantemente reactiva en el tratamiento de los temas e ignorada por directivos”. En el departamento del Quindío pocas empresas siguen un proceso formal para realizar estudios de VT; ninguno de los consultados para la realización del estudio descrito en este artículo conocen la metodología VT.

Adicional al proceso de VT, este artículo realiza un análisis de los datos obtenidos utilizando la técnica de Curvas en S. Dicha técnica permite identificar si una tecnología se encuentra en una fase introductoria, en crecimiento, si ha llegado a su punto clave, o si por el contrario ya se encuentra madura o en declive. La identificación del estado de la tecnología, permite la toma de decisiones relacionadas con la compra, construcción, investigación, monitoreo o licenciamiento de la tecnología, además de que pueden ser utilizadas para determinar momentos claves en el lanzamiento de innovaciones tecnológicas, realizar inversiones y ejecutar estrategias de mercadotecnia (Aguilar, y otros, 2012). Las curvas en S son una herramienta de apoyo a empresarios y académicos interesados en los temas afines analizados utilizando la metodología mencionada. Así lo mencionan también, (Zartha, Avalos, Urrea, & Hernandez, 2009), (Perez, 2001) y  (Ortiz & Pedroza, 2006).

Los modelos de curvas en S, sirven para entender dinámicas de cambio de aspectos sociales, políticos, económicos y tecnológicos, identificando patrones de comportamiento a 25 o más años, permitiendo en varios casos generar hipótesis sobre el comportamiento de la tecnología a mediano plazo. (Stackelberg, 2009) y (Cortés, Zartha Sossa, Mendéz Naranjo, & Castrillón Hernández, 2013).

Este artículo está estructurado como se presenta a continuación. La sección II describe el protocolo de VT empleado basado en la metodología VT definida en (Palop & Vicente, 1999). La sección III presenta los resultados obtenidos del estudio de VT; dentro de éstos se aplica la metodología de Curvas en S (ZARTHA, PALOP, B. AVALOS, & VÉLEZ, 2013) para identificar el estado de la tecnología, definiendo una base de conocimiento para la toma de decisiones locales alrededor de la aplicación de las tecnologías analizadas. La sección IV presenta una discusión sobre el potencial uso de las tecnologías identificadas y analizadas según la caracterización particular del departamento del Quindío. Finalmente se presentan las conclusiones y el trabajo futuro.

2. Metodología

La Figura 1 describe la metodología utilizada para realizar el proceso VT que se reporta en este trabajo. La primera fase planear, consiste en determinar los factores críticos de vigilancia (temas y subtemas) de interés para realizar el estudio de VT. La segunda fase búsqueda y captación, consiste en definir las ecuaciones de búsqueda y las bases de datos especializadas a utilizar para la recolección de la información. La tercera fase análisis y organización, consiste en realizar el análisis de los artículos y patentes resultantes de la fase anterior. La cuarta fase inteligencia, consiste en generar un valor agregado para responder a las necesidades planteadas en la fase inicial. Para finalizar, es necesaria la comunicación de los resultados a todos los interesados.

Figura 1 . Metodología vigilancia tecnológica
Fuente: Adaptado de (Palop & Vicente, 1999)

El entorno para desarrollar el estudio de vigilancia tecnológica es el sector TICs del departamento del Quindío (Colombia). Con el fin de determinar los factores críticos de vigilancia (FCV) que deben ser definidos en una primera fase de planeación, se procede a realizar entrevistas con investigadores y empresarios del sector TICs en el departamento. Para este estudio de VT se tuvieron en cuenta, desde la academia, los grupos de investigación: INGESOFT de la Universidad EAM y SINFOCI de la Universidad del Quindío, y desde el sector empresarial, se consultó con empresas dedicadas a la prestación de servicios en TICs, entre ellas, RHISS .NET (http://www.rhiss.net/), Racional y Sumset.( http://www.sumset.com/).

Durante las visitas realizadas, se realiza el diligenciamiento de los factores críticos de vigilancia FCV, posteriormente se priorizaron los temas de vigilancia y seleccionó el tema a vigilar, para este caso: Usabilidad. En la Tabla 1 se presenta la descripción de las necesidades planteadas para el tema seleccionado.

Continuando con la fase de búsqueda y captación de información, se construyen las ecuaciones generales. Durante el proceso de construcción de las ecuaciones, se decide incluir un clúster orientado al desarrollo de software, esto se realiza debido a que las empresas interesadas en el estudio, todas, dedican servicios a la construcción de software y a los proyectos software.

Tabla 1 . Definición de necesidades

En la Tabla 2, se presentan las ecuaciones de búsqueda generales construidas para la extracción de artículos y patentes de las bases de datos Scopus y Free Patents Online:

Tabla 2 . Ecuaciones Generales

La siguiente fase en el proceso de VT, es el análisis y la organización de la información, en la siguiente sección se describe el proceso seguido para analizar y extraer la información de relevancia para el estudio de VT en el tema de Usabilidad.

3. Resultados

De acuerdo con la información obtenida a partir de las ecuaciones generales de búsqueda, se procedió a realizar la verificación de cada uno de los artículos y patentes para corroborar la relación de los mismos con el foco del estudio, además de filtrar los temas que son de importancia para el proyecto, y dar respuesta a los requerimientos dados por los investigadores y empresarios entrevistados en el proyecto Quindío Innova para identificar temas, tecnologías e innovaciones de interés relacionados con Usabilidad.

Para el proceso de extracción de información, se exportó la información arrojada al utilizar la ecuación de búsqueda en las bases de datos (Scopus y FPO), incluyendo el año de publicación, autores y abstract. A partir de dicha información se realizó un análisis manual, donde se identificaron los artículos y patentes más relevantes para dar respuesta a los FCV.  Posteriormente, con la documentación organizada y clasificada se procedió analizar y extraer la información que responde las preguntas de la ficha de necesidades diligenciada en las etapas iniciales de la metodología.

A continuación, se describe la información relevante extraída de los artículos estudiados.

3.1. Técnicas más utilizadas en los últimos 5 años

En los últimos 5 años, las técnicas más utilizadas para realizar evaluación de usabilidad son: Survey / Questionnaire, User Testing,           Heuristic Evaluation, Interview, User Testing – Thinking Aloud / Thinking Out Loud, Usability Metrics / Software Metrics,            Automated Evaluation via Software Tool/Software, Cognitive Walkthrough, Prototype Evaluation, Focus Group, Checklist Verification, Pencil & Paper, Perspective Based Usability Inspection, Field Observation / Field Study, Eye Tracking, Click Map / Scroll Map / Heat Map, Opinion Mining, Web Usability Evaluation Process, Retrospective Thinking Aloud, Cognitive Task Analysis, Usability Guidelines, Card Sorting, Canvas Card Sorting, Retrospective Sense Making, Personas, User Workflow, Cognitive Jogthrough, Domain Specific Inspection, Participatory Heuristic Evaluation, Semiotic Inspection Method, Usability & Communicability Evaluation Method, Simplified Pluralistic Walkthrough, Simplified Streamlined Cognitive Walkthrough, Music Performance Measurement Method, Statistical Heuristic Assessment

3.2. Técnicas en el proceso de desarrollo de software

Modelamiento en UML, el uso de diagramas de comunicación y herramientas CASE en el proceso de desarrollo de software para verificar comportamientos del sistema con un enfoque desde la usabilidad, Utilización de herramientas, Métodos Patrón – consumidor, Software Lab-view based, Cognitive user model, Usability Maturity Model-Human Centredness Scale (UMM-HCS), Task Model

3.3. Métricas

Se encuentra la utilización de métricas, e inclusive técnicas basadas en métricas para la evaluación de la usabilidad. Se encuentra que las métricas son definidas para contextos particulares, sin embargo, las métricas más renombradas en los artículos estudiados son: visual cohesión, entendibilidad, tasa de errores, operatibilidad, aprendabilidad / facilidad de aprendizaje, atractivo, conformidad de la usabilidad, eficiencia, recuerdo en el tiempo, satisfacción.

Las métricas mencionadas anteriormente, deben ser definidas de tal forma que puedan ser evaluadas de manera cuantitativa y cualitativas, según como el proyecto en el que serán utilizadas así lo requiera.

3.4. Herramientas

En relación a herramientas para pruebas de usabilidad se encuentran dos grandes clasificadores, herramientas software, que soportan durante el proceso de desarrollo y durante la evaluación a producto final, y herramientas de medición externa.

Dentro de las herramientas software, se encontró: herramientas automatizadas para pruebas heurísticas, AutoProof (Furia, Poskitt, & Tschannen, 2015), METEOR (Puppala, y otros, 2015) My reviewers (Branham, Moxley, & Ross, 2015), TURF (Zheng, y otros, 2015), Oracle Testing tools (Geng & Tian, 2015).

Otras herramientas mencionadas en los artículos de estudio: Whiteboard sketches y Eye trackers.

3.5. Visión general del tema, avances, aplicaciones

• Una iniciativa encontrada en la investigación realizada, refleja un interés hacia la usabilidad en campos de datos, es decir, la aplicación de técnicas de usabilidad y diseño centrado para el manejo de volúmenes de datos, la finalidad es mejorar la velocidad y la facilidad de uso por parte de los usuarios al buscar, analizar y visualizar la información. (Open Government Data (OGD)).
• Se presentan diferentes iniciativas desde gobiernos en el mundo para mejorar la facilidad de uso de sus diferentes plataformas.
• Evaluación de riesgos en aplicativos médicos, las pruebas con usuarios como factor para disminuir riesgos de errores humanos.
• Herramientas para detección de errores de seguridad con problemas de usabilidad, previene a desarrolladores de su uso.
• Usabilidad en Bug-Trackers, reportadores de errores.
• Evaluación heurística en video juegos
• Usabilidad en aplicaciones médicas, uso de herramientas automatizadas para pruebas de usuarios y heurísticas

Análisis del ciclo de vida utilizando Curvas en S

Para el análisis de la información, fue utilizada la metodología denominada Curvas en S, la cual permite comprender el comportamiento, e identificar las etapas en el ciclo de vida de una tecnología (Daim, Rueda, Martin y Gerdsri 2006; Pérez, 2001). Las Curvas en S también permiten identificar el estado de una tecnología (emergente, entrante, clave, madura o en declive), así como la estrategia a seguir con la tecnología bajo vigilancia (monitoreo, inversión selectiva, sobreinversión), y el comportamiento de la tecnología en cada fase (inicial, crecimiento temprano, crecimiento tardío y madurez) (Ortiz & Pedroza, 2006).

En la Figura 2 , se presenta la metodología de curvas en S utilizada para el análisis de la información.

Figura 2 . Metodología Curvas en S (ZARTHA, PALOP, B. AVALOS, & VÉLEZ, 2013)

Durante el proceso de análisis utilizando Curvas en S, se utilizó el software SigmaPlot, se tabularon los datos obtenidos de artículos y patentes, especificando año y cantidad de resultados obtenidos, y se acumularon los valores con el objetivo de introducirlos como parámetros de entrada en el software a utilizar.

A través de regresiones no lineales se aplican 13 modelos (Sigmoidal 3 parámetros, Sigmoidal 4 parámetros, Sigmoidal 5 parámetros, Logístico 3 parámetros, Logístico 4 parámetros, Weibull 4 parámetros, Weibull 5 parámetros, Gompertz 3 parámetros, Gompertz 4 parámetros, Hill 3 parámetros, Hill 4 parámetros, Chapman 3 parámetros y Chapman 4 parámetros), de los cuales se selecciona el de mejor ajuste y se obtienen las respectivas curvas en S. Los parámetros de revisión, bajo los cuales se selecciona el modelo que mejor ajuste da para cada tecnología, son: valor t: mayor que 2 y menor que -2, valor p: menor que 0.005, Durbin Watson: entre 1.8 y 2.2, R2 Ajustado: que tienda a 1.

Por recomendación de un experto en el tema de estudio, para el análisis del ciclo de vida de la tecnología se procedió a seleccionar 7 tecnologías relacionadas con el tema de interés, con el objetivo de precisar el estado de las tecnologías más cercanas y relacionadas con dicho tema.

En la Tabla 3, se presentan las ecuaciones de búsqueda empleadas para determinar las cantidades de artículos en Scopus y patentes en Free Patents registrados sobre 6 tecnologías relacionadas con el tema de estudio: Usabilidad.

Nota aclaratoria: los resultados de las ecuaciones se han limitado a las áreas de conocimiento: Ciencias de la computación, Ingeniería, Psicología y Neuromarketing.

Tabla 3 . Ecuaciones de búsqueda Curvas en S

Algunos datos obtenidos sobre artículos relacionados con el tema principal Usabilidad (Tabla 4):

Tabla 4 .Datos acumulados artículos Usabilidad

En la Tabla 5, se puede observar las 6 tecnologías con los datos de artículos y patentes con relación al punto de inflexión, D.W y Modelo para cada uno.

Tabla 5 . Datos artículos y patentes

A continuación, en la Figura 5 , se presentan algunas de las gráficas arrojadas por el software Sigmaplot, en las tecnologías analizadas.

Figura 3 . Curvas en S – Técnicas de evaluación usabilidad

4. Discusión

Como metodología para la toma de decisiones, las Curvas en S contribuye a reducir la incertidumbre mediante la identificación del estado de las tecnologías bajo análisis y los puntos de inflexión asociados a éstas. El soporte ofrecido por las Curvas en S resulta de utilidad para los siguientes casos:

Identificación del estado de la tecnología (antes y después del punto de inflexión): dadas las series de datos analizadas, según las ecuaciones de búsqueda definidas (Tabla 4), se identifica que en general, para todas las tecnologías relacionadas al área de usabilidad, el punto de inflexión ya se presentó, lo cual indica desde el punto de vista de artículos, que ésta es una tecnología madura o en declive. El punto de inflexión en general para las 7 tecnologías analizadas se encuentra entre los años 2010 y 2015 (Tabla 5).

A continuación, en la Figura 4, se presenta la evolución de las tecnologías dados sus puntos de inflexión.

Figura 4 . Evolución de las 7 tecnologías
Fuente: Adaptado de (Ortiz & Pedroza, 2006)

Las tecnologías analizadas relacionadas con el tema de Usabilidad, se encuentran en una fase de madurez por lo que se puede concluir que son de fácil acceso y ampliamente conocidas. Sin embargo, es importante considerar que para las tecnologías Eye tracking, métricas y emociones el punto de inflexión es muy cercano al año actual, y considerando que los puntos de inflexión son dinámicos (pueden variar dada la serie de datos ingresada), es conveniente realizar un monitoreo continuo a estas tecnologías.

De acuerdo con (Perez, 2001) y (Zartha, Arango, Hernández, & Moreno, 2014), dado que, para las tecnologías analizadas, los puntos de inflexión se presentaron en años anteriores, se concluye que la información relacionada con estas tecnologías ya es de fácil acceso y ampliamente conocida. También puede concluirse que existe una gran oportunidad para generar una innovación incremental o radical asociada a estas tecnologías.

Con el fin de profundizar un poco en el comportamiento de las tecnologías de interés relacionadas con el área de usabilidad, se realiza un análisis de clúster. El análisis clúster se aplicó a un conjunto de tecnologías relacionadas con el tema Usabilidad, tomando como datos los puntos de inflexión obtenidos a partir de una regresión no lineal de la curva sigmoidea o curva en S, y la serie de tiempo de la producción técnica y científica, expresada en artículos (no fue posible incluir la cantidad de patentes, dado que no se tenían suficientes datos).

El agrupamiento fue realizado usando la técnica clúster conocida como vecino más cercano, tomando como métrica la distancia euclidiana cuadrática. Las gráficas muestran la conformación de un único grupo:

Figura 5 . Clúster de las tecnologías analizadas

En la Figura 5, es posible identificar los comportamientos similares seguidos por algunas de las tecnologías, por ejemplo, se observa un comportamiento similar entre las tecnologías Técnicas de Inspección y Herramientas para la Usabilidad, cuyos puntos de inflexión estuvieron entre los años 2010 y 2011 respectivamente. Adicional a esto, dadas las series de datos, el crecimiento en investigación fue similar para ambas tecnologías.

Por otro lado, las tecnologías Eye tracking y Emociones presentan un comportamiento similar, teniendo ambas un punto de inflexión (dadas las series de datos ingresadas), en el año 2015, como se ha mencionado anteriormente, los puntos de inflexión son dinámicos y dada la cercanía con el año actual es pertinente monitorear estas dos tecnologías.

Finalmente, es de resaltar que la tecnología con más investigación realizadaes Técnicas de Evaluación en Usabilidad, esta tecnología a lo largo de la serie de tiempo analizada ha tenido un comportamiento diferente a las otras observadas, la cantidad de publicaciones ha sido superior, su punto de inflexión se dio para el año 2011, lo cual nos puede llevar a concluir que estas técnicas, al tener el soporte de investigación mencionado, son muy confiables.

De acuerdo con (Jhon Wilder ZARTHA Sossa, 2015), se puede concluir que las tecnologías Técnicas de Evaluación, Técnicas de Inspección, Herramientas y Semiótica se encuentran en una fase madura o en declive, lo que puede indicar: ue no es conveniente la sobreinversión en éstas, que de acuerdo con su punto de inflexión menor a 2015, ya no es conveniente aplicar mecanismos de derecho tecnológico y propiedad intelectual, 1ue estas tecnologías son altamente confiables, que son tecnologías de bajo costo, 1ue son tecnologías cuyos puntos de inflexión se dieron hace varios años y que las ventajas de patentamiento después de 2015 no son apreciables.

5. Conclusiones y trabajo futuro

En este trabajo se ha presentado un proceso de Vigilancia Tecnológica y Análisis de Tecnologías usando la metodología Curvas en S, aplicado sobre el área de la Usabilidad, realizado para el departamento del Quindío (Colombia), partiendo de las expectativas e interés de investigadores y empresarios locales vinculados a la industria TIC.

Luego del análisis utilizando Curvas en S, y teniendo en cuenta la serie de datos de artículos empleados para cada una de las tecnologías relacionadas (Técnicas de Evaluación, Técnicas de Inspección, Métricas, Herramientas para la Evaluación de la Usabilidad, Eye-tracking, Semiótica y Emociones), éstas se encuentran en un estado maduro o en declive, lo cual indica que en este momento no es conveniente sobreinvertir en estas tecnologías, y para el caso de las Herramientas para la Evaluación de la Usabilidad se debe evaluar la posibilidad de construir las mismas o acceder a éstas de manera selectiva.

También se puede concluir que las tecnologías relacionadas al área de Usabilidad son altamente confiables, y que en este momento existe una gran oportunidad para generar innovaciones incrementales o radicales, dado el fácil acceso a la información relacionada con esta área y las tecnologías asociadas analizadas en este artículo.

Se encuentra que para las tecnologías Eye tracking, Métricas y Emociones, existe un interés creciente en los últimos años, dado el número de publicaciones en la serie de tiempo para artículos. También se identifica que existen muy pocas patentes relacionadas con estas tecnologías, representando esto una gran oportunidad para investigadores y empresarios interesados en realizar innovaciones o seguimiento a estas tecnologías. Se debe tener en cuenta que los puntos de inflexión para las tecnologías en mención es 2015, por lo tanto, resulta conveniente monitorear de cerca estas tecnologías a la espera de nuevas investigaciones y patentes que pudieran dinamizar los puntos de inflexión.

En el departamento del Quindío (Colombia) existe un interés relacionado con el desarrollo de las tecnologías relacionadas al área de Usabilidad, dado esto, es importante realizar una investigación a mayor profundidad sobre los años y los avances realizados para las tecnologías de interés, y monitorear de cerca las tecnologías: Eye tracking, Métricas y Emociones.

Como trabajo futuro, se propone la realización de un análisis sobre el panorama en Colombia para las tecnologías de interés, determinando cómo son utilizadas estas tecnologías en el país y cómo se podría aprovechar la oportunidad para generar innovaciones relacionadas a estas tecnologías.

Referencias

Libro

AENOR. (2006). Gestión de la I+D+i: Requisitos del Sistema de Gestión de la I+D+i. Madrid, España. Recuperado el 15 de abril de 2016

AENOR. (2011). UNE 166006:2011 Gestión de la I+D+i: Sistema de vigilancia tecnológica e inteligencia competitiva. Madrid, España: AENOR.

Artículo de revista

Aguilar, S., Ávalos, A., Giraldo, D., Quintero, S., Zartha, J., & Cortés, F. (2012). La Curva en S como Herramienta para la Medición de los Ciclos de Vida de Productos. Journal of Technology Management & Innovation, 7(1).

Branham, C., Moxley, J. M., & Ross, V. (Julio de 2015). My reviewers: Participatory design & crowd-sourced usability processes. SIGDOC 2015 - Proceedings of the 33rd Annual International Conference on the Design of Communication(16). Recuperado el abril de 2016

Cortés, I., Zartha Sossa, J. W., Mendéz Naranjo, K., & Castrillón Hernández, F. (2013). Valoración de modelos de curvas en S aplicadas al sector financiero colombiano. Espacios, 34(3), 2.

Furia, C. A., Poskitt, C. M., & Tschannen, J. (Junio de 2015). The AutoProof verifier: Usability by non-experts and on standard code. Electronic Proceedings in Theoretical Computer Science, EPTCS. Recuperado el abril de 2016

Geng, R., & Tian, J. (Febrero de 2015). Improving web navigation usability by comparing actual and anticipated usage. IEEE Transactions on Human-Machine Systems, 84-94. Recuperado el abril de 2016

Ortiz, S., & Pedroza, A. (2006). ¿QUÉ ES LA GESTIÓN DE LA INNOVACIÓN Y LA TECNOLOGÍA (GInnT)? Journal of Technology Management & Innovation, 1(2).

Palop, F., & Vicente, J. (1999). Vigilancia Tecnológica e Inteligencia Competitiva. Su potencial para la empresa española. España. Recuperado el 15 de abril de 2016

Palop, F., Martínez, J. F., & Bedoya, A. (2012). Guía Metodológica de Práctica de la Vigilancia Tecnológica e Inteligencia Competitiva: "Proyecto Piloto de Transferencia y Desarrollo de Capacidades Regionales en Vigilancia Tecnológica e Inteligencia Competitiva". Valencia y Medellín: Universitat Politécnica de Valéncia UPV. Recuperado el abril de 2016

Perez, C. (2001). Cambio tecnológico y oportunidades del desarrollo como blanco móvil. Revista de la Cepal, 75, 115-136.

Puppala, M., He, T., Chen, S., Ogunti, R., Yu, X., Li, F., . . . Wong, S. (Diciembre de 2015). METEOR: An Enterprise Health Informatics Environment to Support Evidence-Based Medicine. IEEE Transactions on Biomedical Engineering, 62(7137654), 2776-2786. Recuperado el abril de 2016

Sánchez Torres, J. M., & Palop, F. (2002). Herramientas de Software para la práctica en la empresa de la vigilancia tecnológica e inteligencia competitiva. Valencia-España: Triz XXI.

Shankar, A. L., Brown, H. F., & Rice, C. (Abril de 2015). Rapid usability assessment of an enterprise application in an agile environment with CogTool. Conference on Human Factors in Computing Systems - Proceedings. Recuperado el abril de 2016

Stackelberg, P. (2009). Footprints of the Future: Timelines and Exploratory Forecasts in Futures Research. Journal of Futures Studies, 13:34.

Zartha Sossa, J. W., Arango Álzate, B., Hernandez Zarta, R., Medina Henao, J. G., & Orozco Mendoza, G. L. (13 de Abril de 2015). Curvas en S y análisis de cluster en ciclo de vida de la tecnología : Aplicación en 11 tecnologías en alimentos. Revista Espacios. Recuperado el 1 de Junio de 2016

Zartha, J. W., Palop, F. A., B. Avalos, A., & Vélez, F. (2013). S-curve analysis and technology life cycle. Application in series of data of articles and patents. Proceedings: 3rd Global TechMining Conference, Atlanta.

Zartha, J., Arango, B., Hernández, R., & Moreno, J. (2014). Análisis del ciclo de vida de la tecnología a través de curvas en S: Aplicación en operaciones unitarias en alimentos. Espacios, 35(7), 1.

Zartha, J., Avalos, A., Urrea, S., & Hernandez, F. (2009). Metodología para la medición de innovaciones tecnológicas aplicada a empresas del sector agroindustrial. Biotecnología en el Sector Agropecuario y Agroindustrial, 7(2), 89-98.

Zheng, K., Vydiswaran, V. G., Liu, Y., Wang, Y., Stubbs, A., Uzuner, Ö., . . . Xu, H. (2015). Ease of adoption of clinical natural language processing software: An evaluation of five systems. Journal of Biomedical Informatics.

1. Proyecto Quindío Innova, Cámara de Comercio de Armenia y del Quindío. Email: quindioinnova@camaraarmenia.org.co  

2. Grupo de Investigación SINFOCI, Universidad del Quindío. Armenia (Colombia), Email: mltobon@uniquindio.edu.co