ISSN 0798 1015

Vol. 40 (Nº 25) Año 2019. Pág. 9

Herramientas colaborativas para revisiones sistemáticas

Collaborative tools for systematic revisions

GRIJALVA, Paola K. 1; CORNEJO, Galo E. 2; GÓMEZ, Raquel R. 3; REAL, Karina P. 4 y FERNANDEZ, Alejandro 5

Recibido: 16/02/2019 • Aprobado: 11/07/2019 • Publicado 22/07/2019

Contenido

1. Introducción

2. Objetivo y Metodología

3. Resultados y Discusión

4. Conclusiones

Referencias bibliográficas

1. Introducción

La realización de una Revisión Sistemática (RS) constituye la tarea inicial de un proceso investigativo (Moher et al., 2015), que permite obtener conocimiento científico mediante información relevante, de estudios o experimentos realizados que contengan la información necesaria sobre una pregunta de investigación y tema específico.

Los investigadores invierten tiempo en la realización de este proceso de revisión, sumergidos en gran cantidad de información, la cual día a día se incrementa de manera exponencial, por lo que la tarea de leer, analizar, clasificar y evaluar si es necesaria para incorporarla en su trabajo investigativo, se ha vuelta una complicada tarea.

La RS es una herramienta que colabora con la interpretación de los significados que los individuos o grupos le asignan a un problema, cómo y por qué funcionan las opciones, y los puntos de vista y las experiencias de las partes interesadas relacionados con las opciones en particular. (Arturo Arévalo Barea et al., 2010)

Así mismo presentan una serie de limitaciones, como la falta de coincidencia entre los términos utilizados entre autores y los interesados en la información, la poca existencia de herramientas automatizadas que permitan realizar el proceso para una revisión sistemática, o herramientas sesgadas a una base de datos o tipo de información en particular, haciendo casi imposible la revisión de todos los artículos que respondan al tema de investigación. Uno de los tipos de revisión más recientes es la revisión de alcance (Peters et al., 2015), que se usan comúnmente para aclarar las definiciones de trabajo y los límites conceptuales de un tema o campo; son útiles cuando un cuerpo de literatura aún no ha sido revisado exhaustivamente.

Para la realización de una revisión sistemática, los investigadores siguen una metodología y protocolo previamente establecido, que limitan el sesgo y el error aleatorio cómo: la búsqueda sistemática y exhaustiva de todos los artículos potenciales relevantes, la selección mediante criterios explícitos y reproducibles, de los artículos que serán incluidos finalmente en la revisión, la descripción del diseño y la ejecución de los estudios originales, la síntesis de los datos obtenidos y la interpretación de los resultados. (Ferreira González, Urrútia, y  Alonso-Coello, 2011)

En este artículo se analizan diferentes publicaciones que explican el proceso, protocolo y actividades que se deben realizar en una revisión sistemática dentro del proceso científico, esta información nos sirvió como fase de análisis de requerimientos y permitió estudiar diferentes herramientas que apoyan al proceso investigativo determinando si cumplen o no con el proceso de una revisión sistemática. Las preguntas que se busca resolver se aprecian en la tabla 1.

Tabla 1
Formulación de preguntas

Los estudios científicos publicados en revistas fueron identificados mediante búsquedas bibliográficas en bases de datos distintas: Scielo, Redaly.org, Proquest, Scopus, Springer, Latindex. Los términos de búsqueda consultadas fueron “revisión sistemática” OR “systematic reviews”), (“protocolo revisión sistemática” OR “protocol systematic review”), (“herramientas revisiones sistemáticas” OR “systematic reviews tools”), (“'herramientas colaborativas revisiones sistemáticas” OR “'collaborative tools for systematic reviews”), (“software para revisiones sistemáticas” OR “software systematic reviews”), (“herramientas para investigadores” OR “tools for researchers”),(“software para investigadores” OR “software for researchers”). El límite establecido fue la fecha de publicación no anterior al año 2001. Finalmente, se realizó una búsqueda de páginas web para identificar posibles estudios no publicados, pero reseñados en Internet.

Se seleccionaron todos los artículos de los que fue posible realizar la identificación del proceso o fases para la realización de una revisión sistemática y de aquellos que hacían referencias a herramientas para ser utilizadas por los investigadores. Se verificaron las características y el funcionamiento de estas herramientas, adaptándolas al protocolo de revisión sistemática. Posteriormente, se verificó que características colaborativas, presentan estas herramientas.  No se seleccionaron los trabajos relacionados con revisiones sistemáticas de estudios de casos particulares.

De los estudios seleccionados se extrajo la identificación del proceso para una revisión sistemática, su clasificación, fases y actividades que se realizan en cada una de ellas; ya que se consideraron una entrada importante para la caracterización de herramientas que cumplan con este proceso.  La caracterización de las herramientas se las verificó también con las características básicas de una herramienta colaborativa.

Se identificaron 36 trabajos publicados entre 2001 y 2018, de los cuales 21 tenían relación con el proceso de revisión sistemática y 15 relacionadas con herramientas utilizadas en el proceso de investigación. De las cuales 10 herramientas fueron consideradas para la evaluación del cumplimiento del proceso para revisión sistemática y características colaborativas de las mismas.

3.1. Revisiones Sistemáticas (RS)

Existen varias publicaciones donde se explica que es, como realizarlas(Pai et al., 2006)(Pai et al., 2006)(Green, Johnson, & Adams, 2006)  y la importancia de las revisiones sistemáticas en el proceso de investigación científica(Moher et al. ,2015), sobre todo basados en el ámbito de la medicina(Peters et al., 2015) (Anderson, Browning, Urband, Kluczynski, & Bisson, 2016)(Brown & Farquhar, 2014), psicología, ingenierías y otras ciencias, donde hay grandes cantidades de información con una actualización permanente; de estas revisiones se realizan nuevos estudios, tomas de decisiones importantes(Cook, Possingham & Fuller, 2013) sobre tratamientos, intervenciones o nuevas contribuciones con la ciencia.

De estas publicaciones, y con la finalidad de enmarcarlas en cómo se debe realizar una revisión sistemática utilizando una herramienta de software(Silver, 2016) que automatice este proceso, se revisaron algunas definiciones, y se establece la diferencia en lo que es y no se considera una revisión sistemática. Entre las cuales se destaca que una revisión sistemática es una síntesis metodológica e integral de la literatura centrada en una pregunta de investigación bien formulada, cuyo objetivo es identificar y sintetizar toda la investigación académica sobre un tema en particular, incluidos los estudios publicados y no publicados. Las revisiones sistemáticas se llevan a cabo de una manera imparcial y reproducible para proporcionar evidencia para la práctica y la formulación de políticas e identificar brechas en la investigación (Urrútia y Bonfill, 2010). Las RS son aquellas que resumen y analizan la evidencia respecto de una pregunta específica en forma estructurada, explícita y sistemática. Indica el método utilizado para encontrar, seleccionar, analizar y sintetizar la evidencia presentada. Existen dos tipos de revisiones sistemáticas, las RS Cualitativas, cuando se presenta la evidencia en forma descriptiva, sin análisis estadístico y las RS Cuantitativas o Meta análisis, cuando mediante el uso de técnicas estadísticas, se combinan cuantitativamente los resultados en un sólo estimador puntual (Luz et al., 2005).  En este caso cabe señalar que una RS cualitativa puede no derivar en una RS cuantitativa, pero una RS Cuantitativa no puede existir si previamente no se ha realizado una RS Cualitativa.

Otra definición importante relacionada, se observa en el ámbito de la medicina, indicando que la revisión sistemática, resume los resultados de los estudios disponibles y cuidadosamente diseñados (ensayos clínicos controlados) proporciona un alto nivel de evidencia sobre la eficacia de las intervenciones en temas de salud como se expone en el artículo “Systematic reviews and meta-analysis”(Haase S.C., 2011) que brinda pautas clínicas para guiar futuros esfuerzos de investigación y presenta una guía paso a paso para realizar una revisión sistemática adecuada, con muchos ejemplos ilustrativos. Estas revisiones son muy útiles en la aplicación de la evidencia para la toma de decisiones en la administración en salud; se toman como base para la confección de guías de práctica clínica o análisis económicos, de decisión o evaluación del riesgo (Kanchanabat et al., 2011) (Vidal Ledo, Oramas Díaz, & Borroto Cruz, 2015). Las revisiones sistemáticas permiten por lo tanto acumular de manera sencilla, sistemática y objetiva las evidencias que existen de estudios realizados sobre un tema en especial, permitiendo ahorrar tiempo a los profesionales y ofrece una visión conjunta de lo que las evidencias científicas dicen sobre un problema en especial.

3.2. Revisiones sistemáticas y no sistemáticas

Otro grupo de autores, dentro del proceso científico, reconocen la revisión sistemática y no sistemática o “revisión narrativa”(Bae, 2014), enfatizan que en una revisión sistemática se revisa la literatura científica sobre un tópico partiendo de una pregunta formulada con claridad (Sánchez-Meca, 2010) y se utiliza métodos sistemáticos y explícitos para identificar, seleccionar y valorar críticamente investigaciones relevantes a dicha pregunta, así como recoger y analizar datos de los estudios incluidos en la revisión. (Koretz & Lipman, 2017)

La diferencia entre revisión sistemática y no sistemática radica en que la primera posee un protocolo(Moher et al., 2015) o conjunto de pasos que sigue el investigador para actualizar el tópico. Determina que estrategia se utilizó para la búsqueda bibliográfica, cómo se hizo la selección de estudios a ser incluidos en la revisión y/o qué métodos se usaron para determinar la validez de estos.  En la revisión no sistemática, narrativa o bibliográfica, no es necesario establecer un rigoroso protocolo, es utilizado mayormente para la determinación de antecedentes, fundamentación teórica de lo que se ha realizado o no de una determinada investigación.

Dentro de la RS existen dos formas de análisis, la cuantitativa también llamada meta-análisis y la cualitativa también llamada overview. Se diferencian básicamente por el uso de métodos estadísticos. En la meta-análisis, se combinan los resultados de varios estudios que examinan la misma pregunta, revisa la literatura críticamente y combina estadísticamente los resultados de estudios previos. Se trata de resumir en un valor numérico toda la evidencia relacionada a un tópico específico y se trata de resolver los conflictos generados por diferentes resultados en varios estudios publicados. (Ortiz, 2005)

En la tabla 2 se muestran las diferencias entre la revisión sistemática y la revisión narrativa (Ferreira González, Urrútia y Alonso-Coello, 2011), siendo que una revisión de  literatura (Bae, 2014) debe de incluir la estrategia de búsqueda y los criterios de selección. Los resúmenes narrativos pueden ser una valiosa contribución a la literatura si se preparan adecuadamente y con estándares actuales en el proceso de publicación (Green, Johnson & Adams 2006) (O’Mara-Eves et al., 2015).

Tabla 2
Diferencia entre revisiones
narrativas y sistemáticas

3.3. Protocolo para las revisiones sistemáticas

De las diferentes fuentes consultadas sobre el proceso metodológico para la realización de revisiones sistemáticas se obtuvo que las fases principales son: Planeación, Selección, Extracción y Ejecución.

Como se puede observar en la Tabla 3, las actividades que diferencian las revisiones bibliográficas y las revisiones sistemáticas se dan por la identificación del problema, determinación de la pregunta y la evaluación de los estudios con la combinación de sus datos llamado también meta-análisis.

Tabla 3
Proceso de revisión narrativa y revisión
sistemática según las fases

En la figura 1 se puede observar la aplicación del proceso de una revisión sistemática, a medida que se avanza en el mismo se obtienen los estudios que cumplen con los parámetros establecidos en la etapa de planificación.

Figura 1
Proceso de una revisión sistemática

3.4. Herramientas para investigadores

La inclusión de herramientas que permitan la realización de revisiones sistemáticas provee un medio efectivo para la identificación y evaluación de la literatura e investigaciones existente en un dominio específico. Esta actividad es considerada como el primer paso a llevar a cabo en la obtención de conocimiento, entendimiento y delimitación de un tema de investigación Científico (de Almeida Biolchini et al., 2007).  Varios análisis se han desarrollado sobre los protocolos o actividades que se realizan durante las revisiones sistemáticas y proponen nuevos pasos o actividades para llevar a cabo este protocolo, sin embargo, y a pesar de sentar las bases para el establecimiento del protocolo de la revisión sistemática, hasta el momento existen pocas herramientas, que de manera eficiente soporten totalmente la automatización de las actividades de una revisión sistemática.

La mayor parte de estas herramientas son un apoyo a las actividades del investigador en relación a la elaboración de citas bibliográficas, administración de estudios encontrados y en la interacción con algunas bibliotecas digitales, como son las herramientas Mendeley, RefWorks, JabRef, EndNote, Zootero (Boretto, 2012)(Cordón-García, Martín-Rodero, y Alonso-Arévalo, 2009) y otro grupo de herramientas destinadas a la realización de meta-análisis como es el caso de MAVIS,  MetAnalysis o ClinTools. En la documentación encontrada, se referenció a RevMan, una aplicación que de acuerdo con las características detalladas cumple con todas las fases y actividades para la realización de una revisión sistemática.

En la tabla 4, se detallan las principales características de las herramientas analizadas para el uso de los investigadores en el proceso de revisión, entre las cuales por ejemplo Mendeley tiene disponible el plugin webimporter que permite agregar la funcionalidad de descargas de la aplicación a los distintos navegadores web, en esta herramienta el investigador dedica un considerable tiempo a la búsqueda de artículos.  Con RefWorks el investigador debe tener los artículos o estudios digitales en su computadora e importarlos a la aplicación que se mueve sobre la plataforma web.  JabRef permite aplicar hasta 6000 estilos de citas bibliográficas, siendo su función principal la de almacenar, gestionar y buscar referencias bibliográficas en una librería personal de referencias (Felipe et al., 2013). Una de las opciones de Zotero es que permite importar automáticamente información de citas de varias fuentes, incluidos sitios web sin suscripción, periódicos y comerciales, y bases de datos basadas en la web como PubMed y MedlinePlus(Trinoskey, Brahmi, & Gall, 2009).

En otro grupo de herramientas tenemos a MAVIS, que mide el tamaño del efecto combinado, distintos indicadores de heterogeneidad y algunos cálculos sobre el riesgo de sesgo de publicación, además proporciona un diagrama de bosque con los tamaños del efecto y un diagrama de embudo.  Comprehensive Meta-analysis (CMA)   incluye una amplia gama de opciones sofisticadas para el ingreso, análisis y visualización de datos(Cattaneo and Jonsdottir, 2009).Una de las ventajas de Metafor en comparación con otros programas de estadística son sus aplicaciones de generación de gráficas. Por último, se encuentra RevMan que facilita la preparación de protocolos y revisiones completas, incluido el texto, las características de los estudios, las tablas de comparación y los datos del estudio, realizar un meta-análisis de los datos ingresados y presenta los resultados de manera gráfica permitiendo escribir revisiones de estudios de precisión de pruebas de diagnóstico, revisiones de estudios de metodología y reseñas de revisiones.

Tabla 4
Herramientas de apoyo al
proceso de investigación

3.5. Análisis de asociación al protocolo de Revisión Sistemática

De las herramientas identificadas como apoyo al proceso de investigación se realizó el análisis para adaptarla al protocolo verificando el cumplimiento con la fase.

En la Tabla 5 se realiza una comparación de las herramientas que fueron analizadas entre ellas se encuentran Mendeley, Refworks, JabRef, EndNote, Zotero, MAVIS, Comprehensive Metaanalysis CMA, y RevMan,

Para esto se utilizó la siguiente simbología:

√ significa la presencia de la característica al momento de la revisión

x significa la ausencia de la característica al momento de la revisión

Tabla 5
Asociación de herramientas a las fases del protocolo de revisión sistemática

1. De la comparación de características realizadas se observa que RevMan cumple con todas las actividades planteadas para cada fase.

La figura 2, exhibe el funcionamiento de Revman, adaptado a las fases del protocolo, para lo cual se debe tener un usuario y clave del Grupo de Revisión Cochrane, a su vez Revman trabaja con Archie, que es el sistema central de Cochrane para administrar documentos y detalles de contacto, y para rastrear las etapas del proceso editorial y de publicación. Se pueden trabajar 4 tipos de revisiones como son: intervenciones, metodología, estudios de validez de pruebas diagnósticas, revisión de revisiones.

Figura 2
Diagrama de bloque del funcionamiento de RevMan

3.6 Análisis Colaborativo de la herramienta para revisión sistemática

Para el análisis colaborativo se consideró Revman, debido a que es la herramienta que, de acuerdo con el análisis realizado, cumple con todo el proceso de revisión sistemática. Cómo características colaborativas se consideraron las siguientes: Colaboración, que consiste en la creación de espacios de trabajo para la edición de documentos en grupo y la trazabilidad de las acciones realizadas; la manipulación de archivos, el acceso a los documentos, la sincronización y uso compartido; gestión del contenido, que consiste en la clasificación de los metadatos, búsqueda facilitada y seguimiento de auditoría; la productividad del usuario, que es la capacidad de editar atributos de los documentos, administrar anotaciones, etiquetas y notas; flujo de trabajo, que radica en la creación de procesos que describen acciones en el archivo, notificación de tareas y gestión de permisos; movilidad, accesibilidad desde dispositivos móviles, notebooks y PC de escritorio, y navegador web; simplicidad y usabilidad, es el uso de interfaces modernas e interacciones optimizadas como el drag and drog de los archivos; seguridad y protección de datos, con referencia a los dispositivos conectados, documentos en tránsito, así como aquellos almacenados; la integración, con CMIS(servicios de interoperabilidad de gestión de contenido) y herramientas de diseño; y el almacenamiento de datos, con el uso de un depósito centralizado de la documentación y un espacio de almacenamiento por usuario.

En la figura 3, se presenta las características colaborativas de RevMan, por cada fase del protocolo para una revisión sistemática.

Figura 3
Características colaborativas
de RevMan en cada fase

De la revisión realizada a las herramientas que apoyan al proceso de investigación, se puede apreciar que a pesar de que existe un protocolo o proceso formal para la realización de las revisiones sistemáticas, no todas las herramientas apoyan al proceso completo que debe realizar el investigador. La mayor parte de las herramientas apoyan al proceso de selección, que consiste en la realización de búsqueda bibliográfica a través de autores, palabras claves o temas de estudios que estén relacionados, y ayudan al control de referencias y citas bibliográficas, a este grupo de herramientas se las conoce como gestores bibliográficos y al proceso como revisión narrativa, ya que no efectúan un análisis de los datos de los diferentes estudios.

El otro grupo de herramientas, llamadas de Meta-análisis, apoyan al proceso de comparación de datos a través de la combinación y técnicas estadísticas(O’Mara-Eves et al., 2015). Este grupo de herramientas no poseen automatizado la búsqueda y control de referencias, pero poseen la importación de los diferentes estudios y permiten la extracción y comparación de datos.

La complejidad de evaluar la calidad de los estudios de diferentes tipos, el acceso a bases de datos pagas, los diferentes estándares de las revistas científicas que pertenecen a estas bases, hacen complejo que una herramienta que apoye al proceso de investigación cumpla con todo el protocolo de una revisión sistemática. Por otro lado, la poca conexión del mundo de la práctica profesional en desarrollo de software y el de la investigación, que se hace fundamentalmente en las universidades, ha retribuido en la falta de unificación de los diferentes procesos.

Para reducir el potencial de sesgo de los revisores y para garantizar que los hallazgos de las revisiones sistemáticas sean transparentes y reproducibles, organizaciones como la Colaboración Cochrane, la Colaboración Campbell y la Colaboración para la Evidencia Ambiental, recomiendan el uso de herramientas formales de evaluación de la calidad en lugar de juicio informal de experto (Bilotta, Milner, and Boyd, 2014). Siendo esta organización quien exige el uso de su herramienta Revman para sus publicaciones, permitiendo su gestión desde la formulación de la pregunta de investigación, hasta la publicación de esta, examinando la escritura del texto, análisis estadístico, gestión de referencia, envío para revisión editorial y publicación.

Anderson, M. J., Browning, W. M., Urband, C. E., Kluczynski, M. A., & Bisson, L. J. (2016). A Systematic Summary of Systematic Reviews on the Topic of the Anterior Cruciate Ligament. Orthopaedic journal of sports medicine, 4(3), 2325967116634074. https://doi.org/10.1177/2325967116634074

Arturo Arévalo Barea, R., Ortuño, G., Dory Esther Arévalo Salazar, U., Medicina Basada Evidencia, D., Sistemáticas, R., Investigación, M., & Guías Clínicas, E. (2010). Revisiones sistemáticas (1) Rev Med La Paz (Vol. 16). Recuperado de http://www.scielo.org.bo/pdf/rmcmlp/v16n2/v16n2_a12.pdf

Bae, J.-M. (2014). Narrative reviews. Epidemiology and health, 36, e2014018. https://doi.org/10.4178/epih/e2014018

Bilotta, G. S., Milner, A. M., & Boyd, I. L. (2014). Quality assessment tools for evidence from environmental science. Environmental Evidence, 3(1), 14. https://doi.org/10.1186/2047-2382-3-14

Boretto, J. (2012). Gestores de referencias bibliográficas. Rev. Asoc. Argent. Ortop. Traumatol.

Brown, J., & Farquhar, C. (2014). Endometriosis: an overview of Cochrane Reviews. The Cochrane database of systematic reviews, 2014(3), CD009590. https://doi.org/10.1002/14651858.CD009590.pub2

Cattaneo, D., & Jonsdottir, J. (2009). Comprehensive Meta-Analysis Software (CMA). https://doi.org/10.1111/ejn.12969

Cook, C. N., Possingham, H. P., & Fuller, R. A. (2013). Contribution of systematic reviews to management decisions. Conservation biology : the journal of the Society for Conservation Biology, 27(5), 902–915. https://doi.org/10.1111/cobi.12114

Cordón-García, J. A., Martín-Rodero, H., & Alonso-Arévalo, J. (2009). Gestores de referencias de última generación: análisis comparativo de <i>RefWorks, EndNote Web y Zotero</i> El Profesional de la Informacion. https://doi.org/10.3145/epi.2009.jul.14

de Almeida Biolchini, J. C., Mian, P. G., Natali, A. C. C., Conte, T. U., & Travassos, G. H. (2007). Scientific research ontology to support systematic review in software engineering. Advanced Engineering Informatics, 21(2), 133–151. https://doi.org/10.1016/j.aei.2006.11.006

Ferreira González, I., Urrútia, G., y Alonso-Coello, P. (2011). Revisiones sistemáticas y metaanálisis: bases conceptuales e interpretación. Revista Española de Cardiología, 64(8), 688–696. https://doi.org/10.1016/j.recesp.2011.03.029

Green, B. N., Johnson, C. D., & Adams, A. (2006). Writing narrative literature reviews for peer-reviewed journals: secrets of the trade. Journal of Chiropractic Medicine, 5(3), 101–117. https://doi.org/10.1016/S0899-3467(07)60142-6

Haase, S. C. (2011). Systematic reviews and meta-analysis. Plastic and reconstructive surgery, 127(2), 955–966. https://doi.org/10.1097/PRS.0b013e318200afa9

Kanchanabat, B., Stapanavatr, W., Meknavin, S., Soorapanth, C., Sumanasrethakul, C., & Kanchanasuttirak, P. (2011). Systematic review and meta-analysis on the rate of postoperative venous thromboembolism in orthopaedic surgery in Asian patients without thromboprophylaxis. The British journal of surgery, 98(10), 1356–1364. https://doi.org/10.1002/bjs.7589

Koretz, R. L., & Lipman, T. O. (2017). Understanding Systematic Reviews and Meta-Analyses. Journal of Parenteral and Enteral Nutrition, 41(3), 316–323. https://doi.org/10.1177/0148607116661841

Luz, M., Letelier, S., Manríquez, J. J., & Rada, G. (2005). MEDICINA BASADA EN EVIDENCIA Revisiones sistemáticas y metaanálisis: ¿son la mejor evidencia? Rev Méd Chile, 133, 246–249. https://doi.org/10.4067/S0034-98872005000200015

Moher, D., Shamseer, L., Clarke, M., Ghersi, D., Liberati, A., Petticrew, M., … PRISMA-P Group. (2015). Preferred reporting items for systematic review and meta-analysis protocols (PRISMA-P) 2015 statement. Systematic reviews, 4(1), 1. https://doi.org/10.1186/2046-4053-4-1

O’Mara-Eves, A., Thomas, J., McNaught, J., Miwa, M., & Ananiadou, S. (2015). Using text mining for study identification in systematic reviews: a systematic review of current approaches. Systematic reviews, 4(1), 5. https://doi.org/10.1186/2046-4053-4-5

Ortiz, Z. (2005). ¿Qué Son Las Revisiones Sistematicas? Centro Colaborador Argentino CIE, 1–6. Recuperado de http://www.epidemiologia.anm.edu.ar/pdf/publicaciones_cie/2005/Que_son_revisiones_sistematicas_2005.pdf

Pai, M., McCulloch, M., Gorman, J. D., Pai, N., Enanoria, W., Kennedy, G., … Colford, J. M. (2006). Systematic reviews and meta-analyses: an illustrated, step-by-step guide. The National medical journal of India, 17(2), 86–95. https://doi.org/10.1152/ajpheart.01362.2005

Peters, M. D. J., Godfrey, C. M., Khalil, H., McInerney, P., Parker, D., & Soares, C. B. (2015). Guidance for conducting systematic scoping reviews. International journal of evidence-based healthcare, 13(3), 141–146. https://doi.org/10.1097/XEB.0000000000000050

Sánchez-Meca, J. (2010). Cómo realizar una revisión sistemática y un meta-análisis. Aula Abierta. https://doi.org/10.1016/j.recesp.2011.03.029

Silver, C. (2016). The value of CAQDAS for systematising literature reviews. Revy, 39(1), 6–8.

Trinoskey, J., Brahmi, F. A., & Gall, C. (2009). Zotero: A Product Review. Journal of Electronic Resources in Medical Libraries, 6(3), 224–229. https://doi.org/10.1080/15424060903167229

Urrútia, G., & Bonfill, X. (2010). Declaración PRISMA: una propuesta para mejorar la publicación de revisiones sistemáticas y metaanálisis. Medicina Clínica, 135(11), 507–511. https://doi.org/10.1016/j.medcli.2010.01.015

Vidal Ledo, M., Oramas Díaz, J., & Borroto Cruz, R. (2015). Revisiones sistemáticas. Educación Médica Superior.

1. Escuela de Ingeniería en Computación e Informática. Universidad Agraria del Ecuador; Facultad de Informática UNLP Argentina; Ingeniera en Sistemas Computacionales. pgrijalva@uagraria.edu.ec

2. Carrera de Ingeniería en Sistemas Computacionales. Universidad Católica de Santiago de Guayaquil; Facultad de Informática UNLP -Argentina; Ingeniero en Sistemas Computacionales. galo.cornejo@cu.ucsg.edu.ec

3. Escuela de Ingeniería en Computación e Informática. Universidad Agraria del Ecuador; Ingeniera en Sistemas Computacionales. rgomez@uagraria.edu.ec

4. Escuela de Ingeniería en Computación e Informática. Universidad Agraria del Ecuador; Ingeniera en Sistemas Computacionales; Ingeniería en Networking y Telecomunicaciones, Universidad de Guayaquil. kreal@uagraria.edu.ec

5. Facultad de Informática UNLP Argentina; Doctor en Ciencias Informáticas. alejandro.fernandez@lifia.info.unlp.edu.ar