Revisión
Sistemática
Máster Universitario en Ciencia y Tecnología Informática
Dr. Jose María Alvarez-Rodríguez & Prof. Dr. Maribel Sánchez Segura Diciembre 2015
Índice
- Introducción
- Revisión Sistemática
- ¿Qué es?
- Metodología
- Paso a paso
- Conclusiones
- Enlaces de interés
Objetivos
- Debatir qué es una revisión sistemática
- Proveer un mecanismo para la realización de revisiones sistemáticas en el campo de la investigación
Aprendizaje de...
- Discusión del significado de "sistemático" en un revisión
- Ser capaz de realizar una introducción a una revisión sistemática
- Formulación de preguntas para la revisión sistemática y objetivos
- Formulación de criterios de selección e inclusión de documentos
- Diseño de la metodología de búsqueda, valoración, explicación de resultados y análisis de los mismos
¿Qué es una revisión?
¿Las realizadas en Xataka?
¿Las realizadas en Amazon?
¿Las realizadas en Trip Advisor?
¿Las realizadas en Google?
Text
Factor común...
- Todas las anteriores son revisiones...
- Opinión de clientes, usuarios o consumidores (subjetiva)
- Opinión de terceros (objetiva)
- Algunas preguntas que se deben hacer...
- ¿Por qué se realizan estas revisiones?
- ¿Cuántas se pueden encontrar sobre el mismo servicio/producto?
- ¿Se basan en criterios establecidos?
- ¿Cómo se ha llegado a realizar la opinión?
- ¿Cómo se agregan las distintas opiniones para tener un valor agregado?
- ¿Quién se beneficia de la misma?
- ...
...respondiendo...
- ¿Por qué se realizan estas revisiones?
- Notoriedad, ayuda a otros usuarios, revisar y conocer el estado de una cuestión...
- Beneficio individual vs colectivo
- ¿Cuántas se pueden encontrar sobre el mismo servicio/producto?
- [Actualidad y cuestiones abiertas] vs [Obsolescencia]
- ¿Se basan en criterios establecidos?
- Experiencia (subjetivo) vs
- Análisis sistemático de criterios (objetiva)
...
...respondiendo...
- ¿Cómo se ha llegado a realizar la opinión?
- Evaluación y nota por criterio
-
Texto descriptivo
- ¿Qué se valora? (criterios de inclusión)
- ¿Cómo se agregan las distintas opiniones para tener un valor agregado?
- Votación en grupo y agregación
- Escala Likert (estrellas, etc.)
- ¿Quién se beneficia de la misma?
- El servicio o producto
- El que opina (meritocracia)
- Los futuros clientes/consumidores del servicio/producto
¿en investigación?
¿problemas?
¿motivación?
Investigación
¿Cuántos artículos y otros documentos se publican?
- Año
- Área de conocimiento
- Idioma
- Bases de datos bibliográficas
- Tipo: revista, libro, capítulo de libro, patentes, conferencia, workshop, tesis, etc.
- ...
DBLP (sólo informática)
Google Scholar
En 2014:
160 millones de documentos...
...y hay muchas bases de datos...
- Scopus
- Science Direct
- ACM
- IEEE
- Springer
- Google Scholar
- ...
...y esto sólo para Ingeniería...
El problema...
Volumen
Variedad
Velocidad (crecimiento)
Complejidad
Veracidad
"Parece un problema Big Data"
El problema...
¿Cómo identificar y resumir de forma sistemática el estado de una cuestión?
-
Identificar problemas sin resolver -
Observar métodos de investigación y prueba -
Clasificar, actualizar y resumir el conocimiento sobre un área -
... -
y hacerlo de forma análitica y repetible -
Extraer conclusiones fundamentadas
¿Tipos de revisión?
Narrativa
- Subjetiva
- Basada en experiencia
- Difícil de repetir
- Sin sustentación formal
- Informe descriptivo
(una opinión)
Sistemática
- Título y objetivos claros
- Eficiente
- Analítica
- Objetiva
- Repetible
- Sustentación con métodos formales (estadística)
- Informe análitico y difusión de resultados formal
Revisión Sistemática
Basado principalmente en:
- Keele, S. (2007). Guidelines for performing systematic literature reviews in software engineering. In Technical report, Ver. 2.3 EBSE Technical Report. EBSE.
- Khan, K., Kunz, R., Kleijnen, J., & Antes, G. (2011). Systematic reviews to support evidence-based medicine. CRC Press.
Definición
"The systematic review is an efficient technique for hypothesis testing, for summarising the results of existing studies, and for assessing consistency among previous studies;"
Antecedentes
- Medicina
- Química
- Biología
- Farmacología
- ....
Necesidad de...
- Resumir trabajos existentes en un área
- Encontrar líneas de investigación
- Explorar métodos de investigación utilizados
- Refutación
- Encontrar evidencias
¿Por qué realizar una
revisión sistemática?
¿Criterios?
¿Cómo realizar
revisión sistemática?
Proceso-Similar a PDCA
Planificar (P)
-
Identificar la necesidad de hacer la revisión
- Verificar que no existe una similar y reciente
- Encargar la revisión (opcional)
- Especificar las preguntas de investigación (hipótesis)
- Definir un protocolo de revisión
- Evaluación del protocolo de revisión (opcional)
Hacer (H)
- Identificación de la investigación
- Selección de estudios
- Selección de la regla de evaluación
- Extracción de información y monitorización
- Síntesis de los datos
Revisar y Actuar (RA)
- Especificación de los mecanismos de difusión
- Maquetación de resultados
- Evaluación
P1-Identificar la necesidad de hacer la revisión
-
Confirmar la necesidad de realizar la revisión
- Motivación interna (ej: investigación propia)
- Motivación externa (ej: solicitud de un trabajo, propuesta de proyeto, etc.)
-
Resumir y analizar el estado de la cuestión en un tema
- Visión agregada (¿completa?) y general de un tema
- Extraer conclusiones para tomar decisiones
P1-Identificar la necesidad de hacer la revisión
(Preguntas)
-
¿Cuáles son los objetivos de la revisión?
-
¿Qué fuentes de información se van a utilizar?
-
¿Existe alguna restricción?
-
¿Cuáles serán los criterios de inclusión y exclusión?
-
¿Cuáles son los criterios para evaluar la calidad de los trabajos?
-
¿Cómo se aplican estos criterios?
-
¿Cómo se extrae la información de los trabajo?
P1-Identificar la necesidad de hacer la revisión
(Preguntas)
- ¿Cómo se resumen los datos obtenidos de los trabajos?
- ¿Cuáles son las diferencias de los trabajos revisados?
- ¿Cómo se combinan los datos extraídos?
- ¿Se pueden combinar resultados de los estudios revisados?
- ¿Se pueden derivar conclusiones de los estudios revisados?
Khan, Khalid, S., ter Riet, Gerben., Glanville, Julia., Sowden, Amanda, J. and Kleijnen, Jo. (eds) Undertaking Systematic Review of Research on Effectiveness. CRD’s Guidance for those Carrying Out or Commissioning Reviews. CRD Report Number 4 (2nd Edition), NHS Centre for Reviews and Dissemination, University of York, IBSN 1 900640 20 1, March 2001.
P1-Identificar la necesidad de hacer la revisión
(Preguntas más simple)
- Are the review’s inclusion and exclusion criteria described and appropriate?
- Is the literature search likely to have covered all relevant studies?
- Did the reviewers assess the quality/validity of the included studies?
- Were the basic data/studies adequately described?
P2-Encargar la revisión
(Opcional)
-
Encargo de realizar la revisión por parte de una organización
- No tiene el conocimiento apropiado
- No dispone de tiempo
- En estos casos, se produce un documento de propuesta de revisión (como un proyecto).
- Título
- Background
- Objetivos y preguntas
- Revisores
- Métodos
- Planificación y Presupuesto
- Difusión
- Infraestructura
- ...
P3-Especificar las preguntas de investigación (hipótesis)
La Clave
¿Por qué es la clave?
-
Las preguntas de investigación guían el proceso de búsqueda.
-
La extracción de los datos se basa en responder a las preguntas de investigación.
-
El análisis de datos debe responder a las preguntas de preguntas.
¿Cómo crear una(s) pregunta(s)?
- P-Types of participants
- I-Types of interventions
- C-Types of comparatives groups
-
O-Types of Outcome measures
- Types of study (designs)
Modelo PICO
Modelo POE
- P- Participants
- E- Exposure (or I issue)
- 0-Outcomes
En Medicina...
Modelo PICO
| Elemento del Modelo | Informática (Ej: IS) |
|---|---|
| Population | Rol, categoría profesión Ej: tester Un área de aplicación Ej: sistemas de recomendación Un área/grupo industrial Ej: compañías de IT |
| Intervention | Metodología/Herramienta/Tecnología para una cuestión específica |
| Comparison | Metodología/Herramienta/Tecnología con la que se compara |
| Outcomes | Cómo se mide la mejora. Ej: rendimiento, precisión, recall, etc. |
Otros: contexto (industria vs academia), diseño de experimentos, etc.
Ejemplos
Otros ejemplos...
Otros ejemplos (II)...
"Trucos" para la formulación de preguntas
- Genérico vs específico
- Ej: ¿Cuáles son las tendencias en sistemas de recomendación?
- Ej: ¿Existen trabajos sobre sistemas de recomendación con enfoque híbrido de filtrado colaborativo y basado en el usuario y/o contenido con funcionamiento en tiempo real y que se hayan aplicado en el campo audivisual?
- Las preguntas se pueden reformular (pero con cuidado)
¡Recordad que la revisión debe responder a nuestra pregunta!
P4-Definir un protocolo de revisión
- Definición de los métodos para hacer la revisión
con el objetivo de
-
Evitar los posibles sesgos (bias) debido a los distintos criterios de inclusión
- Ej: sólo revisar artículos en inglés (bias en el idioma)
- Ej: sólo revisar publicaciones en revistas (bias en el tipo de publicación
- ...
P4-Definir un protocolo de revisión
- Background
- Preguntas de investigación
- Cadenas de búsqueda
- Bases de datos bibliográficas
- Criterios de inclusión de trabajos
- Procedimiento de selección de trabajos
- Procedimiento de evaluación de trabajos
- Estrategia de extracción de datos
- Estrategia de síntesis de datos
- Estrategia de difusión
- Planificación
¡A definir nuestro protocolo de revisión!
Background
¿Por qué vamos a realizar la revisión?
Los sistemas de recomendación requieren nuevos enfoques para superar el "cold start", actualizarse en tiempo real y ajustarse dinámicamente en n dimensiones. Esto es especialmente relevante en el campo de contenidos audiovisuales.
Pregunta de investigación
¿Existen trabajos sobre sistemas de recomendación con enfoque híbrido de filtrado colaborativo y basado en el usuario y/o contenido con funcionamiento en tiempo real y que se hayan aplicado en el campo audivisual?
Cadenas de búsqueda
((context-aware)
AND
(personalization OR recommendation OR suggestion) AND
(collaborative filtering AND (content-based OR item-based))
AND
(real time OR stream processing) AND
(multimedia resources OR videos OR audio OR pictures)
Bases de datos bibliográficas
- Scopus
- Science Direct
- ACM
- IEEE
- Springer
- Google Scholar
Criterios de inclusión de trabajos
- Artículos en revistas JCR
- En los últimos 5 años
- Idioma inglés
- Con más de 10 citas
- ...
Procedimiento de selección de trabajos
- Hoja de cálculo con referencia, título, abstract y palabras clave (evaluación ciega)
- Dos árbitros (1 experto en el tema) que determinan si el trabajo es:
- 1->Aplicable
- 0.5->NS/NC
- 0->No Aplicable
- Se seleccionan los 100 primeros (o el 50%)
Procedimiento de evaluación de trabajos
- Hoja de cálculo con preguntas sobre el grado de cobertura de los criterios en la pregunta de investigación
- Likert-scale: 1-6 siendo 1 no observado y 6 completamente de acuerdo
Estrategia de extracción de datos
- Manual
- Descarga de los artículos
- Creación de una carpeta compartida en Mendeley
- Extracción de título, resumen y palabras clave
Estrategia de síntesis de datos
- Formal
- Evaluación con estadística descriptiva: media, valores totales, etc.
- Evolución de forma gráfica
- Análisis cuantitativo
- No meta-análisis
Estrategia de Difusión
- Creación y envío de un artículo a una revista especializada en "systematic reviews"
- Publicación en PRISMA y otros sitios similares
Planificación
- 2 semanas búsqueda
- 2 semanas selección
- 2 semanas evaluación
- ...
P5-Evaluación del protocolo de revisión
- ¿Son las cadenas de búsqueda apropiadas?
- Se encuentran artículos con los criterios de inclusión
- Realizar preguntas concretas y, en consecuencia, búsquedas
- ¿Se necesitan más expertos en la evaluación?
- ¿Es el equipo adecuado?
- ¿Se disponen de las herramientas de colaboración para realizar la evaluación?
- ¿Qué porcentaje de filtrado se está utilizando?
- ¿Los documentos extraídos contienen la información necesaria para responder a la pregunta de investigación?
PRISMA-FLOW DIAGRAM
PRISMA-Checklist (calidad)
PRISMA-Checklist (calidad)
H1-Identificación de la investigación
Perfeccionamiento de las cadenas de búsqueda
- Probar
- Refinar
- Consultar a expertos los resultados preliminares
- Incluir/Excluir bases de datos
Sesgo en los criterios
- Publicaciones (resultados positivos vs negativos)
- Revisar "Grey literature"
- Blog posts
- Workshops
- Conferencias
- Green/White books
- ...
H1-Identificación de la investigación
Gestionar los resultados
- Mendeley
- Zotero
- ...
Documentar los resultados
- Fuente
- Consulta
- Fecha
- Título
- ISBN
- Año
- URL
- ...
H2-Selección de estudios
Criterios de inclusión
- Definidos en el protocolo de revisión
- Ej: sólos que hayan hecho una validación con datos reales y más de XX items
Filtrado y ordenación de documentos
- Idioma
- Revista
- Autores
- Participantes
- Metodología de investigación
- Fecha publicación
- ...
Fiabilidad->Revisión "ciega" y evaluación por pares
H3-Selección de la regla de evaluación
Criterios de inclusión
- ...
Criterios de calidad
- Difícil de establecer
- Minimizar los sesgos
- Utilizar check-lists estándares
- CRD Guidelines
- Cochrane Handbook
Ejemplo checklist (I)-Datos cuantitativos
Ejemplo checklist (II)-Datos cuantitativos
Ejemplo checklist (III)-Datos cuantitativos
Ejemplo checklist-Datos cualitativos
Consideraciones
- Los factores de calidad sirven para filtrar documentos
- Pueden ser más simples, dependiendo del problema
- Existen algunos basados en 5 preguntas
- Estos factores deben servir para el posterior análisis
H4-Extracción de información y monitorización
- Creación de un formulario para la extracción de la información de los documentos
- Revisor
- Referencia
- Datos del documento: revista, título, resumen, palabras clave, etc.
- Notas adicionales
- Método de investigación
- Muestras
- Valoración
- ...
El objetivo debe ser resumir el documento con los datos clave para poder ser evaluado y analizado.
H4-Síntesis de los datos
- Análisis de los resultados: filtrado, ordenación, etc.
- Obtención de estadísticas (meta-análisis)
- Cuantitativas
- Cualitativas
- Narrativa
- ...Análisis de sensibilidad (robustez de los resultados, incertidumbre, etc.)...
- La información en cada documento debe ser comparable
- De ahí el uso de benchmarks estándar, etc.
- Se debe especificar en el protocolo de revisión
- No siempre obligatorio (depende del contexto)
H4-Síntesis de los datos
Se debe responder a la(s) pregunta(s) de investigación
H4-Síntesis de los datos
-
Técnicas gráficas (funnel plots para el sesgo en publicaciones)
- Si es un triángulo la revisión es correcto
- Gráfica: variable bajo estudio vs tamaño de la muestra
- Muy utilizado en medicina
- Ej: Precisión en un sistema de recomendación
Otro ejemplo "Funnel Plot"
Consideraciones
-
En ingeniería del software muchas veces se obtienen documentos con investigación cualitativa- En otros campos como IR suele ser cuantitativa
-
En algunos casos aunque se cuente con información cuantitativa puede ser que no se pueda analizar
-
Es conveniente agregar datos pero siempre con explicación
RA-1 Especificación de los mecanismos de difusión
-
Canal de difusión- Revista científica
- Conferencia, etc.
- Web
- Tesis
- ...
-
Formato
- Artículo de investigación
- Póster
- Sección documento
- Blog post
- ...
Es un trabajo que habrá que realizar en una tesis así que...
¿por qué no publicarlo?
Ejemplo estructura artículo
Ejemplo estructura artículo (II)
RA-2 Maquetación de resultados
-
Tablas de resumen
-
Interesantes para el lector
-
Facilidad para encontrar nuestra futura contribución
-
-
Gráficos
-
Evolución de una variable de la pregunta en cuestión respecto al tiempo
-
Ej: nº de publicaciones por año y base de datos
-
- ...
¡Agregar toda la información para que sea informativa!
RA-3 Evaluación
-
Realizar un análisis crítico de los resultados conseguidos
-
Tanto en el fondo como en la forma
-
Problemas que se afrontan
-
Técnicas y método científico
-
-
Cualitativo vs Cuantitativo
-
Ej: Desde el nº de artículos eliminados hasta los métodos de investigación encontrados
-
-
- Obtener conclusiones soportadas por los datos
- Incluir las limitaciones del estudio
- Situar posibles contribuciones futuras
Conclusiones
- La revisión sistemática
- Método cuantificable y repetible
- Análisis del estado de la cuestión para un tema
-
Básico para la investigación: situar potenciales contribuciones futuras
- También en otros sectores en los que tomar decisiones: negocio, administración pública, etc.
-
Método para la revisión sistemática
- Muchas guías, pasos, etc.
- Importante definir el protocolo de revisión
- La extensión de otros criterios depende del contexto
Nota adicional
- Habrá mejores revisiones sistemáticas y, en consecuencia, investigación si:
- Se comparten más y mejor los resultados
- Código fuente
- Datos
- ...
- Bajo formatos y protocolos estándar
- Ej: Github+Figshare
- Se comparten más y mejor los resultados
¡Open Science!
Open Science-EC Digital Agenda 2015
Otros recursos
Enlaces de interés
- “Reading Medical Articles,” in Statistics in Medicine. Robert H. Riffenburgh. 2nd edition. Boston: Academic Press, 2006.
- Margaliot, Zvi, Kevin C. Chung. Systematic Reviews: A Primer for Plastic Surgery Research. PRS Journal. 120/7 2007 .
- Kevin C. Chung, MD, Patricia B. Burns, MPH, H. Myra Kim, ScD. “Clinical Perspective: A Practical Guide to Meta-Analysis.” The Journal of Hand Surgery. vol. 31A no.10 December 2006.
