Advertisement

Canadian Journal of Public Health

, Volume 107, Issue 1, pp e9–e15 | Cite as

Data-driven approach of CUSUM algorithm in temporal aberrant event detection using interactive web applications

  • Ye LiEmail author
  • Michael Whelan
  • Leigh Hobbs
  • Wen Qi Fan
  • Cecilia Fung
  • Kenny Wong
  • Alex Marchand-Austin
  • Tina Badiani
  • Ian Johnson
Quantitative Research
  • 1 Downloads

Abstract

OBJECTIVE: In 2014/2015, Public Health Ontario developed disease-specific, cumulative sum (CUSUM)-based statistical algorithms for detecting aberrant increases in reportable infectious disease incidence in Ontario. The objective of this study was to determine whether the prospective application of these CUSUM algorithms, based on historical patterns, have improved specificity and sensitivity compared to the currently used Early Aberration Reporting System (EARS) algorithm, developed by the US Centers for Disease Control and Prevention.

METHOD: A total of seven algorithms were developed for the following diseases: cyclosporiasis, giardiasis, influenza (one each for type A and type B), mumps, pertussis, invasive pneumococcal disease. Historical data were used as baseline to assess known outbreaks. Regression models were used to model seasonality and CUSUM was applied to the difference between observed and expected counts. An interactive web application was developed allowing program staff to directly interact with data and tune the parameters of CUSUM algorithms using their expertise on the epidemiology of each disease. Using these parameters, a CUSUM detection system was applied prospectively and the results were compared to the outputs generated by EARS. The outcome was the detection of outbreaks, or the start of a known seasonal increase and predicting the peak in activity.

RESULTS: The CUSUM algorithms detected provincial outbreaks earlier than the EARS algorithm, identified the start of the influenza season in advance of traditional methods, and had fewer false positive alerts. Additionally, having staff involved in the creation of the algorithms improved their understanding of the algorithms and improved use in practice.

CONCLUSION: Using interactive web-based technology to tune CUSUM improved the sensitivity and specificity of detection algorithms.

Key Words

CUSUM EARS data driven aberration detection interactive web application 

Résumé

OBJECTIF: En 2014–2015, Santé publique Ontario a créé des algorithmes statistiques à somme cumulée pour différentes maladies afin de détecter les augmentations aberrantes de l’incidence de maladies infectieuses à déclaration obligatoire en Ontario. Notre étude visait à déterminer si l’application prospective de ces algorithmes à somme cumulée, d’après les tendances passées, améliore leur spécificité et leur sensibilité comparativement à l’algorithme Early Aberration Reporting System (EARS) mis au point par les Centers for Disease Control and Prevention des États-Unis, qui est actuellement utilisé.

MÉTHODE: En tout, sept algorithmes ont été créés pour les maladies suivantes: cyclosporose, giardiase, influenza (un chacun, pour les types A et B), oreillons, coqueluche et maladie invasive à pneumocoque. Les données historiques ont servi de base de référence pour évaluer les éclosions connues. Des modèles de régression ont été utilisés pour modéliser les cycles saisonniers, et la somme cumulée a été appliquée à la différence entre les numérations observées et attendues. On a développé une application Web interactive permettant au personnel du programme d’interagir directement avec les données et de régler les paramètres des algorithmes à somme cumulée d’après ses connaissances spécialisées de l’épidémiologie de chaque maladie. À l’aide de ces paramètres, on a prospectivement appliqué un système de détection à somme cumulée et comparé les résultats obtenus aux extrants de l’EARS. Le résultat a été la détection d’une éclosion ou du début d’une augmentation saisonnière connue et la prédiction du pic d’activité.

RÉSULTATS: Les algorithmes à somme cumulée ont détecté les éclosions provinciales plus tôt que l’algorithme EARS, repéré le début de la saison d’influenza avant les méthodes classiques et produit moins d’alertes faussement positives. De plus, la participation du personnel à la création des algorithmes a amélioré leur compréhension de ces algorithmes et en a renforcé l’utilisation dans la pratique.

CONCLUSION: L’utilisation d’une technologie interactive en ligne pour régler des algorithmes à somme cumulée a amélioré la sensibilité et la spécificité des algorithmes de détection.

Mots Clés

somme cumulée EARS guidé par les données détection des aberrations application Web interactive 

References

  1. 1.
    Lawson AB, Kleinman K (Eds.). Spatial and Syndromic Surveillance for Public Health. Hoboken, NJ: John Wiley & Sons, 2005.Google Scholar
  2. 2.
    Hutwagner L, Thompson W, Seeman GM, Treadwell T. The bioterrorism preparedness and response Early Aberration Reporting System (EARS). J Urban Health 2003;80(2 Suppl 1):i89–96. PMID: 12791783. doi: 10.1007/PL00022319.PubMedPubMedCentralGoogle Scholar
  3. 3.
    Höhle M, Meyer S, Paul M. Surveillance: Temporal and Spatio-Temporal Modeling and Monitoring of Epidemic Phenomena. R Package Version 1.8–3, 2015. Available at: http://CRAN.R-project.org/package=surveillance (Accessed July 6, 2015).Google Scholar
  4. 4.
    Salmon M, Schumacher D, Höhle M. Monitoring count time series in R: Aberration detection in public health surveillance. J Stat Softw. Accepted.Google Scholar
  5. 5.
    R Core Team. R: A Language and Environment for Statistical Computing. Vienna, Austria.: R Foundation for Statistical Computing, 2015. Available at: http://www.R-project.org/ (Accessed May 5, 2015).Google Scholar
  6. 6.
    Sonesson C, Bock D. A review and discussion of prospective statistical surveillance in public health. J R Stat Soc Ser A Stat Soc 2003;166(1):5–21. doi: 10.1111/1467-985X.00256.CrossRefGoogle Scholar
  7. 7.
    Unkel S, Farrington CP, Garthwaite PH, Robertson C, Andrews H. Statistical methods for the prospective detection of infectious disease outbreaks: A review. J R Stat Soc Ser A Stat Soc 2012;175(1):49–82. doi: 10.1111/j. 1467-985X.2011.00714.x.CrossRefGoogle Scholar
  8. 8.
    Chang W, Cheng J, Allaire JJ, Xie YH, McPherson J. Shiny: Web Application Framework for R. R Package Version 0.11.1, 2015. Available at: http://www.CRAN.R-project.org/package=shiny (Accessed May 5, 2015).Google Scholar
  9. 9.
    Johnson IL. Development and integration of alerting algorithms and response protocols for public health surveillance of respiratory infections. Canadian Institutes of Health Research Grant No.: 259886. Available at: http://webapps.cihr-irsc.gc.ca/cris/detail_e?pResearchId=5960875&p_version=CRIS& p_language=E&p_session_id=1333597 (Accessed May 18, 2016).Google Scholar
  10. 10.
    Woodall WH. The design of CUSUM quality control charts. J Qual Technol 1986;18(2):99–102. doi: 10.2307/2988154.CrossRefGoogle Scholar
  11. 11.
    Fricker RD Jr, Hegler BL, Dunfee DA. Comparing syndromic surveillance detection methods: EARs’ versus a CUSUM-based methodology. Stat Med 2008;27(17):3407–29. PMID: 18240128. doi: 10.1002/sim.v27:17.CrossRefGoogle Scholar
  12. 12.
    Fricker Jr RD. Introduction to Statistical Methods for Biosurveillance With an Emphasis on Syndromic Surveillance. Cambridge, UK: Cambridge University Press, 2013.Google Scholar
  13. 13.
    Xie YH. Knitr: A General-Purpose Package for Dynamic Report Generation in R. R Package Version 1.10.5, 2015. Available at: https://www.cran.r-project.org/web/packages/knitr/index.html (Accessed May 8, 2015).Google Scholar
  14. 14.
    Stodden V, Leisch F, Peng RD (Eds.). Implementing Reproducible Computational Research. London, England: Chapman and Hall, 2014.Google Scholar
  15. 15.
    Meyer S, Held L, Höhle M. Spatio-temporal analysis of epidemic phenomena using the R package surveillance. J Stat Softw. Accepted.Google Scholar

Copyright information

© The Canadian Public Health Association 2016

Authors and Affiliations

  • Ye Li
    • 1
    • 2
    Email author
  • Michael Whelan
    • 1
  • Leigh Hobbs
    • 1
  • Wen Qi Fan
    • 2
  • Cecilia Fung
    • 1
  • Kenny Wong
    • 1
  • Alex Marchand-Austin
    • 1
  • Tina Badiani
    • 1
  • Ian Johnson
    • 1
    • 2
  1. 1.Public Health OntarioTorontoCanada
  2. 2.Dalla Lana School of Public HealthUniversity of TorontoTorontoCanada

Personalised recommendations