Advertisement

Fallstricke in der statistischen Welt

Pitfalls in the statistical world

  • 98 Accesses

Zusammenfassung

Fehler bei der Sammlung, Auswertung, Analyse und Publikation von Daten geschehen oft nicht zuletzt deshalb, weil das methodische Problembewusstsein fehlt. Sie können weitreichende Folgen für die Rezeption der Ergebnisse wissenschaftlicher Primärstudien und in Folge dessen auch für die klinische Praxis und die Gesundheitsversorgung haben. Der vorliegende Artikel versteht sich als Beitrag zum verantwortungsvollen Umgang mit Studiendaten, zeigt exemplarisch einige fragwürdige bzw. falsche Vorgehensweisen in der empirischen Forschungspraxis auf, welche die Wahrscheinlichkeit falsch-positiver Ergebnisse ansteigen lassen und skizziert Möglichkeiten, um das zu vermeiden.

Abstract

Mistakes in the acquisition, evaluation, analysis and reporting of data often occur because there is a lack of awareness of the methodological problem. They can have far-reaching consequences for the reception of results of scientific primary studies and therefore for the clinical practice and healthcare. This article aims at raising awareness for a responsible handling of study data and for avoiding questionable or incorrect practices. It presents some examples of statistical pitfalls in empirical research practice, which increase the probability of false positive results and shows possibilities to avoid such risks.

This is a preview of subscription content, log in to check access.

Access options

Buy single article

Instant unlimited access to the full article PDF.

US$ 39.95

Price includes VAT for USA

Literatur

  1. 1.

    Benjamini Y, Hochberg Y (1995) Controlling the false discovery rate: A practical and powerful approach to multiple testing. J R Stat Soc Series B Methodol 57:289–300

  2. 2.

    Bland JM, Altman DG (1995) Multiple significance tests: The Bonferroni method. BMJ 310:170

  3. 3.

    Cohen J (1988) Statistical power analysis for the behavioral sciences, 2. Aufl. Lawrence Erlbaum, Hillsdale

  4. 4.

    Cohen J (1994) The earth is round (p〈.05). Am Psychol 94:998–1003

  5. 5.

    Gilbert DT, King G, Pettigrew S, Wilson TD (2016) Comment on “Estimating the reproducibility of psychological science”. Science 351(6277):1037. https://doi.org/10.1126/science.aad7243

  6. 6.

    Glickman ME, Rao SR, Schultz MR (2014) False discovery rate control is a recommended alternative to Bonferroni-type adjustments in health studies. J Clin Epidemiol 67(8):850–857. https://doi.org/10.1016/j.jclinepi.2014.03.012

  7. 7.

    Jager LR, Leek JT (2014) An estimate of the science-wise false discovery rate and application to the top medical literature. Biostatistics 15(1):1–12. https://doi.org/10.1093/biostatistics/kxt007

  8. 8.

    Jena AB (2017) ‘Null’ research findings aren’t empty of meaning. Let’s publish them. First Opin Nov 10, 2017. https://www.statnews.com/2017/11/10/null-research-findings. Zugegriffen: 25. Febr. 2019

  9. 9.

    Kaper NM, Swart KMA, Grolman W, van der Heijgden GJMG (2018) Quality of reporting and risk of bias in therapeutic otolaryngology publications. J Laryngol Otol 132(1):22–28. https://doi.org/10.1017/S0022215117002407

  10. 10.

    Kerr NL (1998) HARKing: hypothesizing after the results are known. Pers Soc Psychol Rev 2:196–217

  11. 11.

    Lüdtke O, Robitzsch A, Trautwein U, Köller O (2007) Umgang mit fehlenden Werten in der psychologischen Forschung: Probleme und Lösungen. Psychol Rundsch 58:103–117

  12. 12.

    Maier H, Baumann U, Baumgartner W‑D, Beutner D, Caversaccio MD et al (2018) Minimal reporting standards for active middle ear hearing implants. Audiol Neurotol 23(2):105–115. https://doi.org/10.1159/000490878

  13. 13.

    Miller-Halegoua SM (2017) Why null results do not mean no results: negative findings have implications for policy, practice and research. Transl Behav Med 7(2):137. https://doi.org/10.1007/s13142-017-0500-6

  14. 14.

    Müller J, Plontke SK, Rahne T (2017) Sprachaudiometrische Zielparameter in klinischen Studien zur Hörverbesserung. HNO 65(3):211–218. https://doi.org/10.1007/s00106-016-0298-4

  15. 15.

    Open Science Collaboration (2015) PSYCHOLOGY. Estimating the reproducibility of psychological science. Science 349(6251):aac4716. https://doi.org/10.1126/science.aac4716

  16. 16.

    Peters JPM, Hooft L, Grolman W, Stegemann I (2015) Assessment of the quality of reporting of randomized controlled trials in otorhinolaryngologic literature—adherence to the CONSORT statement. PLoS ONE 10(3):e122328. https://doi.org/10.1371/journal.pone0122328

  17. 17.

    Plontke SK, Bauer M, Meisner C (2007) Comparison of pure-tone audiometry analysis in sudden hearing loss studies: lack of agreement of different outcome measures. Otol Neurotol 28(6):753–763

  18. 18.

    Plontke S, Lowenheim H, Preyer S, Leins P, Dietz K, Koitschev A, Zimmerman R, Zenner HP (2005) Outcomes research analysis of continuous intratympanic glucocorticoid delivery in patients with acute severe to profound hearing loss: basis for planning randomized controlled trials. Acta Otolaryngol 125:830–839

  19. 19.

    Rahne T, Dziemba O, Lodwig A, Polterauer D, Thie R, Walger M, Wesarg T, Hoth S (2019) Empfehlungen der Arbeitsgemeinschaft Deutschsprachiger Audiologen, Neurootologen und Otologen (ADANO) zur Auswahl von Zielparametern und Prozessempfehlungen beim Einsatz von akustisch evozierten Potenzialen, otoakustischen Emissionen und der Impedanzaudiometrie in klinischen Studien. HNO 67(5):385–388

  20. 20.

    Schafer JL, Graham JW (2002) Missing data: our view of the state of the art. Psychol Methods 7:147–177

  21. 21.

    Simmons JP, Nelson LD, Simonsohn U (2018) False-positive citations. Perspect Psychol Sci 13(2):255–259. https://doi.org/10.1177/1745691617698146

Download references

Author information

Correspondence to Prof. Dr. rer. nat. Dipl.-Psych. C. Kiese-Himmel.

Ethics declarations

Interessenkonflikt

C. Kiese-Himmel und S.K. Plontke geben an, dass kein Interessenkonflikt besteht.

Für diesen Beitrag wurden von den Autoren keine Studien an Menschen oder Tieren durchgeführt. Für die aufgeführten Studien gelten die jeweils dort angegebenen ethischen Richtlinien.

Rights and permissions

Reprints and Permissions

About this article

Verify currency and authenticity via CrossMark

Cite this article

Kiese-Himmel, C., Plontke, S.K. Fallstricke in der statistischen Welt. HNO 68, 3–7 (2020) doi:10.1007/s00106-019-00750-x

Download citation

Schlüsselwörter

  • HARKing
  • p-hacking
  • Falsch-positive Ergebnisse
  • Replizierbarkeit
  • Präregistrierung

Keywords

  • HARKing
  • p-hacking
  • False positive findings
  • Replicability
  • Preregistration