Statistische Signifikanztests sind ungeheuer fehlerhafte Werkzeuge

Als ich in die Produktentwicklung involviert war, war ich schrecklich wütend auf die pragmatischen Designer - diejenigen, die versuchten, alles nur auf der Grundlage statistischer Untersuchungen zu tun. 

Ich möchte, dass der Knopf grün ist, nur weil es mir so gefällt. Und der Designer sagt: „Es spielt keine Rolle, AB-Tests haben gezeigt, dass der Knopf einer Durchfallfarbe 0,2% häufiger angeklickt wird.“ Herr, Kumpel, du hast seit zehn Jahren deinen Geschmack und deine Erfahrung gepumpt, na und? Damit unser Produkt wie Vogelkot aussieht? Aber das Geschäft sagt - da es Zahlen gibt, werden wir alles damit abdecken.

Ich verstehe, dass die Leute Geld verdienen wollen. Sie wollen ihrem Geschmack nicht vertrauen, wenn es um die Zufriedenheit der Zuschauer geht. Aber jetzt weiß ich, dass das Problem möglicherweise nicht in Zahlen liegt, sondern in Menschen, die nicht wissen, wie man statistische Tests verwendet.

Letzte Woche in unserem Podcast war Andrey Akinshin, PhD in Physik und Mathematik und Experte für Leistungsanalyse. Er erzählte uns, warum auch er von modernen mathematischen Statistiken bombardiert wird.

. — .

, . « ». , , , . – . , , , . 

« » — . . , , P-value, . P-value , , . , ( « » ).

  - , . — . - . . P-value , . , . 

, -, , . , – , : , , , . , ! . 

– 0,05. ? , 30- , , – , — . 20 , , , .

0,05. — , . Qwerty, , . Qwerty .

. 80- , , . – . , , - , , – «false positive». . , , – «false negative». 

0.2. . : «, , , , . – 0.05. ». , , 0.2 – , , .

: «, , , , , . , , 0.2, ». , . , . -, . , ? 

, , - . 

. , , , , , . . . 

, – . , . P-value. – P-value , 0.05. 0.049 0.051, : «! !». 

0.9, , . «» , 20 , P-value , . , . 

, . , – -, , . , . - , , , .

— -. — , -. 

: ? -, -, P-value . : «, - , , ». , . , – . 

– , .  

, , , . 

, : « ?» ( ), : « !».

– 0 1. . , . , , , , , . . – . : « » « - » — . 

. — ? -, , . ; , – P-value – . 

, . 

, , - — « , . ». , . . . — -, , . , , P-value, — , ! - .

, . , , . 

, , . , . . « - , , , , ».

— -, , . , . , — - .

• Harlow, Lisa L., Stanley A. Mulaik, and James H. Steiger, eds. What if there were no significance tests? Routledge, 2016.

• Cohen, Jacob. "The earth is round (p<. 05)." In What if there were no significance tests?, pp. 69-82. Routledge, 2016.

• Amrhein, Valentin, Fränzi Korner-Nievergelt, and Tobias Roth. "The earth is flat (p> 0.05): significance thresholds and the crisis of unreplicable research." PeerJ 5 (2017): e3544.

• Wasserstein, Ronald L., Allen L. Schirm, and Nicole A. Lazar. "Moving to a world beyond “p< 0.05”." (2019): 1-19. 

• Winder, W. C. "What you always wanted to know about testing but were afraid to ask." American dairy review (1973). 

• Grieve, Andrew P. "How to test hypotheses if you must." Pharmaceutical statistics 14, no. 2 (2015): 139-150. 

• Krawczyk, Michał. " Die Suche nach Signifikanz: einige Besonderheiten bei der Verteilung von P-Werten in der experimentellen psychologischen Literatur ." PloS eins 10, nein. 6 (2015). 

Und noch eine Rede von Andrey, in der er ausführlicher über das Problem spricht: