Psychologische Falle in der Datenanalyse
Das menschliche Gehirn hat eine erstaunliche Fähigkeit, Muster in allem zu finden ... aber diese Muster haben normalerweise wenig mit der Realität gemeinsam. Wir können das Bild eines Kaninchens in einer Wolke oder Elvis 'Gesicht in Kartoffelchips sehen.
Sehen Sie das Profil von Kaninchen und Elvis?
Denken Sie an den Rorschach-Test - Menschen werden verschiedene Blots gezeigt und gefragt, was sie sehen. Sie werden nicht glauben, wie schnell unser Verstand falsche Interpretationen von zufälligen Datensätzen findet.
Fledermaus? Schmetterling? Ein gewöhnlicher Fleck? Dies ist eine von 10 Rorschach-Testkarten, die 1921 erstellt wurden.
Psychologen haben einen schönen Namen für dieses Phänomen: Apophenie. Geben Sie den Menschen zumindest einen Anreiz und sie werden nicht nur Gesichter und Schmetterlinge finden, sondern auch einen Grund, ein Budget für Ihr Lieblingsprojekt zuzuweisen oder ein System für künstliche Intelligenz zu starten.
Über den Autor: Cassie Kozyrkov ist eine südafrikanische Daten- und Statistikerin. Sie gründete Decision Intelligence bei Google, wo sie als Chief Scientist tätig ist.
Die meisten Datensätze enthalten viele zufällige Informationen. Wie hoch ist die Wahrscheinlichkeit, dass Ihr Analytiker nicht zu Apophenie neigt? Können Sie Ihrer Interpretation der Daten vertrauen?
Unser Verstand macht mit Daten dasselbe wie mit Blots.
Je komplexer diese Datensätze fragmentiert werden, desto vager sind ihre Anreize. Sie bitten Sie praktisch, falsche Bilder in ihnen zu erkennen.
Anspruchsvolle Datensätze betteln praktisch darum, in ihnen zu sehen, was eigentlich nicht da ist
Sind Sie sicher, dass Ihr aktueller Datensatz keine latente Apophenie ist?
Es gibt noch ein anderes wunderbares Wort - Pareidolie , eine Art Apophenie (um vertraute Dinge in vagen Sinnesreizen zu finden). In Japan gibt es sogar ein Museum aus Steinen, die wie Gesichter aussehen. Wir leben in erstaunlichen Zeiten.
Lügen, offensichtliche Lügen und Analysen
Ich weiß, es klingt düster, aber ich bin noch nicht fertig. Durch Kurse in Datenanalyse kann das Feuer angeheizt werden. Die Studierenden sind es gewohnt, von jeder Datenrecherche einen echten Wert zu erwarten. Jeder explorative Forschungsauftrag hat einen verborgenen Schatz. Nur wenige Professoren wagen es, Sie auf die Suche nach dem Unerreichbaren zu schicken (zu Ihrem eigenen Besten!). Das Bewerten von Aufgaben ohne genaue Antwort ist schwieriger, daher schenken die Schüler ihnen normalerweise nicht viel Aufmerksamkeit.
Die Schüler sind an die Wahrheit hinter jedem Datensatz gewöhnt.
Das Erzählen der Daten ist einfach eine Abweichung von den Lügen, die die Daten direkt verwenden. Lassen wir die Frage beiseite, ob die Muster real sind. Lassen Sie uns über mehrere Interpretationen sprechen. Wenn Sie das Bild einer Fledermaus in einem Fleck sehen, bedeutet dies nicht, dass es keinen Schmetterling, keine Beckenknochen oder ein Paar Füchse gibt. Wenn ich die Füchse nicht erwähnt hätte, hätten Sie sie gesehen? Wahrscheinlich nicht. Die psychologischen Mechanismen, die für Motivation und Aufmerksamkeit verantwortlich sind, spielen gegen Sie. Um die Fledermaus nicht mehr zu sehen und nur noch eine Überlagerung von Werten zu sehen, ist eine besondere Fähigkeit erforderlich.
Sobald die Menschen an ihrem Lieblingsbild festhalten, wird es für sie schwierig, es nicht mehr zu sehen.
Das Problem ist, dass es für Menschen schwierig wird, es zu sehen und andere Bilder zu sehen, sobald sie sich an ihr Lieblingsbild klammern. Die Menschen neigen dazu, vor allem der Interpretation zu glauben, die ihre Aufmerksamkeit überhaupt erregt hat. Jeder neu gefundene Wert verringert die Motivation, die Suche fortzusetzen. Das Jonglieren mehrerer potenzieller Geschichten, ohne Ihre Lieblingsgeschichte neu zu bewerten, ist eine Menge Gehirnarbeit. Leider ist nicht jeder Analyst dafür diszipliniert genug. Tatsächlich sind viele Analysten daran interessiert, nur eine Seite der Geschichte durch Datenrecherche zu „beweisen“. Warum sollten Sie Fähigkeiten entwickeln, die verhindern, dass Ihre Brieftasche wieder aufgefüllt wird?
Welche Farbe hat dein Lichtschwert?
Es gibt verschiedene Möglichkeiten, eine Geschichte mithilfe von Daten zu beweisen - ehrlich und gründlich. In meinem Artikel zur Datenfragmentierung erfahren Sie mehr darüber. Die explorative Datenanalyse ist keine dieser Methoden. Datenexploration, die keinen wirklichen Wert impliziert, ist wie Fischen. Die Farbe Ihres Lichtschwerts hängt vom verwendeten Köder ab.
Wenn Sie sich der dunklen Seite anschließen, werden Sie von den Beweisen abhängig sein, die Ihre Theorie stützen. Sie "wissen" bereits, dass sie treu ist (damit Sie sie an ein naives Opfer verkaufen können). Sie sind sich möglicherweise nicht einmal bewusst, dass Ihr Lichtschwert rot ist, wenn Sie aufrichtig an Datenobjektivität und Ihre Unparteilichkeit glauben.
Die Erforschung von Daten, die keinen wirklichen Wert implizieren, erinnert an die Fischerei.
Wenn Sie einen ziemlich komplexen (vagen) Datensatz haben, finden Sie ein Muster, das Sie anpassen können, um Ihre Lieblingsgeschichte zu beweisen. Das ist das Schöne am Rorschach-Test. Leider sind Daten schlechter als Blots. Je mathematischer Ihre Methode ist, desto überzeugender klingt sie für diejenigen, die nichts davon verstehen.
Ein Satellitenbild des „Gesichts auf dem Mars“, das viele Menschen als Beweis für die Existenz von Außerirdischen wahrnehmen.
Diejenigen, die sich weigern, die dunkle Seite zu umarmen, fischen auch. Aber sie fangen noch etwas anderes: Inspiration. Sie suchen nach Mustern, die interessant und überzeugend sein können, nehmen sie aber nicht als Beweis, weil sie klug sind. Stattdessen beschäftigen sie sich mit unvoreingenommenen Analysen und versuchen, so viele verschiedene Interpretationen wie möglich in ihren Köpfen zu notieren.
Die besten Analysten versuchen, so viele Interpretationen wie möglich zu finden.
Dies erfordert ein scharfes Auge und einen bescheidenen, unvoreingenommenen Geist. Gute Analysten versuchen nicht, Stakeholder dazu zu bringen, nur eine Seite der Geschichte zu sehen. Stattdessen denken sie kreativ, um dieselben Daten in mehrere Geschichten umzuwandeln. Sie präsentieren ihre Ergebnisse so, dass sie alle dazu inspirieren, weiterzuverfolgen, ohne ihre Führer zu provozieren, Berge aus Selbstüberschätzung zu versetzen.
Unparteilichkeit gibt der Datenanalyse die Möglichkeit, eine Bedeutung zu haben.
Eine Disziplin, die entwickelt wurde, um nach mehreren Interpretationen zu suchen, ist die Geheimwaffe des Analytikers. Sie können die wahren Schätze, die in den Daten verborgen sind, im Auge behalten. Wenn Sie durch falsche Informationen abgelenkt werden, an die Sie aufgrund von Voreingenommenheit glauben, ist es schwierig, auf die Beweise zu achten, die in eine andere Richtung weisen. Warum überhaupt etwas analysieren, wenn die Schlussfolgerungen vorbestimmt sind? Durch Unparteilichkeit können Sie sicherstellen, dass nicht alle Bemühungen umsonst sind.
Dieses gegrillte Käsesandwich wurde für 28.000 US-Dollar versteigert, weil es die Jungfrau Maria darstellt. Was siehst du hier?
Stellen Sie einen großartigen Analysten ein
Eigenschaften, nach denen Sie wahrscheinlich in einer guten Analyse suchen möchten:
- Sie ziehen keine Schlussfolgerungen, die über die Daten hinausgehen, die sie untersuchen.
- Sie verwalten Datenverarbeitungswerkzeuge einfach und können große Datenmengen schnell anzeigen.
- Sie verfügen über die erforderlichen Domänenkenntnisse, sodass sie weniger Zeit mit den kleinen Dingen verschwenden.
- Sie verstehen, dass es ihre Aufgabe ist, Inspiration zu finden.
- Sie visualisieren Daten auf eine Weise, die für das Gehirn bequem und verständlich ist, sodass die Inspiration schnell erfolgt.
- Sie wissen, was sie benötigen, um potenzielle Informationen, die sie entdecken, sorgfältig zu überwachen (und an wen sie sich wenden können, um Hilfe zu erhalten).
Zusätzlich zu all dem oben Genannten werden Sie in diesem Artikel aufgefordert, auf folgende Funktionen zu achten:
- Sie wissen, dass der Geist einen Sinn findet, wo er nicht existiert, also versuchen sie, falschen Interpretationen nicht nachzugeben und haben es nicht eilig, Schlussfolgerungen zu ziehen.
- , . , .
- , . , . , -.
Wenn Sie eine Führungskraft sind, stellen Sie sicher, dass Sie Ihren Mitarbeitern die richtigen Anreize geben. Suchen Sie einen Datenanalysten oder Datenmanipulator? Sie haben unterschiedliche Einstellungen und Fähigkeiten. Wählen Sie Ihren Analysten mit Bedacht aus und belohnen Sie das richtige Verhalten.
Kartoffelchips vergessen! Dieses japanische Museum mit gesichtsähnlichen Steinen war ausgezeichnet.
Wissenschaftliche Publikation: Der Kartoffelchip sieht wirklich aus wie Elvis! Neuronale Kennzeichen der konzeptionellen Verarbeitung im Zusammenhang mit der Suche nach neuartigen Formen Subjektiv aussagekräftig
Erfahren Sie in den kostenpflichtigen Online-Kursen von SkillFactory, wie Sie einen gefragten Beruf von Grund auf neu aufbauen oder Ihre Fähigkeiten und Ihr Gehalt verbessern können:
- Kurs für maschinelles Lernen (12 Wochen)
- Data Science von Grund auf lernen (12 Monate)
- (9 )
- «Python -» (9 )