Verborgene Wahrheiten
Überwindung von Survivorship Bias in der modernen Datenanalyse
Survivorship Bias, eine kognitive Verzerrung, die auf historischen Beobachtungen beruht, kann die Genauigkeit und Zuverlässigkeit moderner Datenanalysen und des maschinellen Lernens erheblich beeinträchtigen. In diesem Artikel untersuchen wir die Geschichte und Psychologie hinter Survivorship Bias und gehen der Frage nach, wie Daten ausgewählt werden sollten, um ihre Auswirkungen abzumildern und wie wichtig es ist, professionelle Beratung einzuholen, die sich auf Data Science und Business Analytics spezialisiert haben, um eine fundiertere Entscheidungsfindung zu erreichen. Zunächst ein Beispiel, um besser zu verstehen, wie sich der Effekt auswirkt:
Wir gehen zurück in das Jahr 1942, in dem US-Ingenieure versuchten, die Überlebenswahrscheinlichkeit ihrer Flugzeuge und deren Besatzung zu steigern. Um zu entscheiden, welche Bereiche strukturell verstärkt werden sollten, untersuchten sie dazu die Verteilung von Einschusslöchern in den zurückkehrenden Maschinen. Die nachfolgende Abbildung stellt das hypothetische Schadensbild der überlebenden Flugzeuge dar. Stellen wir uns also zunächst dieselbe Frage auf Basis der vorliegenden Daten. Welche Bereiche sollten verstärkt werden, um die Überlebenswahrscheinlichkeit zu erhöhen?
Hypothetisches Schadensbild der überlebenden Flugzeuge. Basierend auf einem nicht bebilderten Bericht von Abraham Wald (1943)
Bildkonzept: Cameron Moll (2005),
Neue Version: McGeddon auf der Grundlage einer Lockheed PV-1 Ventura-Zeichnung (2016)
Vektordatei: Martin Grandjean (2021).
CC BY-SA 4.0
Wer nun die Bereiche mit den meisten Einschusslöchern verstärken würde, der hat die Auswirkungen von Survivorship Bias auf die eigene Entscheidungsfindung erfahren. Auch die US-Ingenieure gingen davon aus, dass sich durch die Verstärkung der häufig beschädigten Bereiche die Überlebensfähigkeit des Flugzeugs verbessern würde. Es ist der logische Fehler, sich auf die Einheiten zu konzentrieren, die einen Auswahlprozess erfolgreich durchlaufen haben, während diejenigen übersehen werden, die ihn nicht bestanden haben.
Lesen Sie weiter, um zu Erfahren, wie Abraham Wald mit statistischen Methoden das Problem gelöst hatDie Ursprünge und Auswirkungen von Survivorship Bias
Der psychologische Grund für den Survivorship Bias liegt in der Art und Weise, wie unser Gehirn Informationen verarbeitet und Urteile auf der Grundlage, der uns zur Verfügung stehenden Daten fällt. Mehrere kognitive Verzerrungen tragen zur Aufrechterhaltung bei:
Selektive Aufmerksamkeit: Unser Gehirn neigt dazu, sich auf Informationen zu konzentrieren, die leichter verfügbar sind oder unsere bereits bestehenden Überzeugungen bestätigen. Im Falle des Survivorship Bias schenken wir den erfolgreichen Ergebnissen mehr Aufmerksamkeit, weil sie sichtbarer sind, gefeiert und oft in den Medien präsentiert werden.
Bestätigungsfehler: Dieser Verzerrung tritt auf, wenn wir Informationen in einer Weise suchen oder interpretieren, die unsere bestehenden Überzeugungen oder Hypothesen bestätigt. Wenn wir mit erfolgreichen Beispielen konfrontiert werden, versuchen wir natürlich, unsere Wahrnehmungen zu bestätigen und die Idee zu verstärken, dass diese Erfolge die Norm darstellen.
Verfügbarkeitsheuristik: Wir neigen dazu, uns bei der Urteilsfindung auf die Informationen zu verlassen, die uns leicht in den Sinn kommen. Da erfolgreiche Ergebnisse leichter in unserem Gedächtnis verfügbar sind, beeinflussen sie unsere Entscheidungen stärker als die weniger sichtbaren Misserfolge.
Übersehen abwesender Daten: Survivorship Bias tritt auf, wenn wir Daten übersehen oder vernachlässigen, die nicht vorhanden sind, wie z. B. die Versäumnisse oder Nicht-Überlebenden. Unser Verstand neigt dazu, sich auf die Daten zu fixieren, die sofort zugänglich sind, was dazu führt, dass wir auf der Grundlage unvollständiger Informationen Schlussfolgerungen ziehen.
Illusion der Gültigkeit: Wenn wir wiederholt erfolgreiche Ergebnisse beobachten oder davon erfahren, können wir die Illusion entwickeln, dass diese Ergebnisse mit größerer Wahrscheinlichkeit eintreten oder auf eine höhere Erfolgswahrscheinlichkeit hinweisen, als sie tatsächlich sind.
Emotionale Bindung an den Erfolg: Erfolgsgeschichten rufen oft positive Emotionen hervor, wodurch sie einprägsamer und einflussreicher für unsere Wahrnehmung werden. Wir können uns von diesen Geschichten inspiriert oder motiviert fühlen, was die Attraktivität der erfolgreichen Ergebnisse verstärkt.
Diese kognitiven Verzerrungen führen insgesamt zu einer verzerrten Sicht auf die Realität, bei der wir die erfolgreichen Ergebnisse überbewerten und die Misserfolge unterschätzen oder ignorieren. Die Bekämpfung von Survivorship Bias erfordert bewusste Anstrengungen, um sich dieser kognitiven Verzerrungen bewusst zu sein und aktiv nach einer ausgewogeneren Sicht auf die Daten zu suchen. Es geht darum, den gesamten Datensatz einzubeziehen, sowohl erfolgreiche als auch erfolglose Ergebnisse zu berücksichtigen und die Objektivität bei der Interpretation von Informationen zu wahren, um genauere und fundiertere Entscheidungen zu treffen.
Erfahren Sie mehr über Bias in Ihren Daten.
Unsere Experten helfen gerne.
Begin des Operations Research
Zu dieser Erkenntnis kam Abraham Wald, ein deutschsprachiger, rumänisch-US-amerikanischer Mathematiker, der aufgrund der Judenverfolgung in Österreich in die USA emigriert war. Zusammen mit der Statistical Research Group (SRG) an der Columbia University in New York beschäftigte Wald sich in den Jahren 1942 – 45 mit verschiedenen Problemen der Kriegszeit, zu deren Lösung er seine statistischen Fähigkeiten anwendete. Seine wohl berühmteste Arbeit befasste sich mit eben jener Problemstellung, die wir soeben gesehen haben. Wald kam zu der Erkenntnis (auch wenn dies in seiner Arbeit nicht explizit diskutiert wird), dass sein statistischer Ansatz zur Lösung ein multinominales Modell betrachtet, das zu einem Teil aus nicht-beobachtbaren Datenreihen besteht. Oder genauer ausgedrückt: Sie sind nur in der Form beobachtbar, als dass ihr Fehlen festgestellt werden kann. Dies ist der unmittelbare Effekt von Survivorship Bias. Ihm zufolge werden Wahrscheinlichkeiten für den Erfolg systematisch überschätzt, weil erfolgreiche Zustände besser sichtbar sind als erfolglose. Indem sie sich ausschließlich auf die erfolgreichen Ergebnisse konzentrieren und die Misserfolge ignorieren, riskieren Entscheidungsträger, fehlerhafte Schlussfolgerungen zu ziehen und suboptimale Entscheidungen zu treffen.
Im Falle der US-Ingenieure führte dies dazu, dass sie ursprünglich ebenfalls die Bereiche verstärken wollten, an denen die meisten Einschläge zu beobachten waren. Abraham Wald konnte jedoch aufzeigen, dass das Gegenteil der Fall war:
Die fehlende Teilmenge in der Beobachtung sind jene Flugzeuge, die tragischerweise ihre Rückkehr nicht geschafft hatten. Die überlebenden Maschinen hatten trotz der erlittenen Schäden keinen katastrophalen Ausfall. Bei einer statistische Gleichverteilung der Trefferbilder (wie Abraham Wald korrekterweise annahm) müssten folglich die Bereiche verstärkt werden, die bei den zurückgekehrten Maschinen unbeschädigt waren, um die Überlebenswahrscheinlichkeit zu steigern. Er erkannte den Survivorship Bias und konnte dessen Auswirkungen erfolgreich berücksichtigen. Seine Erkenntnisse in dieser und anderen Arbeiten leisteten einen wertvollen Beitrag. Die SRG und andere Arbeits- und Forschungsgruppen ihrer Zeit begründeten die Disziplin des Operations Research, aus der über die Zeit die moderne Unternehmensplanung und Optimierungsrechnung als Teilgebiete hervorgingen.
Auswirkungen auf heutige Fragestellungen
In der modernen Datenanalyse stellt der Survivorship Bias eine große Herausforderung dar. Im Finanz- und Anlagebereich kann es Anleger in die Irre führen, indem es nur erfolgreiche Aktien oder Strategien hervorhebt und diejenigen ignoriert, die gescheitert sind. In der Wirtschaft und im Unternehmertum kann dies dazu führen, dass die Strategien erfolgreicher Unternehmen unreflektiert nachgeahmt werden, ohne die Misserfolge zu berücksichtigen, die sich aus ähnlichen Ansätzen ergeben. Indem sie sich auf außergewöhnliche Erfolgsgeschichten konzentriert und die Realitäten der Mehrheit vernachlässigt, die ähnliche Wege eingeschlagen, aber keine ähnlichen Ergebnisse erzielt hat, riskieren Entscheider beträchtliche Fehlinvestments. Die Folgen:
Versagen der Finanzmärkte: Während der Dotcom-Blase in den späten 1990er und frühen 2000er Jahren erlebte der Technologiesektor einen rasanten Anstieg der Aktienkurse. Viele Investoren konzentrierten sich auf die Erfolgsgeschichten von Internetunternehmen, was zu einem Anstieg der Investitionen in diese "Gewinner" führte. Diese selektive Aufmerksamkeit für erfolgreiche Unternehmen verschleierte jedoch, dass zahlreiche Internet-Startups scheiterten oder nicht nachhaltige Geschäftsmodelle hatten. Als die Blase platzte, erlitten viele Anleger erhebliche finanzielle Verluste, da sie den breiteren Kontext und den Survivorship-Bias bei der Datenauswahl nicht berücksichtigten.
Subprime-Hypothekenkrise: Die globale Finanzkrise von 2008 wurde zum Teil durch den Survivorship Bias in der Hypothekenbranche angeheizt. Vor der Krise analysierten Banken und Finanzinstitute in erster Linie die Wertentwicklung von hypothekenbesicherten Wertpapieren auf der Grundlage historischer Daten steigender Immobilienpreise. Diese Analyse vernachlässigte jedoch die Daten von Subprime-Hypotheken, die scheiterten und zu Zwangsvollstreckungen führten. Infolgedessen waren die zur Risikobewertung verwendeten Modelle zu optimistisch, was zu einem massiven finanziellen Zusammenbruch führte, als die Immobilienblase platzte und Subprime-Hypotheken ausfielen.
Selektionsverzerrungen in pharmazeutischen Studien: In der Pharmaindustrie kann Survivorship Bias schwerwiegende Folgen für die Arzneimittelentwicklung haben. Der in Deutschland unter dem Namen „Contergan-Skandal“ bekannt gewordene Fall der Nebenwirkungen des Wirkstoffs Thalidomid, ist in Teilen auf die Selektionsverzerrung zurückzuführen: Da die Öffentlichkeit und Ärzteschaft der Nachkriegszeit, in Erinnerung an die verbrecherischen Handlungen der Nationalsozialisten ihm Rahmen des Meldewesens zu Fehlbildungen, eine Pflicht zur Meldung scheuten, wurden die zunehmenden Missbildungen, die durch die Einnahme des Medikaments „Contergan“ ausgelöst wurden, lange Zeit nicht registriert und klinischen Studien befassten sich nicht mit den möglichen Zusammenhängen, da die sie die falsche Auswahl an Studiengruppen hatten.
Fehler bei Tech-Startups: Im Tech-Startup-Ökosystem kann Survivorship Bias unrealistische Erwartungen wecken und Unternehmer in die Irre führen. Erfolgsgeschichten von Einhörnern und hoch bewerteten Start-ups erregen große Aufmerksamkeit in den Medien, während die Mehrheit der Startups, die scheitern oder Schwierigkeiten haben, unbemerkt bleiben. Dies kann zu fehlgeleiteten Strategien und Investitionsentscheidungen führen, da sich aufstrebende Unternehmer ausschließlich darauf konzentrieren, die Erfolgsgeschichten nachzuahmen, ohne die Herausforderungen zu berücksichtigen, mit denen gescheiterte Startups konfrontiert sind.
Vermeiden Sie gängige Fehler bei der Datenanalyse.
Unsere Experten helfen Ihnen!
Strategien zur Datenauswahl zur Abschwächung von Survivorship Bias
Um eine genauere und umfassendere Datenanalyse zu gewährleisten, ist es unerlässlich, Datenauswahlstrategien zu implementieren, die Survivorship Bias effektiv angehen. Hier sind einige wichtige Ansätze:
Einbeziehung des vollständigen Datensatzes
Um Survivorship-Bias zu vermeiden, sollten Datenanalysten den gesamten Datensatz einbeziehen, der sowohl erfolgreiche als auch erfolglose Ergebnisse umfasst. Durch die Berücksichtigung von Fehlern erhält die Analyse eine realistischere Darstellung der gesamten Datengrundlage und ermöglicht eine fundiertere Entscheidungsfindung.
Stichproben und Kreuzvalidierung
Stichproben sind eine wichtige Technik, um eine repräsentative Datenauswahl zu gewährleisten. Die zufällige Auswahl von Stichproben aus dem gesamten Datensatz minimiert das Risiko, erfolgreiche Ergebnisse herauszupicken. Darüber hinaus hilft die Kreuzvalidierung, bei der die Daten in einen Trainings- und einen Testdatensatz aufgeteilt werden, die Leistung des Modells anhand ungesehener Daten zu validieren und mögliche Verzerrungen zu erkennen.
Langfristige Perspektive
Eine langfristige Perspektive bei der Datenanalyse ermöglicht es Entscheidungsträgern, die Dynamik und die Muster zu verstehen, die sich im Laufe der Zeit herauskristallisiert haben. Dieser Ansatz mildert die Auswirkungen kurzfristiger Schwankungen und ermöglicht eine genauere Bewertung historischer Trends und Ergebnisse.
Einholung von fachkundiger Beratung durch Data-Science-Spezialisten
In der komplexen Welt von Data Science und Business Analytics erfordert die Vermeidung von Survivorship Bias Fachwissen und Erfahrung. Beratungsagenturen, die sich auf Data Science und Business Analytics spezialisiert haben, können auf diesem Weg unschätzbare Partner sein. Hier ist der Grund, warum Sie in Betracht ziehen sollten, ihre Hilfe in Anspruch zu nehmen:
Fachkompetenz
Beratungsunternehmen verfügen oft über ein Team von Datenexperten mit domänenspezifischen Kenntnissen. Ihr Verständnis für die einzigartigen Herausforderungen und Feinheiten Ihrer Branche ermöglicht es ihnen, potenzielle Verzerrungen in Ihrer Datenanalyse effektiv zu identifizieren und zu beheben.
Umfassende Analyse
Diese Experten verfügen über die Werkzeuge und Fähigkeiten, um eine umfassende Datenanalyse durchzuführen und dabei sowohl erfolgreiche als auch erfolglose Ergebnisse zu berücksichtigen. Indem sie eine ganzheitliche Perspektive bieten, stellen sie sicher, dass Ihre Entscheidungen nicht auf unvollständigen oder voreingenommenen Informationen basieren.
Spitzentechnologie
Mit den neuesten Fortschritten in den Bereichen Data Science und maschinelles Lernen Schritt zu halten, ist entscheidend für den Erfolg in der modernen Geschäftslandschaft. Beratungsagenturen investieren oft in Spitzentechnologie, die es ihnen ermöglicht, ausgefeilte Algorithmen und Modelle einzusetzen, um genauere Erkenntnisse zu liefern.
Unvoreingenommene Empfehlungen
Als externe Stellen können Beratungsagenturen unvoreingenommene Empfehlungen geben, frei von internen Vorurteilen oder organisatorischem Druck. Diese Objektivität kann zu einer besseren Entscheidungsfindung und einer verbesserten Gesamtleistung führen.
Fazit
Survivorship Bias ist nach wie vor eine große Herausforderung in der modernen Datenanalyse und im maschinellen Lernen. Indem sie sich ausschließlich auf erfolgreiche Ergebnisse konzentrieren und Misserfolge ignorieren, riskieren Entscheidungsträger, fehlerhafte Entscheidungen zu treffen, die tiefgreifende Folgen für den Erfolg ihres Unternehmens haben können.
Die oben genannten Beispiele verdeutlichen, wie Survivorship Bias und falsche Datenselektion im modernen Geschäftsleben zu schwerwiegenden Folgen führen können. Entscheidungen nur auf der Grundlage der erfolgreichen Ergebnisse zu treffen, während Misserfolge übersehen werden, kann die Wahrnehmung verzerren und potenzielle Risiken verschleiern. In jedem Fall trugen das Fehlen einer umfassenden Datenanalyse und die Nichtberücksichtigung des gesamten Spektrums der Ergebnisse zu katastrophalen Ergebnissen bei.
Um nicht in die Falle des Survivorship Bias zu tappen, müssen Unternehmen und Organisationen Datenanalysepraktiken anwenden, die den gesamten Datensatz berücksichtigen und aktiv versuchen, verborgene Wahrheiten aufzudecken. Auf diese Weise können sie fundiertere und belastbarere Entscheidungen treffen und sich letztendlich vor schwerwiegenden oder katastrophalen Folgen schützen.
Um die Auswirkungen von Survivorship Bias abzumildern, müssen Datenanalysten Datenauswahlstrategien anwenden, die den gesamten Datensatz umfassen, Zufallsstichproben und Kreuzvalidierungen einsetzen und eine langfristige Perspektive einnehmen. Das Navigieren in der Komplexität von Data Science und Business Analytics kann jedoch ohne das richtige Fachwissen überwältigend sein.
Daher empfehlen wir Ihnen eine Beratung durch unsere Experten, die sich auf Data Science und Business Analytics spezialisiert haben. Wir stellen domänenspezifisches Wissen bereit, führen umfassende und unvoreingenommene Analysen durch, verfolgen Trends und Entwicklungen rund um Spitzentechnologie, so dass wir Ihr Unternehmen letztendlich in die Lage versetzen, fundiertere und strategischere Entscheidungen zu treffen.
Das Aufdecken verborgener Wahrheiten durch die Überwindung von Survivorship Bias wird Ihr Unternehmen zum Erfolg führen und es auf den Weg zu datengesteuerter Exzellenz bringen. Nutzen Sie unsere Möglichkeiten der unvoreingenommenen Datenanalyse und des maschinellen Lernens, um das wahre Potenzial Ihres Unternehmens auszuschöpfen.
Sorgen Sie noch heute dafür, dass Sie keine Bruchlandung erleiden.
Schicken Sie uns einfach eine Nachricht, sodass wir einen unverbindlichen Beratungstermin abstimmen können.
