Zurück
Survey Bias: Die Fehler, die klammheimlich Ihre Daten ruinieren
Matthieu Saussaye
Die kurze Antwort
Survey Bias ist ein systematischer Fehler: eine Verzerrung, die Ihre Ergebnisse in eine Richtung lenkt und auch bei einer größeren Anzahl von Befragten nicht schrumpft. Umfragemethodiker ordnen die Gesamtheit dieser Fehler unter dem ein, was Groves und Lyberg (Public Opinion Quarterly, 2010) als "ein konzeptioneller Rahmen zur Beschreibung statistischer Fehlereigenschaften von Stichprobenumfragen" beschreiben: dem Total Survey Error. Er resultiert aus drei Quellen.
Wen Sie fragen (Who you asked): Sampling Bias und Non-Response Bias.
Wie Sie fragen (How you asked): Leading Questions, Order-Effekte, Anchoring.
Wie Menschen antworten (How people answer): Acquiescence, Extreme Response Styles, Social Desirability, fehlerhafte Erinnerung (faulty recall).
Ein zufälliger Fehler (random error) verringert sich mit der Stichprobengröße (sample size). Ein Bias tut dies nicht. Eine größere Stichprobe liefert Ihnen lediglich eine präzisere falsche Antwort.
The Bias Table
Neun Fehlermuster, wie jedes einzelne in einem realen Datensatz aussieht und die Lösung, die tatsächlich funktioniert. Die meisten Berichte enthalten mindestens drei davon.
Bias | Was es ist | Wie es sich in Ihren Daten zeigt | Wie man es reduziert |
|---|---|---|---|
Sampling bias | Ihre Stichprobenbasis (Sampling Frame) schließt einen Teil der Grundgesamtheit aus. | Demografische Merkmale, die nicht mit den bekannten Bevölkerungsanteilen übereinstimmen. | Prüfen Sie die Stichprobenbasis gegen einen Zensus oder ein CRM. Fügen Sie Kanäle hinzu. Gewichten Sie und legen Sie die Gewichtung offen. |
Non-response bias | Die Personen, die antworten, unterscheiden sich von denen, die nicht geantwortet haben. | Werte verändern sich, wenn Erinnerungen (Reminders) späte Antwortende einbringen. | Vergleichen Sie frühe und späte Antwortende. Befragen Sie eine zufällige Teilstichprobe der Nicht-Antwortenden nach. |
Leading questions | Eine Formulierung, die die Antwort bereits vorgibt. | Zustimmungsraten, die weit über allen anderen Fragen der Umfrage liegen. | Entfernen Sie wertende Adjektive. Lassen Sie jemanden den Entwurf lesen, der das gegenteilige Ergebnis erzielen möchte. |
Loaded questions | Eine implizite Annahme, die in der Frage versteckt ist. | Hohe Abbruchraten (Skip Rates) und verwirrte offene Kommentare. | Teilen Sie die Frage in eine Filterfrage und die eigentliche Frage auf. |
Acquiescence | Die Tendenz, unabhängig vom Inhalt zuzustimmen (Ja-Sager-Tendenz). | Befragte stimmen zwei Aussagen zu, die sich gegenseitig widersprechen. | Ersetzen Sie Zustimmungs- oder Ablehnungs-Matrizen durch itemspezifische Skalen. Bauen Sie umgekehrte Items (Reversed Items) ein. |
Extreme and midpoint response styles | Gewohnheitsmäßige Nutzung der Enden oder der Mitte einer Skala. | Flache Zeilen in einer Matrix oder ein Markt, der konsistent schlechter abschneidet. | Halten Sie das Skalenformat konstant. Vergleichen Sie jeden Markt mit seinem eigenen Trend, nicht mit anderen Märkten. |
Social desirability | Antworten so zu geben, wie es sozial erwünscht ist oder gut aussieht. | Behauptetes Verhalten liegt weit über den tatsächlichen Verkaufs- oder Nutzungsdaten. | Garantieren Sie Anonymität in einfachen Worten. Fragen Sie nach dem Verhalten, nicht nach Absichten oder moralischen Werten. |
Order and anchoring effects | Frühere Fragen und die ersten Antwortoptionen beeinflussen spätere Antworten. | Das erste Item in einer langen Liste gewinnt zu oft. | Randomisieren Sie die Reihenfolge der Optionen und rotieren Sie Fragenblöcke. Fragen Sie Allgemeines vor Spezifischem. |
Recall error | Menschen können sich nicht genau erinnern. | Verdächtig runde Häufigkeiten und Summen, die das Mögliche überschreiten. | Verkürzen Sie den Bezugszeitraum. Fragen Sie nach dem jüngsten Ereignis statt nach einer Gesamtzahl. |
Survivorship bias | Nur die Personen, die noch da sind, werden befragt. | Die Kundenzufriedenheit (Satisfaction) wirkt hoch, während der Churn weiter steigt. | Befragen Sie Personen, die abgewandert sind, sowie Personen, die nie konvertiert sind. |
Bias in Who You Asked
Sampling bias
Sampling bias ist eine Lücke zwischen der Liste, aus der Sie gezogen haben, und der Population, die Sie beschreiben möchten. Wenn Sie Ihre App-Nutzer befragen, haben Sie jeden ausgeschlossen, der die App ausprobiert und wieder verlassen hat. Wenn Sie Ihre E-Mail-Liste befragen, haben Sie Kunden ausgeschlossen, die sich nie angemeldet haben. Das Ergebnis ist präzise und falsch.
Der Test ist einfach: Schreiben Sie auf, wer strukturell nicht in Ihren Daten auftauchen kann, und fragen Sie sich dann, ob diese Gruppe anders antworten würde. Wenn die Antwort Ja lautet, haben Sie ein Abdeckungsproblem (coverage problem), das keine Stichprobengröße beheben kann. Weighting kann ein bekanntes Ungleichgewicht teilweise beheben, aber es kann keine Menschen erfinden, die Sie nie erreicht haben, und das Weighting einer winzigen Zelle auf einen großen Populationsanteil verstärkt das Rauschen (noise) in dieser Zelle.
Non-response bias
Dieser ist noch gefährlicher als Sampling bias, da Ihr Frame perfekt sein kann und Ihre Daten dennoch verzerrt sind. Die Menschen, die sich für eine Antwort entscheiden, sind Menschen mit Zeit, Meinungen und einem Grund, sich einzubringen. Gleichgültigkeit ist in fast jedem Datensatz systematisch unterrepräsentiert. Eine niedrige Rücklaufquote (response rate) ist für sich genommen jedoch kein Beweis für einen Bias. Non-response bias hängt von der Quote ab und davon, wie stark sich Nicht-Befragte (nonrespondents) von Befragten unterscheiden. Daher „könnten hohe Non-response-Raten niedrige Non-response-Fehler hervorrufen, wenn der Unterschied zwischen Befragten und Nicht-Befragten recht gering ist“ (National Research Council, Nonresponse in Social Science Surveys: A Research Agenda, National Academies Press, 2013). Dieser Bericht hebt eine Zusammenstellung von 59 Spezialstudien von Groves und Peytcheva hervor, die „sehr wenig Korrelation zwischen der Non-response-Rate und ihren Bias-Maßen fanden“, und warnt davor, dass „die Non-response-Rate ein so schlechter Prädiktor für Bias sein kann“. Die praktische Lehre daraus ist nicht, sich bei den Rücklaufquoten zurückzulehnen, sondern den Unterschied zu messen, anstatt ihn einfach anhand der Quote anzunehmen.
Die günstigste Diagnose ist eine Wave-Analyse. Teilen Sie die Antworten auf in diejenigen, die vor jeder Erinnerung geantwortet haben, und diejenigen, bei denen nachgehakt werden musste. Wenn die späte Gruppe andere Werte aufweist, liegen die Menschen, die Sie überhaupt nie erreicht haben, wahrscheinlich noch weiter auf derselben Linie, und Ihr Hauptergebnis wird geschönt dargestellt. Sinkende Rücklaufquoten verschlimmern dies von Jahr zu Jahr, was das Thema von why survey response rates are crashing ist.
Survivorship bias
Jedes Zufriedenheitsprogramm, das nur bestehende Kunden befragt, misst die Meinungen von Menschen, die noch nicht gegangen sind. Die unzufriedenste Population, die abgewanderten Kunden (churned), ist genau die Gruppe, die per Design ausgeschlossen ist. Auf diese Weise berichtet ein Unternehmen über steigende Zufriedenheit und steigenden Churn im selben Quartal und behandelt dies als Rätsel.
Beheben Sie dies, indem Sie die fehlenden Populationen in Ihren Research-Plan aufnehmen: Exit Surveys für abgewanderte Kunden und eine Lost-Deal-Studie für Prospects, die sich für jemand anderen entschieden haben. Dies sind in der Regel kleine Stichproben (samples), und es sind meist die informativsten Interviews, die Sie das ganze Jahr über führen.
Bias in How You Asked
Leading questions
Eine Leading question gibt dem Befragten vor, welche Antwort erwartet wird. Die meisten entstehen aus Versehen, verfasst von jemandem, der bereits weiß, was er zu finden hofft.
Vorher: „Wie hilfreich war unser preisgekröntes Support-Team?“ Nachher: „Wie würden Sie den Support bewerten, den Sie erhalten haben?“ Das Lob und die Auszeichnung nehmen dem Befragten die Arbeit ab, die er eigentlich selbst tun sollte.
Vorher: „Stimmen Sie nicht auch zu, dass das neue Dashboard einfacher zu bedienen ist?“ Nachher: „Ist das neue Dashboard im Vergleich zum vorherigen einfacher zu bedienen, schwieriger zu bedienen oder in etwa gleich?“ Die Neufassung bietet die negative Option explizit an.
Vorher: „Wie sehr hat Ihnen der Onboarding-Prozess gefallen?“ Nachher: „Wie würden Sie den Onboarding-Prozess beschreiben?“ Die erste Version hat bereits festgelegt, dass der Prozess gefallen hat.
Loaded questions
Eine Loaded question schmuggelt eine Annahme ein. „Was gefällt Ihnen an unserer mobilen App am besten?“ setzt voraus, dass es etwas gibt. „Wie hat sich die Preiserhöhung auf Ihre Nutzung ausgewirkt?“ setzt voraus, dass sie sich überhaupt auf die Nutzung ausgewirkt hat. Befragte verweigern selten die Antwort; sie wählen irgendetwas aus, und Ihre Daten erfassen eine Präferenz, die gar nicht existiert.
Vorher: „Was gefällt Ihnen an unserer mobilen App am besten?“ Nachher: Fragen Sie zuerst, ob sie die mobile App nutzen, und dann: „Gibt es etwas, das Ihnen daran besonders gefällt?“ mit einer expliziten Option „Nichts Besonderes“.
Vorher: „Wie oft nutzen Sie unsere Reporting- und Export-Features?“ Nachher: Zwei separate Fragen. Double-barreled Items erzwingen eine Antwort auf zwei verschiedene Dinge und sind danach nicht mehr analysierbar.
Order and anchoring effects
Die Reihenfolge der Fragen (question order) verändert die Antworten. Split-Ballot-Experimente zeigen es: Wenn eine allgemeine Frage zur Lebensqualität im ländlichen Raum nach 19 spezifischen Items statt davor gestellt wurde, waren die Befragten „eher geneigt, die allgemeine Frage zu beantworten, seltener zu antworten, dass ländliche Gebiete 'gleich' wie andere Gebiete seien, und positiver in ihren Meinungen über ländliche Orte“ (Willits and Ke, Public Opinion Quarterly, 1995). Wenn Sie nach einem bestimmten Frustrationspunkt fragen und danach nach der Gesamtzufriedenheit, sinkt der Gesamtwert, weil Sie gerade jeden an ein Problem erinnert haben. Fragen Sie die Gesamtzufriedenheit zuerst ab, und Sie erhalten eine sauberere Baseline.
Innerhalb einer Frage ist auch die Reihenfolge der Liste wichtig. Bei langen Listen, die auf dem Bildschirm angezeigt werden, werden die früheren Optionen häufiger gewählt; wenn Optionen laut vorgelesen werden, erinnert man sich besser an die letzten. Randomisieren Sie die Reihenfolge der Optionen für jeden Befragten und lassen Sie Optionen wie „Sonstiges“ oder „Keines davon“ ganz unten verankert. Rotieren Sie ganze Blöcke, wenn Sie Konzepte vergleichen, und erfassen Sie die Rotation, damit Sie überprüfen können, ob sie keine eigenen Effekte erzeugt hat.
Anchoring ist das numerische Pendant. Zeigen Sie einen Preis von 200, bevor Sie fragen, was jemand zahlen würde, und die Antwort bewegt sich in Richtung 200. Tversky and Kahneman (Science, 1974) nannten den Effekt nach Experimenten, in denen „unterschiedliche Ausgangspunkte zu unterschiedlichen Schätzungen führen, die in Richtung der Anfangswerte verzerrt sind“. Ihre Ausgangszahlen wurden erzeugt, indem vor den Augen der Testperson ein Glücksrad gedreht wurde, und selbst diese „willkürlichen Zahlen hatten einen deutlichen Einfluss auf die Schätzungen“. Wenn Sie Preise testen müssen, nutzen Sie ein offenes Antwortfeld (open response) oder einen randomisierten Startpunkt.
Bias in How People Answer
Acquiescence
Acquiescence (Zustimmungstendenz) ist die Neigung, einer Aussage zuzustimmen, unabhängig davon, was darin steht. Saris und Kollegen (2010) zählen "mehr als einhundert Studien" auf, die zeigen, dass "einige Befragte dazu neigen, fast jeder Behauptung zuzustimmen, unabhängig von ihrem Inhalt". Diese Tendenz ist stärker, wenn die Befragten müde sind, wenn die Frage abstrakt ist und wenn Zustimmung als höflich empfunden wird. Lange Agree/Disagree-Grids sind der ideale Nährboden dafür: Spätestens ab der sechsten Zeile betreiben die meisten Menschen Pattern-Matching, anstatt zu lesen.
Die zuverlässige Lösung ist struktureller und nicht statistischer Natur. Ersetzen Sie Agreement-Skalen durch Item-Specific-Skalen. Anstatt die Befragten zu bitten, „Die Kaufabwicklung ist einfach“ zuzustimmen oder nicht zuzustimmen, fragen Sie: „Wie einfach oder schwierig war die Kaufabwicklung?“ mit einer Skala von „sehr schwierig“ bis „sehr einfach“. Nun gibt es keine wohlwollende Richtung mehr, in die man abdriften könnte. Dies ist eine der am besten getesteten Optionen im Questionnaire Design: Beim experimentellen Vergleich der beiden Formate stellten Saris, Revilla, Krosnick und Shaeffer (Survey Research Methods, 2010) fest, dass „Antworten auf A/D-Skalenfragen tatsächlich eine weitaus geringere Qualität aufwiesen als Antworten auf vergleichbare Fragen mit IS-Antwortoptionen“.
Wenn Sie ein Grid beibehalten müssen, fügen Sie invertierte Items ein, sodass Zustimmung in einigen Zeilen das Gegenteil bedeutet. Prüfen Sie dann, ob einzelne Befragte sowohl einer Aussage als auch ihrem Spiegelbild zugestimmt haben. Diese Befragten liefern Ihnen Rauschen (Noise), und Sie sollten vorab entscheiden, ob Sie sie ausschließen. Halten Sie Grids kurz: Mehr dazu, wann sie ihren Zweck erfüllen, finden Sie in our guide to matrix questions.
Extreme and midpoint response styles
Einige Befragte nutzen die Extrempunkte einer Skala, andere verlassen nie die Mitte – und diese Gewohnheiten variieren je nach Kultur und Sprache. Dies ist vor allem bei Cross-Market-Studien von Bedeutung: Ein Markt, der Extreme auf der Skala meidet, wird bei jeder Top-Box-Metrik strukturell schlechter abschneiden, selbst wenn die zugrunde liegende Stimmung identisch ist. Das ist auch der Grund, warum ein Ranking von Ländern im Vergleich zueinander bei einem Satisfaction Score meist mehr über den Response Style aussagt als über das eigentliche Geschäft.
Vergleichen Sie jeden Markt mit seinem eigenen Trend. Halten Sie das Skalenformat, die Anzahl der Punkte und die Label über alle Wellen hinweg identisch, da jede Änderung den Vergleich unbrauchbar macht. Unser Artikel über Likert scale design beschreibt die Formatoptionen im Detail.
Social desirability
Menschen färben ihre Antworten so ein, dass sie selbst in einem guten Licht dastehen. Sie berichten übermäßig oft über Sport, Recycling, Lesen und gesunde Ernährung und untertreiben bei allem, was unbedacht wirkt. In der Mitarbeiterforschung (Employee Research) melden sie Unzufriedenheit seltener, wenn sie vermuten, dass ihr Manager die Daten einsehen könnte. Bei der Überprüfung der Evidenz zu Survey-Methoden kommen Tourangeau und Yan (Psychological Bulletin, 2007) zu dem Schluss, dass „Fehlangaben zu sensiblen Themen recht häufig vorkommen und weitgehend situationsabhängig sind“ und dass ihr Ausmaß „davon abhängt, ob der Befragte etwas Unangenehmes zu berichten hat und von den Design-Merkmalen der Befragung“. Die Design-Merkmale sind der Teil, den Sie kontrollieren können.
Was hilft: Formulieren Sie die Anonymität in konkreten Begriffen statt als bloßen Slogan, beschreiben Sie genau, was an wen berichtet wird, fragen Sie nach konkretem Verhalten in der Vergangenheit statt nach Absichten oder Werten, und nutzen Sie Self-Administered-Formate für sensible Themen, da Befragte „die von ihnen gemeldeten Informationen anpassen, um Peinlichkeiten in Gegenwart eines Interviewers oder Auswirkungen durch Dritte zu vermeiden“ (Tourangeau und Yan, 2007). Wenn das Thema extrem heikel ist, fragen Sie, was „Menschen wie Sie“ tun. Dies gibt den Befragten die Möglichkeit, ehrlich zu sein, ohne die Antwort persönlich auf sich beziehen zu müssen.
Recall error
Das menschliche Gedächtnis ist keine Datenbank. Fragt man Menschen, wie oft sie im vergangenen Jahr etwas getan haben, schätzen sie die Häufigkeit für eine typische Woche und multiplizieren diese – weshalb sich Häufigkeitsdaten meist um runde Zahlen gruppieren. Seltene und kürzliche Ereignisse werden überrepräsentiert, während routinemäßige Aktivitäten untererfasst werden.
Verkürzen Sie das Zeitfenster auf einen Zeitraum, den eine Person tatsächlich rekonstruieren kann – meist die letzten sieben Tage oder das jüngste Ereignis. Fragen Sie: „Als Sie dies das letzte Mal getan haben, was ist passiert?“ statt „Wie oft passiert das?“. Knüpfen Sie die Fragen an Ereignisse statt an Daten. Und wenn sich ein Survey-Wert und ein System-Log widersprechen, glauben Sie dem Log.
Pre-Launch Checklist
Gehen Sie diese Liste durch, bevor der Survey startet. Jeder Fehler ist jetzt noch kostengünstiger zu beheben als nach dem Fieldwork.
Definieren Sie, wer nicht in Ihren Daten erscheinen darf. Schreiben Sie die auszuschließenden Gruppen auf. Wenn eine dieser Gruppen anders antworten würde, passen Sie den Frame an oder weisen Sie im Report auf diese Limitation hin.
Lesen Sie jede Frage laut vor. Alles, was wie eine Pressemitteilung klingt, ist eine Suggestivfrage (leading). Alles, bei dem Sie gedanklich ein „Nun, falls Sie es nutzen“ hinzufügen, ist eine geladene Frage (loaded).
Geben Sie den Entwurf einem Skeptiker. Idealerweise jemandem, der das gegenteilige Ergebnis erwartet. Bitten Sie ihn, die Fragen zu markieren, deren Beantwortung er bereits vorhersagen kann.
Prüfen Sie auf doppelspurige Fragen (double-barreled items). Suchen Sie im Fragetext nach „und“ sowie „oder“.
Ersetzen Sie Agree/Disagree-Skalen wo immer möglich durch Item-spezifische Skalen.
Randomisieren Sie die Antwortreihenfolge (Option Order) bei jeder Liste mit mehr als vier Items. Fixieren Sie „Sonstiges“ und „Keine“ am Ende.
Überprüfen Sie die Fragensequenz auf Kontamination (contamination). Allgemeines vor Spezifischem, ungestützte (unaided) vor gestützten (aided) Fragen, Gesamtwerte, bevor Sie ein bestimmtes Thema ansprechen.
Verkürzen Sie jeden Referenzzeitraum, den Sie selbst nicht präzise für sich beantworten könnten.
Erklären Sie, was mit den Antworten geschieht. Wer sieht sie, in welcher Form und auf welcher Aggregationsebene. In verständlicher Sprache, noch vor der ersten Frage.
Kürzen Sie den Survey um ein Drittel. Länge führt zu Ermüdung, Ermüdung führt zu Straightlining – und Straightlining ist ein Bias, für den Sie auch noch bezahlt haben.
Starten Sie einen Soft-Launch mit 10 % des Samples. Analysieren Sie Drop-off-Points, Straightlining-Raten und die ersten offenen Antworten (open responses), bevor Sie den Rest freigeben.
Nach dem Fieldwork: Was zu prüfen ist
Ein Bias kündigt sich nicht an, aber er hinterlässt Spuren.
Vergleichen Sie Ihre Demografie mit bekannten Populationsdaten. Jede größere Abweichung ist ein Coverage-Problem, das offengelegt werden muss.
Vergleichen Sie frühe und späte Responder. Ein Unterschied zwischen ihnen ist Ihre beste Schätzung für einen Non-Response Bias.
Markieren Sie Straightliner. Identische Antworten über ein ganzes Grid hinweg oder Ausfüllzeiten weit unter dem Median deuten auf Personen hin, die aufgehört haben zu lesen.
Gleichen Sie Behauptungen mit tatsächlichem Verhalten ab. Vergleichen Sie die angegebene Nutzung mit Ihren eigenen Logs. Eine solche Abweichung ist das Maß für Social Desirability in Ihrem spezifischen Sample.
Lesen Sie die offenen Antworten (open responses) vor den Diagrammen. Wenn die Verbatims und die quantitativen Zahlen unterschiedliche Geschichten erzählen, liegen meist die Zahlen falsch. Offener Text ist im Autopilot-Modus viel schwerer zu beantworten.
Dieser letzte Punkt ist die wertvollste Gewohnheit in diesem Artikel. Offene Antworten sind der Audit-Trail für alles andere, was Sie gemessen haben. Deshalb verdienen sie es, gelesen und codiert zu werden, anstatt sie nur zu überfliegen und zu zitieren. Der Artikel How to collect, code and report qualitative data beschreibt, wie man dabei richtig vorgeht.
Weiterführende Literatur
Referenzen
Groves, R. M., und Lyberg, L. Total Survey Error: Past, Present, and Future. Public Opinion Quarterly, 74(5), 849-879, 2010.
National Research Council. Nonresponse in Social Science Surveys: A Research Agenda. National Academies Press, 2013.
Saris, W. E., Revilla, M., Krosnick, J. A., und Shaeffer, E. M. Comparing Questions with Agree/Disagree Response Options to Questions with Item-Specific Response Options. Survey Research Methods, 4(1), 61-79, 2010.
Tourangeau, R., und Yan, T. Sensitive Questions in Surveys. Psychological Bulletin, 133(5), 859-883, 2007.
Tversky, A., und Kahneman, D. Judgment under Uncertainty: Heuristics and Biases. Science, 185(4157), 1124-1131, 1974.
Willits, F. K., und Ke, B. Part-Whole Question Order Effects: Views of Rurality. Public Opinion Quarterly, 59(3), 392-403, 1995.
Hören Sie die Antwort, bevor Sie sie codieren
Ein Bias entsteht meist in dem Moment, in dem eine vorgegebene Frage auf eine Person trifft, die etwas leicht Abweichendes sagen möchte. Geschlossene Listen erzwingen eine Entscheidung – die Nuance erreicht Ihren Datensatz nie.
SmartInterview führt Surveys per Voice oder Text mit einer KI durch, die genau die Follow-up-Fragen stellt, die auch ein guter Interviewer gestellt hätte. So antworten die Befragten in ihren eigenen Worten, anstatt die am wenigsten falsche Option zu wählen. Diese offenen Antworten (open responses) werden in zählbare Themes codiert. Jedes Theme bleibt bis zu den exakten Worten rückverfolgbar, was eine voreingenommene Frage sichtbar statt unsichtbar macht.
Fügen Sie eine Studie parallel zu Ihrem aktuellen Tool hinzu und vergleichen Sie die beiden Datensätze Frage für Frage.
Kostenlos starten oder bitten Sie uns, Ihren Fragebogen zu prüfen.
Häufig gestellte Fragen (FAQs)
Was ist Survey Bias?
Survey Bias (Umfrageverzerrung) ist ein systematischer Fehler, der Ergebnisse konsequent in eine Richtung lenkt. Er unterscheidet sich grundlegend von zufälligen Fehlern: Zufällige Fehler verringern sich, je mehr Befragte Sie hinzufügen, Bias hingegen nicht. Eine verzerrte Umfrage mit 5.000 Antworten ist irreführender als eine fehlerfreie mit 300, da die geringe Fehlermarge die falsche Antwort autoritativ erscheinen lässt.
Was ist ein Beispiel für eine Leading Question?
„Wie hilfreich war unser preisgekröntes Support-Team?“ ist gleich doppelt suggestiv (leading): „hilfreich“ setzt voraus, dass geholfen wurde, und „preisgekrönt“ gibt dem Befragten vor, was alle anderen denken. Die neutrale Variante lautet: „Wie würden Sie den Support bewerten, den Sie erhalten haben?“ mit einer Skala von sehr schlecht bis sehr gut.
Was ist Acquiescence Bias?
Die Tendenz, einer Aussage unabhängig von ihrem Inhalt zuzustimmen (Zustimmungstendenz). Am stärksten ausgeprägt ist dieser Bias bei langen Rastern mit Antwortoptionen wie „Stimme zu“ oder „Stimme nicht zu“, bei denen müde Befragte in ein bestimmtes Muster verfallen. Die effektivste Lösung besteht darin, nicht mehr nach Zustimmung zu fragen: Verwenden Sie Item-Specific Scales wie „sehr schwierig“ bis „sehr einfach“, sodass es keine vordefinierte Richtung für eine Gefälligkeitsantwort gibt.
Wie vermeidet man Bias in einer Umfrage?
Prüfen Sie, wen Ihr Sampling Frame ausschließt, formulieren Sie neutrale Fragen und lassen Sie diese von einem Skeptiker reviewen, randomisieren Sie die Reihenfolge der Antwortoptionen, stellen Sie allgemeine Fragen vor spezifische Fragen, halten Sie die Umfrage kurz, versprechen Sie Anonymität in konkreten Worten und führen Sie einen Soft-Launch mit einem kleinen Teil der Stichprobe durch, um Drop-off-Raten und Straightlining vor dem eigentlichen Feldstart zu erkennen.
Reduziert eine größere Stichprobe den Bias?
Nein. Die Stichprobengröße reduziert nur den zufälligen Stichprobenfehler (Random Sampling Error). Wenn sich die Personen, die Sie erreicht haben, systematisch von der Grundgesamtheit unterscheiden, die Sie beschreiben möchten, oder wenn Ihre Formulierung alle Befragten in dieselbe Richtung lenkt, reproduzieren mehr Befragte lediglich dieselbe Verzerrung mit engeren Konfidenzintervallen.
Was ist der Unterschied zwischen Sampling Bias und Non-Response Bias?
Sampling Bias bedeutet, dass ein Teil der Grundgesamtheit nie hätte ausgewählt werden können, weil Ihre Liste sie nicht enthielt. Non-Response Bias bedeutet, dass sie hätten ausgewählt werden können, sich aber gegen eine Teilnahme entschieden haben, und sich diejenigen, die abgelehnt haben, von denen unterscheiden, die geantwortet haben. Das erste ist ein Problem des Frames, das zweite ein Problem des Engagements – und beide erfordern unterschiedliche Lösungen.
Wie erkenne ich nach der Feldarbeit, ob meine Daten verzerrt (biased) sind?
Vergleichen Sie Ihr Stichprobenprofil mit bekannten Bevölkerungsdaten, vergleichen Sie Erstbefragte mit Personen, die Erinnerungen (Reminders) benötigten, markieren Sie Befragte mit auffälligem Straightlining oder unrealistisch schnellen Bearbeitungszeiten, und gleichen Sie das angegebene Verhalten mit vorhandenen Systemprotokollen ab. Wenn die offenen Antworten (Open Responses) den Diagrammen widersprechen, vertrauen Sie zuerst den offenen Antworten.
