Zurück
Sampling Methods: Stratified, Cluster, Random and Quota
Matthieu Saussaye
Die Sampling-Methode bestimmt, wer befragt wird, und entscheidet darüber, wie Ihre Ergebnisse interpretiert werden dürfen. Die erste Unterscheidung erfolgt zwischen Probability Sampling, bei dem jedes Mitglied der Grundgesamtheit eine bekannte Wahrscheinlichkeit ungleich Null hat, ausgewählt zu werden, und Non-Probability Sampling, bei dem dies nicht der Fall ist. Nur Probability Sampling erlaubt eine verlässliche Fehlerspanne (Margin of Error).
Die Kurzversion:
Simple random sampling zieht Namen zufällig aus einer vollständigen Liste. Sauber, unverzerrt (unbiased) und oft unmöglich, weil die Liste schlicht nicht existiert.
Systematic sampling wählt jede n-te Einheit aus einer geordneten Liste. Einfacher durchzuführen, scheitert jedoch, wenn die Liste ein verstecktes Muster (Cycle) aufweist.
Stratified sampling unterteilt die Grundgesamtheit zuerst in Gruppen (Strata) und zieht dann Stichproben innerhalb dieser Gruppen. Präziser als Simple random sampling, wenn sich die Gruppen tatsächlich voneinander unterscheiden.
Cluster sampling zieht Stichproben aus ganzen Gruppen wie Schulen oder Bezirken und führt dann dort Befragungen durch. In der Praxis weitaus kostengünstiger, aber weniger präzise bei gleicher sample size.
Quota sampling füllt vorgegebene Quoten pro Untergruppe ohne Zufallsauswahl. Schnell und steuerbar, zählt zum Non-Probability Sampling und ist der Standard für Online-Panels.
Convenience und Snowball sampling nutzen jeden, der erreichbar ist, oder Personen, die von Befragten empfohlen werden. Nützlich für explorative Zwecke und schwer erreichbare Zielgruppen, jedoch nicht zur Hochrechnung auf die Grundgesamtheit.
Sampling-Methoden im Vergleich
Jede Methode hat ihre Vor- und Nachteile und fordert an anderer Stelle ihren Tribut – meist bei den Kosten, der Präzision oder der Aussagekraft der Ergebnisse, die Sie im Nachgang erzielen können.
Methode | Funktionsweise | Am besten geeignet für | Hauptrisiko |
|---|---|---|---|
Simple random | Jede Einheit auf einer vollständigen Liste hat die gleiche Chance, ausgewählt zu werden | Grundgesamtheiten mit einem echten, vollständigen Sampling Frame | Der Frame existiert selten, und kleine Subgruppen können zufällig übersehen werden |
Systematic | Wählen Sie einen zufälligen Startpunkt und nehmen Sie dann jede n-te Einheit aus einer geordneten Liste | Lange Listen und physische Feldforschung (Fieldwork), bei denen eine Randomisierung umständlich ist | Periodizität: Wenn die Liste im gleichen Rhythmus wie Ihr Intervall verläuft, ist das Sample verzerrt |
Stratified | Teilen Sie die Grundgesamtheit in Strata auf und ziehen Sie dann in jedem Stratum eine Zufallsstichprobe | Wenn sich Subgruppen voneinander unterscheiden und Sie verlässliche Schätzungen für diese Subgruppen benötigen | Erfordert vorab bekannte Strata-Zugehörigkeiten sowie eine Gewichtung (Weighting), wenn die Aufteilung nicht proportional ist |
Cluster | Wählen Sie zufällig ganze Gruppen (Cluster) aus und befragen Sie dann alle oder einige Mitglieder darin | Geografisch verstreute Populationen ohne eine Liste auf individueller Ebene | Geringere Präzision pro Befragtem, da sich Personen innerhalb eines Clusters oft ähneln |
Quota | Füllen Sie feste Quoten pro Subgruppe auf, indem Sie nicht-zufällig rekrutieren, bis jede Quote erfüllt ist | Online-Panels, schnelle kommerzielle Studien, kontrollierte Zusammensetzung des Samples | Non-probability: Wer die Quoten füllt, ist selbstselektiert, daher gibt es keine echte Margin of Error |
Convenience | Befragen Sie diejenigen, die am einfachsten zu erreichen sind | Pilotstudien, das Testen von Fragen, frühe Sondierungsphasen | Unbekannter und meist großer Bias; lässt keine Rückschlüsse auf die Grundgesamtheit zu |
Snowball | Bestehende Befragte werben weitere Befragte an | Seltene oder schwer erreichbare Populationen, für die keine Liste existiert | Das Sample folgt sozialen Netzwerken, weshalb gut vernetzte Personen überrepräsentiert sind |
Die ersten vier Zeilen beschreiben Probability-Methoden. Die letzten drei sind Non-Probability-Methoden, und dieser Unterschied ist keine bloße Formalität: Er unterscheidet die Aussage „Wir schätzen 42 %, plus/minus 3 Prozentpunkte“ von „42 % der von uns erreichten Personen haben dies angegeben“.
Probability versus Non-Probability Sampling
Probability Sampling bedeutet, dass jede Einheit in der Population eine bekannte Wahrscheinlichkeit von ungleich Null hat, ausgewählt zu werden, und dass diese Auswahl durch einen von Ihnen kontrollierten Zufallsmechanismus erfolgt. Statistics Canada, Survey Methods and Practices, 2010 nennt die zwei Kriterien: "Eines ist, dass die Einheiten zufällig ausgewählt werden, das zweite ist, dass alle Einheiten in der Erhebungspopulation eine Einschlusswahrscheinlichkeit ungleich Null in der Stichprobe haben und dass diese Wahrscheinlichkeiten berechnet werden können". Diese Eigenschaft ermöglicht es erst, den Stichprobenfehler zu berechnen. Eine Fehlergrenze (Margin of Error) ist eine Aussage darüber, wie stark die Ergebnisse bei wiederholten Zufallsstichproben variieren würden. Ohne zufällige Auswahl gibt es für die Berechnung nichts zu beschreiben.
Non-Probability Sampling bedeutet, dass die Auswahl von etwas anderem als dem Zufall abhängt: wer verfügbar war, wer sich freiwillig meldete, wer von einem Freund empfohlen wurde, wer noch im Panel war und bereit war, um 21 Uhr zu antworten. Die resultierende Stichprobe kann dennoch informativ sein, und sie ist das, was die meiste kommerzielle Marktforschung tatsächlich nutzt. Was sie jedoch nicht leisten kann, ist die Behauptung zu stützen, dass der Unterschied zwischen Ihrer Stichprobe und der Grundgesamtheit nur auf Stichprobenrauschen zurückzuführen ist. Die AAPOR vertritt seit langem die Position, dass „die Angabe einer Fehlergrenze für Opt-in- oder selbstselektierte Stichproben irreführend ist“ (Baker et al., AAPOR Task Force on Non-Probability Sampling, 2013).
Zwei praktische Hinweise, die die Reinheitsdebatte abkürzen:
In der Praxis ist fast nichts mehr rein wahrscheinlichkeitsbasiert. Nonresponse führt dazu, dass selbst eine perfekte Zufallsauswahl am Ende eine selbstselektierte Gruppe von Personen liefert, die sich zur Teilnahme bereit erklärt haben. Das ist ein Grund, warum Response Rates so wichtig sind: Eine niedrige Response Rate zerstört genau die Eigenschaft, die das Design probabilistisch gemacht hat.
Non-Probability ist nicht dasselbe wie wertlos. Eine gut geführte Quotenkontrolle (Quota Sample) aus einem großen Panel, gewichtet nach bekannten Bevölkerungsdaten, ist die normale Basis für kommerzielle Marktforschung. Wie die AAPOR-Task Force (Baker et al., 2013) feststellte, können Non-Probability-Stichproben „für statistische Rückschlüsse geeignet sein, aber die Gültigkeit der Rückschlüsse hängt von der Angemessenheit der dem Modell zugrunde liegenden Annahmen ab und davon, wie sich Abweichungen von diesen Annahmen auf die spezifischen Schätzungen auswirken“. Der ehrlichste Weg ist es, die Methode zu beschreiben, anstatt sie mit einer Fehlergrenze zu schmücken, die sie nicht verdient hat.
Simple Random und Systematic Sampling
Simple Random Sampling
Nehmen Sie eine vollständige Liste der Grundgesamtheit, den Sampling Frame, und ziehen Sie daraus zufällig. Jede Einheit hat die gleiche Auswahlwahrscheinlichkeit. Es ist das Referenzdesign, mit dem alle anderen Methoden verglichen werden, und es ist von Natur aus unverzerrt (unbiased).
Das praktische Problem ist der Frame. Eine vollständige, aktuelle Liste „aller Menschen in einem Land“ oder „aller Käufer in einer Kategorie“ existiert in der Regel nicht. Wo ein Frame existiert, wie z. B. Ihre eigene Kundendatenbank oder ein Mitarbeiterverzeichnis, ist Simple Random Sampling unkompliziert und in der Regel die richtige Standardwahl.
Es hat eine statistische Schwachstelle, die man kennen sollte. Zufallsauswahlen können zufällig eine kleine Untergruppe unterrepräsentieren. Wenn Sie verlässliche Zahlen für eine Gruppe benötigen, die 4 % der Bevölkerung ausmacht, wird das Simple Random Sampling Ihnen nur wenige davon liefern und keine Garantie dafür bieten, wie wenige es sein werden.
Systematic Sampling
Ordnen Sie den Frame, wählen Sie einen zufälligen Startpunkt und nehmen Sie dann jede n-te Einheit. Bei 10.000 Datensätzen und einem Ziel von 500 nehmen Sie jeden 20. Datensatz. Das ist einfacher auszuführen als das Ziehen von 500 Zufallszahlen und verteilt die Stichprobe gleichmäßig über die Liste.
Das Risiko dabei ist Periodizität. Wenn die Liste ein sich wiederholendes Muster aufweist, dessen Zyklus mit Ihrem Intervall übereinstimmt, trifft die Stichprobe systematisch jedes Mal auf die gleiche Art von Einheit. Eine Liste von Ladenbesuchen, geordnet nach Wochentagen und jede 7. Einheit ausgewählt, kann am Ende nur aus Montagen bestehen. Statistics Canada (2010) verwendet dasselbe Beispiel für den Verkehrsfluss und fügt den schwierigen Teil hinzu: „In den meisten Fällen ist die Periodizität im Voraus nicht bekannt“. Überprüfen Sie die Sortierung, bevor Sie dem Design vertrauen; wenn die Reihenfolge eine Bedeutung hat, randomisieren Sie diese zuerst.
Wann Stratified Sampling dem Simple Random Sampling überlegen ist
Stratified Sampling (geschichtete Stichprobe) teilt die Bevölkerung in sich gegenseitig ausschließende Schichten (Strata) auf, wie z. B. Region, Unternehmensgröße oder Altersband, und zieht dann innerhalb jeder Schicht eine Zufallsstichprobe. Jede Einheit hat immer noch eine bekannte Auswahlwahrscheinlichkeit, sodass es eine Probability-Methode bleibt.
Es schlägt das Simple Random Sampling in zwei Situationen:
Sie benötigen Schätzungen für Untergruppen
Wenn der Bericht für jede Region separat Aussagen treffen muss, liefert Ihnen eine einfache Zufallsstichprobe lediglich die Anzahl, die zufällig auf jede Region entfällt, was zu wenig sein kann, um aussagekräftig zu sein. Ein Stratified Sample ermöglicht es Ihnen, die Anzahl pro Schicht im Voraus festzulegen. Das Over-Sampling einer kleinen, aber wichtigen Schicht ist gängige Praxis, und der Preis dafür ist, dass Sie die Ergebnisse wieder auf die tatsächlichen Bevölkerungsanteile gewichten müssen, bevor Sie ein Gesamtergebnis berichten. Überspringen Sie die Gewichtung, entspricht Ihr Gesamtergebnis stillschweigend dem Durchschnitt einer künstlichen Bevölkerung.
Die Schichten unterscheiden sich in dem, was Sie messen
Dies ist das Argument der Präzision, und es ist dasjenige, das oft übersehen wird. Wenn die Variation innerhalb jeder Schicht gering und die Variation zwischen den Schichten groß ist, eliminiert die Stratifizierung die Variabilität zwischen den Schichten aus Ihrem Stichprobenfehler. Für eine feste Stichprobengröße ist eine geschichtete Schätzung des Gesamtwerts dann präziser als eine einfache Zufallsstichprobe. Statistics Canada (2010) formuliert diese Bedingung direkt: Um das Simple Random Sampling zu schlagen, "muss eine starke Homogenität innerhalb einer Schicht vorliegen ... und die Schichten selbst müssen sich so weit wie möglich voneinander unterscheiden", was der Fall ist, "wenn die Stratifizierungsvariablen mit den interessierenden Survey-Variablen korrelieren".
Der Umkehrschluss ist ebenso wichtig: Wenn sich die Schichten in Ihrem Ergebnis nicht unterscheiden, bringt die Stratifizierung nach ihnen fast nichts. Eine Kundenbefragung nach dem Anfangsbuchstaben des Namens zu stratifizieren, ist zwar valide, aber völlig sinnlos. Wählen Sie Schichten, von denen Sie Grund zur Annahme haben, dass sie mit dem zusammenhängen, was Sie messen.
Voraussetzung ist, dass Sie die Schicht jeder Einheit vor der Stichprobenziehung kennen müssen. Das ist bei einer Kundendatenbank mit einem Regionen-Feld einfach und bei einem Merkmal, das Sie erst durch Nachfragen erfahren, unmöglich. Wenn das Klassifizierungsmerkmal erst aus dem Survey selbst hervorgeht, führen Sie in der Regel Quota Sampling und kein Stratified Sampling durch.
Wie Cluster Sampling Präzision gegen Feldarbeitskosten eintauscht
Cluster Sampling kehrt die Logik der Stratifizierung um. Anstatt innerhalb jeder Gruppe eine Stichprobe zu ziehen, wählen Sie zufällig ganze Gruppen (Cluster) aus und befragen dann innerhalb der ausgewählten Gruppen. Wählen Sie beispielsweise 30 von 900 Schulen aus und befragen Sie dann Schüler in diesen 30 Schulen. Beim einstufigen Cluster Sampling erfassen Sie jeden in den ausgewählten Clustern; beim zweistufigen Sampling ziehen Sie zusätzlich eine Stichprobe innerhalb der Cluster.
Der Grund dafür sind fast immer die Kosten. Wenn das Befragen physisches Reisen erfordert, verändert die Konzentration Ihrer Feldarbeit auf 30 Standorte anstatt der Verteilung auf 900 das Budget um eine Größenordnung. Cluster Sampling funktioniert auch, wenn keine Liste von Einzelpersonen existiert, aber eine Liste von Clustern vorliegt. Es gibt kein Register jedes Haushalts, aber eine Liste von Bezirken.
Der Preis dafür ist Präzision. Menschen innerhalb eines Clusters neigen dazu, einander zu ähneln, und diese Ähnlichkeit wird durch die Intraclass-Correlation gemessen. Da sie sich ähneln, liefert jeder zusätzliche Befragte aus einem bereits befragten Cluster weniger neue Informationen als ein unabhängiger Befragter. Das Ergebnis ist ein Design-Effekt (Design Effect), den Statistics Canada (2010) definiert als "das Verhältnis der Stichprobenvarianz eines Schätzers unter einem gegebenen Design zur Stichprobenvarianz eines Schätzers unter SRS der gleichen Stichprobengröße". Dieselbe Quelle stellt fest, dass Cluster Sampling "normalerweise eine statistisch weniger effiziente Stichprobenstrategie als SRS ist" und gewählt wird, weil "das Sampling von Clustern die Erhebungskosten erheblich senken kann, insbesondere wenn die Bevölkerung weit verstreut ist und persönliche Interviews durchgeführt werden". Ihre effektive Stichprobengröße ist am Ende kleiner als Ihre reine Fallzahl.
Daraus ergeben sich direkt zwei Konsequenzen:
Viele kleine Cluster schlagen wenige große. Das Hinzufügen von Clustern bringt mehr Präzision als das Hinzufügen von Befragten innerhalb bestehender Cluster. Statistics Canada (2010): „Wenn benachbarte Einheiten ähnlich sind, ist es statistisch effizienter, viele kleine Cluster anstelle von wenigen, größeren Clustern auszuwählen.“
Die Analyse muss dem Design Rechnung tragen. Standardfehler, die so berechnet werden, als ob es sich um ein Simple Random Sample handeln würde, sind zu klein, was Unterschiede signifikant erscheinen lässt, obwohl sie es nicht sind. Nutzen Sie Berechnungsverfahren, die das Survey-Design berücksichtigen.
Stratified Sampling und Cluster Sampling werden oft verwechselt, da beide Gruppen beinhalten. Die Unterscheidung ist einfach: Die Stratifizierung zieht Stichproben aus jeder Gruppe und erhöht die Präzision, das Clustering wählt nur einige Gruppen aus und senkt die Kosten.
Quota sampling und wie es in der Praxis funktioniert
Beim Quota sampling werden Zielzahlen für Untergruppen festgelegt und dann so lange Personen rekrutiert, bis jedes Ziel erreicht ist. Eine Studie könnte beispielsweise 500 Befragte vorsehen, aufgeteilt nach Alter, Geschlecht und Region, um den nationalen Verhältnissen zu entsprechen. Sobald die Zelle für die 25- bis 34-Jährigen voll ist, werden spätere Befragte in dieser Altersgruppe ausgesiebt.
Strukturell ähnelt es dem stratified sampling: Die Grundgesamtheit wird in Zellen mit einer jeweils geplanten Anzahl unterteilt. Der Unterschied ist entscheidend. Beim stratified sampling werden die Einheiten innerhalb jeder Schicht (stratum) zufällig aus einer Stichprobenrahmen (frame) ausgewählt. Beim Quota sampling ist das nicht der Fall; wer auftaucht und sich qualifiziert, kommt in die Stichprobe. Das macht es zu einem non-probability Sampling, egal wie gut die Randverteilungen mit dem Zensus übereinstimmen. Statistics Canada (2010) zieht dieselbe Grenze: „In probability sampling, the units are selected randomly while in quota sampling a non-random method is used“, und „contacted units that are unwilling to participate are simply replaced by units that are, in effect ignoring nonresponse bias“.
Warum es sich in der kommerziellen Marktforschung dennoch durchsetzt:
Es ist schnell und kalkulierbar. Sie kennen die Zusammensetzung Ihres finalen Samples, bevor die Feldarbeit beginnt.
Es benötigt keinen Stichprobenrahmen (frame). Nur einen Screener, der ermittelt, zu welcher Zelle ein Respondent gehört.
Es garantiert die Fallzahlen für Untergruppen. Die Segmente, über die Sie berichten möchten, werden genügend Befragte aufweisen, um verlässliche Aussagen zu treffen.
Was dabei verborgen bleibt, ist, wer die einzelnen Zellen gefüllt hat. Die Anpassung der Stichprobe an die Bevölkerung in Bezug auf Alter und Geschlecht macht das Sample in anderen Aspekten nicht repräsentativ. Menschen, die Online-Umfragen für eine kleine Aufwandsentschädigung ausfüllen, unterscheiden sich von denen, die das nicht tun, in einer Weise, die Demografie-Quoten niemals erfassen: verfügbare Zeit, Interesse am Thema und wie viele Umfragen sie pro Woche beantworten. Eine Quotensteuerung nach demografischen Merkmalen ist eine Mindestanforderung, keine Garantie. Wenn Sie Befragte von einem Panel einkaufen, ist die Zusammensetzung und das Management dieses Panels ebenso wichtig wie Ihr Quotenplan – ein Thema, das in den Bereich der panel research fällt.
Interlocked versus non-interlocked quotas
Ein non-interlocked Quotenplan setzt unabhängige Ziele: 50 % Frauen, 20 % im Alter von 18–24 Jahren. Jede einzelne Quote stimmt am Ende, während die Kombination stark verzerrt sein kann – zum Beispiel, wenn fast alle Ihre 18- bis 24-Jährigen Männer sind. Interlocked quotas definieren die Zellen direkt, wie z. B. 10 % Frauen im Alter von 18–24 Jahren. Diese Verschränkung bietet eine bessere Kontrolle, ist aber schwieriger zu füllen, da seltene Zellen am Ende der Feldzeit zum Nadelöhr werden. Verschränken (interlock) Sie die Variablen, die mit Ihrem Untersuchungsergebnis interagieren, und lassen Sie die restlichen als einfache Quoten laufen.
Convenience und Snowball sampling
Convenience sampling bedeutet, diejenigen zu befragen, die am einfachsten zu erreichen sind: Ihre E-Mail-Liste, Ihre Social-Media-Follower, Passanten auf der Straße. Der Bias ist in seiner Größe und Richtung unbekannt und in der Regel erheblich. Ihre Follower sind nicht Ihr gesamter Markt – sie sind der Teil Ihres Marktes, der Sie bereits mag.
Das macht die Methode nicht nutzlos. Es ist das richtige Verfahren, um zu testen, ob ein Fragebogen verständlich ist, für frühe explorative Arbeiten, bei denen Sie herausfinden wollen, wie die Fragen überhaupt lauten sollten, und für die Problemidentifikation, bevor Sie Budget binden. Es gilt die Regel: Ergebnisse sind Hypothesen, keine repräsentativen Schätzungen. Übertragen Sie niemals Prozentwerte aus einem Convenience sample auf eine Gesamtbevölkerung.
Snowball sampling rekrutiert über Weiterempfehlung: Jeder Befragte schlägt weitere Teilnehmer vor. Es wird eingesetzt, um Populationen ohne Adressliste und mit geringer Inzidenz zu erreichen, wie etwa Menschen mit einer seltenen Krankheit oder Inhaber eines hochspezialisierten Jobtitels. Es funktioniert dort, wo andere Methoden scheitern, und übernimmt die Struktur des sozialen Netzwerks, durch das es sich bewegt. Dadurch werden gut vernetzte Personen überrepräsentiert, und es kommt zu einer Clusterbildung innerhalb von Communities. Berichten Sie es als das, was es ist: eine über Empfehlungsketten gewonnene Stichprobe, die beschrieben, aber nicht hochgerechnet wird.
Die Stichprobengröße (sample size) ist eine separate Entscheidung
Stichprobengröße (sample size) und Stichprobenverfahren (sampling method) sind zwei unterschiedliche Fragen, die häufig verwechselt werden. Die Methode entscheidet darüber, ob Ihr Sample systematisch verzerrt ist. Die Größe bestimmt, wie viel statistisches Rauschen (random noise) Ihre Schätzung umgibt.
Eine große Stichprobe, die schlecht gezogen wurde, ist nicht besser als eine kleine, gut gezogene Stichprobe. Erhöht man die Größe einer verzerrten Stichprobe, wird die Schätzung lediglich präziser falsch: Das Konfidenzintervall verengt sich um einen Wert, der nie dem wahren Wert entsprach. Die Entscheidung für die richtige Methode steht immer an erster Stelle.
Wie Ihre Sampling-Entscheidung einschränkt, was Sie behaupten können
Jedes Sampling-Design rechtfertigt eine ganz bestimmte Aussage in Ihrem Report. Eine stärkere Aussage zu formulieren, als das Design hergibt, ist der häufigste Weg, wie Studien irreführend werden, ohne dass jemand lügt.
Probability sample mit gutem Rücklauf: „Wir schätzen den Anteil in der Population auf 42 %, mit einer Fehlerspanne von plus/minus 3 Prozentpunkten bei einem Konfidenzniveau von 95 %.“
Stratified probability sample: dieselbe Aussage plus verlässliche Aussagen über Subgruppen, vorausgesetzt, die Ergebnisse werden wieder auf die Populationsanteile gewichtet.
Cluster sample: dieselbe Aussage, aber mit für das Design berechneten Standardfehlern. Die effektive Stichprobengröße (effective sample size) ist kleiner als die Anzahl der Interviews.
Quota sample aus einem Panel: „Unter 1.000 Panel-Teilnehmenden, quotiert nach nationalen Anteilen für Alter, Geschlecht und Region, sagten 42 % X.“ Beschreiben Sie die Methode; weisen Sie keine Fehlerspanne (margin of error) aus, als wäre die Auswahl zufällig erfolgt.
Convenience sample: „Unter den 180 eigenen Kunden, die geantwortet haben, sagten 42 % X.“ Keine Projektion über die Befragten hinaus.
Snowball sample: „Unter 60 Befragten, die durch Weiterempfehlung rekrutiert wurden, beschrieben die meisten X.“ Nur qualitative Einordnung (qualitative framing).
Gewichtung macht aus dem einen nicht das andere
Durch Gewichtung (Weighting) wird Ihre Stichprobe so angepasst, dass ihre Zusammensetzung den bekannten Populationswerten bezüglich der gewichteten Variablen entspricht. Das ist Standard, es ist nützlich und es korrigiert tatsächliche Ungleichgewichte. Es macht jedoch aus einem Non-Probability-Sample kein Probability-Sample. Gewichtung kann Verzerrungen (Bias) nur bei den Variablen korrigieren, nach denen gewichtet wird, sowie bei sehr eng damit verwandten Variablen. Sie kann keinen Unterschied zwischen Antwortenden und Nicht-Antwortenden beheben, der unabhängig von Alter, Geschlecht und Region ist. Starke Gewichtungen erhöhen zudem die Varianz, was die effektive Stichprobengröße (effective sample size) verringert. Ein stark gewichtetes Sample ist daher weniger präzise, als es die reine Fallzahl vermuten lässt.
Reporten Sie immer das Design
Eine Methodenbeschreibung sollte die Zielpopulation, den Frame bzw. die Quelle der Befragten, die Auswahlmethode, die verwendeten Quoten oder Strata, den Feldzeitraum, die erzielte Stichprobengröße und eventuell angewendete Gewichtungen angeben. Wenn Lesende nicht nachvollziehen können, wie Personen in Ihre Stichprobe gelangt sind, können sie die Zahlen nicht beurteilen. Dies ist besonders wichtig, wenn das Design nicht probabilistisch war: Baker et al. (2013) betonen, dass „bei der Verwendung von Non-Probability-Sampling-Methoden eine höhere Begründungspflicht besteht als bei Probability-Samples, um die Methoden zur Stichprobenziehung, Datenerhebung und Schlussfolgerung zu beschreiben“. Dies unterscheidet auch eine seriöse Studie von einer Grafik mit einer einfachen Prozentangabe – und es lohnt sich, dies zu prüfen, bevor Sie eine externe Research-Agentur beauftragen.
Die Wahl der Methode: Ein kurzer Entscheidungspfad
Haben Sie eine vollständige Liste der Population? Wenn ja, ist ein einfaches Random- oder systematisches Sampling möglich. Wenn nein, springen Sie zu Quoten- oder Cluster-Designs.
Benötigen Sie verlässliche Zahlen für bestimmte Subgruppen? Wenn ja, stratifizieren Sie nach diesen Subgruppen oder setzen Sie Quoten dafür an, und planen Sie eine Gewichtung ein.
Ist die Feldphase geografisch teuer? Wenn ja, wählen Sie ein Cluster-Design und berücksichtigen Sie den Design-Effekt in Ihrer Stichprobenberechnung.
Handelt es sich um eine seltene Population ohne Liste? Nutzen Sie Snowball-Sampling oder zielgerichtete Rekrutierung und berichten Sie diese deskriptiv.
Wollen Sie eher explorieren als schätzen? Ein Convenience Sample ist völlig ausreichend. Weisen Sie im Report darauf hin.
Die passende Methode ist im Allgemeinen die strengste, die Ihr Frame und Ihr Budget tatsächlich zulassen. Das professionelle Urteil zeigt sich dann in der präzisen Beschreibung – dieselbe Disziplin, die auch qualitative von quantitativen Behauptungen trennt.
Referenzen
Baker, R., Brick, J. M., Bates, N. A., Battaglia, M., Couper, M. P., Dever, J. A., Gile, K. J., und Tourangeau, R. Report of the AAPOR Task Force on Non-Probability Sampling. American Association for Public Opinion Research, Juni 2013.
Statistics Canada. Survey Methods and Practices, Katalognummer 12-587-X. Statistics Canada, 2010.
Die richtige Stichprobenstruktur wählen – und die nötige Tiefe
Das Sampling entscheidet darüber, wer antwortet. Es sagt nichts darüber aus, wie viel Sie von jedem Einzelnen lernen. Die meisten Studien lösen das erste Problem sehr sorgfältig, nur um dann von jedem mühsam rekrutierten Befragten lediglich zwei Klicks und einen Ein-Wort-Kommentar zu erhalten.
SmartInterview übernimmt das Quotenmanagement (quota management), damit sich die Zellen genau wie von Ihnen vorgegeben füllen, und führt das Interview selbst per Sprache oder Text mit einer KI, die bei vagen Antworten in der Sprache des Befragten nachhakt. Offene Antworten werden direkt in Themen codiert zurückgespielt, sodass die qualitative Tiefe direkt neben Ihren quotierten Zahlen quantifizierbar wird.
Planen Sie Ihre nächste Studie von Anfang bis Ende: Kostenlos starten oder mit unserem Team sprechen.
Häufig gestellte Fragen (FAQ)
Was ist der Unterschied zwischen stratified sampling und cluster sampling?
Beide teilen die Grundgesamtheit in Gruppen ein, nutzen diese jedoch auf gegensätzliche Weise. Beim stratified sampling wird aus jeder Gruppe eine Stichprobe gezogen, was die Präzision erhöht, wenn sich die Gruppen in Bezug auf das, was Sie messen, unterscheiden. Beim cluster sampling wird zufällig eine Auswahl von Gruppen ausgewählt und nur innerhalb dieser eine Befragung durchgeführt, was die Feldarbeitskosten senkt, aber die Präzision verringert, da sich die Personen innerhalb eines Clusters ähneln.
Was ist ein stratified sample?
Ein stratified sample wird gezogen, indem die Grundgesamtheit zunächst in sich gegenseitig ausschließende Schichten (Strata) wie Region oder Unternehmensgröße unterteilt wird und anschließend in jeder Schicht eine Zufallsstichprobe gezogen wird. Dies setzt voraus, dass die Schicht jeder Einheit vor der Stichprobenziehung bekannt ist. Es garantiert eine ausreichende Anzahl von Befragten in jeder Teilgruppe und liefert, wenn sich die Schichten im Ergebnis unterscheiden, eine präzisere Gesamtschätzung als ein simple random sampling derselben Größe.
Wann sollte man cluster sampling verwenden?
Verwenden Sie es, wenn die Grundgesamtheit geografisch weit verstreut ist, die Feldarbeit Reisen erfordert und keine Liste von Einzelpersonen, wohl aber eine Auswahlliste von Clustern vorliegt. Die Konzentration von Interviews auf eine begrenzte Anzahl zufällig ausgewählter Orte senkt die Kosten erheblich. Planen Sie ein Budget für den design effect ein: Da die Antworten innerhalb eines Clusters korreliert sind, benötigen Sie eine größere Stichprobe als bei einem simple random design, um dieselbe Präzision zu erreichen.
Ist quota sampling dasselbe wie stratified sampling?
Nein. Sie sehen sich ähnlich, weil beide Zielvorgaben pro Teilgruppe festlegen. Das stratified sampling wählt jedoch Einheiten zufällig innerhalb jeder Schicht aus einem sampling frame aus, während das quota sampling jeden akzeptiert, der sich qualifiziert, bis jede Zelle gefüllt ist. Das macht stratified sampling zu einer Wahrscheinlichkeitsauswahl (probability method) mit einem berechenbaren Stichprobenfehler und quota sampling zu einer bewussten Auswahl (non-probability method) ohne diesen.
Was ist der Unterschied zwischen probability sampling und non-probability sampling?
Beim probability sampling hat jedes Mitglied der Grundgesamtheit eine bekannte Wahrscheinlichkeit von ungleich Null, ausgewählt zu werden, und die Auswahl erfolgt zufällig. Genau das macht den Stichprobenfehler (sampling error) berechenbar. Beim non-probability sampling hängt die Auswahl von der Verfügbarkeit, der Selbstselektion oder Weiterempfehlungen ab. Non-probability samples können dennoch aufschlussreich sein, aber Sie können nicht behaupten, dass die Abweichung zwischen Ihrer Stichprobe und der Grundgesamtheit nur auf zufälliges Rauschen zurückzuführen ist.
Kann Weighting eine verzerrte Stichprobe korrigieren?
Nur teilweise. Weighting korrigiert Ungleichgewichte bei den Variablen, nach denen Sie gewichten, sowie bei Merkmalen, die eng mit diesen zusammenhängen. Es kann keine Unterschiede zwischen Antwortenden und Nichtantwortenden korrigieren, die nicht mit diesen Variablen zusammenhängen, und es verwandelt ein non-probability sample nicht in ein probability sample. Starke Gewichtungen erhöhen zudem die Varianz und verringern die effektive Stichprobengröße (effective sample size) im Vergleich zur Anzahl der tatsächlich durchgeführten Interviews.
