Zurück
Dichotomous Questions: Ja/Nein Survey Design richtig gemacht
Matthieu Saussaye
Eine dichotome Frage bietet genau zwei Antwortmöglichkeiten. Ja oder Nein, Wahr oder Falsch, Zustandekommen oder Nichtzustandekommen, Haben oder Nicht-Haben. Sie ist die einfachste geschlossene Frage, die es gibt, und sie ist nur dann die richtige Wahl, wenn die zugrundeliegende Realität tatsächlich binär ist.
Die Regeln, auf die es ankommt:
Nutzen Sie sie für Fakten und Ereignisse. Ist etwas passiert, qualifiziert sich jemand, besitzen sie das Objekt. Diese haben zwei reale Zustände.
Sie ist das Arbeitspferd des Screening. Qualifikations- und Routing-Logiken basieren auf Ja/Nein, weil Branching eine klare Trennung erfordert.
Nutzen Sie sie nicht für Einstellungen. Zufriedenheit, Zustimmung, Wahrscheinlichkeit und Bedeutung sind Spektren. Sie in zwei Boxen zu zwingen, wirft alles außer dem Vorzeichen weg.
Ja/Nein verbirgt Intensität. Die mit Ja beantwortete Frage "Würden Sie uns weiterempfehlen?" umfasst sowohl den Enthusiasten als auch die Person, die es nur auf Nachfrage tun würde.
Fügen Sie "Weiß nicht" oder "Nicht zutreffend" hinzu, wenn dies reale Zustände sind. Ohne sie raten unsichere Befragte, und Schätzungen sehen in Ihrem Export identisch aus wie echte Antworten.
Beide Optionen müssen gleichermaßen akzeptabel sein. Wenn eine Antwort sozial unangenehm ist, misst der von Ihnen gemessene Split teilweise das Ausmaß an Verlegenheit.
Wann eine dichotome Frage passt und wann nicht
Der Test ist nicht, ob eine Ja/Nein-Antwort möglich ist. Es geht darum, ob das zugrunde liegende Merkmal, das Sie messen, zwei Zustände oder viele hat.
Was Sie messen | Zugrunde liegende Struktur | Richtiges Format | Was ein binäres Format Sie kosten würde |
|---|---|---|---|
Ob ein Ereignis eingetreten ist | Echt binär | Dichotom | Nichts, dies ist die korrekte Anwendung |
Teilnahmeberechtigung für den Survey | Definitionsgemäß binär | Dichotom | Nichts, aber die Formulierung muss eindeutig sein |
Zufriedenheit oder Zustimmung | Ein Spektrum | Rating Scale | Die gesamte Intensität und jegliche Veränderung im Zeitverlauf innerhalb einer Tendenz |
Welche Option bevorzugt wird | Mehrere Kategorien | Multiple Choice | Jede Option, die Sie nicht genannt haben |
Häufigkeit eines Verhaltens | Eine Zählung | Frequency Scale oder numerische Eingabe | Der Unterschied zwischen einmal im Leben und täglich |
Priorität über Items hinweg | Eine Rangordnung | Ranking | Der Trade-off, den Sie beobachten wollten |
In den Zeilen drei bis sechs werden dichotome Fragen am häufigsten falsch angewendet. Die Formate, die dorthin gehören, werden in den Guides zu Likert-Skalen, Multiple-Choice-Fragen und Rangordnungsfragen behandelt.
The legitimate uses
Screening und Eligibility
Dies ist das stärkste Argument für ein Binärformat. Ein Screener fragt ab, ob die respondierende Person in die Studie gehört, und diese Zugehörigkeit ist ein Ja- oder Nein-Zustand. „Haben Sie in den letzten 12 Monaten ein Auto gekauft?“ qualifiziert jemanden oder eben nicht. Screeners füttern die Routing-Logik, und die Routing-Logik verlangt nach einer klaren Trennung statt einer Skala mit Schwellenwert.
Schreiben Sie Screeners so, dass die Grenze unmissverständlich ist. „Kürzlich“ ist keine Grenze. „In den letzten 12 Monaten“ ist eine. Mehrdeutigkeit in einem Screener sorgt nicht nur für Noise, sondern bringt die falschen Personen in Ihr Sample, und jede nachfolgende Kennzahl erbt diesen Fehler.
Verhalten, das tatsächlich stattgefunden hat oder nicht
„Haben Sie den Support bezüglich dieser Bestellung kontaktiert?“ hat zwei reale Zustände. Ebenso „Haben Sie die mobile App installiert?“. Dies sind Fakten über die Welt, die im Prinzip überprüfbar sind, und eine respondierende Person hat die Aktion entweder durchgeführt oder nicht.
Wo Verhaltensfragen fehlschlagen, ist beim Recall. Eine binäre Frage zu etwas, das sechs Monate zurückliegt, misst die Erinnerung ebenso sehr wie das Verhalten. Halten Sie das Zeitfenster kurz genug, damit die Antwort abrufbare Erinnerung bleibt.
Consent, Erlaubnis und Bestätigung
„Stimmen Sie zu, bezüglich dieser Forschung kontaktiert zu werden?“ muss binär sein. Es gibt keinen Zwischenzustand, auf den ein rechtlicher oder operativer Prozess reagieren könnte. Dasselbe gilt für Opt-ins und Bestätigungen.
Filter, die ein Follow-up steuern
Eine binäre Frage ist oft der günstigste Weg, irrelevante Fragen zu vermeiden. „Haben Sie das Reporting-Feature diesen Monat genutzt?“ kostet einen Klick und verhindert, dass die gesamte Batterie von Reporting-Fragen Personen angezeigt wird, die das Feature noch nie geöffnet haben. Alle Befragten durch jede einzelne Frage zu schicken, trägt mehr zur Fatigue und zu sinkenden Response Rates bei als die Anzahl der Fragen selbst.
Die Falle: Ein Spektrum in ein Binärformat zwingen
Die meisten schlechten dichotomischen Fragen teilen eine Eigenschaft: Sie nehmen etwas Kontinuierliches, schneiden es in der Mitte durch und präsentieren diesen Schnitt, als wäre er eine natürliche Grenze.
„Sind Sie mit unserem Service zufrieden? Ja / Nein“ ist der Klassiker. Zufriedenheit reicht von wütend bis begeistert. Das Aufteilen an einem nicht erklärten Mittelpunkt schafft drei Probleme auf einmal:
Der Cut-off-Point ist unsichtbar und persönlich. Jede respondierende Person zieht ihre eigene Grenze zwischen Ja und Nein. Sie können nicht wissen, wo. Zwei Personen mit identischen Erfahrungen können unterschiedlich antworten.
Sie verlieren jede Dynamik innerhalb einer Seite. Wenn sich Ihr Service verbessert und aus bloß zufriedenen Kunden begeisterte Kunden werden, zeigt eine Ja/Nein-Frage keinerlei Veränderung. Alle waren ohnehin schon bei „Ja“.
Das Ergebnis ist an der Grenze instabil. Wenn ein großer Teil des Samples nahe an der eigenen persönlichen Schwelle liegt, führen kleine Änderungen in der Stimmung oder Formulierung dazu, dass sie kippen, und Ihre Headline-Metrik verändert sich aus Gründen, die nichts mit dem eigentlichen Business zu tun haben.
Die Lösung besteht darin, das Spektrum zu messen und es später zu cutten, falls Sie für das Reporting ein Binärformat benötigen. Eine 5-Punkt-Skala kann für einen Headline-Slide jederzeit in „zufrieden“ versus „nicht zufrieden“ zusammengefasst werden, während Sie die zugrunde liegende Distribution beibehalten. Ein Binärformat kann niemals wieder in eine Skala expandiert werden. Erheben Sie die präzisere Messung, vereinfachen Sie in der Phase des Reportings und geben Sie Ihren Cut-off-Point an, wenn Sie es tun.
Warum Ja/Nein die Intensität verbirgt
Stellen Sie sich zwei Respondenten vor, die beide „Ja“ auf die Frage „Würden Sie uns einem Kollegen empfehlen?“ antworten. Der eine erzählt unaufgefordert drei Personen pro Woche davon. Der andere würde auf direkte Nachfrage etwas Positives sagen, spricht es aber von sich aus nie an. In Ihren Daten sind sie dieselbe Zeile.
Das ist wichtig, weil in der Regel die Intensität, nicht die Richtung, das Verhalten vorhersagt. Ein schwaches Ja und ein starkes Ja haben einen unterschiedlichen zukünftigen Wert, und genau die Mischung aus beiden verschiebt sich, wenn sich ein Produkt verbessert oder verschlechtert. Skalenbasierte Maße wie eine Weiterempfehlungsfrage von 0 bis 10 existieren genau deshalb, um diese zu trennen.
Ein Binärformat bietet Ihnen zudem ein sehr stumpfes Instrument, um Veränderungen zu erkennen. Aggregierte Verschiebungen in einem Ja/Nein-Split werden erst sichtbar, wenn Menschen tatsächlich die Grenze überschreiten. Alles davor bleibt unsichtbar.
Dichotomous question examples
Vierzehn Beispiele, gruppiert nach Anwendungsbereich. Das Screener-Set enthält die Routing-Logik, da das Format hier seine Stärken voll ausspielt.
Screening und Eignung
Haben Sie [Kategorie] in den letzten 6 Monaten gekauft? Ja / Nein. Nein beendet (Screenout).
Sind Sie persönlich an der Auswahl von Software für Ihr Team beteiligt? Ja / Nein. Nein beendet.
Arbeiten Sie oder jemand in Ihrem Haushalt im Bereich Market Research oder Werbung? Ja / Nein. Ja beendet, Standard-Branchenausschluss.
Sind Sie 18 Jahre oder älter? Ja / Nein. Nein beendet.
Haben Sie das Produkt in den letzten 30 Tagen mindestens einmal benutzt? Ja / Nein. Ja leitet zum Active-User-Block weiter, Nein leitet zum Lapsed-User-Block weiter.
Verhalten und Fakten
Haben Sie bezüglich dieser Bestellung den Kundenservice kontaktiert? Ja / Nein / Ich weiß es nicht mehr
Haben Sie die mobile App installiert? Ja / Nein
Haben Sie Ihre Bestellung innerhalb des versprochenen Lieferfensters erhalten? Ja / Nein / Nicht sicher
Haben Sie jemals die Exportfunktion genutzt? Ja / Nein
Einwilligung und Bestätigung
Stimmen Sie der Teilnahme an dieser Forschung zu? Ja / Nein
Dürfen wir Sie bezüglich Ihrer Antworten kontaktieren? Ja / Nein
True-or-False-Wissensfragen
Hatten Sie vor dem heutigen Tag schon von [Marke] gehört? Ja / Nein
Beinhaltet Ihr aktueller Tarif Ihres Wissens nach Priority Support? Ja / Nein / Ich weiß es nicht
Trifft die folgende Aussage auf Ihr Unternehmen zu: Wir haben ein engagiertes Research-Team. Richtig / Falsch
Screening-Logik, die keine Fehler zulässt
Bei Screenern richtet eine schlecht formulierte binäre Frage den größten Schaden an, da sich Fehler von dort aus durch jedes Ergebnis fortpflanzen. Ein paar praktische Regeln:
Verstecken Sie die qualifizierende Antwort. Wenn es offensichtlich ist, dass ein „Ja“ zur Teilnahme an einer bezahlten Studie führt, werden einige Respondenten mit „Ja“ antworten. Das Einbetten des echten Kriteriums in eine Liste von Kategorien ist schwerer zu manipulieren als ein einzelnes, suggestives Ja/Nein.
Geben Sie ein explizites Zeitfenster an. „In den letzten 3 Monaten“, nicht „kürzlich“.
Fragen Sie nur eine Sache pro Screener-Frage ab. Die Frage „Besitzen Sie ein Auto und fahren es wöchentlich?“ kann von jemandem, der wöchentlich das Auto eines anderen fährt, nicht präzise beantwortet werden.
Setzen Sie das schwierigste Kriterium an den Anfang. Ein früher Screenout spart Zeit für den Respondenten und schont Ihr Incentive-Budget.
Protokollieren Sie die Screenouts. Die Incidence-Rate pro Screener-Frage zeigt Ihnen, ob die Zielgruppe in der von Ihnen angenommenen Größe existiert, bevor Sie mit dem eigentlichen Fieldwork beginnen.
Wann Sie "Don't know" oder "Not applicable" hinzufügen sollten
Ein striktes Ja/Nein setzt voraus, dass jeder Befragte die Antwort kennt und die Frage auf ihn zutrifft. Oft ist beides nicht der Fall.
Fügen Sie eine dritte Option hinzu, wenn:
Echte Unkenntnis wahrscheinlich ist. Fragen zu Tarifdetails, Unternehmensrichtlinien oder etwas, das schon länger her ist. "I don't know" ist eine echte Information und kann die Erkenntnis sein: Wenn 40 % nicht sagen können, ob ihr Tarif eine bestimmte Funktion enthält, ist das ein Kommunikationsproblem, das man kennen sollte.
Die Frage nicht auf jeden zutrifft. "War der Lieferfahrer höflich?" hat keine gültige Antwort für jemanden, der Click-and-Collect genutzt hat. Ohne "Not applicable" wählen sie zufällig eine Antwort aus.
Der Recall getestet wird. "Ich erinnere mich nicht" ist ehrlicher als ein Münzwurf und hält Raten aus Ihrem Ja-Anteil heraus.
Lassen Sie die dritte Option weg, wenn die Antwort für den Befragten definitionsgemäß erkennbar ist, wie z. B. die Einwilligung (Consent), das Alter oder ob er selbst vor einem Moment etwas getan hat. Dort eine Ausweichoption anzubieten, gibt Satisficern nur einen bequemen Ausweg.
Eine Bilanzierungsregel ist wichtig. "Don't know" ist kein Mittelpunkt. Es liegt völlig außerhalb der Ja/Nein-Dimension, schließen Sie es also bei der Berichterstattung über den Split aus der Basis aus und weisen Sie die Größe separat aus. Es stillschweigend in "Nein" einfließen zu lassen, verwandelt Unsicherheit in Ablehnung.
Analyse dichotomischer Daten
Die Daten sind eine binäre Variable, was die Arithmetik einfach und die Interpretation zum schwierigen Teil macht.
Berichten Sie einen Anteil (Proportion) und nennen Sie die Basis. "62 % Ja" muss angeben, ob dies für alle Befragten gilt oder nur für diejenigen, die eine eindeutige Antwort gegeben haben.
Nutzen Sie Tests, die für Proportions entwickelt wurden. Ein Chi-Quadrat-Unabhängigkeitstest oder ein Zwei-Proportionen-Z-Test vergleicht die Ja-Raten zwischen Gruppen. Kleine Fallzahlen erfordern Vorsicht, und der exakte Test nach Fisher ist das übliche Fallback.
Modellieren Sie mit logistischer Regression. Wenn Sie wissen möchten, welche Faktoren ein "Ja" vorhersagen, ist die logistische Regression das Standardwerkzeug für ein binäres Outcome.
Achten Sie auf das Konfidenzintervall (Confidence Interval). Anteile aus kleinen Stichproben sind breit. Ein 60/40-Split bei 80 Befragten ist keine verlässliche Mehrheit.
Die Ein-Fragen-Zusammenfassung
Stellen Sie eine dichotome Frage, wenn die Realität zwei Zustände hat. Nutzen Sie eine Skala (Scale), wenn sie viele hat und Sie wissen wollen, wo auf dem Spektrum sich jemand befindet. Nutzen Sie eine Multiple-Choice-Frage, wenn sie mehrere benannte Kategorien hat. Die Reduzierung einer Skala auf ein binäres Format bei der Berichterstattung ist jederzeit möglich; eine Skala aus einem binären Format wiederherzustellen, ist unmöglich.
Für alle Formate und deren Zusammenspiel siehe den Survey Questions Guide und den Begleitartikel zu Closed-Ended Questions für den Rest der Familie.
Zwei Optionen rein, mehr als zwei Optionen raus
Eine Ja/Nein-Antwort schließt die Frage ab. In einem echten Gespräch öffnet sie eine. SmartInterview führt Umfragen durch, bei denen auf ein Binärwert sofort ein "Was ist passiert?" mit der eigenen Stimme des Befragten folgen kann, sodass eine Screening-Frage oder ein Filter zum Anfang einer Erklärung statt zu deren Ende wird.
Routing, Quoten und Terminierungen funktionieren so, wie Sie es von einer Survey Platform erwarten würden. Der Unterschied besteht darin, dass die qualitative Hälfte bereits transkribiert und in Themes codiert ankommt – über Sprachen hinweg –, bereit, direkt neben Ihren Ja/Nein-Splits zu stehen.
Sehen Sie, was Ihre Screener verborgen haben: Kostenlos starten oder Kontakt aufnehmen.
Häufig gestellte Fragen (FAQs)
Was ist eine dichotomous question?
Eine dichotomous question ist eine geschlossene Frage mit genau zwei Antwortmöglichkeiten, wie ja/nein, wahr/falsch oder zustimmen/nicht zustimmen. Es ist die einfachste Form einer geschlossenen Frage und wird am besten verwendet, wenn das gemessene Merkmal tatsächlich nur zwei Zustände hat, wie z. B. ob ein Ereignis eingetreten ist oder ob sich jemand für eine Studie qualifiziert.
Was ist ein Beispiel für einen dichotomous Fragebogen?
Ein Survey Screener ist das Standardbeispiel: „Sind Sie 18 Jahre oder älter?“, „Habt ihr in den letzten 6 Monaten eingekauft?“, „Sind Sie persönlich an der Auswahl der Software für Ihr Team beteiligt?“, jeweils mit Ja oder Nein beantwortet, wobei ein Nein bei einer der Fragen das Interview beendet. Das Format eignet sich für das Screening, da die Routing-Logik einen sauberen, eindeutigen Split erfordert.
Wann sollte man eine dichotomous question nicht verwenden?
Wenn die zugrunde liegende Realität ein Spektrum ist. Zufriedenheit, Zustimmung, Wahrscheinlichkeit, Wichtigkeit und Häufigkeit haben viele Stufen, und ein Ja/Nein zwingt jeden Befragten, einen eigenen unsichtbaren Schwellenwert anzulegen. Sie verlieren an Intensität, Sie verlieren jede Bewegung, die diese Linie nicht überschreitet, und das Ergebnis wird für Personen, die sich nahe an ihrer eigenen Schwelle befinden, instabil.
Sollte eine Ja/Nein-Frage eine „Weiß nicht“-Option enthalten?
Fügen Sie eine hinzu, wenn echte Unsicherheit wahrscheinlich ist, z. B. bei Fragen zu Tarifdetails, Unternehmensrichtlinien oder länger zurückliegenden Ereignissen. Ohne diese Option raten unsichere Befragte, und ihre Antworten lassen sich nicht mehr von echten Antworten unterscheiden. Lassen Sie sie bei Dingen weg, die der Befragte per Definition weiß, wie Einverständniserklärungen oder das eigene Alter. Weisen Sie „Weiß nicht“ separat aus, anstatt es mit „Nein“ zusammenzufassen.
Was ist der Unterschied zwischen einer dichotomous question und einer multiple choice question?
Eine dichotomous question hat genau zwei Antwortmöglichkeiten; eine multiple choice question hat drei oder mehr Optionen und erlaubt möglicherweise Mehrfachnennungen. Technisch gesehen ist eine dichotomous question der Zwei-Optionen-Spezialfall von Multiple Choice, verhält sich in der Praxis jedoch anders: Sie wird eher für Fakten und das Routing eingesetzt als zur Messung, welche von mehreren Kategorien zutrifft.
Wie analysiert man Ja/Nein-Umfragedaten?
Geben Sie den Anteil der Ja-Stimmen an und nennen Sie die Basis (Sample Size) klar und deutlich. Verwenden Sie zum Vergleich von Gruppen für Anteile konzipierte Verfahren wie den Chi-Quadrat-Unabhängigkeitstest oder einen Zweistichproben-Z-Test, bei kleinen Fallzahlen auch den exakten Test nach Fisher. Um zu modellieren, welche Faktoren ein „Ja“ vorhersagen, nutzen Sie die logistische Regression. Prüfen Sie stets das Konfidenzintervall, da Anteile aus kleinen Stichproben ungenau sind.
