Die Anatomie einer guten Survey Question

Eine Survey Question besteht aus vier Teilen, und eine schlechte Frage ist meistens das Ergebnis eines Fehlers in einem bestimmten Teil und nicht ein allgemeiner Mangel an Qualität.

1. The stem. Die eigentliche Frage. Eine Idee, klar formuliert.

2. The reference frame. Der Zeitraum und das Objekt: „in den letzten 30 Tagen“, „bei Ihrer letzten Bestellung“. Fehlende Bezugsrahmen sind die häufigste Ursache für verrauschte Daten, weil jeder Respondent im Stillen seinen eigenen wählt.

3. The response options. Erschöpfend, sich gegenseitig ausschließend und in einer Reihenfolge, die nicht selbst eine Antwort nahelegt.

4. The escape hatch. „Weiß nicht“, „nicht zutreffend“, „keine davon“. Ohne diese Option werden Personen, auf die die Frage eigentlich nicht zutrifft, zufällig irgendetwas auswählen, und dieses Rauschen lässt sich nicht vom Signal unterscheiden.

Regeln für das Schreiben guter Survey Questions

Eine Idee pro Frage

Double-barreled-Fragen können nicht interpretiert werden. „Wie zufrieden sind Sie mit unserem Preis und unserer Qualität?“ erzeugt einen einzigen Wert aus zwei verschiedenen Urteilen, und Sie werden nie wissen, welches davon ausschlaggebend war. Teilen Sie sie auf. Das Erkennungsmerkmal ist das Wort „und“ im Stem, obwohl auch „oder“ und Kommata dasselbe Problem kaschieren.

Vermeiden Sie Leading Language

Eine Leading Question sagt dem Befragten, welche Antwort Sie sich wünschen. Einige sind offensichtlich: „Wie gut hat Ihnen unser neues Design gefallen?“ Einige sind subtiler. Adjektive im Stem („unser verbesserter Checkout“), asymmetrische Skalen mit drei positiven Optionen und einer negativen sowie ein Agree/Disagree-Framing rücken die Antworten nach oben. Eine neutrale Formulierung klingt flach. Flach ist richtig.

Verwenden Sie einfache Worte

Verzichten Sie auf internes Vokokabular. Ihre Kunden wissen nicht, wie Ihr Onboarding-Flow, Ihre Tiers oder Ihre Module heißen. Vermeiden Sie Verneinungen, da „Welche dieser Optionen nutzen Sie nicht?“ ständig missverstanden wird. Verzichten Sie völlig auf doppelte Verneinungen. Streben Sie das Leseniveau einer Zeitungsüberschrift an.

Setzen Sie kein Wissen oder Verhalten voraus

„Wie oft nutzen Sie das Reporting Dashboard?“ setzt voraus, dass die Befragten wissen, dass es existiert, und es bereits genutzt haben. Schalten Sie Verhaltensfragen hinter einen Screener oder fügen Sie „Ich habe dies noch nicht genutzt“ als Option hinzu. Fragen mit hypothetischem Verhalten erzeugen Nutzungsdaten aus dem Nichts.

Gestalten Sie die Antwortoptionen erschöpfend und sich gegenseitig ausschließend

Altersgruppen wie 18-25, 25-35 führen dazu, dass sich der 25-Jährige willkürlich entscheiden muss. Eine Kanalliste ohne „Sonstiges“ zwingt jeden, der aus dem Rahmen fällt, zu einer falschen Antwort. Wenn Sie „Sonstiges, bitte angeben“ verwenden, lesen Sie diese Antworten: Sie sind Ihre Liste für die nächste Wave.

Achten Sie auf Order Effects

Optionen am Anfang einer langen Liste werden auf dem Bildschirm häufiger ausgewählt, und Optionen am Ende werden bevorzugt, wenn sie laut vorgelesen werden. Randomisieren Sie bei Listen mit mehr als fünf Elementen ohne natürliche Reihenfolge. Behalten Sie Skalen und geordnete Kategorien immer in ihrer logischen Abfolge bei.

Fragen Sie nicht, was Sie bereits wissen

Kaufdatum, Tarif, Region, Bestellwert: All das liegt bereits in Ihren eigenen Systemen vor. Wenn Sie diese Daten als Metadaten übergeben, anstatt danach zu fragen, verkürzt dies die Survey und vermeidet den Ärger, nach etwas gefragt zu werden, das der Absender offensichtlich bereits weiß.

Fragen Sie nach dem Verhalten in der jüngsten Vergangenheit, nicht in der Zukunft

Die geäußerte zukünftige Absicht (Future Intent) hat nur einen schwachen Bezug dazu, was Menschen tatsächlich tun, insbesondere beim Preis und bei Fragen des Typs „Würden Sie dies nutzen?“. Verankern Sie die Frage an etwas, das bereits passiert ist: was sie zuletzt gekauft haben, was sie das letzte Mal getan haben, als dieses Thema aufkam, was sie heute nutzen.

Reihenfolge der Fragen und Flow

Eine Survey ist ein Gespräch mit einer Struktur, und die Reihenfolge verändert die Antworten.

Die Standardstruktur

1. Screener zuerst. Disqualifizieren Sie schnell, bevor jemand Aufwand betreibt. Signalisieren Sie nicht, was sich qualifiziert.

2. Ein einfacher Einstieg. Eine Frage, die jeder in der Zielgruppe sofort beantworten kann. Beginnen Sie niemals mit einem Grid und niemals mit Demografie-Fragen.

3. Breit vor schmal. Unaided Awareness, bevor Sie eine Markenliste zeigen, allgemeine Zufriedenheit vor Detailattributen. Sobald Sie die Liste gezeigt haben, können Sie diesen Effekt nicht mehr rückgängig machen.

4. Der Core-Bereich. Was auch immer die Studie messen soll, platzieren Sie es, solange die Aufmerksamkeit noch hoch ist.

5. Sensible Fragen spät. Einkommen, Gesundheit, alles Unangenehme. Bis dahin haben Sie ein gewisses Vertrauen aufgebaut, und ein Abbruch kostet Sie weniger.

6. Demografie zum Schluss. Sie sind einfach, und einfache Fragen sind genau das, was Sie an dem Punkt brauchen, an dem die Aufmerksamkeit nachlässt.

Priming und Contamination

Jede Frage beeinflusst die darauffolgenden Fragen. Fragen Sie nach Nachhaltigkeit, und die nächste Zufriedenheitsbewertung verschiebt sich. Fragen Sie nach Problemen, und der Recommendation Score sinkt. Beides ist keine Unaufrichtigkeit der Respondenten, sondern die Funktionsweise von Aufmerksamkeit. Die praktischen Gegenmaßnahmen: Stellen Sie Unaided Questions vor Aided Questions, platzieren Sie beeinflussende Themen hinter den Messwerten, die sie betreffen würden, und halten Sie die Reihenfolge zwischen den Waves eines Trackers unverändert, damit der Bias zumindest konstant bleibt.

Wie viele Fragen sollte eine Survey haben?

Weniger, als Sie entworfen haben. Zwei Regeln erledigen den Großteil der Arbeit.

Jede Frage muss einer Entscheidung zugeordnet sein. Schreiben Sie die Frage auf, schreiben Sie dann den Satz auf, den Sie in den Bericht aufnehmen werden, und nennen Sie die Person, die daraufhin handelt. Wenn eines dieser drei Elemente fehlt, streichen Sie die Frage. Durch diese eine Übung wird in der Regel ein Drittel eines Entwurfs entfernt.

Die Länge wird in Minuten gemessen, nicht in Fragen. Zehn offene Fragen (Open Questions) sind eine lange Survey. Dreißig Single-Selects können eine kurze sein. Was Respondenten wahrnehmen, sind Aufwand und die verstrichene Zeit. Eine kurze Customer Feedback Survey umfasst 3–6 Fragen; eine umfangreiche Market Research Studie dauert länger, aber ab etwa zehn Minuten müssen Sie damit rechnen, dass die Datenqualität nachlässt, da die Leute schneller antworten, Straightlining betreiben und aufhören zu lesen. Sinkende Response Rates verschlimmern dies jedes Jahr, wie wir in why survey response rates are crashing beschrieben haben.