Zurück
Open Ended Questions in Surveys: Antworten erhalten, die es wert sind, gelesen zu werden
Matthieu Saussaye
Eine offene Frage (Open-ended question) fordert die Befragten auf, in eigenen Worten zu antworten, anstatt aus einer Liste auszuwählen. Es ist der einzige Fragetyp, der Antworten liefern kann, die Sie nicht vorhergesehen haben. Es ist auch der Typ, der am ehesten als einzelnes Wort zurückkommt, da das Tippen Aufwand erfordert und die befragte Person keine Vorstellung davon hat, wie viel Sie erwarten.
Was darüber entscheidet, ob offene Fragen ihren Platz verdienen:
Nutzen Sie sie zum Erklären, nicht zum Messen. Geschlossene Fragen sagen Ihnen, wie viele. Offene Fragen sagen Ihnen, warum – und das auch nur, wenn sie gut formuliert sind.
Dürftige Antworten sind ein Designfehler, kein Fehler des Befragten. "Haben Sie noch weitere Anmerkungen?" erntet ein "Nein". Eine spezifische, zeitlich verankerte Frage bringt einen ganzen Absatz.
Halten Sie die Anzahl gering. Eine Handvoll offener Fragen in einem Survey ist machbar. Eine Wand aus Textfeldern führt zu hohen Abbruchraten (Abandonment) und Ein-Wort-Antworten.
Platzieren Sie sie nach der geschlossenen Frage, die sie erklären. Eine isolierte offene Frage erntet oft nur ein Schulterzucken. Dieselbe Frage direkt nach einem Rating liefert eine Begründung.
Planen Sie die Analyse vor dem Fieldwork. Offener Text wird erst nach dem Coding quantifizierbar. Wenn niemand vorhat, die Antworten zu codieren, sollten Sie die Frage gar nicht erst stellen.
Ein Follow-up Probe ist meist besser als eine zusätzliche Frage. Die Nachfrage "Was genau meinen Sie damit?" bringt weitaus mehr als ein zweites Textfeld weiter unten.
Open-ended versus Closed-ended in der Praxis
Die beiden Formate unterscheiden sich darin, was sie kosten und was sie als Ertrag liefern können. Das ist der Kompromiss, den Sie jedes Mal eingehen, wenn Sie ein Textfeld anstelle einer Auswahlliste wählen.
Dimension | Open-ended | Closed-ended | Bedeutung für Sie |
|---|---|---|---|
Wer das Vokabular vorgibt | Der Proband | Sie, im Voraus | Nur offene Fragen können Aspekte aufzeigen, die nicht auf Ihrer Liste stehen |
Antwortaufwand (Effort) | Hoch: Tippen oder Sprechen | Gering: Ein Klick | Open-ended Fragen werden häufig übersprungen oder mit nur einem Wort beantwortet |
Analyseaufwand | Hoch: Erfordert Coding | Keiner: Bereits kategorisiert | Die Analysekosten skalieren mit der Stichprobengröße (Sample Size) |
Vergleichbarkeit | Erst nach dem Coding in Themes | Sofort und exakt | Prozentsätze aus Freitexten hängen von Ihrem Coding Frame ab |
Beste Eignung für | Gründe, Wording, „Unknown Unknowns“ | Sizing, Tracking, Segmentation | Nutzen Sie beides; lassen Sie das eine Format nicht die Aufgabe des anderen übernehmen |
Die vollständige Aufschlüsselung der geschlossenen Antwortoptionen finden Sie im Begleitartikel über closed-ended questions, und der breitere Rahmen wird unter qualitative versus quantitative research behandelt.
Warum die meisten Open Responses so kurz ausfallen
Ein- oder zweiübergreifende Open-Ended-Antworten sind das normale Ergebnis einer schlecht formulierten Frage und kein Zeichen dafür, dass die Befragten nichts zu sagen haben. Vier Faktoren treiben dies an.
Der Befragte weiß nicht, was Sie wissen möchten
Ein leeres Textfeld gibt kein Signal über Länge, Thema oder Detailgrad. Konfrontiert mit dieser Ambiguität, geben die Leute die kürzeste Antwort, die plausibel zählt. "Gut" ist eine rationale Reaktion auf "Was haben Sie gedacht?"
Tippen ist anstrengend, besonders auf dem Smartphone
Der meiste Survey-Traffic kommt über Mobilgeräte. Ein Textfeld auf einem Smartphone bedeutet eine enge Tastatur, keinen sichtbaren Kontext darüber und echte physische Mühe pro Wort. Dieselbe Person, die zwei Minuten lang sprechen würde, tippt mobil nur sechs Wörter.
Die Frage verlangt eine Zusammenfassung, keine Erinnerung
"Wie würden Sie Ihre Erfahrung mit unserem Service beschreiben?" fordert den Befragten auf, alles zu abstrahieren, was jemals passiert ist. Abstraktion erzeugt Adjektive. "Denken Sie an das letzte Mal, als Sie den Support kontaktiert haben. Was ist passiert?" bittet sie, ein bestimmtes Ereignis abzurufen, und dieser Abruf erzeugt Details.
Eine kurze Antwort hat keine Konsequenzen
In einem Gespräch führt eine aus nur einem Wort bestehende Antwort zu einer Nachfrage. In einem Umfrage-Formular führt sie zu einem "Weiter"-Button. Nichts in der Benutzeroberfläche kommuniziert, dass eine kurze Antwort unzureichend war, sodass kurze Antworten weiterhin bestehen bleiben.
Wie das Question Wording die Antworttiefe verändert
Der Unterschied zwischen einer nutzlosen offenen Frage und einer produktiven liegt meist in der Formulierung, nicht in einem neuen Tool. Fünf Hebel erledigen dabei den Großteil der Arbeit.
An einem bestimmten Event verankern. Aus "Erzählen Sie uns von Ihrer Erfahrung" wird "Denken Sie an die letzte Bestellung, die Sie aufgegeben haben. Was daran war, wenn überhaupt, frustrierend?" Ein Vorfall, eine Erinnerung, echte Details.
Fragen Sie, was passiert ist, nicht, was sie denken. Verhalten lässt sich leichter abrufen als Meinungen, und es ist nützlicher. "Was haben Sie getan, als die Zahlung fehlgeschlagen ist?" funktioniert besser als "Wie haben Sie sich gefühlt, als die Zahlung fehlschlug?"
Setzen Sie voraus, dass es etwas zu sagen gibt. "Was würden Sie als Erstes ändern?" setzt voraus, dass es eine erste Sache gibt. "Haben Sie Vorschläge?" lädt förmlich zu einem "Nein" ein.
Den Scope eingrenzen. Breite Fragen erhalten breite Antworten. "Was könnte beim Checkout besser sein?" schlägt "Was könnte an der Website besser sein?"
Ja/Nein-Grammatik vermeiden. Jede Frage, die mit "haben", "war", "ist" oder "würden" beginnt, kann mit einer einzigen Silbe beantwortet werden. Beginnen Sie lieber mit "Was", "Wie" oder "Welcher Teil".
Zwei Dinge helfen übrigens nicht so sehr, wie man oft erwartet: die Einrichtung einer minimalen Zeichenanzahl (dies führt eher zu Füllwörtern und zum Abbruch (Abandonment) als zu Substanz) und das Hinzufügen von "Bitte beschreiben Sie es so detailliert wie möglich", was die meisten Befragten einfach überlesen.
Wie viele offene Fragen man einbauen sollte
Es gibt keine wissenschaftlich belegte Zahl, aber die Best Practice unter Market Researchern ist konsistent: wenige und diese gezielt platziert.
Eine oder zwei in einer kurzen Zufriedenheitsumfrage. Meist ein "Warum diese Bewertung?" direkt nach dem Haupt-Rating und eine zukunftsorientierte Frage gegen Ende.
Drei bis fünf in einer längeren Studie. Direkt verknüpft mit den geschlossenen Fragen, bei denen die Begründung tatsächlich eine Rolle spielt.
Niemals mehrere hintereinander. Aufeinanderfolgende Textfelder wirken wie harte Arbeit. Die Qualität sinkt vom ersten zum zweiten Feld drastisch.
Platzieren Sie sie direkt nach der geschlossenen Frage, auf die sie sich beziehen, nicht gesammelt in einem Block am Ende. Am Ende einer Umfrage ist die Aufmerksamkeit am geringsten – genau deshalb bringt ein "Haben Sie noch weitere Anmerkungen?" so extrem wenig. Wenn Sie nur eine offene Frage behalten wollen, wählen Sie diejenige, die direkt auf Ihre wichtigste Metrik folgt, sei es ein Likert scale Item oder eine single select question.
Sie optional zu machen, ist generell die richtige Entscheidung. Ein Pflicht-Textfeld macht aus Personen, die nichts zu sagen hatten, Personen, die "n.v." eintippen, und treibt einen Teil davon ganz aus der Umfrage, was das größere Problem sinkender response rates weiter verschärft.
Open-ended Survey Template: 14 Fragen, die echte Antworten liefern
Nutzen Sie diese als Beispielfragen für Open-ended Items. Jede Frage ist so formuliert, dass sie die Erinnerung an ein bestimmtes Ereignis auslöst, anstatt nur ein pauschales Urteil abzufragen.
Nach einer Bewertung oder einem Score
Sie haben eine Bewertung von [X] gegeben. Was ist der Hauptgrund für diesen Score?
Was hätte anders sein müssen, damit Sie einen Punkt mehr gegeben hätten?
Sie haben angegeben, dass Sie mit dem Support unzufrieden waren. Was genau ist schiefgelaufen?
Produkt und Experience
Denken Sie an das letzte Mal, als Sie das Produkt benutzt haben. Was wollten Sie damit erreichen?
Was ist die eine Sache, die Sie als Erstes ändern würden, wenn Sie nur eine Sache ändern könnten?
Welcher Teil des Setups hat länger gedauert als erwartet, und was ist dabei passiert?
Was tun Sie heute, wenn das Produkt etwas, das Sie benötigen, nicht leisten kann?
Kauf und Choice
Was war der ursprüngliche Auslöser dafür, dass Sie nach einer Lösung gesucht haben?
Welche anderen Optionen haben Sie ernsthaft in Betracht gezogen, und warum haben Sie sich nicht dafür entschieden?
Was hätte Sie fast vom Kauf abgehalten?
Churn und Nichtnutzung
Was war in der Zeit los, als Sie sich für die Kündigung entschieden haben?
Sie haben angegeben, dass Sie das Produkt im letzten Monat nicht genutzt haben. Was haben Sie stattdessen verwendet?
Language und Positioning
Wie würden Sie einem Kollegen, der noch nie von uns gehört hat, beschreiben, was wir tun?
Als Sie unsere Homepage gelesen haben, was haben Sie von dem Produkt erwartet?
Frage 13 ist besonders hervorzuheben. Die Aufforderung an Probanden, Ihr Produkt mit eigenen Worten zu erklären, ist die günstigste Methode für Positioning Research, und sie liefert durchweg ein Vokabular, das sich von Ihren Marketing-Texten unterscheidet.
Das Analyseproblem und wie Coding funktioniert
Open text ist erst dann ein Datenpunkt, wenn er kategorisiert ist. Zweitausend Freitexteingaben sind zweitausend individuelle Beobachtungen, die in diesem Zustand weder gezählt, grafisch dargestellt noch kreuztabelliert werden können. Coding ist der Prozess, diese Texte in etwas Zählbares zu verwandeln.
Das Coding Frame aus den Daten aufbauen
Lesen Sie zuerst eine Stichprobe von Antworten, typischerweise etwa hundert, und schreiben Sie die Themen auf, die tatsächlich auftauchen. Diese Liste wird zu Ihrem Codebook. Das Coding Frame auf dem aufzubauen, was Sie zu hören erwarteten, macht den Zweck einer offenen Frage zunichte, da es die geschlossene Frage, der Sie entkommen wollten, wieder auferlegt.
Jede Antwort mit dem Coding Frame codieren
Jede Antwort erhält einen oder mehrere Codes. Eine einzelne Antwort kann mehrere Codes tragen: „Es war teuer und die App stürzte ständig ab“ ist sowohl ein Preis-Code als auch ein Zuverlässigkeits-Code. Entscheiden Sie im Voraus, ob Sie mehrere Themes pro Antwort codieren, da dies die Berechnung der Prozentwerte und die Bedeutung der Basis verändert.
Das Coding Frame stabil halten und die Verbatims bewahren
Wenn Sie ein Tracking im Zeitverlauf durchführen, muss das Codebook über die Wellen hinweg bestehen bleiben, da der Trend sonst bedeutungslos ist. Halten Sie den Originaltext (Verbatims) immer mit dem Code verknüpft, sodass jede Zahl im Report bis zu den dahinter stehenden Sätzen zurückverfolgt werden kann. Ein Theme, das Sie nicht mit drei echten Zitaten illustrieren können, sollten Sie noch einmal überprüfen.
Counts ehrlich reporten
„22 % nannten den Preis“ bedeutet, dass 22 % ihn ungestützt genannt haben – nicht, dass sich 22 % für den Preis interessieren. Die ungestützte Nennung (unprompted mention) ist ein schwächeres und anderes Signal als eine ausgewählte Option und führt per Design zu niedrigeren Werten. Machen Sie deutlich, welche Kennzahl Sie reporten.
Automatisiertes Coding
Sprachmodelle können heute den ersten Durchgang der Theme Extraction und Zuweisung in einer Geschwindigkeit erledigen, die manuelles Coding nicht erreichen kann, was die Wirtschaftlichkeit offener Fragen erheblich verändert. Die Disziplin bleibt dieselbe: Überprüfen Sie das erstellte Coding Frame anhand einer Stichprobe, die Sie selbst lesen, und lassen Sie die Verbatims verknüpft. Das Worst-Case-Szenario ist ein aufgeräumtes Set an Themes, das niemand anhand des Rohtextes validiert hat.
Wann ein Follow-up-Probe besser ist als eine weitere Frage
Wenn ein Befragter mit „zu teuer“ antwortet, wird eine zweite offene Frage später im Survey dies nicht klären. Die Befragten sind gedanklich bereits weitergegangen, und das zweite Textfeld erhält eine kürzere Antwort als das erste.
Was den Sinn rettet, ist ein Probe im Moment der Antwort: „Teuer im Vergleich wozu?“, sofort gefragt, solange der Gedanke noch aktiv ist. Dies ist der Mechanismus, der Interviews reichhaltiger macht als Surveys, und das liegt nicht daran, dass der Interviewer besonders clever ist. Es liegt daran, dass das Follow-up innerhalb von Sekunden nach der ursprünglichen Antwort erfolgt.
Eine einzige offene Frage mit gutem Probing ist im Allgemeinen besser als drei Fragen ohne Probing. Es bedeutet auch weniger Aufwand für den Befragten, da er nur über ein Thema gründlich nachdenken muss, anstatt über drei Themen oberflächlich. Ein verwandter Beitrag zur Skalierung dieses Ansatzes befasst sich mit dem Thema, wie Sie mehr Insights aus KI-Surveys herausholen, und ein Überblick der Fragetypen finden Sie im Survey Questions Guide.
Stellen Sie die zweite Frage, nicht nur die erste
Der Grund, warum offene Antworten oft ungenau sind, ist, dass ein klassisches Formular nicht reagieren kann. SmartInterview kann es. Es führt Surveys per Voice oder Text mit einer KI durch, welche die Antwort liest, vage Aussagen erkennt und das natürliche Follow-up einleitet: Was genau, im Vergleich wozu, was geschah als Nächstes.
Sprechen beseitigt zudem das mühsame Tippen auf mobilen Tastaturen, welches schriftliche Antworten verkürzt. Jede Antwort wird automatisch transkribiert und in Themes codiert, unabhängig von der Sprache, die der Befragte nutzt. Sie erhalten Counts, die Sie in einem Chart darstellen können, und die Verbatims, die hinter jedem einzelnen stehen.
Probieren Sie es bei Ihrer nächsten offenen Frage aus: kostenlos starten oder eine Demo buchen.
Häufig gestellte Fragen (FAQ)
Was ist ein Open-Ended Questionnaire?
Ein Open-Ended Questionnaire besteht hauptsächlich aus offenen Fragen, die die Befragten mit ihren eigenen Worten beantworten, anstatt aus vorgegebenen Optionen auszuwählen. Er wird eingesetzt, wenn das Ziel darin besteht, Gründe, Formulierungen und Themen zu entdecken, die Sie nicht vorhergesehen haben. Der Nachteil ist, dass die Antworten gelesen und in Themes codiert werden müssen, bevor sie gezählt oder verglichen werden können.
Was ist ein Beispiel für eine Open-Ended Survey Question?
„Denken Sie an das letzte Mal, als Sie unseren Support kontaktiert haben. Was ist passiert?“ ist ein starkes Beispiel: Es bezieht sich auf ein bestimmtes Ereignis, fragt nach dem Verhalten statt nach einem zusammenfassenden Urteil und kann nicht mit Ja oder Nein beantwortet werden. Ein schwaches Beispiel ist „Haben Sie noch Anmerkungen?“, was zu einer Ein-Wort-Antwort einlädt und meistens auch eine solche zur Folge hat.
Wie viele Open-Ended Questions sollte eine Umfrage haben?
Wenige, und sie sollten nach den geschlossenen Fragen platziert werden, die sie erklären. Eine oder zwei sind typisch für eine kurze Zufriedenheitsbefragung; drei bis fünf für eine längere Studie. Platzieren Sie niemals mehrere hintereinander, da die Antwortqualität vom ersten Textfeld zum zweiten stark abfällt. Machen Sie sie optional, damit Personen, die nichts zu sagen haben, nicht „n/a“ eingeben oder die Umfrage abbrechen.
Warum geben Menschen so kurze Antworten auf Open-Ended Questions?
Weil die Frage meist nach einer Zusammenfassung statt nach einer Erinnerung fragt, kein Signal darüber gibt, wie viel Detailreichtum erwünscht ist, und die Beantwortung auf einer Telefontastatur echte Mühe kostet. Nichts in einem Formular reagiert auf eine Ein-Wort-Antwort, sodass kein Druck besteht, die Antwort weiter auszuführen. Die Frage an ein bestimmtes, kürzlich vergangenes Ereignis zu verankern („Anchoring“), löst das Problem meist.
Wie analysiert man Open-Ended Survey Responses?
Durch Coding. Lesen Sie eine Stichprobe, um ein Codebook für die tatsächlich auftretenden Themes zu erstellen, weisen Sie jeder Antwort einen oder mehrere Codes zu und berichten Sie dann die Häufigkeit jedes Themes. Halten Sie den Originaltext mit jedem Code verknüpft, damit die Zahlen auf echte Sätze zurückgeführt werden können, und halten Sie das Codebook stabil, wenn Sie Verläufe über mehrere Wellen hinweg tracken.
Sind Open-Ended Questions qualitativ oder quantitativ?
Sie sind qualitativ in dem, was sie erfassen, und können quantitativ werden, wie sie reportet werden. Die rohe Antwort ist unstrukturierte Sprache. Sobald sie in ein festes Set von Themes codiert wurden, können die Theme-Häufigkeiten wie jede andere Variable gezählt und kreuztabelliert werden – solange Ihnen klar ist, dass eine Nennungshäufigkeit (Mention Count) nicht dieselbe Messung ist wie eine ausgewählte Option.
