Zurück
Rank Order Questions: Wie Sie sie einsetzen, ohne Respondents zu verlieren
SmartInterview Team
Eine Rank Order Question fordert Befragte auf, eine Liste von Elementen in eine Reihenfolge nach Präferenz, Wichtigkeit oder Priorität zu bringen. Im Gegensatz zu einer Bewertungsskala erzwingt sie einen Trade-off: Befragte können nicht alles als wichtig bezeichnen. Das macht Ranking zum richtigen Tool, wenn Sie wissen müssen, was an erster Stelle steht – und zum falschen Tool, wenn Sie wissen müssen, wie viel wichtiger ein Element gegenüber einem anderen ist.
Die Kurzfassung dessen, was Sie entscheiden müssen, bevor Sie eines nutzen:
Nutzen Sie Ranking, wenn die Priorität im Fokus steht. „Welches dieser Features sollten wir zuerst entwickeln?“ ist eine Ranking-Frage. „Wie zufrieden sind Sie mit dem Support?“ ist es nicht.
Halten Sie vollständige Rankings kurz. Etwa 5 bis 7 Elemente sind eine sinnvolle Obergrenze. Darüber hinaus ordnen Befragte meist nur die Spitze und das Ende und raten in der Mitte.
Bevorzugen Sie „Rank your top 3“ gegenüber dem Ranking einer langen Liste. Partial Ranking erfasst den Teil der Antwort, den die Befragten tatsächlich wissen, und filtert das Rauschen heraus.
Achten Sie auf das Format. Drag-and-Drop sieht auf dem Desktop elegant aus, versagt aber auf Touchscreens, Screenreadern und bei der Tastaturnavigation. Die nummerierte Eingabe ist optisch simpler, aber robuster.
Nutzen Sie bei 15 oder mehr Elementen stattdessen MaxDiff. Best-Worst Scaling lässt sich skalieren, wo Ranking an seine Grenzen stößt, und liefert Werte, die Sie tatsächlich vergleichen können.
Ranking-Daten sind relativ, nicht absolut. Sie erfahren die Reihenfolge. Sie erfahren nicht den Abstand, und Sie erfahren nicht, ob das am höchsten platzierte Element für diese Person überhaupt eine Bedeutung hat.
Ranking vs. Alternativen
Ranking ist eine von mehreren Methoden, um Prioritäten zu messen. Jede Methode bietet eigene Vorteile, wobei der Preis meist in Form von Aufwand für die Befragten gezahlt wird.
Methode | Erkenntnisgewinn | Aufwand für Respondenten | Praktisches Item-Limit | Bestens geeignet für |
|---|---|---|---|---|
Full Ranking | Vollständige Reihenfolge jedes Items, ohne Abstände | Hoch, steigt mit jedem weiteren Item steil an | Ca. 5 bis 7 | Kurze Listen, bei denen jede Position zählt |
Top-N Ranking | Reihenfolge der führenden Plätze, plus die Nie-Ausgewählten | Moderat | Ca. 8 bis 12 angezeigt, 3 gerankt | Längere Listen, bei denen nur die Spitzenreiter zählen |
Rating-Batterie | Absolutes Niveau pro Item, personenübergreifend vergleichbar | Gering pro Item | Hoch, aber die Aufmerksamkeit lässt nach | Tracking von Werten über einen längeren Zeitraum |
MaxDiff | Utility Scores auf einer Skala, verhältnisähnliche Vergleiche | Gering pro Screen, viele Screens | 20 bis 30 oder mehr | Priorisierung langer Listen von Features, Messages oder Claims |
Constant Sum | Reihenfolge und relative Magnitude, als Allokation | Hoch, Rechenarbeit erforderlich | Ca. 4 bis 6 | Budget- oder Aufmerksamkeitsverteilungen, bei denen Magnitude wichtig ist |
Die Zeile, über die Teams am häufigsten stolpern, ist die Rating-Batterie. Sie ist am günstigsten im Feld und am einfachsten zu analysieren – genau das ist der Grund, warum sie für Fragen verwendet wird, die sie gar nicht beantworten kann.
Was Ranking misst, was Rating nicht leisten kann
Fragen Sie zehn Personen, acht Produktfeatures auf einer 5-Punkte-Wichtigkeitsskala zu bewerten (Rating), und Sie erhalten meist eine Wand aus 4ern und 5ern. Niemand möchte sagen, dass ein Feature unwichtig ist. Sicherheit ist wichtig. Geschwindigkeit ist wichtig. Der Preis ist wichtig. Die Abfrage liefert Ihnen am Ende sechs Items mit einem Durchschnitt zwischen 4,2 und 4,5, und Sie haben keinerlei handlungsrelevante Erkenntnisse gewonnen.
Dies nennt man scale-use bias (Verzerrung durch Skalennutzung), und der daraus resultierende Mangel an Differenzierung ist der häufigste Fehler in der Wichtigkeitsforschung (importance research). Die Befragten lügen nicht. Jedes Item ist isoliert betrachtet tatsächlich wichtig. Die Frage hat sie nur einfach nie dazu aufgefordert, eine Entscheidung zu treffen.
Ranking nimmt diesen Ausweg. Ein Befragter kann nur ein Item auf den ersten Platz setzen. Sicherheit an die erste Stelle zu setzen bedeutet, den Preis an die zweite Stelle zu setzen – und dieser Trade-off ist genau die Information, die Sie wollten. Es gleicht zudem viele individuelle Skalengewohnheiten aus: Die Person, die alles mit 5 bewertet, und die Person, die alles mit 3 bewertet, können immer noch dasselbe Ranking erstellen. Ranking ist daher von Natur aus immun gegen die Antwortstile (response styles), die Likert scale-Batterien und lange Matrixfragen verzerren.
Die Kehrseite: Ranking-Daten sind ipsativ
Alles, was das Ranking durch das Erzwingen einer Entscheidung gewinnt, zahlt es durch die Generierung relativer Daten. Ränge sind ipsativ, was bedeutet, dass die Antworten eines Befragten nur im Verhältnis zu seinen eigenen anderen Antworten definiert sind.
Daraus ergeben sich drei Konsequenzen, die im Reporting routinely ignoriert werden:
Sie erhalten eine Reihenfolge, keine Distanz. Items auf den Plätzen 1 und 2 können fast gleichauf liegen oder das erste ist überwältigend wichtiger. Die Rangziffern sehen in beiden Fällen identisch aus.
Sie erhalten kein absolutes Niveau. Das am höchsten bewertete Item einer Person könnte immer noch etwas sein, das sie kaum kümmert. Ranking liefert immer einen Gewinner, selbst in einer Liste, in der der Person eigentlich nichts davon wichtig ist.
Ränge sind zwischen Befragten nicht frei vergleichbar. Ein Rating von 4 bedeutet für zwei Personen in etwa dasselbe. Ein Rang von 2 bedeutet "Zweiter aus dem persönlichen Set dieser Person", was jedes Mal eine völlig andere Aussage ist.
Die praktische Lösung besteht darin, die Methoden zu kombinieren, anstatt sich zwischen ihnen zu entscheiden. Nutzen Sie eine kurze Rating-Batterie für die absolute Relevanz und eine Ranking-Frage für die Priorisierung. Wenn das Rating besagt, dass alles wichtig ist, und das Ranking zeigt, dass ein Item konsistent an erster Stelle steht, wissen Sie, welches Sie budgetieren müssen.
Formate und welches man tatsächlich nutzen sollte
Drag-and-drop
Der Standard in den meisten modernen Survey-Tools. Auf einem Desktop mit einer Maus ist es tatsächlich das intuitivste Interface: Die Befragten sehen die gesamte Liste, verschieben Elemente und verstehen das Ergebnis sofort.
Die Probleme treten überall sonst auf. Auf einem Smartphone konkurriert das Ziehen eines Elements mit dem Scrollen der Seite. Die Befragten scrollen also, wenn sie eigentlich ziehen wollten, und umgekehrt. Lange Listen, die nicht auf einen Bildschirm passen, machen es noch schlimmer, da die Liste automatisch scrollen muss, während ein Element gehalten wird. Für Screenreader-Nutzer und alle, die per Tastatur navigieren, ist Drag-and-drop oft entweder unbrauchbar oder wird durch ein verstecktes alternatives Interface unterstützt, das schlecht getestet ist. Da der meiste Survey-Traffic mittlerweile mobil stattfindet, ist es rückschrittlich, Drag-and-drop als sicheren Standard zu betrachten.
Numbered entry (Nummerierte Eingabe)
Die Befragten tippen oder wählen eine Rangnummer neben jedem Item. Das sieht altmodisch aus und erfordert Validierungslogik, um doppelte Nummern und Lücken abzufangen. Es ist jedoch robust: Es funktioniert mit Tastaturen, assistiven Technologien, auf jeder Bildschirmgröße und verliert nicht stillschweigend eine Antwort, weil ein Drag an der falschen Stelle endete. Für lange Listen und mobil-lastige Samples ist es die zuverlässigere Wahl.
Pick your top N (Wählen Sie Ihre Top N)
Die Befragten wählen ihre Top 3 aus, indem sie die Elemente nacheinander antippen. Dies ist das Format, das am seltensten scheitert – vor allem, weil es den Befragten weniger abverlangt. Es lässt sich hervorragend auf ein Tap-Interface übertragen und liefert genau den Teil des Rankings, dem Sie vertrauen können.
Paired comparison (Paarvergleich)
Zeigen Sie zwei Items, fragen Sie, welches gewinnt, und wiederholen Sie den Vorgang. Jede Entscheidung ist denkbar einfach und die Datenqualität ist hoch. Das Problem ist das Volumen: Die Anzahl der möglichen Paare wächst quadratisch, sodass ein vollständiges paarweises Design unpraktisch wird, lange bevor Sie ein Dutzend Items erreichen. MaxDiff existiert im Wesentlichen, um dieses Problem zu lösen.
Das Limit der kognitiven Belastung
Der Aufwand für das Ranking wächst nicht linear mit der Anzahl der Items. Er wächst viel schneller, da das Ordnen einer Liste bedeutet, Items im Gedächtnis zu behalten und sie miteinander zu vergleichen, anstatt jedes einzeln für sich zu bewerten.
Zudem ranken Befragte nicht über die gesamte Liste hinweg gleich gut. Meistens wissen sie mit echter Sicherheit, was ihr absoluter Favorit und ihr am wenigsten beliebtes Item ist. Die Extreme sind stabil. Die Mitte ist es nicht: Wenn Sie dieselbe Person eine Woche später dasselbe Ranking ausfüllen lassen, sind die mittleren Positionen diejenigen, die sich am ehesten verschieben. Bei einer langen Liste grenzen die Positionen 5 bis 10 an Rauschen, das als Daten verkleidet ist.
Ein praktischer Leitfaden, kein wissenschaftlich starrer Grenzwert:
Bis zu ca. 5 bis 7 Items: Ein vollständiges Ranking ist angemessen. Betrachten Sie dies eher als Faustregel und nicht als validierten Cut-off.
8 bis 12 Items: Fragen Sie nach den Top 3 und ziehen Sie in Erwägung, zusätzlich nach dem schlechtesten Einzel-Item zu fragen.
Mehr als ca. 15 Items: Kein Ranking mehr nutzen. MaxDiff einsetzen.
Lange, anstrengende Fragen sind auch einer der Gründe, warum die Antwortraten bei Umfragen kontinuierlich sinken. Ein verpflichtendes Drag-and-drop-Ranking mit 12 Items zu Beginn eines Fragebogens ist ein hervorragender Weg, um die Befragten zu verlieren, für die man bezahlt hat.
Partial Ranking als pragmatischer Standard
Beim Top-N-Ranking müssen Befragte nur ihre wichtigsten Elemente ordnen und können den Rest unberührt lassen. Das geht schneller, ist auf Mobilgeräten einfacher und erfasst genau den Teil der Antwort, den Befragte tatsächlich zuverlässig angeben können.
Dies ändert jedoch Ihre Analyse. Nicht gerankte Items sind im Tabellenkeller nicht gleichauf und sie sind auch keine fehlenden Daten. Die korrekte Interpretation lautet: "Dieser Befragte hat dieses Item nicht in seinen Top 3 platziert", was ein echtes und nützliches Signal ist. Berichten Sie den Prozentsatz der Befragten, die jedes Item auf Platz 1 gesetzt haben, sowie den Prozentsatz, der es in den Top 3 platziert hat. Lassen Sie Items, die niemand wählt, genau so dastehen. Rechnen Sie keinen durchschnittlichen Rangplatz für ungerankte Items hoch. Das würde einen Wert erfinden, den der Befragte Ihnen nie gegeben hat.
MaxDiff: die skalierbare Alternative
MaxDiff, auch bekannt als best-worst scaling, ist das Tool der Wahl, wenn die Liste zum Ranken zu lang ist. Anstelle einer einzigen großen Sortieraufgabe sehen die Befragten eine Reihe kleiner Sets, in der Regel vier oder fünf Items auf einmal, und beantworten pro Screen zwei einfache Fragen: Welches ist am besten (best) und welches am schlechtesten (worst)?
Die Sets basieren auf einem experimental design, sodass jedes Item gleich oft und in einer ausgewogenen Kombination mit anderen Items erscheint. Über alle Screens hinweg trifft jeder Befragte effektiv eine Vielzahl von Vergleichen, ohne jemals mit einer langen Liste konfrontiert zu werden.
Warum es skaliert
Jeder Screen ist kurz, unabhängig davon, wie viele Items in der Studie enthalten sind. Mehr Items bedeuten lediglich mehr Screens, nicht mehr Schwierigkeit. Deshalb lassen sich mit MaxDiff problemlos 20 bis 30 Items oder mehr untersuchen, während ein vollständiges Ranking schon lange vor 15 Items scheitert.
Die Auswahl des Besten und des Schlechtesten liefert zudem mehr Informationen, als nur den Favoriten zu wählen. Sie fixiert beide Enden des Sets in einem Durchgang.
Was es liefert
Die getroffenen Entscheidungen fließen in ein Scoring-Modell ein (meist eine Form von choice model, das pro Befragtem geschätzt wird) und liefern utility scores auf einer gemeinsamen Skala. Auf 100 reskaliert, ermöglichen diese Werte Vergleiche, die ein normales Ranking nicht leisten kann: Sie können sagen, dass ein Item in den Scores doppelt so gut abschneidet wie ein anderes, und Sie können Items über verschiedene Segmente hinweg vergleichen, da alle die gleiche Skala nutzen.
Was es kostet
Mehr Screens. Um die Item-Liste adäquat abzudecken, ist eine Reihe von Sets erforderlich, nicht nur eine Frage. Die Befragten empfinden jeden einzelnen Screen als einfach, aber die gesamte Befragung dauert länger.
Ein echtes Design. Sie benötigen ein ausgewogenes experimental design und keine zufällig zusammengestellten Sets. Fehler hierbei verzerren die Scores.
Ein Scoring-Modell. Reine Best-Minus-Worst-Auszählungen sind ein brauchbarer erster Schritt, aber für echte utilities ist eine Schätzung erforderlich. Das bedeutet, dass Sie entweder eine Plattform brauchen, die dies für Sie übernimmt, oder einen Analysten.
Anforderungen an die Stichprobengröße. Da jeder Befragte nur eine Teilmenge aller Vergleiche sieht, benötigen Sie genügend Teilnehmer (sample), um das Design abzudecken.
MaxDiff ist ein komplexeres Verfahren. Nutzen Sie es nicht, um nur fünf Items zu priorisieren. Nutzen Sie es dann, wenn Sie eine wirklich lange Liste von Features, Messages oder Claims haben und das Hauptziel der Studie darin besteht, die absoluten Top-Kandidaten herauszufiltern.
Wie man Ranking-Daten analysiert
Ranking-Daten sind ordinal. Diese eine Tatsache sollte jede Zahl beeinflussen, die Sie berichten.
Beginnen Sie mit der Distribution
Bevor Sie eine zusammenfassende Statistik betrachten, schauen Sie sich an, wie oft jedes Item auf welcher Ranking-Position landet. Dies ist die ehrlichste Sicht auf die Daten und deckt Muster auf, die ein einzelner Durchschnitt verbirgt. Ein Item, das von einer großen Minderheit auf Platz eins und von allen anderen auf dem letzten Platz eingestuft wird, ist ein polarisierendes Item; es wird mittelmäßig und unbedeutend wirken, wenn Sie nur den Mittelwert angeben.
Prozent auf Platz 1 und Prozent in den Top 3
Diese beiden Zahlen sind meist die am schnellsten für Entscheidungen nutzbaren Werte, die Sie haben. Sie sind Stakeholdern leicht zu erklären, lassen sich direkt auf die zu treffende Entscheidung übertragen und täuschen nicht vor, dass es sich bei den Rängen um Intervallmessungen handelt. Berichten Sie beides, da sie unterschiedliche Fragen beantworten: Der Prozentsatz auf Platz 1 identifiziert den Spitzenreiter, der Prozentsatz in den Top 3 zeigt eine breite Akzeptanz.
Mean rank, mit Vorsicht zu behandeln
Der Mean rank ist üblich und nicht nutzlos, aber er setzt voraus, dass der Abstand zwischen Platz 1 und 2 dem Abstand zwischen Platz 4 und 5 entspricht. Rangfolgen garantieren dies nicht. Nutzen Sie den Mean rank als grobes Orientierungsmittel, zeigen Sie ihn immer zusammen mit der Distribution und stellen Sie ihn niemals als Maß dafür dar, wie viel wichtiger ein Item gegenüber einem anderen ist. Der Median-Rang ist oft die sicherere Zusammenfassung. Bei unvollständigen Rankings (partial rankings) ist der Mean rank noch schlechter geeignet, da er nur für die Befragten berechnet werden kann, die dieses Item bewertet haben, was stillschweigend die Basis für jedes Item verändert.
Rank-sum und Points-weighted Scores
Viele Tools weisen einen gewichteten Score aus: Der erste Platz erhält 5 Punkte, der zweite 4 Punkte und so weiter. Dies führt zu einer übersichtlichen Rangliste, die Stakeholder schätzen. Seien Sie sich bewusst, dass die Gewichtungen willkürlich sind. Nichts in den Daten besagt, dass der erste Platz genau einen Punkt mehr wert ist als der zweite. Wenn Sie eine steilere Gewichtung wählen, kann sich die Reihenfolge an der Spitze verschieben. Wenn Sie einen Punkte-Score verwenden, geben Sie die Gewichtungen im Bericht an und prüfen Sie, ob Ihre Schlussfolgerung auch bei einem anderen Schema Bestand hat.
Geeignete Signifikanztests
Nutzen Sie nicht-parametrische Methoden. Der Friedman-Test untersucht Unterschiede zwischen gerankten Items innerhalb derselben Befragten. Der Wilcoxon-Vorzeichen-Rang-Test eignet sich für den Vergleich von zwei Items. Mann-Whitney oder Kruskal-Wallis vergleichen die Ränge eines Items zwischen unabhängigen Gruppen wie Segmenten. Spearmans Rangkorrelation vergleicht zwei Rangfolgen. Die Durchführung eines t-Tests oder einer ANOVA direkt auf rohen Rängen behandelt ordinale Positionen wie Intervall-Scores – das ist derselbe Fehler wie die Berichterstattung des Mean rank ohne Vorbehalte, nur mit einem angehängten p-Wert.
Häufige Fehler
Zu viele Items. Der mit Abstand häufigste Fehler. Ein Ranking mit 15 Items erzeugt eine vollständige Datentabelle, bei der der größte Teil des Mittelfelds auf reinem Raten basiert.
Keine Gleichstände (Ties) erlaubt, wenn Befragte tatsächlich unentschieden sind. Das Erzwingen einer Reihenfolge zwischen zwei Items, die ein Befragter gleichermaßen schätzt, erzeugt einen Unterschied, der nicht existiert. Wenn Gleichstände für Ihre Entscheidung wichtig sind, lassen Sie diese zu oder nutzen Sie parallel eine Rating-Frage.
Keine Ausweichoption. Wenn einige Items für bestimmte Befragte irrelevant sind, geben Sie ihnen die Möglichkeit, dies anzugeben. Ohne diese Option werden irrelevante Items am Ende platziert und sind nicht mehr von aktiv abgelehnten Items zu unterscheiden.
Ein vollständiges Ranking verlangen. Ein obligatorisches vollständiges Ranking führt zu hohen Abbruchraten und, was noch schlimmer ist, zu Straight-lining durch Befragte, die die Befragung einfach nur schnell beenden wollen. Ein optionales oder partial ranking liefert Ihnen zwar weniger Datenzellen, dafür aber qualitativ bessere Daten.
Mischen ungleichartiger Items. Ein Ranking funktioniert nur, wenn die Items auf einer einzigen Dimension vergleichbar sind. Wenn Sie jemanden bitten, „Preis“, „Kundenservice“ und „die mobile App“ zusammen zu bewerten, verlangen Sie, dass Kosten, eine Dienstleistung und ein Produktbereich nach einem nicht genannten Kriterium eingestuft werden. Beschränken Sie die Liste auf eine Art von Dingen und nennen Sie das Kriterium explizit im Fragetext.
Vage Kriterien. „Bringen Sie dies in eine Reihenfolge“ ist keine Frage. „Bringen Sie diese in die Reihenfolge, in der wir sie für Sie entwickeln sollen“ ist eine.
Ein Ranking zeigt Ihnen die Reihenfolge, nicht den Grund
Die strukturelle Grenze jeder Ranking-Frage besteht darin, dass sie die Begründung eliminiert. Sie erfahren zwar, dass der Preis an erster Stelle stand. Sie erfahren jedoch nicht, ob dies daran liegt, dass Ihre Preise zu hoch sind, die Preisseite verwirrend ist oder weil ein Konkurrent Sie gerade unterboten hat. Diese drei Erkenntnisse führen zu drei völlig unterschiedlichen Projekten.
Die übliche Lösung besteht darin, nach dem Ranking ein offenes Textfeld anzubieten, das die meisten Befragten überspringen oder mit wenigen Worten beantworten. Ein produktiverer Ansatz ist das dialogorientierte Nachfragen: Fragen Sie direkt nach der Bewertung des ersten Items in den eigenen Worten des Befragten, warum dieses an erster Stelle platziert wurde. Das ist genau die Begründung, die ein Ranking sonst ausblendet, und es ist der Teil, der Ihnen sagt, was zu tun ist.
An dieser Stelle verändern AI-moderated surveys die Wirtschaftlichkeit. SmartInterview führt Sprachbefragungen mit KI-gestütztem Nachfragen durch, sodass auf eine Ranking-Frage ein gesprochenes „Warum haben Sie das an die erste Stelle gesetzt?“ folgen kann. Die offenen Antworten werden automatisch codiert, anstatt ungelesen in einer Tabellenspalte zu liegen. Sie behalten die quantifizierte Prioritätenreihenfolge und gewinnen gleichzeitig die Erklärung dahinter zurück – ein Spagat, der Teams sonst meist dazu zwingt, sich von vornherein zwischen qualitative and quantitative research zu entscheiden.
Frequently Asked Questions
Wie viele Items sollte eine Rank Order Frage haben?
Für ein vollständiges Ranking sind etwa 5 bis 7 Items eine praktische Obergrenze. Dies ist eine Faustregel aus der Survey Design Praxis, kein harter Forschungs-Grenzwert. Darüber hinaus platzieren Befragte ihre Top- und Bottom-Items meist zuverlässig und raten bei den mittleren Plätzen. Bei Listen von 8 bis 12 Items sollten Sie stattdessen nach den Top 3 fragen. Ab etwa 15 Items empfiehlt sich der Wechsel zu MaxDiff.
Was ist der Unterschied zwischen einer Rank Order Frage und einer Rating Scale?
Eine Rating Scale bewertet jedes Item unabhängig auf einer absoluten Skala, sodass jedes Item eine hohe Bewertung erhalten kann. Eine Rank Order Frage erzwingt ein Trade-off, sodass nur ein Item an erster Stelle stehen kann. Ratings zeigen Ihnen, wie sehr Befragte etwas schätzen, und sind zwischen Personen vergleichbar. Rankings zeigen Ihnen, was an erster Stelle steht, und beziehen sich auf die individuelle Liste des jeweiligen Befragten. Ratings neigen dazu, dass alles als „sehr wichtig“ eingestuft wird; Rankings können Ihnen nicht sagen, ob das oberste Item überhaupt von Bedeutung ist.
Kann man den Mittelwert von Ranking-Daten berechnen?
Sie können einen Mean Rank berechnen, müssen diesen aber vorsichtig interpretieren. Ränge sind ordinal skaliert. Der Mittelwert setzt daher voraus, dass der Abstand zwischen Rang 1 und 2 dem Abstand zwischen Rang 4 and 5 entspricht, was die Daten jedoch nie belegen. Nutzen Sie den Mean Rank als grobes Ordnungsinstrument, zeigen Sie immer die Verteilung der Rangpositionen daneben an und verwenden Sie nicht-parametrische Tests wie Friedman oder Wilcoxon anstelle von t-Tests, wenn Sie Unterschiede testen.
Ist Drag-and-Drop Ranking schlecht für Mobile Surveys?
Es ist riskant. Auf Touchscreens konkurriert das Ziehen mit dem Scrollen der Seite, lange Listen lösen ungeschicktes Auto-Scrolling aus, während ein Item gehalten wird, und Fehlplatzierungen passieren leicht. Drag-and-Drop ist außerdem für Tastatur- und Screenreader-Nutzer unpraktisch. Wenn ein relevanter Anteil Ihrer Stichprobe auf Mobile-Geräten unterwegs ist, nutzen Sie stattdessen nummerierte Eingaben oder ein Format wie „Tippen Sie Ihre Top 3 der Reihe nach an“.
Wann sollte ich MaxDiff anstelle von Ranking verwenden?
Nutzen Sie MaxDiff, wenn die Liste lang ist (typischerweise 15 Items oder mehr) und das Ziel darin besteht, die führende Handvoll zu ermitteln. Es zeigt kleine Sets von Items und fragt nach dem besten und schlechtesten in jedem Set, sodass der Aufwand für den Befragten bei längeren Listen konstant bleibt. Es liefert zudem Utility Scores auf einer gemeinsamen Skala, was Vergleiche ermöglicht, die ein Ranking nicht leisten kann. Der Preis dafür sind mehr Screens, ein Experimental Design und ein Scoring Model – für kurze Listen ist es daher Overkill.
Sollten Befragte gezwungen werden, jedes Item zu ranken?
In der Regel nicht. Ein erzwungenes vollständiges Ranking erhöht die Drop-out-Quote und führt zu unachtsamer Sortierung, nur um die Seite schnell zu verlassen. Partial Ranking erfasst den zuverlässigen Teil der Antwort. Geben Sie den Befragten außerdem die Möglichkeit, Items zu markieren, die für sie nicht zutreffen. Andernfalls landen irrelevante Items ganz unten und sehen genauso aus wie Items, die aktiv abgelehnt werden.
