Retour
Rank Order Questions : comment les utiliser sans perdre vos répondants
L'équipe SmartInterview
Une question de type rank order demande aux répondants de classer une liste d'éléments par ordre de préférence, d'importance ou de priorité. Contrairement à une échelle d'évaluation, elle impose un arbitrage : les répondants ne peuvent pas juger que tout est important. Cela fait du classement l'outil idéal lorsque vous avez besoin de savoir ce qui passe en premier, et le mauvais outil lorsque vous devez savoir à quel point un élément importe plus qu'un autre.
Voici résumé brièvement ce que vous devez décider avant d'en utiliser une :
Utilisez le classement lorsque la priorité est la question clé. « Lequel de ces attributs devrions-nous développer en premier ? » est une question de classement. « Quel est votre niveau de satisfaction concernant l'assistance ? » ne l'est pas.
Gardez les classements complets courts. Une limite raisonnable se situe entre 5 et 7 éléments. Au-delà, les répondants classent le haut et le bas de la liste et devinent pour le milieu.
Privilégiez le « classez votre top 3 » plutôt que le classement d'une longue liste. Le classement partiel permet de recueillir la partie de la réponse que les répondants connaissent réellement, tout en éliminant le bruit de fond.
Attention au format. Le glisser-déposer semble élégant sur ordinateur mais pose problème sur les écrans tactiles, avec les lecteurs d'écran et la navigation au clavier. La saisie de numéros est moins esthétique mais plus robuste.
Pour 15 éléments ou plus, utilisez plutôt le MaxDiff. La méthode du Best-Worst Scaling s'adapte là où le classement échoue, et produit des scores que vous pouvez réellement comparer.
Les données de classement sont relatives, pas absolues. Vous apprenez l'ordre de préférence. Vous n'apprenez pas la distance entre les éléments, et vous ne savez pas si l'élément classé en tête a la moindre importance pour cette personne.
Le classement face aux alternatives (Ranking vs the alternatives)
Le classement est l'un des nombreux moyens de mesurer la priorité. Chacun apporte un avantage différent, et le coût se traduit généralement par l'effort fourni par le répondant.
Méthode | Ce que vous apprenez | Effort du répondant | Limite pratique d'items | Idéal pour |
|---|---|---|---|---|
Full ranking | Ordre complet de chaque item, sans notion de distance | Élevé, et augmente considérablement avec chaque item ajouté | Environ 5 à 7 | Listes courtes où chaque position compte |
Top-N ranking | Ordre des premiers éléments, ainsi que ceux qui ne sont jamais choisis | Modéré | Environ 8 à 12 présentés, 3 classés | Listes plus longues où seuls les leaders comptent |
Échelle d'évaluation (Rating battery) | Niveau absolu par item, comparable entre les individus | Faible par item | Élevé, mais l'attention diminue | Suivre l'évolution des niveaux dans le temps |
MaxDiff | Scores d'utilité sur une échelle unique, comparaisons de type ratio | Faible par écran, nombreux écrans | 20 à 30 ou plus | Prioriser de longues listes de fonctionnalités, de messages ou d'affirmations |
Somme constante (Constant sum) | Ordre et grandeur relative, sous forme d'allocation | Élevé, calcul arithmétique requis | Environ 4 à 6 | Répartition du budget ou de l'attention lorsque l'ordre de grandeur compte |
La ligne qui pose le plus de problèmes aux équipes est celle de l'échelle d'évaluation (rating battery). C'est la méthode la moins coûteuse à déployer et la plus facile à analyser, ce qui explique précisément pourquoi elle est utilisée pour répondre à des questions qu'elle ne peut pas traiter.
Ce que le classement mesure et que l'évaluation ne permet pas
Demandez à dix personnes d'évaluer l'importance de huit fonctionnalités de produit sur une échelle en 5 points, et vous obtiendrez généralement un mur de 4 et de 5. Personne ne veut dire qu'une fonctionnalité est secondaire. La sécurité est importante. La rapidité est importante. Le prix est important. La batterie de questions se termine avec six éléments affichant une moyenne située entre 4,2 et 4,5, et vous n'avez absolument rien appris d'exploitable.
Il s'agit du biais d'utilisation de l'échelle, et le manque de discrimination qui en résulte est l'échec le plus courant dans la recherche de l'importance d'un attribut (importance research). Les répondants ne mentent pas. Chaque élément est réellement important lorsqu'il est pris isolément. C'est simplement que la question ne leur a jamais demandé de choisir.
Le classement élimine cette échappatoire. Un répondant ne peut placer qu'un seul élément en premier. Placer la sécurité en premier signifie placer le prix en second, et cet arbitrage constitue l'information exacte que vous recherchiez. Cela permet également de neutraliser bon nombre d'habitudes individuelles liées à l'échelle : la personne qui note tout à 5 et celle qui note tout à 3 peuvent tout de même produire le même classement. Ainsi, le classement est naturellement immunisé contre les styles de réponse qui faussent les batteries d'échelles de Likert et les longues questions sous forme de matrice.
Le coût : les données de classement sont ipsatives
Tout ce que le classement gagne en imposant un choix, il le paie en produisant des données relatives. Les rangs sont ipsatifs, ce qui signifie que les réponses de chaque répondant ne sont définies que par rapport à ses propres autres réponses.
Trois conséquences en découlent, et toutes trois sont couramment ignorées dans les rapports :
Vous obtenez un ordre, pas une distance. Les éléments classés 1 et 2 peuvent être presque à égalité, ou le premier peut être de loin le plus important. Les chiffres du classement semblent identiques dans les deux cas.
Vous n'obtenez aucun niveau absolu. L'élément le mieux classé par quelqu'un peut tout de même être un élément dont il se soucie à peine. Le classement produit toujours un vainqueur, même dans une liste où rien n'a d'importance pour cette personne.
Les rangs ne sont pas librement comparables d'un répondant à l'autre. Une note de 4 signifie à peu près la même chose pour deux personnes. Un rang de 2 signifie « deuxième parmi la propre sélection de cette personne », ce qui représente une affirmation différente à chaque fois.
La solution pratique consiste à combiner les méthodes plutôt qu'à choisir entre elles. Utilisez une courte batterie d'évaluation pour les niveaux absolus et une question de classement pour la priorité. Si la batterie d'évaluation indique que tout est important et que le classement montre qu'un élément arrive systématiquement en tête, vous savez lequel privilégier.
Les formats, et celui qu'il convient d'utiliser réellement
Le glisser-déposer
Le choix par défaut dans la plupart des outils de sondage modernes. Sur un ordinateur de bureau avec une souris, c'est véritablement l'interface la plus intuitive : les répondants voient toute la liste, déplacent les éléments et comprennent immédiatement le résultat.
Les problèmes apparaissent partout ailleurs. Sur un téléphone, faire glisser un élément entre en conflit avec le défilement de la page, de sorte que les répondants font défiler la page alors qu'ils voulaient glisser, et glissent lorsqu'ils voulaient faire défiler. Les listes longues qui ne tiennent pas sur un seul écran aggravent la situation, car la liste doit défiler automatiquement lorsqu'un élément est maintenu. Pour les utilisateurs de lecteurs d'écran et toute personne naviguant au clavier, le glisser-déposer est souvent soit inutilisable, soit pris en charge par une interface alternative masquée et mal testée. Étant donné que la majeure partie du trafic des questionnaires provient désormais des mobiles, considérer le glisser-déposer comme l'option par défaut sécurisée est un contresens.
Saisie numérique
Les répondants saisissent ou sélectionnent un numéro de classement à côté de chaque élément. Cela semble daté et nécessite une logique de validation pour éviter les doublons et les oublis. Mais c'est une méthode robuste : elle fonctionne avec un clavier, avec les technologies d'assistance, sur n'importe quelle taille d'écran, et ne perd pas silencieusement une réponse parce qu'un glissement s'est terminé au mauvais endroit. Pour les listes longues et les panels fortement mobiles, c'est le choix le plus fiable.
Sélectionnez votre Top N
Les répondants sélectionnent leur top 3 dans l'ordre en appuyant successivement sur les éléments. C'est le format qui échoue le moins souvent, principalement parce qu'il en demande moins. Il s'adapte parfaitement à une interface tactile et produit précisément la partie du classement en laquelle vous pouvez avoir confiance.
Comparaison par paires
Présentez deux éléments, demandez lequel l'emporte, puis répétez. Chaque décision est d'une simplicité enfantine et les données sont de grande qualité. Le problème réside dans le volume : le nombre de paires possibles augmente de manière quadratique, de sorte qu'une conception complète par paires devient impraticable bien avant d'atteindre une douzaine d'éléments. La méthode MaxDiff existe en grande partie pour résoudre ce problème.
Le plafond de la charge cognitive
L'effort requis pour un classement ne croît pas de manière linéaire avec le nombre d'éléments. Il augmente beaucoup plus rapidement, car classer une liste implique de garder les éléments en mémoire et de les comparer les uns aux autres, plutôt que d'évaluer chacun d'eux individuellement.
De plus, les répondants ne classent pas de manière aussi uniforme sur l'ensemble de la liste. Ils connaissent généralement leur favori et leur moins préféré avec une réelle certitude. Les extrêmes sont stables. Le milieu ne l'est pas, et si vous demandez au même répondant de refaire le même classement une semaine plus tard, les positions intermédiaires sont les plus susceptibles de changer. Pour une liste longue, les positions 5 à 10 s'apparentent à du bruit statistique déguisé en données.
Un guide pratique d'utilisation, et non un seuil scientifique rigide :
Jusqu'à environ 5 à 7 éléments : un classement complet est raisonnable. Considérez cela comme une règle empirique plutôt que comme une limite validée scientifiquement.
De 8 à 12 éléments : demandez le top 3, et envisagez de demander également l'unique pire élément.
Plus de 15 éléments environ : arrêtez les classements. Utilisez le MaxDiff.
Les questions longues et laborieuses sont également l'une des raisons pour lesquelles les taux de réponse aux sondages continuent de chuter. Un classement obligatoire par glisser-déposer de 12 éléments placé au début d'un questionnaire est un excellent moyen de perdre les répondants que vous avez payés pour recruter.
Le classement partiel comme choix par défaut pragmatique
Le classement Top-N demande aux répondants de classer uniquement leurs premiers éléments de tête et de laisser le reste intact. C'est plus rapide, plus facile sur mobile, et cela permet de recueillir la partie de la réponse que les répondants peuvent réellement fournir de manière fiable.
Cela modifie en revanche votre analyse. Les éléments non classés ne sont pas à égalité au bas de l'échelle, et ils ne constituent pas non plus des données manquantes. La bonne lecture est la suivante : « ce répondant n'a pas placé cet élément dans son top 3 », ce qui constitue un signal réel et utile. Présentez le pourcentage de répondants qui ont classé chaque élément en premier et le pourcentage de ceux qui l'ont placé dans leur top 3, et laissez les éléments que personne ne choisit apparaître exactement comme tels. N'imputez pas un rang moyen aux éléments non classés. Cela reviendrait à inventer un chiffre que le répondant ne vous a jamais donné.
MaxDiff : l'alternative évolutive
Le MaxDiff, également appelé échantillonnage de type « meilleur-pire » (best-worst scaling), est l'outil à utiliser lorsque la liste est trop longue pour être classée. Plutôt que de se voir confier une seule grande tâche de classement, les répondants voient une série de petits ensembles, généralement de quatre ou cinq éléments à la fois, et répondent à deux questions simples par écran : quel est le meilleur et quel est le pire.
Les ensembles sont tirés d'un plan d'expérience (experimental design) de sorte que chaque élément apparaît un nombre équilibré de fois et aux côtés d'un mélange équilibré d'autres éléments. Sur l'ensemble des écrans, chaque répondant a effectivement effectué un grand nombre de comparaisons sans jamais être confronté à une longue liste.
Pourquoi cette méthode est évolutive
Chaque écran est court, quel que soit le nombre d'éléments inclus dans l'étude. L'ajout d'éléments augmente le nombre d'écrans, mais pas la difficulté. C'est pourquoi le MaxDiff gère facilement 20 à 30 éléments ou plus, là où un classement complet s'effondre bien avant 15.
Choisir le meilleur et le pire permet également d'obtenir plus d'informations que de choisir un seul élément préféré. Cela permet de fixer les deux extrémités de l'ensemble de choix en une seule fois.
Ce qu'elle produit
Les choix sont intégrés dans un modèle d'évaluation, généralement une forme de modèle de choix estimé par répondant, qui renvoie des scores d'utilité placés sur une échelle commune. Recalculés pour que la somme des scores soit égale à 100, ces chiffres permettent de réaliser des comparaisons qu'un simple classement ne peut pas faire : vous pouvez affirmer qu'un élément obtient un score environ deux fois supérieur à un autre, et vous pouvez comparer les éléments d'un segment à l'autre car tout le monde est évalué sur la même échelle.
Ce qu'elle coûte
Plus d'écrans. Couvrir correctement la liste d'éléments nécessite une série d'ensembles de choix, et non une seule question. Les répondants trouvent chaque écran facile, mais le bloc de questions est plus long.
Un véritable plan d'expérience. Vous avez besoin d'un plan d'expérience équilibré (experimental design), et non d'ensembles assemblés au hasard. Une erreur à ce niveau fausserait les scores.
Un modèle d'évaluation. Les scores bruts théoriques (meilleur moins pire) constituent une première approximation exploitable, mais l'obtention d'utilités précises nécessite une estimation, ce qui implique soit une plateforme qui le fait pour vous, soit un analyste dédié.
Taille d'échantillon requise. Étant donné que chaque répondant ne voit qu'un sous-ensemble de comparaisons, vous devez disposer d'un nombre suffisant de répondants pour couvrir l'ensemble du plan d'expérience.
Le MaxDiff est un outil de Market Research plus robuste. Ne l'utilisez pas pour hiérarchiser seulement cinq éléments. Privilégiez-le lorsque vous disposez d'un nombre réellement important de fonctionnalités, de messages ou de propositions, et que tout l'enjeu de l'étude est d'identifier les quelques éléments de tête.
Comment analyser les données de classement (ranking)
Les données de classement sont ordinales. Ce seul fait devrait façonner chaque chiffre que vous présentez.
Commencez par la distribution
Avant toute statistique récapitulative, regardez à quelle fréquence chaque élément se positionne dans chaque rang. C'est la vision la plus honnête des données et elle révèle des schémas qu'une simple moyenne dissimule. Un élément classé premier par une large minorité et dernier par tous les autres est un élément polarisant, et il aura l'air médiocre et anodin si vous ne présentez que sa moyenne.
Pourcentage de premier rang et pourcentage dans le top 3
Ces deux chiffres sont généralement les plus directement exploitables pour la prise de décision. Ils sont faciles à expliquer aux parties prenantes, correspondent directement aux choix que vous devez faire et ne prétendent pas que les rangs sont des mesures d'intervalle. Présentez les deux, car ils répondent à des questions différentes : le pourcentage de premier rang identifie le leader, le pourcentage dans le top 3 identifie une acceptabilité globale.
La moyenne des rangs (mean rank), à manipuler avec précaution
La moyenne des rangs est courante et n'est pas inutile, mais elle suppose que l'écart entre les rangs 1 et 2 est égal à l'écart entre les rangs 4 et 5. Les classements ne garantissent en rien cela. Utilisez la moyenne des rangs comme un outil de classement approximatif, montrez-la toujours à côté de la distribution et ne la présentez jamais comme une mesure de l'importance relative d'un élément par rapport à un autre. Le rang médian est souvent un indicateur plus sûr. Avec les classements partiels, la moyenne des rangs est encore pire, car elle ne peut être calculée que sur les répondants ayant classé cet élément, ce qui modifie discrètement la base pour chaque élément.
Scores cumulés de rangs et scores pondérés par points
De nombreux outils fournissent un score pondéré : la première place obtient 5 points, la deuxième en obtient 4, et ainsi de suite. Cela produit un tableau de classement clair que les parties prenantes apprécient. Soyez conscient que ces pondérations sont arbitraires. Rien dans les données ne prouve que la première place vaut exactement un point de plus que la deuxième. Optez pour une pondération plus abrupte et le classement en tête peut changer. Si vous utilisez un score par points, indiquez les pondérations dans le rapport et vérifiez si votre conclusion résiste à un autre système de calcul.
Tests statistiques appropriés
Utilisez des méthodes non paramétriques. Le test de Friedman permet de traiter les différences entre les éléments classés au sein d'un même groupe de répondants. Le test des rangs signés de Wilcoxon fonctionne pour comparer deux éléments. Les tests de Mann-Whitney ou de Kruskal-Wallis comparent les rangs d'un élément entre des groupes indépendants (comme des segments de clientèle). La corrélation de Spearman compare deux classements. Réaliser un test t ou une ANOVA directement sur des rangs bruts revient à traiter des positions ordinales comme des scores d'intervalle, ce qui constitue la même erreur que de présenter une moyenne de rangs sans nuances, mais avec une p-value en plus.
Erreurs fréquentes
Trop d'éléments. C'est l'erreur la plus fréquente, et de loin. Un classement de 15 éléments génère un tableau de données complet où la majeure partie du milieu relève de la conjecture.
Pas d'ex æquo autorisés lorsque les répondants hésitent réellement. Forcer un ordre entre deux éléments qu'un répondant évalue de manière identique revient à fabriquer une différence artificielle. Si les ex æquo sont importants pour votre décision, autorisez-les ou utilisez une question d'évaluation (rating) en complément.
Pas d'option d'échappement. Si certains éléments ne concernent pas certains répondants, donnez-leur un moyen de le signaler. Sans cela, les éléments non pertinents se retrouvent relégués en bas de liste et deviennent impossibles à distinguer des éléments activement rejetés.
Exiger un classement complet. Imposer un classement total favorise l'abandon du questionnaire et, pire encore, incite les répondants pressés de finir à classer les éléments de manière linéaire sans réfléchir. Un classement optionnel ou partiel vous donne moins de cellules remplies, mais des données de bien meilleure qualité.
Mélanger des éléments disparates. Le classement ne fonctionne que lorsque les éléments sont comparables sur une seule et même dimension. Demander à quelqu'un de classer ensemble le "prix", le "support client" et "l'application mobile", c'est lui demander de classer un coût, un service et une interface produit selon un critère non défini. Limitez la liste à un seul type d'éléments et énoncez explicitement le critère dans l'intitulé de la question.
Critères vagues. "Classez ces éléments" n'est pas une question. "Classez ces éléments dans l'ordre de priorité d'intégration que vous souhaitez que nous suivions" en est une.
Le classement indique l'ordre, pas la raison
La limite structurelle de toute question de classement est qu'elle élimine le raisonnement. Vous apprenez que le prix arrive en tête. Vous n'apprenez pas si c'est parce que vos tarifs sont trop élevés, parce que la page des tarifs est confuse, ou parce qu'un concurrent vient de s'aligner en dessous de vous. Ces trois conclusions mènent à trois projets de recherche complètement différents.
La solution habituelle consiste à faire suivre le classement d'une zone de texte libre, que la plupart des répondants ignorent ou remplissent en quatre mots. Une approche plus productive consiste à interroger de manière conversationnelle : demandez pourquoi l'élément de tête a été classé premier, avec le Verbatim propre au répondant, immédiatement après son choix. C'est ce raisonnement que le classement occulte, et c'est pourtant lui qui vous indique la marche à suivre.
C'est là que les sondages modérés par IA changent la donne pour le Market Research. SmartInterview réalise des sondages vocaux avec des relances par IA, de sorte qu'une question de classement peut être immédiatement suivie d'un "pourquoi avez-vous placé cet élément en premier ?" posé à l'oral, et les réponses ouvertes sont codées automatiquement plutôt que de stagner non lues dans une colonne de tableur. Vous conservez l'ordre de priorité quantifié tout en récupérant l'explication sous-jacente, éliminant ainsi le dilemme qui oblige habituellement les équipes à choisir d'emblée entre études qualitatives et quantitatives.
Foire aux questions (FAQ)
Combien d'éléments une question de type classement par rang doit-elle comporter ?
Pour un classement complet, un maximum pratique se situe environ entre 5 et 7 éléments. Il s'agit d'une règle empirique issue des pratiques de conception d'enquêtes, et non d'un seuil de recherche strict. Au-delà, les répondants placent de manière fiable leurs éléments préférés et détestés, mais devinent pour les éléments du milieu. Pour les listes de 8 à 12 éléments, demandez plutôt de classer les 3 premiers. Au-delà de 15 éléments environ, passez au MaxDiff.
Quelle est la différence entre une question de classement par rang et une échelle d'évaluation (rating scale) ?
Une échelle d'évaluation évalue chaque élément de manière indépendante sur une échelle absolue, de sorte que chaque élément peut obtenir un score élevé. Une question de classement par rang impose un arbitrage (trade-off), de sorte qu'un seul élément peut être premier. Les évaluations indiquent à quel point les répondants valorisent quelque chose et sont comparables d'une personne à l'autre. Les classements indiquent ce qui vient en premier et sont relatifs à la propre liste de chaque répondant. Les évaluations ont tendance à ce que tout soit jugé « très important » ; les classements ne peuvent pas vous dire si l'élément de tête a la moindre importance.
Peut-on calculer la moyenne de données de classement ?
Vous pouvez calculer un rang moyen, mais interprétez-le avec prudence. Les rangs sont d'ordre ordinal, la moyenne suppose donc que la distance entre les rangs 1 et 2 est égale à la distance entre les rangs 4 et 5, ce que les données ne permettent jamais d'établir. Utilisez le rang moyen comme un outil de classement approximatif, affichez toujours la distribution des positions de classement à côté, et utilisez des tests non paramétriques tels que Friedman ou Wilcoxon plutôt que des tests t pour tester les différences.
Le classement par glisser-déposer (drag-and-drop) est-il déconseillé pour les enquêtes sur mobile ?
C'est risqué. Sur les écrans tactiles, le glisser-déposer entre en conflit avec le défilement de la page, les longues listes déclenchent un défilement automatique fastidieux pendant qu'un élément est maintenu appuyé, et les erreurs de dépose sont fréquentes. Le glisser-déposer est également difficile d'accès pour les utilisateurs de claviers et de lecteurs d'écran. Si une part importante de votre échantillon est sur mobile, utilisez plutôt la saisie de numéros ou un format de type « appuyez sur vos 3 premiers choix dans l'ordre ».
Quand dois-je utiliser le MaxDiff plutôt qu'un classement ?
Utilisez le MaxDiff lorsque la liste est longue, généralement 15 éléments ou plus, et que l'objectif est d'identifier les quelques éléments de tête. Il présente des ensembles réduits d'éléments et demande de choisir le meilleur et le pire dans chacun, de sorte que l'effort du répondant reste constant à mesure que la liste s'allonge. Il produit également des scores d'utilité sur une échelle commune, ce qui permet des comparaisons impossibles avec un classement classique. La contrepartie réside dans un nombre d'écrans plus élevé, un plan d'expérience (experimental design) et un modèle de score, ce qui s'avère excessif pour des listes courtes.
Faut-il obliger les répondants à classer tous les éléments ?
Généralement non. Les classements complets obligatoires augmentent le taux d'abandon et incitent à un classement bâclé simplement pour passer à l'écran suivant. Le classement partiel permet de recueillir la partie fiable de la réponse. Donnez également aux répondants un moyen de signaler les éléments qui ne les concernent pas, sinon les éléments non pertinents se retrouvent relégués en bas de liste et se confondent avec ceux qu'ils rejettent activement.
