Retour
Biais d'enquête : les erreurs qui ruinent discrètement vos données
Matthieu Saussaye
La réponse courte
Le biais d'enquête est une erreur systématique : une distorsion qui oriente vos résultats dans une direction et qui ne diminue pas lorsque vous ajoutez des répondants. Les méthodologues d'enquête regroupent l'ensemble de ces erreurs sous ce que Groves et Lyberg (Public Opinion Quarterly, 2010) décrivent comme « un cadre conceptuel décrivant les propriétés d'erreur statistique des statistiques d'enquêtes par sondage » : l'erreur totale d'enquête. Elle provient de trois sources.
Qui vous avez interrogé : le biais d'échantillonnage et le biais de non-réponse.
Comment vous avez posé les questions : questions orientées, effets d'ordre, ancrage.
Comment les gens répondent : acquiescement, styles de réponse extrêmes, désirabilité sociale, défaut de mémoire.
L'erreur aléatoire diminue avec la taille de l'échantillon. Pas le biais. Un échantillon plus grand vous donne simplement une réponse erronée avec un niveau de confiance plus élevé.
Le Tableau des Biais
Neuf modes de défaillance, ce à quoi chacun ressemble dans un jeu de données réel, et la solution qui fonctionne vraiment. La plupart des rapports en contiennent au moins trois.
Biais | Ce que c'est | Comment il se manifeste dans vos données | Comment le réduire |
|---|---|---|---|
Biais d'échantillonnage (Sampling bias) | Votre base de sondage exclut une partie de la population. | Des données démographiques qui ne correspondent pas aux parts connues de la population. | Auditez la base par rapport à un recensement ou un CRM. Ajoutez des canaux. Pondérez, et mentionnez la pondération. |
Biais de non-réponse | Les personnes qui répondent diffèrent de celles qui n'ont pas répondu. | Les scores dérivent à mesure que les relances incitent les retardataires à répondre. | Comparez les premiers répondants et les répondants tardifs. Suivez un sous-échantillon aléatoire de non-répondants. |
Questions orientées (Leading questions) | Une formulation qui suggère sa propre réponse. | Un taux d'accord bien supérieur à toutes les autres questions de l'enquête. | Supprimez les adjectifs évaluatifs. Faites lire le projet par quelqu'un qui souhaite obtenir le résultat opposé. |
Questions suggestives (Loaded questions) | Une supposition dissimulée dans la question. | Des taux d'abandon élevés et des commentaires ouverts confus. | Divisez en une question filtre suivie de la vraie question. |
Acquiescement (Acquiescence) | Une tendance à être d'accord quel que soit le contenu. | Les répondants sont d'accord avec deux affirmations qui se contredisent. | Remplacez les grilles d'accord/désaccord par des échelles spécifiques aux items. Incluez des items inversés. |
Styles de réponse extrêmes et médians | L'utilisation habituelle des extrémités ou du milieu d'une échelle. | Des lignes plates dans une matrice, ou un marché qui obtient systématiquement des scores plus bas. | Maintenez le format de l'échelle constant. Comparez chaque marché à sa propre tendance, et non à d'autres marchés. |
Désirabilité sociale | Répondre de la manière qui valorise. | Un comportement déclaré bien supérieur aux ventes réelles ou aux journaux d'utilisation. | Garantissez l'anonymat en termes simples. Posez des questions sur le comportement, pas sur l'intention ou la vertu. |
Effets d'ordre et d'ancrage | Les questions précédentes et les premières options orientent les réponses suivantes. | Le premier élément d'une longue liste l'emporte trop souvent. | Aléatorisez l'ordre des options et faites pivoter les blocs. Posez les questions générales avant les questions spécifiques. |
Erreur de mémorisation (Recall error) | Les gens ne se souviennent pas avec précision. | Des fréquences suspectement rondes et des totaux qui dépassent ce qui est possible. | Raccourcissez la période de référence. Posez des questions sur l'événement le plus récent plutôt que de demander un décompte. |
Biais de survie (Survivorship bias) | Seules les personnes encore présentes sont interrogées. | La satisfaction semble forte alors que l'attrition continue d'augmenter. | Interrogez les personnes qui sont parties et celles qui n'ont jamais été converties. |
Biais dans Qui Vous Interrogez
Biais d'échantillonnage
Le biais d'échantillonnage est un écart entre la liste de laquelle vous tirez vos répondants et la population que vous souhaitez décrire. Enquêtez vos utilisateurs d'application et vous excluez tous ceux qui ont essayé l'application et sont partis. Enquêtez votre liste de diffusion et vous excluez les clients qui ne se sont jamais abonnés. Le résultat est précis mais faux.
Le test est simple : notez qui est structurellement incapable d'apparaître dans vos données, puis demandez-vous si ce groupe répondrait différemment. Si la réponse est oui, vous faites face à un problème de couverture qu'aucune taille d'échantillon ne pourra résoudre. Le redressement peut corriger partiellement un déséquilibre connu, mais il ne peut pas inventer des personnes que vous n'avez jamais touchées, et sur-pondérer une cellule minuscule pour atteindre une part importante de la population amplifie le bruit de cette cellule.
Biais de non-réponse
Celui-ci est plus dangereux que le biais d'échantillonnage car votre base de sondage peut être parfaite alors que vos données restent biaisées. Les personnes qui choisissent de répondre sont des personnes qui ont du temps, des opinions et une raison de s'engager. L'indifférence est systématiquement sous-représentée dans presque tous les ensembles de données. Un faible taux de réponse n'est pas en soi une preuve de biais. Le biais de non-réponse dépend du taux et de la mesure dans laquelle les non-répondants diffèrent des répondants, ainsi « des taux de non-réponse élevés pourraient donner de faibles erreurs de non-réponse si la différence entre les répondants et les non-répondants est très faible » (National Research Council, Nonresponse in Social Science Surveys: A Research Agenda, National Academies Press, 2013). Ce rapport note une compilation de 59 études spécialisées par Groves et Peytcheva qui « ont trouvé très peu de corrélation entre le taux de non-réponse et leurs mesures de biais », et prévient que « le taux de non-réponse peut être un très mauvais prédicteur de biais ». La leçon pratique n'est pas de se relâcher sur les taux de réponse, mais d'en mesurer la différence plutôt que de la supposer à partir du taux.
Le diagnostic le plus économique est une analyse par vagues. Séparez les réponses entre celles qui ont répondu avant tout rappel et celles qui ont eu besoin d'être relancées. Si le groupe tardif obtient des scores différents, les personnes que vous n'avez jamais atteintes se situent probablement encore plus loin sur cette même ligne, et votre chiffre principal est surestimé. La baisse des taux de réponse aggrave la situation chaque année, ce qui est le sujet de pourquoi les taux de réponse aux enquêtes s'effondrent.
Biais de survie
Chaque programme de satisfaction qui n'interroge que les clients actuels mesure les opinions de personnes qui ne sont pas encore parties. La population la plus mécontente, les clients perdus (churned), est précisément le groupe exclu par conception. C'est ainsi qu'une entreprise signale une satisfaction en hausse et une résiliation (churn) en hausse au cours du même trimestre et traite cela comme un mystère.
Corrigez cela en ajoutant les populations manquantes à votre plan d'étude : des enquêtes de sortie pour les clients perdus (churned), et une étude sur les opportunités manquées pour les prospects qui ont choisi un concurrent. Ce sont généralement de petits échantillons, mais ce sont généralement les entretiens les plus informatifs que vous mènerez de l'année.
Biais dans Comment Vous Interrogez
Questions orientées (leading questions)
Une question orientée suggère au répondant la réponse attendue. La plupart sont écrites par accident, par quelqu'un qui sait déjà ce qu'il espère trouver.
Avant : « À quel point notre équipe d'assistance primée a-t-elle été utile ? » Après : « Comment évaluez-vous l'assistance que vous avez reçue ? » Les éloges et le titre font le travail que le répondant devrait faire.
Avant : « N'êtes-vous pas d'accord pour dire que le nouveau tableau de bord est plus facile à utiliser ? » Après : « Par rapport au tableau de bord précédent, le nouveau est-il plus facile à utiliser, plus difficile à utiliser ou à peu près identique ? » La reformulation propose explicitement l'option négative.
Avant : « À quel point avez-vous apprécié le processus d'onboarding ? » Après : « Comment décririez-vous le processus d'onboarding ? » La première version a déjà décidé que l'expérience avait été appréciée.
Questions biaisées (loaded questions)
Une question biaisée sous-entend une supposition. « Qu'appréciez-vous le plus dans notre application mobile ? » suppose qu'il y a quelque chose. « Comment l'augmentation des prix a-t-elle affecté votre utilisation ? » suppose qu'elle a eu un impact. Les répondants refusent rarement de répondre ; ils choisissent quelque chose et vos données enregistrent une préférence qui n'existe pas.
Avant : « Qu'appréciez-vous le plus dans notre application mobile ? » Après : Demandez d'abord s'ils utilisent l'application mobile, puis « Y a-t-il quelque chose que vous appréciez particulièrement ? » avec une option explicite « rien en particulier ».
Avant : « À quelle fréquence utilisez-vous nos fonctionnalités de reporting et d'exportation ? » Après : Deux questions distinctes. Les questions à double détente imposent une seule réponse à deux éléments différents et sont inutilisables par la suite pour l'analyse.
Effets d'ordre et d'ancrage
L'ordre des questions modifie les réponses. Des expériences de split-ballot le prouvent : lorsqu'une question générale sur la qualité de la vie rurale était posée après 19 questions spécifiques plutôt qu'avant, les répondants étaient « plus enclins à répondre à la question générale, moins enclins à répondre que les zones rurales étaient "les mêmes" que les autres zones, et plus positifs dans leurs opinions sur les zones rurales » (Willits et Ke, Public Opinion Quarterly, 1995). Posez une question sur une frustration spécifique puis sur la satisfaction globale, et le score global diminue, car vous venez de rappeler un problème à tout le monde. Posez d'abord la question sur la satisfaction globale et vous obtiendrez une mesure de référence plus propre.
Au sein d'une question, l'ordre de la liste compte aussi. Dans les longues listes affichées à l'écran, les premières options sont plus souvent choisies ; lorsque les options sont lues à haute voix, on se souvient mieux des dernières. Randomisez l'ordre des options pour chaque répondant, et laissez les options « autre » ou « aucun de ceux-ci » épinglées en bas. Faites pivoter des blocs entiers lorsque vous comparez des concepts, et enregistrez la rotation pour pouvoir vérifier qu'elle n'a pas créé d'effet propre.
L'ancrage est son équivalent numérique. Présentez un prix de 200 avant de demander ce que quelqu'un paierait, et sa réponse se rapprochera de 200. Tversky et Kahneman (Science, 1974) ont nommé cet effet à partir d'expériences dans lesquelles « différents points de départ donnent des estimations différentes, qui sont biaisées vers les valeurs initiales ». Leurs chiffres de départ étaient produits en faisant tourner une roue de la fortune devant le sujet, et même ces « chiffres arbitraires avaient un effet marqué sur les estimations ». Si vous devez tester un prix, utilisez une réponse ouverte ou un point de départ aléatoire.
Biais dans la façon dont les gens répondent
L'acquiescement (Acquiescence)
L'acquiescement est la tendance à être d'accord avec une affirmation, quel que soit son contenu. Saris et ses collègues (2010) comptent "plus de cent études" démontrant que "certains répondants sont enclins à être d'accord avec presque n'importe quelle affirmation, indépendamment de son contenu". Ce phénomène est plus fort lorsque les répondants sont fatigués, lorsque la question est abstraite et lorsque donner son accord semble être la solution la plus polie. Les longues grilles d'accord ou de désaccord en sont le terrain propice idéal : à la sixième ligne, la plupart des gens se contentent de reproduire un schéma de réponse plutôt que de lire.
La solution fiable est d'ordre structurel, et non statistique. Remplacez les échelles d'accord par des échelles spécifiques aux items. Au lieu de demander aux gens s'ils sont d'accord ou non avec l'affirmation "Le processus de paiement est facile", demandez "À quel point le processus de paiement a-t-il été facile ou difficile ?" avec une échelle allant de très difficile à très facile. Il n'y a désormais plus de direction d'accord vers laquelle dévier de manière passive. C'est l'un des choix les plus éprouvés dans la conception de questionnaires : en comparant expérimentalement les deux formats, Saris, Revilla, Krosnick et Shaeffer (Survey Research Methods, 2010) ont découvert que "les réponses aux questions sur échelle d'évaluation d'accord/désaccord étaient en effet de bien moins bonne qualité que les réponses aux questions comparables proposant des options de réponse spécifiques aux items".
Si vous devez absolument conserver une grille, incluez des items inversés de sorte que l'accord signifie le contraire sur certaines lignes, puis vérifiez si chaque répondant a accepté à la fois une affirmation et son image miroir. Ces répondants génèrent du bruit dans vos données, et vous devez décider dès le départ s'il faut les exclure. Gardez les grilles courtes : nous en disons plus sur le moment où elles méritent leur place dans notre guide sur les questions matricielles.
Styles de réponse extrêmes et intermédiaires
Certaines personnes utilisent les extrémités d'une échelle, d'autres ne quittent jamais le milieu, et ces habitudes varient selon la culture et la langue. Cela est particulièrement important dans le cadre d'études multi-marchés : un marché qui évite les extrêmes obtiendra un score structurellement inférieur sur n'importe quel indicateur "top-box", même si le sentiment sous-jacent est identique. C'est aussi pourquoi classer les pays les uns par rapport aux autres sur un score de satisfaction en dit généralement plus sur le style de réponse que sur l'activité réelle.
Suivez chaque marché par rapport à sa propre tendance. Conservez un format d'échelle, un nombre de points et des étiquettes identiques d'une vague à l'autre, car tout changement brise la comparaison. Le guide sur la conception de l'échelle de Likert détaille ces choix de format.
Désirabilité sociale
Les gens orientent leurs réponses vers ce qui les fait paraître raisonnables. Ils sur-déclarent l'exercice physique, le recyclage, la lecture et l'alimentation saine, et sous-déclarent tout ce qui s'apparente à de la négligence. Dans le cadre de recherches sur le personnel, ils sous-déclarent leur insatisfaction lorsqu'ils soupçonnent que leur manager pourrait avoir accès au fichier. En passant en revue les données sur les méthodes d'enquête, Tourangeau et Yan (Psychological Bulletin, 2007) concluent que "les déclarations erronées sur des sujets sensibles sont assez courantes et qu'elles sont largement situationnelles", et que leur ampleur "dépend du fait que le répondant ait ou non quelque chose d'embarrassant à déclarer et des caractéristiques de conception de l'enquête". Les caractéristiques de conception sont la partie que vous contrôlez.
Ce qui aide : formulez l'anonymat en termes concrets plutôt que sous forme de slogan, décrivez exactement ce qui sera rapporté et à qui, posez des questions sur des comportements passés spécifiques plutôt que sur des intentions ou des valeurs, et utilisez des formats d'auto-administration pour les sujets sensibles, car les répondants "modifient les informations qu'ils déclarent pour s'éviter d'être embarrassés en présence d'un enquêteur ou pour éviter les répercussions de tiers" (Tourangeau et Yan, 2007). Lorsque le sujet est réellement délicat, demandez ce que font "les gens comme vous", ce qui donne au répondant le moyen d'être honnête sans s'approprier personnellement la réponse.
Erreur de mémorisation
La mémoire n'est pas une base de données. Lorsqu'on leur demande combien de fois ils ont fait quelque chose au cours de l'année écoulée, les gens estiment une fréquence pour une semaine type et la multiplient, c'est pourquoi les données de fréquence se regroupent autour de chiffres ronds. Les événements rares et récents sont sur-déclarés ; les événements routiniers sont sous-comptabilisés.
Raccourcissez la fenêtre de référence à une période qu'une personne peut réellement reconstituer, généralement les sept derniers jours ou l'occasion la plus récente. Demandez "la dernière fois que vous avez fait cela, que s'est-il passé ?" au lieu de "à quelle fréquence cela se produit-il ?". Référez-vous à des événements plutôt qu'à des dates. Et lorsqu'un chiffre d'enquête et un journal système ne concordent pas, faites confiance au journal.
Liste de contrôle pré-lancement
Exécutez cette liste avant le lancement du questionnaire. Chaque élément corrigé maintenant coûte moins cher qu'après le terrain.
Identifiez qui ne doit pas apparaître dans vos données. Notez par écrit ces groupes exclus. Si l'un d'eux devait répondre différemment, corrigez l'échantillonnage ou mentionnez cette limite dans le rapport.
Lisez chaque question à haute voix. Tout ce qui ressemble à un communiqué de presse est biaisé. Tout ce qui vous oblige à ajouter "enfin, si vous l'utilisez" est une question orientée.
Soumettez le projet à un sceptique. Idéalement, quelqu'un qui s'attend au résultat inverse. Demandez-lui d'identifier les questions dont il pourrait prédire la réponse.
Traquez les questions à double détente. Recherchez dans votre projet les mots "et" et "ou" à l'intérieur du texte des questions.
Remplacez les échelles d'accord ou de désaccord par des échelles spécifiques à l'élément évalué partout où cela est possible.
Aléatorisez l'ordre des options pour chaque liste de plus de quatre éléments, en fixant "autre" et "aucun" tout en bas.
Vérifiez l'ordre des questions pour éviter toute contamination. Le général avant le spécifique, le spontané avant l'assisté, les scores globaux avant d'aborder une question particulière.
Raccourcissez toute période de référence sur laquelle vous ne pourriez pas répondre vous-même avec précision.
Expliquez ce qu'il advient des données. Qui y a accès, sous quelle forme et à quel niveau de regroupement. Faites-le en langage clair, avant la première question.
Réduisez le questionnaire d'un tiers. La longueur génère de la fatigue, la fatigue entraîne des réponses uniformes (straightlining), et ce comportement constitue un biais que vous payez.
Lancez un pré-test (soft-launch) sur 10 % de l'échantillon. Analysez les points d'abandon, les taux de straightlining et les premières réponses ouvertes avant de diffuser le reste.
Après le terrain (Fieldwork) : Ce qu'il faut vérifier
Le biais ne s'annonce pas, mais il laisse des traces.
Comparez votre profil démographique aux données de population connues. Tout écart important révèle un problème de couverture à signaler.
Comparez les répondants de la première heure et les retardataires. L'écart entre ces deux groupes constitue votre meilleure estimation du biais de non-réponse.
Identifiez les straightliners. Des réponses identiques sur toute une grille, ou des temps de complétion très inférieurs à la médiane, signalent les personnes qui ont cessé de lire.
Recoupez les déclarations avec les comportements réels. Comparez l'usage déclaré avec vos propres données de connexion. Un tel écart mesure la désirabilité sociale au sein de votre échantillon spécifique.
Lisez les réponses ouvertes avant les graphiques. Si les verbatims et les chiffres racontent des histoires différentes, ce sont généralement les chiffres qui mentent, car il est bien plus difficile de répondre à un texte ouvert en pilotage automatique.
Ce dernier point est l'habitude la plus utile de cet article. Les réponses ouvertes constituent la piste d'audit de tout ce que vous avez mesuré, c'est pourquoi elles méritent d'être lues et codifiées plutôt que simplement survolées et citées. L'article Comment collecter, coder et restituer les données qualitatives détaille la méthode pour y parvenir correctement.
Lectures complémentaires
Références
Groves, R. M., and Lyberg, L. Total Survey Error: Past, Present, and Future. Public Opinion Quarterly, 74(5), 849-879, 2010.
National Research Council. Nonresponse in Social Science Surveys: A Research Agenda. National Academies Press, 2013.
Saris, W. E., Revilla, M., Krosnick, J. A., and Shaeffer, E. M. Comparing Questions with Agree/Disagree Response Options to Questions with Item-Specific Response Options. Survey Research Methods, 4(1), 61-79, 2010.
Tourangeau, R., and Yan, T. Sensitive Questions in Surveys. Psychological Bulletin, 133(5), 859-883, 2007.
Tversky, A., and Kahneman, D. Judgment under Uncertainty: Heuristics and Biases. Science, 185(4157), 1124-1131, 1974.
Willits, F. K., and Ke, B. Part-Whole Question Order Effects: Views of Rurality. Public Opinion Quarterly, 55(3), 392-403, 1995.
Écoutez la réponse avant de la coder
La majeure partie des biais s'introduit au moment où une question fermée rencontre une personne qui souhaitait exprimer une nuance différente. Les listes fermées imposent un choix ; la nuance n'atteint jamais vos données.
SmartInterview réalise des questionnaires par voix ou texte avec une IA qui pose les questions de relance qu'un bon enquêteur aurait posées, de sorte que les répondants s'expriment avec leurs propres mots au lieu de choisir l'option la moins mauvaise. Ces réponses ouvertes sont ensuite codées sous forme de thèmes quantifiables, et chaque thème reste rattaché aux mots exacts qui l'ont généré, rendant ainsi visible une question biaisée qui serait autrement passée inaperçue.
Lancez une étude en parallèle de votre outil actuel et comparez les deux bases de données question par question.
Commencer gratuitement ou demandez-nous de relire votre questionnaire.
Foire aux questions (FAQ)
Qu'est-ce que le biais de questionnaire ?
Le biais de questionnaire est une erreur systématique qui oriente systématiquement les résultats dans une direction. Il diffère de l'erreur aléatoire sur un point crucial : l'erreur aléatoire diminue à mesure que vous ajoutez des répondants, alors que le biais ne diminue pas. Un questionnaire biaisé avec 5 000 réponses est plus trompeur qu'un questionnaire neutre avec 300 réponses, car la marge d'erreur étroite donne l'illusion de l'autorité à une réponse erronée.
Quel est un exemple de question directive ?
« À quel point notre équipe d'assistance primée vous a-t-elle aidé ? » est doublement directif : « aidé » présuppose qu'une aide a été apportée, et « primée » indique au répondant ce que tout le monde en pense. La version neutre serait « Comment évalueriez-vous le support que vous avez reçu ? » avec une échelle allant de très insatisfaisant à très satisfaisant.
Qu'est-ce que le biais d'acquiescement ?
C'est la tendance à être d'accord avec une affirmation quel que soit son contenu. Il est particulièrement fort dans les longues grilles de type d'accord / pas d'accord, où les répondants fatigués adoptent un comportement routinier. Le moyen le plus efficace d'y remédier est d'arrêter de demander l'accord : utilisez des échelles spécifiques aux items, telles que de « très difficile » à « très facile », de sorte qu'il n'y ait pas de direction d'acquiescement vers laquelle dévier.
Comment éviter les biais dans un questionnaire ?
Analysez qui votre base de sondage exclut, rédigez des questions neutres et faites-les réviser par un tiers sceptique, rendez aléatoire l'ordre des options, placez les questions générales avant les questions spécifiques, concevez un questionnaire court, promettez l'anonymat en termes concrets, et lancez un pré-test (soft-launch) sur une petite partie de l'échantillon afin d'observer l'abandon et les réponses en ligne droite (straightlining) avant le lancement complet sur le terrain.
Un échantillon plus grand réduit-il les biais ?
Non. La taille de l'échantillon ne réduit que l'erreur d'échantillonnage aléatoire. Si les personnes que vous avez interrogées diffèrent systématiquement de la population que vous souhaitez décrire, ou si la formulation de vos questions oriente tout le monde de la même manière, un plus grand nombre de répondants ne fera que reproduire la même distorsion avec des intervalles de confiance plus étroits.
Quelle est la différence entre le biais d'échantillonnage et le biais de non-réponse ?
Le biais d'échantillonnage signifie qu'une partie de la population n'aurait jamais pu être sélectionnée, car elle ne figurait pas sur votre liste. Le biais de non-réponse signifie qu'elle aurait pu être sélectionnée mais a choisi de ne pas répondre, et que les personnes ayant refusé diffèrent de celles qui ont répondu. Le premier est un problème de base de sondage, le second est un problème d'engagement, et ils nécessitent des solutions différentes.
Comment savoir si mes données sont biaisées après la phase terrain ?
Comparez le profil de votre échantillon aux données démographiques connues de la population cible, comparez les répondants de la première heure à ceux qui ont eu besoin de relances, signalez les répondants qui ont répondu en ligne droite (straightlining) ou qui ont terminé de manière anormalement rapide, et vérifiez les comportements déclarés par rapport aux journaux système dont vous disposez. Si les réponses ouvertes contredisent les graphiques, fiez-vous d'abord aux Verbatims.
