22 erreurs à éviter dans la conception d’un questionnaire en ligne (2/2)

question2-large_thumb1

http://bitly.com/biaisquest.qrcodeSuite et fin de notre article en 2 parties sur le sujet des “biais de questionnement”. Voici les erreurs de conception 11 à  22 étapes, à éviter à tout prix lors de la conception de son questionnaire en ligne.

note : pour rassembler les 2 parties, cliquer sur le QR code, le scanner ou taper http://bit.ly/biaisquest

Biais N°11 : QCM avec recoupements

voici un exemple de recoupements mal formulés :

a. 1 heure et moins
b. 1-3 heures
c. 3 heures et plus

il vaut mieux remplacer cette échelle par :

a. moins d’1 heure
b. de 1 heure à 3 heures (inclus)
c. plus de 3 heures

Biais n° 16 : éviter les questions “cactus” – photo antimuseum.com 

Biais N°12 : L’ordre des questions est très important

Surtout si votre questionnaire contient des filtres. Des biais peuvent être induits par l’ordonnancement des questions. Ce que je vois notamment souvent, c’est une question qui demande un avis avant une autre qui demande si le répondant connaît le sujet. Pas évident de répondre sur quelque chose que vous ne connaissez pas, non ? Dans ce cas le répondant répondra n’importe quoi à la première question pour ne pas paraître idiot, et s’il ne veut pas paraître incohérent, il déclarera qu’il connaît le sujet lors de la deuxième question. Dans un cas, quand vous croiserez les réponses, vous vous retrouverez avec une incohérence, ou une réponse fausse.

Biais N°13 : Distinguer questions factuelles & d’opinions

Il ne pas mélanger les 2 sujets dans une même question. Ce sont des questions “zeugma” du style “mangez-vous du chocolat et est-ce que vous trouvez ça bon ?” … Alors je réponds quoi à votre question monsieur le sondeur ??? Pas simple.

Biais N°14 : Questions ouvertes & fermées

question-smallEn “quanti”, il faut privilégier les questions fermées au maximum. Les questions ouvertes sont plus difficiles à quantifier et nécessitent une opération de regroupement intermédiaire assez longue. En outre, en moyenne, 4 réponses sur 10 à une question ouverte sont considérées comme inappropriées (statistique non brevetée SGDG, mais basée sur l’expérience) … mais, car il y a un mais …

… mais il faut toujours laisser une place pour une zone de commentaires libres (ou plusieurs si nécessaire) afin de laisser le questionné s’exprimer. Ceci est indispensable dans toutes les formes de questionnaires auto-administrés. Ceci permet aussi de s’apercevoir de certaines incohérences dans la formulation de ses questions, lorsque le répondant a pataugé car il ne l’a pas comprise. Bien-sûr, il vaut mieux patauger au moment du prétest, mais là encore, la pratique montre que c’est souvent l’inverse qui est fait.

Attention, sur Internet, les internautes utilisent les questions ouvertes comme un forum. Ils se peut qu’ils attendent également des réponses rapides et personnalisées de votre part. Notamment quand ils expriment des mécontentements. Le bon marketeur consciencieux se mettra en rapport avec le service client ; bien-sûr, tout le monde fait ça, c’est bien connu.

Biais N°15 : Eviter les réponses imposées (=> case « sans opinion »)

Si un problème n’évoque rien pour l’interviewé, celui-ci sera tenté de répondre au hasard pour ne pas paraître idiot. Ne jamais oublier la case « ne sait pas » ou « sans opinion » qui donne à l’interviewé une porte de sortie honorable.

Cette case est souvent éludée par les apprentis sondeurs qui ont peur de montrer des réponses NSP à leurs commanditaires ; c’est une grosse bêtise, car il vaut mieux un vrai NSP qu’une fausse réponse à une mauvaise question. Là encore, personne ne fait jamais cela dans la réalité.. bien-entendu.

Biais N°16 : Eviter les mots impliquants

par exemple : « Avez-vous peur du bruit dans votre résidence »

devillish-iconCette question implique un sentiment fort et une réaction de la part de l’interviewé : exemple de réaction possible : « je ne veux pas que l’on voie que j’ai peur, alors je vais répondre … » ou l’inverse : “le monde est de plus en plus dangereux etc. etc.” comme au café du commerce, il est vrai que certains d’entre nous qui n’ont pas encore coupé le bouton de la TV sont particulièrement conditionnés.

Par ailleurs, le terme de bruit est trop vague pour désigner les nuisances sonores (terme plus édulcoré mais dont il faudra s’assurer de la compréhension dans le pré-test, voire qualifier, en différents types : discussions des voisin, bruits de la circulation, moteurs des avions …)

Il vaut mieux dans ce cas retourner la question :

par exemple : « Comment qualifieriez-vous l’impact des nuisances sonores sur votre vie dans la résidence xxx ? »

  1. impact très fort
  2. impact plutôt fort
  3. etc. maintenant vous connaissez les options (voir 1/2)

Biais N°17 : Préserver l’anonymat des réponses

C’est une obligation légale régie par la CNIL (en France), elle-même régie par une réglementation européenne de plus en plus contraignante (directive de 95 révisée en 2001, il y a sans doute eu du nouveau depuis, mais bon … il y a peut-être assez de réglementations comme cela, il serait peut-être mieux de les respecter).

Ne pas rassurer les interviewés sur ce point implique en outre que vous risquez d’induire des comportements de défense.

Biais N°18 : Proposer plusieurs modalités de réponses & « autres à préciser »

exclamation-smallPlus il y a de choix possibles, moins les réponses des interviewées seront biaisées, mais trop de choix tue le choix car il crée l’embarras. Il faut donc se limiter aux choix les plus importants en laissant les autres pour la case « autres à préciser ». Le prétest vous aidera à choisir les options les plus importantes. Une petite astuce que j’aime bien : dans Surveymonkey (par exemple), j’utilise l’option de lotterie pour présenter les choix dans un ordre aléatoire afin de minimiser les l’impact de l’emplacement des choix dans la liste.

La case « autres à préciser » est souvent omise dans les questionnaires mal conçus, et Dieu sait qu’il y en a ! Elle permet pourtant de se garantir des oublis qu’il n’est jamais possible d’écarter totalement dans un questionnaire, surtout lorsqu’on ne connaît pas toutes le réponses possibles (et vous ne les connaissez pas puisque vous questionnez les clients ! CQFD).

Biais N°19 : Les doubles négations

par exemple : « Ne pensez-vous pas qu’il est impossible que … »

à remplacer par « pensez-vous qu’il est possible que …”

… à défaut, vous risquez de générer incompréhension et biais négatifs.

Biais N°20 : Les filtres

Il est inutile de garder les répondants indésirables qui sont nombreux sur l’Internet, sauf si vous travaillez à partir d’un access panel et d’un fichier connu. Dans le cas d’un questionnaire ouvert, les répondants sont tout le monde et n’importe qui. Un des moyens de vous débarrasser des surfeurs arrivés sur votre questionnaire par hasard est de les filtrer dès le début. Vous pourrez ainsi les éliminer par un tri croisé assez facilement. Un branchement vous permettra de les évacuer élégamment en leur disant merci Sourire

Biais N°21 : Echelles inversées

par exemple : « de 1 à 5 (de + facile à + difficile) » et de « 1 à 5 (de – favorable à + favorable) » etc.

Il faut toujours utiliser le même ordre de progression à l’intérieur d’un même questionnaire. Et aussi toujours utiliser le même nombre de choix dans une échelle. Enfin,  il faut répéter le plus possible dans le tableau les significations de l’échelle afin de ne pas obliger l’interviewé à se reporter à une légende.

Cela paraît encore un enfoncement de portes ouvertes, mais regardez les questionnaires que vous recevez, et vous verrez que cette erreur est souvent commise, surtout celle qui consiste à noter dans un sens (du – vers le + de gauche à droite), puis dans un autre (idem mais de droite à gauche !).

Biais N°22 : Explications sur les questions complexes

network-smallUn questionnaire auto-administré livre l’interviewé à lui-même, c’est même son principe de base. Il est possible de reproduire sur l’écran le principe de la carte explicative utilisé dans les questionnaires en face à face ou postaux, grâce à l’introduction d’images dans les question. Or je remarque que les possibilités du html sont peu utilisées dans les questionnaires en ligne.

Biais N° 23 : éliminez les experts Marketing et en études de marché

Comme dans les DVD, sur Visionary Marketing vous avez toujours le droit à un bonus. Chaque fois que je suis interrogé, j’attends avec impatience cette question de filtre dès le départ : “êtes-vous un professionnel du marketing ?”

Et  force de constater que tous ne la posent pas. Ne pas éliminer les experts vous expose à encore plus de biais, de la part de professionnels qui passeront plus de temps à décoder vos questions qu’à y répondre en toute franchise, qui s’amuseront (c’est mon cas) à compter le nombre de biais par minute et qui … cerise sur le gâteau, seront éventuellement intéressés à grapiller des informations pour la concurrence …

A bon questionneur, salut !

0 thoughts on “22 erreurs à éviter dans la conception d’un questionnaire en ligne (2/2)

  1. Pingback: 22 erreurs à éviter dans la conce...

  2. Pingback: Tutos / Astuces internet/bureautiques | Pearltrees

  3. S’il n’y avait qu’une règle à mettre en évidence, c’est bien la 14 : privilégier les question fermées. Les internautes ne prennent pas le temps d’écrire, sauf s’ils sont mécontents. Il faut un maximum de questions ouvertes avec des cases à cocher ou des choix multiples, afin de leur simplifier la tache et la durée du questionnaire.

    • Merci de votre commentaire.

      Ceci dépend de votre auditoire.

      Les « internautes » sont bien nombreux aujourd’hui. En fait, ils sont de plus plus en plus proches de monsieur tout le monde. Et si les questions sont bien posées les verbatims sont souvent très intéressants si vous arrivez à les gérer. Enfin les utilisateurs b2b adorent les commentaires. Et ils sont souvent très intéressants.

      Last but not least, un des biais les plus importants que l’on rencontre fréquemment, ce sont les questionnaires au contraire trop fermés alors que le terrain n’a pas été suffisamment sondé, comme on le faisait dans le temps, par du quali avant le quanti. C’est une erreur qui amène beaucoup de biais et qu’il convient de corriger.

      En résumé, je ne suis pas vraiment d’accord avec votre commentaire. Ou plus exactement je le nuance.

  4. Pingback: Entreprise-Marketing.fr » Blog Archive » 22 erreurs à éviter dans la conception d’un questionnaire en ligne (2/2)

  5. Pingback: boite à outils | Pearltrees

  6. Pingback: Enquête questionnaire... | Pearltrees

Votre avis nous intéresse :