07/16/13

Mieux que le big data … améliorer l’expérience client (interview Marketforce)

ideoshoppingcartLes clients mystère, ça n’a rien de nouveau ; cette technique marketing date même des années 40. Elle fut donc utilisée avant même que le terme « marketing » ait été inventé. Cependant, MarketForce, une entreprise américaine avec des bureaux à Londres, et plus récemment en France et en Espagne, a commencé à révolutionner la façon dont les enquêtes clients mystère étaient réalisées, grâce au recours au Crowdsourcing et à l’utilisation intensive du marketing digital.

Marketforce met à disposition de ses clients un logiciel dans un modèle SaaS, sur lequel ceux-ci peuvent ordonner et consulter leurs données marketing en temps réel. Ceci, en soi, est dans le ton de ce qui se voit un peu partout avec les logiciels qui se développent ici et là dans le big data, et n’a rien d’extrêmement innovant. Mais il y a un domaine dans lequel Marketforce est certainement allé plus loin que les autres entreprises qui ont surfé sur la vague big data, c’est la manière dont ils collectent les données elles-mêmes. En effet, une grande partie de la qualité du résultat qui sort des instruments de big data revient finalement à la façon dont l’information est collectée originellement. Comme le dit le vieux proverbe des informaticiens : « garbage in, garbage out ».

Il faut noter par ailleurs, qu’il y a quelque chose d’un peu naïf dans cette folie big data du moment, qui tend à faire croire qu’un logiciel seul pourrait résoudre comme par miracle les problèmes marketing des entreprises, avec au premier chef, la gestion de la relation clients, juste en pressant un bouton. Avant toute chose, la qualité des données et un objectif clair sont requis. C’est définitivement dans cette voie que Marketforce a réalisé l’intégration d’une chaîne complète depuis la collecte des données jusqu’à leur livraison. En fait, on pourrait dire que l’entreprise américaine es autant un cabinet de recherche marketing qu’une start-up du big data, et c’est cela qui fait qu’elle sort du lot, avec une stratégie qu’on pourrait presque qualifier de « Blue Ocean ».

Janet Eden Harris et  Simon Boydell qui ont répondu à nos questions à Paris

Mais avant tout, ils utilisent intensivement les techniques de marketing digital (marketing automation, marketing de l’affiliation, etc.) de façon à recruter de véritables clients consommateurs qui les aident dans la collecte des données au sein de leurs études.

image

Alors que l’entreprise américaine vient de s’établir en France et dans le reste de l’Europe, où le service client est traditionnellement mauvais pour le pas dire désastreux, marketforce fournit un cas d’école à propos des stations-service françaises (voir l’étude 2013 sur les stations-service) qui montre le niveau de satisfaction ds clients, pas aussi évident qu’on pourrait croire, même pour un service aussi basique. Comme ils le disent eux-mêmes dans l’interview, « un service acceptable, n’est pas suffisant » et on espère, que cette étude, et le service que fournit marketforce, sera d’un grand secours à nos entreprises européennes afin qu’elles changent la façon dont elles servent leurs clients, ce qui à son tour leur permettra de traverser la crise plus ou moins sans encombre.

Voyons donc plus en détail cette offre avec Simon Boydell et Janet Eden Harris de marketforce, que j’ai interviewés à Paris il y a quelques semaines*.

mysteryshopper copy

dessin par antimuseum.com

avec Janet Eden Harris, CMO & SVP Strategy at Market Force Information et Simon Boydell, Global Marketing Manager chez Market Force Information

Marketforce, qu’est-ce que c’est ?

Janet : notre solution permet aux grands distributeurs d’améliorer leur business, en se focalisant sur la satisfaction de leurs clients et l’expérience qui leur offrent en magasin.

Simon : notre cible sont les distributeurs, les fournisseurs de services de loisirs et hôtels cafés restaurants, en bref tout type de business qui a un contact avec des consommateurs au travers de tous les canaux de communication. Il n’y a pas que l’expérience en magasin qui est concernée, nous traitons aussi de la relation client en ligne, au travers des call Centers, nous pouvons collecter des données relatives à l’expérience client sur tous les canaux.

Un modèle SaaS : la plate-forme knowledge force

Simon : notre plate-forme de connaissance client Knowledge force est le point d’accès central pour tous nos clients. Une fois identifié, chaque client obtient un accès sur-mesure et individuel au site de façon à consulter ses  résultats en temps réel de telle façon qu’il peut savoir comment les clients perçoivent l’offre du commerçant. Cela ressemble un peu à un modèle SaaS, mais c’est aussi assez différent des autres systèmes de CRM qu’on trouve sur le marché. Toutes les informations sont produites et mises à disposition sur les différents terminaux ; vous pouvez ainsi vous identifier et voir vos tableaux de bord; pas seulement un ensemble de tableaux de bord prédéfinis, mais aussi des instruments personnalisés que vous pouvez créer vous-même et produire sur la plate-forme, de façon à recouper les informations et les analyser à votre guise.

La collecte de données : depuis les clients mystère jusqu’aux médias sociaux

Simon : nous avons 600 000 véritables consommateurs en ce moment, qui sont donc capables de réaliser des visites mystère pour nous et nous renseigner sur leur expérience client, et nous pouvons coupler ça avec des études de satisfaction sur tous les professionnels que nous mesurons. Toutes ces informations viennent nourrir la plate-forme et nos clients peuvent voir directement les résultats sur l’écran, en temps réel, de façon à ce qu’ils gardent puissent mesurer le pouls de la satisfaction de leurs consommateurs en permanence.

Janet : nous pouvons aussi récupérer les données des médias sociaux et les recouper avec les données qui viennent d’autres sources, d’autres fournisseurs de données et même des données financières propres à nos clients que nous pouvons croiser et rassembler.

Assurer la validité des données

Janet : la façon dont nous procédons tient beaucoup à la localisation des  points de vente de façon que, si je suis le gérant d’un de ces points de vente, je peux en consulter les données de satisfaction client et croiser ces données avec d’autre données en provenance des visiteurs mystère et aussi les commentaires dans les médias sociaux. Ainsi, je peux prendre des décisions, car je peux comprendre ce qui va bien mais aussi ce qui va moins bien et que j’ai besoin d’améliorer.

Recruter de véritables consommateurs

Simon : ce n’est pas toujours facile, mais la façon dont on s’en sort tient beaucoup à l’optimisation de notre site Web en termes de référencement naturel dans les moteurs de recherche ; ensuite, nous avons un certain nombre de projets avec beaucoup d’autres sites Web qui permettent d’impliquer beaucoup de consommateurs qui cherchent à vivre une expérience client différente et également recevoir une rétribution alors qu’ils continuent à consommer dans les endroits qu’ils privilégient.

Cette rétribution correspond à un très faible montant, cela permet à ses consommateurs de sortir gratuitement, et de se rembourser, par exemple, un repas au restaurant.

Le Royaume-Uni, la France et l’Espagne

Simon : nous sommes au Royaume-Uni depuis 2003 et nous avons ouvert un bureau à Paris, nous en avons également un à Madrid. La décision de s’installer ici ou là dépend beaucoup des opportunités de business. Nous pensons que nous devons venir soutenir les entreprises en France de façon à ce qu’elles comprennent mieux leurs clients car dans le climat économique d’aujourd’hui, la fidélité client est d’une importance capitale ; et nous pensons que les informations que nous vous pouvons fournir aux entreprises leur permettront d’améliorer cette fidélité, et d’améliorer aussi la façon dont ils travaillent afin de développer leurs ventes.

Le cas d’école sur les stations essence en France : « un service acceptable n’est pas suffisant ! » (Voir l’étude sur les stations essence en France en 2013)

Simon : nous avons récemment entrepris une étude sur un panel de façon à obtenir des retours sur l’expérience client dans les stations essence en France et nous partageons cette étude sur le Web en ce moment. Ceci permet de souligner que les consommateurs ont des stations préférées, mais pas seulement ;  il y a aussi des raisons qui font que ces consommateurs se rendent dans cette station plutôt que telle autre, et que ces décisions qui sont prises par ces consommateurs dans ces stations sont aussi autant de chances pour les commerçants de comprendre en quoi leur qualité de service est acceptable ou non. Ce que l’étude a démontré, c’est qu’ « une qualité de service acceptable n’est pas suffisante ! »

image

Expérience client en Europe ? Comme le disait mon vieux prof de maths… « Peut mieux faire ! » (Extrait de l’étude sur les stations essence)

Cette étude fut entreprise auprès de 1500 consommateurs dans toute la France, avec une répartition représentative en termes d’âge, de sexe et d’origine géographique ; toutefois, chaque étude est spécifique, notamment du secteur dans lequel elle s’opère.

retours d’expérience

Simon : l’impact que la satisfaction peut avoir sur les consommateurs et leur propension à recommander un commerçant est un point de vigilance pour les commerçants. Un score de 4/5 est très différent d’un score de 5/5.

L’expérience client

Le prix et la proximité vont toujours être importants, cela est compréhensible, mais il y a aussi le service que les clients reçoivent dans les stations ; l’amabilité du commerçant et l’efficacité de ce service ont toujours un impact très important sur les consommateurs ; quand les clients sont surpris agréablement par l’amabilité et l’efficacité du service, cela change profondément leur expérience client.

À propos de l’entreprise : une stratégie « blue ocean »

Notre ambition est d’aider les entreprises françaises à améliorer le service qu’ils offrent à leurs clients. Nous avons certainement des intentions de nous développer, car nous pensons que nous notre offre est très attractive pour nos cibles. En termes de concurrence, nous n’avons pas un seul concurrent direct, nous en avons plusieurs au travers des différentes disciplines et méthodologies que nous utilisons. Nous avons certainement pour intention de grossir et d’investir ici en France, et nous avons pour but de développer cette équipe rapidement car nous pensons qu’il y a possibilité de prolonger ici le succès que nous avons eu dans d’autres pays. Marketforce emploie aujourd’hui 450 personnes dans le monde, et 156 en Europe, sa croissance est rapide.

Janet : notre chiffre d’affaires est d’environ 60 millions de dollars en ce moment.

*Note : cette interview a survécu au vol de tout mon matériel de travail le 2 juillet 2013, y compris mon carnet avec toutes mes notes de l’interview. J’ai donc reconstitué cette interview de mémoire en réutilisant le podcast que j’avais enregistré pour l’occasion et fort heureusement sauvegardé.

06/5/13

études de marché : méthode du questionnaire en 12 points

question2-largeElaborer un questionnaire nécessite que l’on suive quelques règles, de façon à éviter les biais classiques qui sont générés par une insuffisance méthodologique.  J’ai déjà, dans un chapitre précédent, traité des 22 biais possibles dans un questionnaire, mais il manquait encore la check-list, un outil simple et facile d’accès qui va vous permettre de construire votre questionnaire. La voici donc, en 12 points, cette méthode éprouvée, que je remets à jour régulièrement depuis quelques décennies, et qui est toujours applicable.

Ce que je désire livrer ici est une simple liste de contrôle, un fil rouge véritablement utile pour la conduite d’une étude Marketing. La plupart du temps, ces principes simples -terre-à-terre – sont laissés de côté.

Etape 1: Objectifs

  • Décrivez les objectifs de votre enquête en quelques points.  Evitez d’accumuler les objectifs. 2 à 3 points principaux sont un maximum pour une bonne enquête.  Bien que cela puisse sembler un peu restrictif, il est très probable que vos interviewés ne soient pas capables d’en supporter beaucoup plus (avec l’exception des enquêtes très spécialisées du domaine « business-to-business », et encore …) ;
  • Omettre de décrire votre objectif vous fera perdre de vue le but premier de votre enquête et les conséquences sur votre questionnaire en termes de longueur, de justesse et d’ordre d’apparition des questions seront fâcheuses.

photo antimuseum.com

Etape 2: Population

  • Définir la population totale de votre enquête ;
  • Faites correspondre cette définition avec l’objectif établi lors de l’étape 1, c’est-à-dire, que celui-ci ne doit être ni trop large ni trop étroit ;
  • Un biais fréquent consiste à interviewer un échantillon non pertinent à l’intérieur d’une enquête et de le mélanger au reste, noyant ainsi les résultats et faisant perdre de la pertinence à votre étude. Il faut au contraire filtrer les personnes non-pertinentes dès le départ et éviter de les mélanger au reste de la population.

Etape 3: Pré-enquête

  • Attention, une pré-enquête n’est pas un pré-test !
  • Il ne faut jamais la négliger,  or il n’est pas rare que pour gagner du temps on passe allègrement cette étape. C’est une erreur, qui coûtera cher, soit car vous devrez refaire l’enquête, soit du fait de résultats seront peu lisibles ;
  • Mener la pré-enquête sur quelques individus concernés par votre étude, ceci vous permettra d’établir des hypothèses. Personnellement, j’aime bien démarrer une étude quanti par un quali sur 10-12 personnes (la courbe d’expérience est à 12) ce qui me permet de poser de bonnes hypothèses de travail que je vais ensuite quantifier. C’est un peu scolaire, mais tellement logique … ;
  • Eviter les préjugés (les vôtres ou ceux de vos clients) qui pourraient induire des conclusions hâtives avant même le début de l’enquête. Toute conclusion préliminaire est une hypothèse et toute hypothèse doit être vérifiée sur le terrain. Les surprises sont souvent nombreuses.

Etape 4: Hypothèses

  • Une fois identifiées, ces hypothèses vont vous servir de base pour votre étude ;
  • Formuler clairement les points (en fonction de l’étape 1), que vous désirez confirmer, clarifier, voire même infirmer,
  • Ne pas filtrer ces hypothèses selon vos préjugés personnels, c’est-à-dire, éviter les attitudes du genre « Je n’ai pas besoin de vérifier ce point car je pense que,… » à moins que vous ayez déjà en votre possession des faits sur le phénomène concerné.

Etape 5: Rédaction des Questions

  • Rédiger les Questions de façon …Compréhensible, non tendancieuse, non suggestives
  • N’impliquant pas des réflexions de défense de la part des interviewés
  • En évitant les circonlocutions et les répétitions qui risquent d’engendrer de la lassitude de la part de l’interviewé.

Etape 6: Type de Questionnaire

Il est certain que depuis au-moins 13 ans je ne fais plus grand-chose d’autre que des questionnaires en ligne, ce qui est un peu normal du fait de mes responsabilités durant cette période.  Il n’empêche que le questionnaire par enquêteur existe encore et a une utilité certaine lorsqu’il faut aller chercher le répondant sur un lieu précis (comme un salon par exemple) ce qui va de ce fait être très économique. Le questionnaire par téléphone est aussi en vogue, notamment en quali, comme cela a été le cas avec l’enquête en cours avec Ipsos sur les boss qui tweetent dans le cadre de la prochaine conf. Media Aces (en partenariat exclusif avec les Echos). Bref, si Internet a pris une place considérable, que ce soit en questionnaire en ligne sur site, ou en direct  (ex : sondages polltogo) ou via des access panels ciblés, d’autres formes de sondage existent qu’il ne faut pas négliger.

Rappelons aussi l’actualité du face  à face en qualitatif, nous y reviendrons plus tard. Le Fax peut quant à lui être abandonné, sauf exception exceptionnelle.

Etape 7 : adaptation du questionnaire au pré-test

Le pré-test c’est une étape IN DIS PEN SABLE ! Même en le mettant en gras et en capitales, j’en connais qui en profiteront pour passer au point suivant. Mon conseil d’ami est de commencer par se mettre soi-même dans les conditions de l’enquêté. Cela est un bon exercice d’empathie et permet de corriger 80% des erreurs évidentes de biais, de logique (branchements de questions) et de formulation. Ensuite, il faut trouver une dizaine de répondants autour de vous (moins si le questionnaire est très simple) et les mettre dans une situation d’enquête. La plupart du temps, les pré-testeurs sont ravis de se prêter à ce jeu-là alors il ne faut pas s’en priver.

Ma check-list  essentielle pour cette étape :

  • Adapter les questions en fonction du Pré-test ;
  • Modifier la place des questions en fonction du pré-test ;
  • Supprimer les questions inutiles ;
  • réintégrer les questions oubliées ;
  • Si des cartes (ou des images en lignes) doivent être montrées aux interviewés, s’assurer que leur contenu est cohérent à celui trouvé dans le questionnaire ;
  • Pré-tester sur des individus significatifs de la population, cela vous permettra aussi de critiquer le questionnaire sur le fond.

Etape 7: Echantillonnage

  • Déterminer l’échantillon représentatif ;
  • Donner une taille suffisante à l’échantillon (des méthodes de mesure des pourcentages d’erreur peuvent être utilisées) ;
  • Attention ! un questionnaire biaisé sur un échantillon large est moins intéressant qu’un questionnaire neutre appliqué sur 150 personnes. Le seul critère de la taille et de la représentativité de l’échantillon ne suffit pas ; mais c’est un point de passage obligé.

Etape 8: Qualité de l’administration

  • Administrer les questions de façon neutre (relations enquêteur/enquêté) .  C’est-à-dire en empêchant les enquêteurs / ou les formulations des phrases en auto-administré n’introduisent des biais
  • Cela implique que les enquêteurs soient formés ou qu’ils soient choisis dans un pool de « professionnels ».  Dans tous les cas, une séance de débriefing, claire, précise et exhaustive doit avoir lieu ;
  • Prévoir les modalités de réexpédition s’il s’agit d’un questionnaire auto-administré ; les outils en ligne permettent les relances des non répondants.

Etape 9: Non réponses

  • Tenir compte des non réponses (taux de réponses).  Ne pas les considérer comme non importantes.  Elles sont un bon indicateur de la qualité de votre questionnaire (en autres choses, notamment si vous avez promis un beau cadeau aux répondants !) ;
  • Il est des cas où les non réponses sont au contraire très importantes. Prenons un cas récent où j’invitais une population interne de 250 top managers dans une entreprise. Un peu moins de 200 réponses furent obtenues après 2 relances. En conséquence nous avons lancé une relance téléphonique avec un semi quanti afin de comprendre pourquoi nous n’avons pas eu assez de réponses : les non réponses sont à l’évidence le signe d’un manque d’intérêt porté au sujet de la conférence. Il faut donc creuser pour savoir pourquoi, ce qui est une indication plus précieuse que les simples avis de la minorité qui s’est exprimée.

Etape 10: Interprétation

  • Les chiffres ne veulent rien dire tant qu’on ne les a pas croisés, analysés, remis en cause et … critiqués ;
  • Il n’est pas rare de devoir pousser plus loin l’analyse en complétant son étude au fur et à mesure. Le meilleur dispositif étant l’étude en continu, notamment sur les sites Web. J’ai mené ce genre de benchmarks de sites, avec des instituts, on par moi-même, pendant de nombreuses années et à de nombreuses reprises. Il existe des limitations et des critiques importantes, mais il faut insister sur l’importance de ces benchmarks pour se confronter au terrain et s’améliorer.

Etape 11: Analyse

  • Analyser complètement les réponses (éviter l’analyse sommaire)  ;
  • Si le questionnaire le permet, et que l’échantillon est assez grand, livrez-vous à des analyses croisées, souvent riches d’enseignement (croisement entre les réponses à la question X et Y) ;
  • Les études mal faites multiplient les objectifs et les questions posées, en provoquant les réponses redondantes et donc biaisées. Les bonnes études restent courtes, leurs questions sont pesées méticuleusement et neutres, et la richesse du questionnaire vient de son analyse et notamment des analyses croisées. Remplir des feuilles de question peut éventuellement vous rassurer et rassurer votre client, mais c’est une mauvaise approche ;
  • Ne pas extrapoler sur la population entière de façon abusive.

Etape 12: Rapport

  • Commencer son rapport par la note de synthèse “résumé de direction” ;
  • Rédiger un rapport qui exploite de façon exhaustive les résultats, et placer cette analyse derrière le résumé de direction ;
  • Rédiger le rapport en évitant les conclusions tendancieuses, étayer ces conclusions par des chiffres et des analyses. Méfiez-vous notamment des jolies infographies qui permettent de manipuler les résultats ou faire passer des idées fausses ;
  • Minimiser les a priori, ne pas hésiter à poser des hypothèses à confirmer dans une étude ultérieure ;
  • Eviter les conclusions « politiquement correctes » qui font plaisir à tout le monde mais ne reflètent pas la réalité du produit/marché/des clients … ;
  • Mentionner les résultats bruts et les statistiques (les 2 sont utiles) ;

Un rappel utile : la qualité d’un questionnaire dépend d’abord de la qualité de sa formulation, mais aussi et surtout de tout un ensemble de facteurs humains, qui ne peuvent trouver de place dans une liste de contrôle. Il conviendra donc au marketeur soucieux de respect méthodologique, de rester vigilant sur la formulation orale et la tonalité associée aux questions dans le cas d’un face à face, et à la formulation écrite lorsqu’il s’agit d’un questionnaire auto-administré (cf. ma liste de biais possibles).

05/16/13

22 erreurs à éviter dans la conception d’un questionnaire en ligne (2/2)

question2-large_thumb1

http://bitly.com/biaisquest.qrcodeSuite et fin de notre article en 2 parties sur le sujet des “biais de questionnement”. Voici les erreurs de conception 11 à  22 étapes, à éviter à tout prix lors de la conception de son questionnaire en ligne.

note : pour rassembler les 2 parties, cliquer sur le QR code, le scanner ou taper http://bit.ly/biaisquest

Biais N°11 : QCM avec recoupements

voici un exemple de recoupements mal formulés :

a. 1 heure et moins
b. 1-3 heures
c. 3 heures et plus

il vaut mieux remplacer cette échelle par :

a. moins d’1 heure
b. de 1 heure à 3 heures (inclus)
c. plus de 3 heures

Biais n° 16 : éviter les questions “cactus” – photo antimuseum.com 

Biais N°12 : L’ordre des questions est très important

Surtout si votre questionnaire contient des filtres. Des biais peuvent être induits par l’ordonnancement des questions. Ce que je vois notamment souvent, c’est une question qui demande un avis avant une autre qui demande si le répondant connaît le sujet. Pas évident de répondre sur quelque chose que vous ne connaissez pas, non ? Dans ce cas le répondant répondra n’importe quoi à la première question pour ne pas paraître idiot, et s’il ne veut pas paraître incohérent, il déclarera qu’il connaît le sujet lors de la deuxième question. Dans un cas, quand vous croiserez les réponses, vous vous retrouverez avec une incohérence, ou une réponse fausse.

Biais N°13 : Distinguer questions factuelles & d’opinions

Il ne pas mélanger les 2 sujets dans une même question. Ce sont des questions “zeugma” du style “mangez-vous du chocolat et est-ce que vous trouvez ça bon ?” … Alors je réponds quoi à votre question monsieur le sondeur ??? Pas simple.

Biais N°14 : Questions ouvertes & fermées

question-smallEn “quanti”, il faut privilégier les questions fermées au maximum. Les questions ouvertes sont plus difficiles à quantifier et nécessitent une opération de regroupement intermédiaire assez longue. En outre, en moyenne, 4 réponses sur 10 à une question ouverte sont considérées comme inappropriées (statistique non brevetée SGDG, mais basée sur l’expérience) … mais, car il y a un mais …

… mais il faut toujours laisser une place pour une zone de commentaires libres (ou plusieurs si nécessaire) afin de laisser le questionné s’exprimer. Ceci est indispensable dans toutes les formes de questionnaires auto-administrés. Ceci permet aussi de s’apercevoir de certaines incohérences dans la formulation de ses questions, lorsque le répondant a pataugé car il ne l’a pas comprise. Bien-sûr, il vaut mieux patauger au moment du prétest, mais là encore, la pratique montre que c’est souvent l’inverse qui est fait.

Attention, sur Internet, les internautes utilisent les questions ouvertes comme un forum. Ils se peut qu’ils attendent également des réponses rapides et personnalisées de votre part. Notamment quand ils expriment des mécontentements. Le bon marketeur consciencieux se mettra en rapport avec le service client ; bien-sûr, tout le monde fait ça, c’est bien connu.

Biais N°15 : Eviter les réponses imposées (=> case « sans opinion »)

Si un problème n’évoque rien pour l’interviewé, celui-ci sera tenté de répondre au hasard pour ne pas paraître idiot. Ne jamais oublier la case « ne sait pas » ou « sans opinion » qui donne à l’interviewé une porte de sortie honorable.

Cette case est souvent éludée par les apprentis sondeurs qui ont peur de montrer des réponses NSP à leurs commanditaires ; c’est une grosse bêtise, car il vaut mieux un vrai NSP qu’une fausse réponse à une mauvaise question. Là encore, personne ne fait jamais cela dans la réalité.. bien-entendu.

Biais N°16 : Eviter les mots impliquants

par exemple : « Avez-vous peur du bruit dans votre résidence »

devillish-iconCette question implique un sentiment fort et une réaction de la part de l’interviewé : exemple de réaction possible : « je ne veux pas que l’on voie que j’ai peur, alors je vais répondre … » ou l’inverse : “le monde est de plus en plus dangereux etc. etc.” comme au café du commerce, il est vrai que certains d’entre nous qui n’ont pas encore coupé le bouton de la TV sont particulièrement conditionnés.

Par ailleurs, le terme de bruit est trop vague pour désigner les nuisances sonores (terme plus édulcoré mais dont il faudra s’assurer de la compréhension dans le pré-test, voire qualifier, en différents types : discussions des voisin, bruits de la circulation, moteurs des avions …)

Il vaut mieux dans ce cas retourner la question :

par exemple : « Comment qualifieriez-vous l’impact des nuisances sonores sur votre vie dans la résidence xxx ? »

  1. impact très fort
  2. impact plutôt fort
  3. etc. maintenant vous connaissez les options (voir 1/2)

Biais N°17 : Préserver l’anonymat des réponses

C’est une obligation légale régie par la CNIL (en France), elle-même régie par une réglementation européenne de plus en plus contraignante (directive de 95 révisée en 2001, il y a sans doute eu du nouveau depuis, mais bon … il y a peut-être assez de réglementations comme cela, il serait peut-être mieux de les respecter).

Ne pas rassurer les interviewés sur ce point implique en outre que vous risquez d’induire des comportements de défense.

Biais N°18 : Proposer plusieurs modalités de réponses & « autres à préciser »

exclamation-smallPlus il y a de choix possibles, moins les réponses des interviewées seront biaisées, mais trop de choix tue le choix car il crée l’embarras. Il faut donc se limiter aux choix les plus importants en laissant les autres pour la case « autres à préciser ». Le prétest vous aidera à choisir les options les plus importantes. Une petite astuce que j’aime bien : dans Surveymonkey (par exemple), j’utilise l’option de lotterie pour présenter les choix dans un ordre aléatoire afin de minimiser les l’impact de l’emplacement des choix dans la liste.

La case « autres à préciser » est souvent omise dans les questionnaires mal conçus, et Dieu sait qu’il y en a ! Elle permet pourtant de se garantir des oublis qu’il n’est jamais possible d’écarter totalement dans un questionnaire, surtout lorsqu’on ne connaît pas toutes le réponses possibles (et vous ne les connaissez pas puisque vous questionnez les clients ! CQFD).

Biais N°19 : Les doubles négations

par exemple : « Ne pensez-vous pas qu’il est impossible que … »

à remplacer par « pensez-vous qu’il est possible que …”

… à défaut, vous risquez de générer incompréhension et biais négatifs.

Biais N°20 : Les filtres

Il est inutile de garder les répondants indésirables qui sont nombreux sur l’Internet, sauf si vous travaillez à partir d’un access panel et d’un fichier connu. Dans le cas d’un questionnaire ouvert, les répondants sont tout le monde et n’importe qui. Un des moyens de vous débarrasser des surfeurs arrivés sur votre questionnaire par hasard est de les filtrer dès le début. Vous pourrez ainsi les éliminer par un tri croisé assez facilement. Un branchement vous permettra de les évacuer élégamment en leur disant merci Sourire

Biais N°21 : Echelles inversées

par exemple : « de 1 à 5 (de + facile à + difficile) » et de « 1 à 5 (de – favorable à + favorable) » etc.

Il faut toujours utiliser le même ordre de progression à l’intérieur d’un même questionnaire. Et aussi toujours utiliser le même nombre de choix dans une échelle. Enfin,  il faut répéter le plus possible dans le tableau les significations de l’échelle afin de ne pas obliger l’interviewé à se reporter à une légende.

Cela paraît encore un enfoncement de portes ouvertes, mais regardez les questionnaires que vous recevez, et vous verrez que cette erreur est souvent commise, surtout celle qui consiste à noter dans un sens (du – vers le + de gauche à droite), puis dans un autre (idem mais de droite à gauche !).

Biais N°22 : Explications sur les questions complexes

network-smallUn questionnaire auto-administré livre l’interviewé à lui-même, c’est même son principe de base. Il est possible de reproduire sur l’écran le principe de la carte explicative utilisé dans les questionnaires en face à face ou postaux, grâce à l’introduction d’images dans les question. Or je remarque que les possibilités du html sont peu utilisées dans les questionnaires en ligne.

Biais N° 23 : éliminez les experts Marketing et en études de marché

Comme dans les DVD, sur Visionary Marketing vous avez toujours le droit à un bonus. Chaque fois que je suis interrogé, j’attends avec impatience cette question de filtre dès le départ : “êtes-vous un professionnel du marketing ?”

Et  force de constater que tous ne la posent pas. Ne pas éliminer les experts vous expose à encore plus de biais, de la part de professionnels qui passeront plus de temps à décoder vos questions qu’à y répondre en toute franchise, qui s’amuseront (c’est mon cas) à compter le nombre de biais par minute et qui … cerise sur le gâteau, seront éventuellement intéressés à grapiller des informations pour la concurrence …

A bon questionneur, salut !

05/15/13

22 erreurs à éviter dans la conception d’un questionnaire en ligne (1/2)

question2-largehttp://bitly.com/biaisquest.qrcodeDepuis que les questionnaires en ligne, (ou CAWI pour Computer Aided Web Interviewing) ont permis depuis la fin des années 90 de démocratiser l’accès aux études marketing, tout le monde ou presque peut se lancer sur le terrain et concevoir son propre questionnaire. C’est très bien, mais hélas, beaucoup d’erreurs sont commises ; ceci n’a rien de nouveau d’ailleurs, et cet article est le résultat de la refonte d’un ancien travail datant de 2000, lui-même inspiré de sources plus anciennes ; car les “biais de questionnements” n’ont pas attendu Internet pour exister ! Ces erreurs enfin, ne sont pas non plus, trois fois hélas, l’apanage des amateurs. Voici comment en 22 étapes,  éviter les erreurs de conception dans son questionnaire en ligne.

note 1 : pour rassembler les 2 parties, cliquer sur le QR code, le scanner ou taper http://bit.ly/biaisquest

note 2 : dans le jargon des études de marché, on utilise le terme de “biais de questionnement”, je le reprendrai donc ici.

1. Biais N°1 : Profils (et autres questions implicantes en début de questionnaire)

aeroplane-smallUn des biais, sinon le biais de questionnement le plus fréquemment rencontré est le fait de poser les questions de profil (âge, sexe, localisation …) en début de questionnaire alors que leur place est à la fin. Il est certain que le marketeur a envie de connaître son interlocuteur et de collecter ses données, mais à trop le montrer, vous ferez fuir les répondants, ou pire, ils répondront n’importe quoi. Avec les clients et prospects, comme avec vos amis, il faut s’intéresser aux autres avant de s’intéresser à soi-même …

Ce biais se résume ainsi :

  • caractère impliquant de telles questions ;
  • gêne causée par ce type de questions ;
  • découragement causé par ces questions en tête de questionnaire (“vous ne vous intéressez pas à moi, tout ce que vous voulez ce sont mes coordonnées”)

Il en va de même pour toutes les questions impliquantes, où le questionné aurait l’impression que son avis serait moins important que ses coordonnées (et à cette peur se rajoute celle du spam). Un bémol sur les questions impliquantes utilisées à titre de filtrage en tête du questionnaire …

2. Biais N°2 : Questions sans pré-test

exclamation-smallSi une question est mal formulée /comprise, les résultats seront sans doute inexploitables. Ce sera une question inutile ou pire, les conclusions vous mèneront sur des fausses pistes. Il faut donc pré-tester son questionnaire, en le soumettant à des répondants que vous mettrez en situation normale de réponse. Une première étape consiste déjà à se l’envoyer soi-même en prétest, ce qui vous permet de corriger les erreurs les plus flagrantes.

A l’inverse, il ne faut pas croire à la perfection ; il y aura toujours un effet d’interprétation des questions par les interviewés, le rôle de l’homme de Marketing est de minimiser cet effet, mais il n’est pas possible de le faire disparaître.

Biais N°3 : Questions à double-détente

par exemple : « Pensez-vous que la tablette tactile XYZ est utile et bon marché ? »

Il faut, dans ce cas, poser 2 questions (au-moins) ; sinon la réponse « oui » ou « non » ne serait pas interprétable, car vous ne sauriez l’attribution à l’une ou l’autre des propositions.

Biais N°4 : Questions incluant la réponse (biaisées)

eye-smallpar exemple : « Achèteriez-vous cette voiture malgré ses défauts de sécurité ? »

Cette question contient déjà l’opinion de l’intervieweur. L’interviewé sera tenté de réagir en fonction de cette opinion et non d’exprimer la sienne en dehors de cette influence.

Biais N°5 : Effets de halo

par exemple : « Pensez-vous comme le Président Obama que les impôts sont trop élevés ? »

Les liens à des personnes ou des groupes chargés en image sont dommageables à la neutralité d’une question. Ici, le répondant se verra réagir, non en fonction de son opinion relative aux impôts, mais par rapport à ses vues politiques et sous soutien, ou son opposition, au Président en question.

Biais N°6 : Le jargonnage

http://bitly.com/scottberk.qrcodepar exemple : « Etes-vous favorable aux QR codes? »

Si l’on ne s’adresse pas à un expert, on a peu de chances d’être compris. Le grand-public ne sait pas ce qu’est un « QR code ». Utiliser une périphrase du style : « êtes-vous favorable aux codes barre 2D comme celui-ci (et vous montrez une image comme celle de droite) ». [ici, on pourrait aussi discuter du début de la phrase et la reformuler]

En l’occurrence, le terme de « QR code » recouvrant des réalités différentes, il faudra poser plusieurs questions complémentaires (utile pour afficher un site Web, pour visiter un musée (exemples), obtenir de l’info sur un produit etc. dans chacun des usages du QR code mis en situation)

Biais N°7 : Questions imprécises

par exemple : « utilisez-vous l’e-mailing  » ou « envoyez-vous des e-mails en nombre? »

la réponse ne sera pas exploitable car on n’est pas sûr que l’interviewé l’aura comprise d’une part et d’autre part car le terme est imprécis. A partir de combien d’e-mails et de quelle fréquence un envoi d’e-mails devient-il un « e-mailing ».

Il convient donc de préciser, du style : “envoyez vous des courriers électroniques en masse à plus de 1000 personnes …” et vous testez là fréquence en introduisant une réponse “0” ou “jamais” ce qui vous évite une question s’aiguill
age inutile.

Biais N°8 : QCM (choix multiples) masquant les alternatives

par exemple : « Quel est votre mode de transport privilégié ? »

  1. le vélo
  2. la voiture
  3. la moto

Ceci est un biais très fréquemment rencontré. Il est très frustrant pour le répondant de voir que son choix préféré n’est pas inclus. ici, par exemple,  l’interviewé qui préfère le métro, ou l’avion (selon le contexte) ne pourra répondre. Il manque en outre une case « autre à préciser » indispensable.

Biais N°9 : Questions sur des échelles de temps ou de distances

  • temps :
  • longtemps, souvent, rarement, de temps en temps, …
  • à remplacer par : x fois/semaine, x fois/mois, x fois/jour etc.

organisation-personnelleLes distances en km ne sont pas forcément parlantes non plus. Il faut plus de temps pour faire 25 km en ville que 200 km sur une autoroute fluide. Il faut donc se méfier du contexte.

Biais N°10 : Biais dans les choix proposés

  • Se méfier du « point neutre » dans une échelle de valeur (très positif, plutôt positif, neutre, plutôt négatif, très négatif … en remplaçant “positif” ou “négatif” par ce que vous voulez) et veiller de préférence à créer des échelles paires au lieu des échelles impaires qui incitent à choisir la réponse médiane.
  • ne garder la réponse médiane que si le sujet est très délicat, très technique et Business to Business

voir cet exemple en Anglais :

image

… à suivre

01/3/12

Etude : où en est l’entreprise 2.0 … ?

La sélection de ce soir …

Juste avant de rentrer à la maison, est cette étude lancée par Richard Collin de Grenoble Ecole de Management et qui tente de faire un état de l’art de l’adoption des médias sociaux en entreprise. Le questionnaire est bien fichu et permet à tous de répondre ; simples utilisateurs ou responsables de projets, directeurs de RH ou informaticiens … à vos souris! 

L’Institut de l’Entreprise 2.0 de Grenoble Ecole de Management vous invite à participer à une large enquête et ainsi contribuer à une étude approfondie de l’état de l’art de l’Entreprise 2.0 en France.

En y participant, vous aurez le privilège de recevoir en avant-première les résultats et les analyses ainsi que la possibilité exclusive d’avoir accès à une approche comparative par secteur vous permettant d’évaluer le niveau de maturité de votre organisation.

Pour participer : contcater Richard Collin Professeur, Directeur de l’Institut de l’Entreprise 2.0, Grenoble Ecole de Management (Contact : Mail : richard.collin »@ » grenoble-em.com Tel : +(0) 33 6 07 76 05 59)