La source des échantillons en ligne est importante : les panels ne sont pas tous égaux

11 mars 2020 | Ed Morawski, président-directeur général, Angus Reid

Woman and man answering surveys on laptops

Dans le monde numérique d’aujourd’hui, les panels en ligne constituent un moyen économique et souvent essentiel de cueillette de données de recherche par voie de sondage Internet. On n’a qu’à définir les caractéristiques du public visé (« l’univers ») et le nombre de répondants requis pour répondre à ses objectifs et le tour est joué : on lance un sondage ciblant l’échantillon choisi. Interroger quelques centaines de Canadiens fournira ainsi une réponse représentative de la population du pays. Malheureusement, tout n’est pas si simple et le processus comporte plusieurs risques.

J’ai commencé ma carrière en recherche marketing au Groupe Angus Reid dans les années 90, alors qu’Internet et le courrier électronique en étaient encore à leurs balbutiements. À cette époque, presque toute la collecte de données de recherches quantitatives était effectuée par téléphone filaire. La représentativité (la clé de l’exactitude des données) a été grandement améliorée avec la mise au point des plateformes de composition aléatoire, qui – en théorie – permettaient de créer au hasard des numéros de téléphone susceptibles de rejoindre n’importe quel ménage du pays. Ceci permettait aux chercheurs de concevoir des échantillons raisonnablement bien déterminés (géographiquement, certes, mais aussi selon d’autres variables comme le revenu et la composition des ménages) et véritablement aléatoires. La base de toute bonne recherche.

Nous avons décidé de vendre l’entreprise en 2000 lorsque nous avons réalisé qu’un monde branché sur le web arrivait à toute vitesse pendant que le téléphone devenait de plus en plus inadéquat et imprécis comme outil de collecte de données. Nonobstant le fait que l’avènement des téléphones portables rendait la composition automatique plus difficile, il était évident pour quiconque passait dans un centre d’appel que la plupart des Canadiens en avaient assez de voir leur souper interrompu pour répondre à des questions sur leurs opinions posées par des inconnus. Bref, la notion d’échantillonnage aléatoire perd tout son sens lorsqu’une grande part de l’univers cible ne peut être rejoint ou refuse de participer. Heureusement, tout n’était pas perdu : Internet arrivait.

De nos jours, la majorité de la collecte de données quantitatives (et qualitatives) se fait au moyen de sondages distribués par courriel à des « panels en ligne ». Ces derniers ont été inventés pour essayer de reproduire aussi fidèlement que possible la rigueur scientifique de la composition aléatoire dans un monde ou les courriels non sollicités (l’équivalent en ligne de la composition téléphonique aléatoire) sont inutiles et même illégaux.

Les panels regroupent de grands nombres (souvent des centaines de milliers) de Canadiens ayant accepté de participer à des projets de recherche marketing en ligne. Bien conçus, ces panels résultent d’un recrutement effectué dans plusieurs canaux, et constituent un échantillon vraiment représentatif des Canadiens selon les caractéristiques géographiques, démographiques, comportementales et psychographiques souhaitées. Un bon panel reproduit la véritable diversité du pays et est très proche de la réalité.

De plus, un bon panel représentatif est engagé – produisant ainsi un taux de réponse élevé – et conserve ses membres. Il est suffisamment étendu pour que l’on envoie juste assez de questionnaires à chacun des participants. Plus important encore, un bon panel traite ses membres avec respect et transparence. Panélistes et organisations commanditaires en viennent à se connaître et créer une confiance mutuelle.

Malheureusement, tout comme c’est arrivé avec la collecte des données au moyen d’appels aléatoires, le monde de recherche en ligne est transformé par la technologie et les comportements des consommateurs. Résultat : il est de plus en plus difficile de trouver un bon panel, l’exactitude des données en souffre avec souvent des résultats malheureux.

Comme c’est souvent le cas, la cause de cette détérioration est l’argent. Le recrutement et le maintien d’un panel représentatif stable coûtent tout simplement trop cher. La réalité d’aujourd’hui est que plusieurs « panels » ne sont que des portails menant à un grand nombre d’individus autonomes ou à des bases de données d’adresses courriel. On recrute des gens pour qu’ils participent à un sondage unique par toutes sortes de moyens et en leur offrant diverses compensations. On a donc peu, ou pas de contrôle sur la source de l’échantillon visé par un sondage donné. Ceci fait qu’il devient à peu près impossible d’assurer que cet échantillon est représentatif d’autre chose que les opinions des répondants.

En fin de compte, les sondages coûtent de plus en plus cher, mais offrent une fiabilité et une exactitude de moins en moins certaines. Les panels ne sont pas tous créés avec le même soin. Sans bien comprendre les techniques de recrutement, la composition et les taux de réponses et de roulement des panélistes, on ne peut pas évaluer la valeur des données. Autrement dit, si tout le monde peut poser une question à une centaine de personnes, if faut de l’habileté pour formuler une question permettant de révéler l’opinion de l’ensemble de la population. Un panel bien géré peut s’avérer une ressource précieuse, mais comme dans toutes choses, la prudence est de mise.

En tant que professionnels du marketing, que peut-on faire? Avant d’entreprendre tout projet de recherche, il importe de bien faire ses devoirs. On doit poser à la maison de recherche considérée des questions directes telles que : d’où provient votre échantillon? Les répondants sont-ils connus et correspondent-ils à un profil particulier? Quelle est la durée moyenne de participation des panélistes, quel est le taux de roulement des participants? Utilisez-vous des sources extérieures pour compléter votre panel? Si oui, quelles sont-elles? Quelles mesures avez-vous mises en place pour vous assurer que les répondants sont de vraies personnes (et non des robots), et que faites-vous pour « nettoyer » vos données? Toutes ces questions sont raisonnables et une maison de recherche digne de confiance pourra y répondre facilement.

Dans le monde numérique, les apparences sont souvent trompeuses. C’est tout aussi vrai en recherche marketing.

Ed Morawski, président-directeur général, Angus Reid

Avant de créer la maison de recherche Angus Reid, en compagne du Dr Angus Reid, Ed Morawski a fondé le service de recherche et de services-conseils de Vision Critical (2006-2016). Auparavant, il a travaillé chez Ipsos Amérique du Nord, où il a été vice-président principal (2000-2006) après avoir entrepris sa carrière au Groupe Angus Reid en 1996 à Vancouver.

Ed Morawski détient un baccalauréat en Économie de la Queen’s University et une maîtrise en administration publique de la University of British Columbia. Sa formation en recherche et son expérience universitaire de l’analyse de l’opinion publique et des communications pour un éventail de politiques et autres initiatives gouvernementales lui ont fourni les outils nécessaires pour mener ce projet à bien.