Pourquoi les sondages se trompent-ils aussi souvent?
Entre modèle mathématique (supposant un matériau homogène) et réalité sociologique, les sondages politiques sont forcément «des cotes mal taillées» puisque «les facteurs d’hétérogénéité des votes ne sont pas très bien connus et ils évoluent d’une élection à l’autre». Avec l’inconvénient en plus d’avoir, dans la têtes des politiques, le rôle de substituts «aux débats défaillants».
Texte publié sur Tendances, Espérance.
Le premier tour de l’élection présidentielle au Brésil nous a donné un nouvel exemple d’erreur majeure des sondages pré-électoraux. Jair Bolsonaro, annoncé avec 35% d’intentions de vote, a obtenu 43% des suffrages. L’écart est substantiel! Lors de la dernière élection présidentielle, en France, c’est le score de Valérie Pécresse qui avait été largement surestimé par les instituts de sondage (pas loin du double: elle était annoncée entre 8 et 9%, elle s’est retrouvée entre 4 et 5%).
On peut s’étonner d’erreurs aussi récurrentes, mais le fond du problème est que la pratique des sondages ne s’appuie sur aucun modèle mathématique précis et qu’ils ressemblent plus à des intuitions mises en forme qu’à des enquêtes sérieuses.
Le modèle du tirage aléatoire : très éloigné de la pratique des sondages
Le modèle mathématique qui sert de justification à cette pratique, est le tirage, au hasard, de boules de couleurs différentes dans un grand ensemble de boules dont la distribution des couleurs est inconnue. On montre que plus on tire de boules, plus la probabilité que l’échantillon s’écarte de la distribution réelle est faible. Et, au bout d’un moment, quel que soit le nombre de boules totales, la précision ne s’améliore plus beaucoup. On est donc fondé à se limiter à un échantillon, pourvu qu’il soit d’une taille suffisante.
Mais ce modèle mathématique contient plusieurs hypothèses implicites qui ne sont pas respectées lorsque l’on fait un sondage. D’abord, il faut supposer que le mélange des boules est homogène: si on a mis toutes les boules noires dans un coin et que l’on tire dans ce coin, il est évident que le résultat sera faux. Or l’espace social n’est pas du tout homogène: les votes pour tel ou tel candidat varient en fonction de l’âge, de la catégorie sociale, du lieu d’habitat, du sexe, du niveau de revenu, etc. Les sondeurs tentent de palier cette difficulté en s’imposant des quotas et en essayant d’avoir un échantillon qui reflète, plus ou moins, les proportions de chaque facteur de variation dans l’ensemble de la population. L’idée est raisonnable, mais ce que l’on fait n’a plus rien à voir avec le modèle mathématique.
Du coup (c’est là que je parle d’intuition mise en forme), on construit des cotes mal taillées, en espérant qu’on parvient à reconstituer un matériau pseudo-homogène. Et cette contrainte montre d’où viennent les erreurs: les facteurs d’hétérogénéité des votes ne sont pas très bien connus et ils évoluent d’une élection à l’autre. On sait également que le fait de ne pas vouloir répondre à un sondage est lié avec certains types de vote, mais on ne sait pas jusqu’à quel point. Par ailleurs, les répondants mentent lorsqu’ils répondent. Ils mentent plus par oral que par Internet. Mais on ne sait pas non plus jusqu’à quel point ils mentent. Là aussi, ce sont des choses qui varient d’une élection à l’autre.
En fait, plus la société est émiettée, plus il y a de risques d’erreur. Et plus les univers sociaux s’éloignent les uns des autres, plus les discours communs s’évaporent, plus les réponses aux sondages seront erronées, sauf, en ligne, où les discours hors-norme ont droit de cité. Les errances des sondages, finalement, reproduisent les errances de la représentation politique. Les sondages, dans leur formulation et dans leur mode de passation doivent moins aux mathématiques et plus à la construction d’un discours qu’on ne l’imagine. Et là où les registres de discours communs sont défaillants, les sondages sont défaillants.
Pourquoi, malgré tout, continue-t-on à faire des sondages?
Pendant ce temps, les instituts de sondages ne manquent pas de clients. Cela reste des entreprises florissantes. Il est vrai que l’essentiel de leur activité est en dehors du champ politique. Mais les gouvernements continuent à sonder l’opinion de manière régulière. À la base, tout un chacun (politique ou non) est prêt à lire un sondage car l’incertitude est désagréable: on préfère savoir, même si on sait quelque chose de faux!
Les sondages remplissent une autre fonction: ils se substituent aux débats défaillants. On n’essaye plus de convaincre, on veut juste connaître l’état de l’opinion, quitte à utiliser des panels pour rôder les arguments qui feront évoluer cette opinion. Une photographie, même floue, remplace les lieux où l’on pourrait se voir face à face.
Cela dit, quelque chose de notre époque où l’on préfère mettre en chiffres et en courbes des résultats même hasardeux plutôt que de mobiliser les relations sociales. Les politiques tournent le dos aux instances (syndicales ou autres) qui rassemblent des personnes aux opinions proches. Il leur paraît plus simple de commander un sondage. Cela contribue à leur isolement et à leur éloignement des ressorts réels de ce qui fait l’adhésion, ou non, à un projet politique.
Les vertus de l’incarnation restent majeures, même à l’heure où l’on essaye de tout transformer en interfaces.
