Deux clichés sur les sondages

C'est la saison des sondages. Je crois utile de déconstruire brièvement deux clichés, un populaire, un autre savant, pour en préciser la portée.

Première idée reçue : celle du cliché, précisément. Les sondeurs expliquent que les sondages "ne sont qu'une photographie de l'opinion à un moment donné" (voir, par exemple, ce "petit guide pour bien lire les sondages", qui relaie cette idée reçue).

Cette idée reçue est utilisée par les professionnels des sondages pour justifier l'insuffisance de leurs enquêtes, dans le seul cas où elles font face à un test empirique : les sondages électoraux. Les résultats de l'élection n'ont pas été ceux qu'ils avaient prédits, mais, nous disent-ils, ils ne se sont pas trompés : c'est l'opinion qui a changé... On peut, bien sûr, se rire d'une telle réponse qui fait des sondages une science irréfutable, au sens de Popper : avec un tel argument, quoi qu'il se passe, aucun test ne peut en réfuter la validité scientifique.

Mais ce n'est pas là l'essentiel : le problème est que cette justification se fonde sur une métaphore profondément fautive, en ce qu'elle interdit de donner aux sondages leur juste valeur (qui n'est pas nulle, loin s'en faut). Dire qu'un sondage est une "photographie" de l'opinion suppose en effet qu'il existe un objet -l'opinion- et que l'on peut le photographier.

Mais le problème est que l'opinion ne possède pas le statut ontologique d'un objet du monde physique, dont la matérialité est saisissable par un objectif photographique. L'opinion n'a jamais une telle ductilité : dans certains cas, les plus rares, elle s'en approche seulement.

Durant une bonne part de la campagne électorale, l'intérêt pour la politique est, dans la population, en moyenne, trop faible pour que les individus se soient formulés clairement une opinion précise sur leurs choix futurs. Les individus ont, pour la plupart, un rapport à la politique qui ressemble à mon rapport au football : un désintérêt complet, à l'exception de la coupe du monde, où, tous les quatre ans, porté par l'effervescence collective, j'en viens à regarder des matchs, à connaître le nom des quelques joueurs emblématiques et même à porter des jugements sur la qualité du jeu et des chances des équipes favorites. Dans quelques moments de folie, il m'arrive même alors de lire L'Équipe. Je subis un processus de "footballisation", à la manière dont une campagne électorale suscite un processus de "politisation".

Faire campagne, c'est précisément susciter et diriger en sa faveur ce lent processus (jamais certain) de politisation : faire en sorte que la population prenne intérêt aux enjeux qu'on lui propose et se mobilise pour son camp. La population se met à parler politique, à regarder les émissions spécialisées, à porter des jugements sur la qualité des candidats, dont elle découvre parfois l'existence (combien de Français, par exemple, connaissaient Eva Joly en avril 2011 ?). Lentement les opinions inexistantes ou flottantes se durcissent dans un choix final. Mais aussi longtemps que ce processus n'est pas achevé, il n'existe pas "d'opinion" que l'on pourrait photographier.

Tant que ce processus est en cours, sonder l’opinion, c'est la constituer. C'est ce que rappelait Bourdieu aux sondeurs, il y a déjà 40 ans : en posant une question que les individus ne se posent pas nécessairement, on les amène à donner une réponse qui n'existait pas jusqu'alors dans leur esprit. Dans ce sens, les sondages font l'opinion. Ils ne la "photographient" pas : ils constituent ce qu'ils disent mesurer, dans l'acte de mesure même.

C'est pleinement le cas au début de la campagne, où le processus de "politisation" n'a pas débuté, et où l'intérêt pour la politique est très faible. Les sondages ne deviennent des photographies que dans la phase ultime de la campagne : celle où le processus de politisation est achevé ou, du moins, ne pourra pas davantage se poursuivre. Avant cela, ils mesurent quelque chose, mais on ne sait jamais exactement quoi. Un quelque chose qui oscille entre le pur artefact et le fait social véritable.

Les sondeurs savent bien cela, mais ne le disent jamais, de peur sans doute de priver leur sondage de leur valeur symbolique (et donc marchande) : depuis longtemps, ils demandent aux sondés de préciser si leur choix sont sûrs ou s'ils pensent pouvoir en changer. Cette question vise, indirectement, à mesurer à quel point de coalescence en est l'opinion. A quel point, autrement dit, leur sondage est un artefact.

Nous sommes en train d'atteindre la dernière phase de la campagne : les opinions flottantes se solidifient lentement. La page 8 de ce sondage CSA donne la mesure de l'inachèvement du processus : entre ceux qui sont sûr et ceux qui pensent pouvoir le faire, les deux principaux candidats peuvent avoir 48% ou 57% des voix au premier tour... (Et même ces chiffres ne veulent pas dire grand chose : même ceux qui excluent de voter pour un candidat peuvent, en fait, changer d'opinion). Les sondages vont, lentement, signifier quelque chose (et François Hollande va, sans doute, découvrir que cela signifie qu'il va "baisser", au fur et à mesure où N. Sarkozy "politise" ses électeurs potentiels).

Deuxième cliché : celui des marges d'erreur et des intervalles de confiance. On lit souvent que, pour un échantillon de 1000 individus (le plus communs pour les sondages électoraux), les sondages ont une certaine marge d'erreur (3,1% est le plus souvent retenu) avec un intervalle de confiance de 95%. C'est en fait l'application du théorème central limite. Voir par exemple la présentation qu'en fait cet institut de sondage. C'est une manière, tout à la fois, de techniciser (et donc mettre à l'écart ceux qui n'ont pas les compétences techniques) et de justifier les erreurs prédictives.

Le problème est que ce vocabulaire, et son arrière fond technique, n'ont presque aucun sens en France, où tous les sondages sont réalisés selon la méthode dite des quotas : pour le dire de manière pédante, les sondages en France ne sont pas construit par un échantillonnage probabiliste, le seul auquel on peut appliquer la loi normale, mais par un échantillonnage non probabiliste (établi en fonction des "quotas"). Pour le dire plus simplement : les sondages ne sont pas faits en tirant au hasard les individus. Or, les lois de probabilité ne s'appliquent que si l'on tire au hasard des individus. Ici, les individus sont sélectionnés à partir d'un modèle de la population, construit en fonction de ce que l'on considère être les variables prédictives de son comportement (taille de la ville, sexe, âge, CSP, etc.) Il n'y a donc pas de hasard dans cette sélection.

On ne peut donc pas, rigoureusement, prévoir une marge d'erreur. Dans tous les cas, le sondage ne vaudra jamais que ce que vaut le modèle théorique qui le fonde -et cette valeur, il est impossible de l'estimer à partir d'un modèle probabiliste. (Pour des développements techniques, y compris les conditions dans lesquelles on peut estimer la valeur des variables dans un sondage par quota, il faut lire ceci). Et il est tout à fait possible qu'elle soit nulle. On peut supposer que des décennies d'expérience ont conduit les sondeurs à affiner leur modèle des variables prédictives des comportements des Français : mais c'est une supposition totalement non quantifiable.

Nous ne savons donc pas vraiment ce que mesurent les sondages. Et nous ne savons pas davantage avec quelle marge d'erreur. Mais cela ne m'empêche pas, durant cette campagne présidentielle, de me jeter avidement dessus. Ce qui n'est pas plus déraisonnable, quand on y pense bien, que de lire L'Équipe.
Lire la suite