Ça devait arriver. Maintenant ils ont l’air malin, tiens. Deux sondages qui paraissent le même jour (dimanche), faits en même temps, sur la même question : que voteraient les Français si le traité de l’Union européenne était soumis à référendum ?

Eh bien figurez-vous que le sondage de CSA pour le Parisien dit oui à 56%, celui de l’Ifop pour Sud-Ouest dit non à 53%.

Ricanons d’abord un bon coup sur ces instituts qui tiennent le haut du pavé et se prennent les pieds dans le tapis, puis rigolons encore un moment sur ces journaux en ligne et sites d’information (Parisien, AFP, France Info, etc) qui titrent chacun péremptoirement sur le oui ou sur le non sans voir que le voisin dit le contraire. La palme revenant au Figaro.fr qui titre « France/traité : le non gagnerait encore » samedi matin, et « Les Français diraient oui à 56% » le soir même, sans s’étonner de la contradiction. Et saluons au passage le JDD qui titre d’emblée sur « des sondages contradictoires » .

Et maintenant passons aux choses sérieuses. D’abord, un sondage sur cette question est une chose sérieuse. En l’absence de référendum, et en présence du non de nos voisins Irlandais qui sont les seuls à avoir voté, demander aux Français ce qu’ils pensent de la question est incontestablement intéressant. Je dirais même que c’est précisément le genre de situations pour lesquelles l’invention des sondages il y a quelques décennies fut un progrès démocratique : un cinquième pouvoir, la possibilité de court-circuiter le filtre de la presse en lui donnant à entendre l’opinion, tout en lui fournissant de la matière à analyser en retour.

Les parasites qui brouillent la fiabilité

Mais justement, un sondage sur cette question n’est intéressant que s’il est fiable. On croyait que ça allait de soi, mais il faut croire que non. Alors qu’est-ce qui grignote la fiabilité des sondages ? Le premier réflexe -et c’est bien naturel- est de penser qu’un échantillon de mille personnes, ça ne fait pas bien lourd pour représenter soixante millions de Français. Justement, ça a aussi été le premier réflexe des statisticiens, c’est pour ça que les calculs de marge d’erreur assez savants permettent de mesurer pas trop mal cette incertitude-là. Et finalement, c’est magique mais la marge est étonnamment faible (les lecteurs de Rue89 férus de stats sont les bienvenus pour nous en dire plus là-dessus).

Ainsi, la probabilité pour qu’il y ait, juste par hasard, un tel écart entre les résultats de deux sondages existe, mais elle est infime. Du moins si le sondage est fait dans les règles de l’art.

En fait, si on parle des sondages en général, il y a une multitude de parasites qui viennent en polluer la qualité et la représentativité : les modes de recueil, les redressements, les bases de répondants réelles, le bidonnage, etc. Et le phénomène tend à s’aggraver. On aura amplement l’occasion d’en parler. Mais pour l’heure, soyons charitables. Faisons fi des parasites et supposons que les deux sondages sont faits dans les règles de l’art. Alors pourquoi tant de différence ? Posons-nous -une fois de plus- la question de… la question.

La manie de la question influencée

En regardant ces deux sondages d’un peu plus près, on trouve en effet largement en eux-mêmes de quoi expliquer cette apparente incohérence. D’abord, la question n’est pas du tout posée de la même façon. Je ne sais pas pourquoi les sondeurs ont la manie (déjà relevée dans mon post du 4 juin sur la grève des transports) de donner au sondé, juste avant de poser leur question, une information non anodine sous la forme « vous savez que… » . Genre : vous le savez, mais je vous le dis quand même, des fois que vous ne voyiez pas les choses comme ça.

Et visiblement CSA et l’Ifop ne voient pas les choses sous le même angle. CSA tend à pointer le consensus des vingt-sept pays en faveur de l’Europe, quand l’Ifop met en avant le non irlandais.

Question CSA : vous savez que les vingt-sept pays européens ont signé à la fin de l’année 2007 un traité simplifié, le traité de Lisbonne, sur les institutions de l’Union européenne. Si ce traité simplifié était soumis à un référendum en France, comme ce fut le cas en Irlande la semaine dernière, voteriez-vous oui ou non ? Question IFOP : Vous savez que les Irlandais viennent de voter non au lors du référendum sur l’adoption du traité européen de Lisbonne. Si un tel référendum était organisé en France…
- vous voteriez « oui » ? - vous voteriez « non » ? - Vous vous abstiendriez ? Si je caricature, ça donne : CSA : « tes camarades de classe se sont tous mis d’accord pour faire un cadeau à la maîtresse, tu veux contribuer ? “ Euh… ch’ais pas, faut voir…
IFOP : ‘ Les cousins d’Astérix le Gaulois de l’autre côté de la Manche résistent encore et toujours à l’Europe. Et toi qu’en penses-tu ? Trop forts les Irlandais ! Le premier résultat vraiment intéressant, c’est que CSA a obtenu 46% d’abstention, pourtant sans même suggérer cette réponse, alors que l’IFOP n’en obtient que 33%. Le non irlandais, ça décomplexe, on dirait ! Le jeu de bascule entre le non et l’abstention

Le deuxième résultat très intéressant est malheureusement masqué par le goût immodéré des instituts pour le jeu de la prédiction (dont ils se défendent pourtant à cors et à cris. Tout le monde connaît le fameux avertissement c’est une photographie de l’opinion à l’instant T, pas une prévision’ ). Pour faire un match bien simple et bien binaire qui simule un vrai référendum, ils mettent tous deux en avant les pourcents de réponses en enlevant les abstentions, ainsi que les gens qui ne se prononcent pas (dont on ne sait d’ailleurs pas si chaque institut les écarte du décompte ou les compte parmi les abstentionnistes).

Donc les fameux 56% de oui chez l’un, 53% de non chez l’autre, ne sont pas basés sur l’ensemble de l’échantillon, mais forment un zoom sur les seules personnes qui répondent soit oui, soit non. Ça change quand même un peu la donne. Et ça agrandit encore un petit peu la marge d’erreur.

Or, si on regarde les réponses sur la base de la question d’origine (c’est-à-dire en pourcentage du total des sondés), on se retrouve avec les résultats suivants :

Autrement dit, le oui a l’air assez stable, quel que soit l’institut. On peut raisonnablement avancer l’hypothèse que le traité de Lisbonne peut compter sur l’appui d’un peu moins d’un tiers des Français. En revanche, il y a, dans des proportions importantes, un jeu de bascule entre l’abstention et le non d’un institut à l’autre.

Ces quelque 70% de la population sont-ils moins sûrs de leur opinion ? Le non est-il une réponse politiquement moins assumable ? Les abstentionnistes seraient-ils plus enclins à pencher pour le non que pour le oui si une campagne nourrie devait venir radicaliser les opinions ? Ces quelques pistes de réflexion devant lesquelles nous placent les résultats de ces deux sondages sont passées à la trappe en raison du bête concours de prédiction que se livrent les instituts. C’est quand même dommage, oui ou non ?