Pour comprendre la politique, il est utile de penser comme un scientifique.
La couverture de la campagne électorale de la prochaine élection présidentielle est partout, avec divers sondages montrant tel ou tel candidat en haut. Il existe des cotes d'approbation nationales, des cotes d'approbation locales, des sondages sur les candidats principaux, des sondages sur les problèmes, des sondages sur l'éligibilité. Tous ces chiffres s'ajoutent à une cacophonie d'informations qui peuvent être difficiles à comprendre. De cette façon, les scientifiques disent qu'ils ressemblent beaucoup aux données qu'un chercheur pourrait collecter: les sondages individuels ne sont généralement pas trop utiles seuls, sans contexte. Mais pris ensemble et abordés de manière réfléchie, les sondages peuvent s'ajouter au type d'informations qu'un scientifique trouverait utile.
"Il existe de nombreux sondages politiques méthodologiquement solides qui ressemblent étroitement aux méthodes utilisées dans les contextes scientifiques, mais il existe également des enquêtes politiques assez mal conçues - et / ou volontairement biaisées" ", a déclaré Sara Burke, psychologue de recherche et experte en intergroupes. biais à l'Université de Syracuse. "Les meilleurs des meilleurs sondages politiques font du bon travail avec les outils disponibles et maintiennent - et tentent de communiquer - une compréhension claire des limites qui existent encore dans leurs méthodes."
En d'autres termes, le fait qu'un sondage soit utile ou intéressant dépend beaucoup de la façon dont il a été mené et comment il est présenté.
Souvent, ces sondages sont présentés comme "Voici quelques pourcentages", selon Jillian Scudder, une astrophysicienne qui étudie les galaxies à Oberlin College dans l'Ohio. "Donc, vous pourriez faire un sondage politique, vous pourriez dire:" Nous avons fait un sondage dans cet état, et nous avons obtenu ces chiffres ", et vous pourriez le mettre dans les nouvelles. Quand je fais des statistiques et que je trouve un pourcentage, ce pourcentage vient avec beaucoup d'autres chiffres ", a déclaré Scudder à Live Science.
Le travail de Scudder implique des tests statistiques qui ressemblent beaucoup à des sondages, a-t-elle déclaré. Elle pourrait collecter des millions de points de données sur le comportement des galaxies pour essayer de comprendre comment elles se comportent. Mais ce serait une perte de temps de les parcourir individuellement. Elle va donc prendre de plus petits échantillons de ses données et les étudier, en utilisant des méthodes statistiques similaires à celles que les sondeurs utilisent pour tirer des conclusions sur l'ensemble de la population des galaxies.
Mais pour que cette recherche fonctionne et qu'elle ait un sens pour d'autres scientifiques, les chiffres doivent être accompagnés de données qui leur donnent un contexte, a-t-elle déclaré.
"Était-ce un échantillon de 100? Était-ce un échantillon de 1 000? Était-ce un échantillon de 1 million? Dans quelle mesure les changements dans la taille de l'échantillon changent-ils le résultat? Si je passe de 1 000 à 10 000, les pourcentages changent-ils ou sont-ils assez robuste? Des choses comme ça ", a déclaré Scudder.
De même, les sondages sont beaucoup plus utiles lorsque vous savez combien de personnes ont été échantillonnées, à quel point les résultats sont cohérents avec les autres sondages et comment exactement les sondages ont été effectués, a déclaré Chris Schatschneider, psychologue scolaire et expert en statistiques et en conception de la recherche en Floride. Université d'État.
Dans les propres recherches de Schatschneider, a-t-il dit, il utilise des statistiques pour séparer le "signal" du "bruit" - pour déterminer si le résultat d'une expérience vous dit probablement quelque chose de significatif sur la façon dont le monde fonctionne ou peut être le résultat d'un hasard. Il réfléchit également avec précision aux questions auxquelles un ensemble particulier de données peut répondre et quelles questions il ne peut pas.
Ces méthodes statistiques sont différentes de celles que les sondeurs utilisent, a-t-il déclaré. Mais il est important de poser des questions similaires lors de l'audition des données de sondage dans les actualités: quelle était la taille de l'échantillon? Qui exactement a été échantillonné? Quelles questions les sondeurs ont-ils posées exactement? Tout ce contexte peut vous dire si un sondage est significatif dans la mesure où quelques nombres flottants à côté, disons, du nom d'un candidat ne le peuvent pas.
Il est également important de comprendre les méthodes utilisées par un sondeur, a-t-il déclaré.
Par exemple, de nombreux sondages impliquent un «échantillonnage stratifié». Cela signifie que si un groupe particulier - les étudiants du collégial, par exemple - est sous-représenté dans un échantillon de sondage par rapport à la population générale, les sondeurs ajusteront les chiffres afin que les étudiants qui ont été interrogés deviennent plus importants. Cela peut être une technique légitime en principe, a déclaré Schatschneider. Mais cela peut également fausser les résultats lorsqu'un petit groupe de personnes interrogées finit par se substituer à des milliers. Il a donné un exemple: le New York Times a rapporté en 2016 qu'un seul homme noir de 19 ans qui soutenait Donald Trump lors de l'élection de cette année faussait énormément les résultats du sondage en raison de ce type de données massives, conduisant à des informations suggérant que Trump était beaucoup plus populaire auprès des électeurs noirs que ce n'était le cas.
La réalité, a déclaré Schatschneider, c'est que si ce n'est pas votre travail à temps plein, vous n'avez probablement pas le temps d'évaluer les sondages individuellement de cette manière pour déterminer ceux qui sont scientifiques et ceux qui le sont moins. La plupart des gens feraient mieux de ne pas prêter trop d'attention aux nouvelles sur les sondages individuels, qui peuvent être trompeurs, et devraient plutôt regarder les moyennes des sondages récents comme ceux que RealClearPolitics publie, a-t-il dit.
Les scientifiques font quelque chose de similaire avec les données de recherche, lorsqu'ils font la moyenne des données de plusieurs articles dans des articles plus gros appelés "méta-analyses", a déclaré Schatschneider. En fait, a-t-il dit, une moyenne des sondages est plus fiable, car les sondages ont tendance à être publiés, qu'ils soient intéressants ou non. Mais les articles scientifiques ont tendance à être biaisés vers des résultats plus intéressants car ils sont toujours plus faciles à publier, selon Schatschneider.
Les prévisions électorales basées sur d'énormes groupes de sondages peuvent également être intéressantes et utiles, a déclaré Scudder, mais contrairement à la recherche scientifique où les méthodes et les chiffres bruts sont publiés, les sondeurs ne montrent pas leur travail - le tout dans une boîte noire exclusive.
En règle générale, a déclaré Scudder, elle jugerait un groupe de sondages digne de confiance et intéressant s'ils pointent tous dans la même direction, et moins significatif s'ils sont partout, ce qui suggère des problèmes dans la collecte de données.
Ce n'est pas parce que les résultats correspondent à une tendance qu'ils sont exacts. Avec tout ensemble de données disponible, a déclaré Scudder, vous devez également savoir comment interpréter les résultats.
"Vous devez faire attention à ce que le test statistique que vous utilisez réponde à la question à laquelle vous souhaitez répondre", a-t-elle déclaré.
En science, cela pourrait signifier de déterminer si un ensemble de données exclut une idée entièrement - disons, que toutes les étoiles sont faites de fromage - ou ne le prouve tout simplement pas - disons, toutes les étoiles peuvent encore être faites de fromage, mais nous n'avons pas » t encore vu le fromage.
En ce qui concerne les sondages politiques, les questions sont différentes. Mais comprendre ce qu'ils signifient est tout aussi important. Une cote d'approbation n'est pas une mesure de la façon dont les gens envisagent de voter. Demander aux gens qu'ils aiment pendant une primaire ne vous dit pas nécessairement ce qu'ils ressentiront lors d'une élection générale. Demander à qui ils comptent voter en février ne permet pas de prédire comment ils voteront en novembre, a déclaré Schatschneider.
De cette façon, a déclaré Schatschneider, le sondage est un peu comme prendre la température d'un patient. C'est une entreprise parfaitement scientifique, a-t-il déclaré. Mais il est important que les personnes suivant les sondages soient claires sur ce qu'elles signifient exactement.
