Marge d'erreur

En statistiques, la marge d'erreur est une estimation de l'étendue que les résultats d'un sondage peuvent avoir si l'on recommence l'enquête. Plus la marge d'erreur est importante, moins les résultats sont fiables et plus la probabilité qu'ils soient écartés de la réalité est importante.

La marge d'erreur peut être calculée directement à partir de la taille de l'échantillon (par exemple, le nombre de personnes sondées) et est habituellement reportée par l'un des trois différents niveaux de l'intervalle de confiance. Le niveau de 99 % est le plus prudent, le niveau de 95 % est le plus répandu, et le niveau de 90 % est rarement utilisé. Pour un niveau de confiance de 99 %, il y a 99 % de chances que, si la valeur réelle était égale à celle issue du sondage, alors on obtiendrait, dans un sondage établi dans les mêmes conditions, une valeur dans la marge d'erreur (ce qui ne signifie pas que la valeur réelle a 99 % de chances d'être dans la marge d'erreur).

La marge d'erreur prend uniquement en compte l'erreur de l'échantillon. Elle ne prend pas en compte les autres sources potentielles d'erreurs, notamment, le biais dans les questions ou dans l'exclusion d'un groupe n'étant pas questionné, le fait que certaines personnes ne veulent pas répondre, le fait que certaines personnes mentent, les erreurs de calculs.

Compréhension

Exemple

Pour illustrer les concepts expliqués au cours de l'article, nous utiliserons l'exemple de la campagne présidentielle des États-Unis de 2004. Selon un sondage paru dans Newsweek, 47 % des électeurs voteraient pour John Kerry si l'élection avait lieu aujourd'hui. 45 % voteraient pour George W. Bush et 2 % pour Ralph Nader. La taille de l'échantillon est de 1 013 personnes interrogées, et la marge d'erreur est de ±4 ppc. Dans le reste de l'article, nous utiliserons l'intervalle de confiance de 99 %.

Concept de base

Un sondage nécessite de prendre un échantillon de la population. Dans le cas du sondage de Newsweek, la population prise en compte est les personnes qui voteront. Étant donné l'impossibilité d'interroger tous les électeurs, les instituts de sondage construisent des échantillons qui sont normalement représentatifs de la population. Il est possible qu'ils interrogent 1 013 personnes qui vont voter pour Bush alors que dans la réalité les électeurs sont partagés, mais c'est très peu probable si l'échantillon est suffisamment représentatif de la population.

Termes statistiques et calculs

Cette section discute brièvement l'erreur-type d'un résultat, l'intervalle de confiance et lie ces deux concepts à la marge d'erreur. Par principe de simplicité, les calculs estiment que le sondage est basé sur un échantillon aléatoire simple d'une grande population.

L'erreur-type d'une proportion ou d'un pourcentage p correspond à son niveau de précision et représente la déviation type de ce pourcentage. Elle peut être estimée à l'aide de p et de la taille de l'échantillon n, tant et aussi longtemps que n est plus petit que 5 % de la taille de la population N. Dans le cas du sondage commandé par Newsweek, le pourcentage de vote pour Kerry p = 0,47, et n = 1 013.

{\text{Erreur-type = }}{\sqrt {\frac {p(1-p)}{n}}}

Pour obtenir la marge d'erreur, on multiplie simplement l'erreur-type par le $Z_{\alpha }$ obtenu du seuil de confiance. Selon le seuil de confiance qu'on désire utiliser, on ira chercher une certaine portion de l'aire sous la courbe normale (0,90, 0,95, ou 0,99) qui sera donc délimitée par $\pm Z_{\alpha }$ , représentant le nombre d'écarts-types dont on s'éloignera autour du zéro.

{\text{Marge d'erreur}}=e=Z_{\alpha }{\sqrt {\frac {p(1-p)}{n}}}

Pour un niveau de confiance de 95 %,

Z_{\alpha }=1,96

Pour un niveau de confiance de 99 %,

Z_{\alpha }=2,58

Notez que pour obtenir une marge d'erreur en %, il faut la multiplier par 100 :

e\%=e\times 100

L'intervalle de confiance de la proportion se définit en soustrayant et additionnant la marge d'erreur à la proportion : $p\pm e$ . Ou encore, avec le pourcentage : $p\times 100\pm e\%$

Celle-ci représente les bornes inférieurs et supérieurs dans lesquelles on retrouvera la vraie proportion dans la population. On présente habituellement un intervalle de confiance de pair avec le seuil de confiance qu'on a décidé d'utiliser. Par exemple, pour un seuil de confiance de 95 %, on dira : 19 fois sur 20 (donc dans 19 échantillons sur 20 fait sur la même population), le pourcentage se situera entre $p\times 100-e\%$ et $p\times 100 e\%$ .

Marge d'erreur maximale

Pour un échantillonnage aléatoire simple provenant d'une très grande population, la marge d'erreur maximale devient une simple reformulation de la taille de l'échantillon n. Les numérateurs des équations suivantes sont arrondis à la deuxième décimale.

Marge d'erreur à 99 %

\approx 1,29/{\sqrt {n}}\,

Marge d'erreur à 95 %

\approx 0,98/{\sqrt {n}}\,

Marge d'erreur à 90 %

\approx 0,82/{\sqrt {n}}\,

L'explication mathématique tient au fait que pour obtenir une marge d'erreur maximale, on utilise la valeur maximale de $p$ de 0,50. On arrive donc à :

e_{max}={\frac {Z_{\alpha }\times 0,5}{\sqrt {n}}}

La marge d'erreur n'est pas complètement définie si l'intervalle de confiance n'est pas rapporté. Si un article à propos d'un sondage ne donne pas l'intervalle de confiance, la marge d'erreur peut être approximée pour le degré de confiance désiré à l'aide de la taille de l'échantillon grâce aux formules données ci-dessus. De plus, si la marge d'erreur à 95 % est donnée, il est possible de calculer la marge d'erreur à 99 % en l'augmentant d'environ 30 %.

Effet de la taille de la population

La formule tout juste présentée pour la marge d'erreur suppose une population infiniment grande et ne dépend donc pas de la taille de la population qui nous intéresse. Selon la théorie de l'échantillonnage, cette supposition est raisonnable lorsque la fraction d'échantillonnage est petite. La marge d'erreur pour un échantillon particulier est essentiellement la même peu importe que la population d'intérêt soit de la taille d'une école, d'une ville, d'une province, ou d'un pays, tant et aussi longtemps que la fraction d'échantillonnage est de moins de 5 % (en d'autres mots, lorsque la population est moins grande que 20 fois l'échantillon).

Dans les cas où la fraction d'échantillonnage excède 5 %, les analystes peuvent ajuster la marge d'erreur à l'aide du facteur de correction pour population finie qui se calcule selon la formule suivante :

{\sqrt {\frac {N-n}{N-1}}}

La formule complète devient donc :

e=Z_{\alpha }{\sqrt {\frac {p(1-p)}{n}}}{\sqrt {\frac {N-n}{N-1}}}

Afin d'ajuster la marge d'erreur pour une grande fraction d'échantillonnage, le facteur de correction réduit celle-ci. La formule soutient que plus la taille de l'échantillon n approche la taille de la population N, plus le facteur de correction se rapproche de zéro ce qui a pour effet de diminuer la taille de la marge d'erreur. Ceci est intuitivement logique puisqu'un échantillon de la taille de la population (n = N) devient un recensement, cas pour lequel la marge d'erreur perd généralement de son utilité.

Comparaison des pourcentages

Calculs

Pour déterminer si deux pourcentages sont significativement différents l'un de l'autre, on pourrait simplement vérifier s'il y a chevauchement entre eux. Pour ce faire, il suffit d'additionner la marge d'erreur du plus petit pourcentage à celui-ci, et soustraire celle du plus grand à ce dernier. Il ne reste qu'à vérifier si les valeurs se chevauchent. Dans le cas où il y a chevauchement, on dira que les deux pourcentages ne sont pas significativement différents, et vice versa.

Par contre, il y a aussi moyen de calculer la différence minimale requise entre les deux pourcentage pour qu'ils soient significativement différent de sorte à obtenir un résultat un peu moins conservateur.

Pour deux proportions qui proviennent d'un même échantillon, on utilisera le calcul suivant :

e_{diff}=Z_{\alpha }{\sqrt {\frac {(p_{1} p_{2})-(p_{1}-p_{2})^{2}}{n}}}

où

p_{1}

représente la première proportion,

p_{2}

la deuxième, et

n

la taille de l'échantillon.

Pour deux proportions qui proviennent de deux échantillons différents, par exemple de deux sondages, le calcul devient :

e_{diff}=Z_{\alpha }{\sqrt {{\frac {p_{1}(1-p_{1})}{n_{1}}} {\frac {p_{2}(1-p_{2})}{n_{2}}}}}

où

p_{1}

est la première proportion,

p_{2}

la deuxième,

n_{1}

la taille du premier échantillon, et

n_{2}

la taille du deuxième échantillon.

Cette formule s'approche cependant mathématiquement de cette version simplifiée :

e_{diff}=Z_{\alpha }{\sqrt {\frac {2p(1-p)}{n}}}

où

p

représente la moyenne entre

p_{1}

et

p_{2}

, et

n

la moyenne entre

n_{1}

et

n_{2}

.

$e_{diff}$ représente la différence minimale qu'on doit retrouver entre $p_{1}$ et $p_{2}$ pour que celle-ci puisse être considérée comme significative. Pour l'obtenir en %, simplement effectuer $e_{diff}\times 100$ .

Tables

La marge d'erreur est fréquemment utilisée d'une mauvaise façon pour déterminer si un pourcentage est supérieur à un autre. La statistique qui doit être utilisée dans ce cas est simplement la probabilité qu'un pourcentage soit supérieur à un autre. Le tableau ci-dessous présente les « probability of leading » de deux candidats, en l'absence d'autres candidats, et en prenant un niveau de 95 % de confiance:

Différence de pourcentages :	0 %	1 %	2 %	3 %	4 %	5 %	6 %	7 %	8 %	9 %	10 %
1 % marge d'erreur	50,0	83,6	97,5	99,8	100	100	100	100	100	100	100
2 % marge d'erreur	50.0	68,8	83,7	92,9	97,5	99,3	99,8	100	100	100	100
3 % marge d'erreur	50,0	62,8	74,3	83,7	90,5	94,9	97,5	98,9	99,6	99,8	99,9
4 % marge d'erreur	50,0	59,7	68,8	76,9	83,7	89,0	93,0	95,7	97,5	98,7	99,3
5 % marge d'erreur	50,0	57,8	65,2	72,2	78,4	83,7	88,1	91,5	94,2	96,2	97,6
6 % marge d'erreur	50,0	56,5	62,8	68,8	74,3	79,3	83,7	87,4	90,5	93,0	95,0
7 % marge d'erreur	50,0	55,6	61,0	66,3	71,2	75,8	80,0	83,7	86,9	89,7	92,0
8 % marge d'erreur	50,0	54,9	59,7	64,3	68,8	73,0	76,9	80,5	83,7	86,6	89,1
9 % marge d'erreur	50,0	54,3	58,6	62,8	66,9	70,7	74,4	77,8	80,9	83,7	86,3
10 % marge d'erreur	50,0	53,9	57,8	61,6	65,3	68,8	72,2	75,4	78,4	81,2	83,8

Par exemple, la probabilité que John Kerry gagne face à George Bush selon les données du sondage de Newsweek (une différence de 2 % et une marge d'erreur de 3 %) est d'environ 74,3 %, à condition qu'ils aient utilisé un niveau de 95 % de confiance. Voici la même table pour un niveau de 99 % de confiance:

Différence de pourcentages :	0 %	1 %	2 %	3 %	4 %	5 %	6 %	7 %	8 %	9 %	10 %
1 % marge d'erreur	50,0	90,1	99,5	100	100	100	100	100	100	100	100
2 % marge d'erreur	50,0	74,1	90,2	97,4	99,5	99,9	100	100	100	100	100
3 % marge d'erreur	50,0	66,6	80,5	90,2	95,7	98,4	99,5	99,9	100	100	100
4 % marge d'erreur	50,0	62,6	74,1	83,3	90,2	94,7	97,4	98,8	99,5	99,8	99,9
5 % marge d'erreur	50,0	60,2	69,7	78,1	84,9	90,2	94,0	96,5	98,1	99,0	99,5
6 % marge d'erreur	50,0	58,5	66,6	74,1	80,5	85,9	90,2	93,4	95,8	97,4	98,5
7 % marge d'erreur	50,0	57,3	64,4	71,0	77,0	82,2	86,6	90,2	93,0	95,2	96,8
8 % marge d'erreur	50,0	56,4	62,6	68,6	74,1	79,0	83,4	87,1	90,2	92,7	94,7
9 % marge d'erreur	50,0	55,7	61,3	66,6	71,7	76,3	80,6	84,3	87,5	90,2	92,5
10 % marge d'erreur	50,0	55,1	60,2	65,1	69,7	74,1	78,1	81,7	85,0	87,8	90,3

Si le sondage réalisé pour Newsweek utilise un niveau de 99 % de confiance, alors la probabilité que Kerry gagne face à Bush serait de 74,1 %. (La marge d'erreur passe à 4 %). Dès lors, il semble évident que le niveau de confiance a un impact significatif sur la probabilité de gagner.

Calculs avancés

Soit N le nombre de votants dans l'échantillon. Supposons qu'ils ont été tirés de façon aléatoire et indépendante de la population totale. L'hypothèse est peut-être trop forte, mais si la constitution de l'échantillon est faite avec soin la réalité peut au moins s'approcher de cette situation. Soit p la proportion de votants de la population totale qui voteront « oui ». Alors le nombre X de votants de l'échantillon qui voteront « oui » est une variable aléatoire distribuée selon une loi binomiale de paramètres N et p. Si N est suffisamment grand, alors X suit la loi normale de moyenne Np et de variance Np(1 − p). Donc

Z={\frac {X-Np}{\sqrt {Np(1-p)}}}

suit la loi normale centrée réduite (celle qui a pour paramètres 0 et 1).

La table de la loi normale révèle que P(−2,576 < Z < 2,576) = 0,99, ou, en d'autres termes, qu'il y a 99 chances sur cent pour que cet événement se réalise. Ainsi,

P\left(-2,576<{\frac {X/N-p}{\sqrt {p(1-p)/N}}}<2,576\right)=0,99.

Cela équivaut à

P\left({\frac {X}{N}}-2,576{\sqrt {\frac {p(1-p)}{N}}}<p<{\frac {X}{N}} 2,576{\sqrt {\frac {p(1-p)}{N}}}\ \right)=0,99.

En remplaçant p dans le premier et le troisième membre de cette inégalité par la valeur estimée X/N débouche rarement sur des erreurs importantes si N est assez grand. Cette opération se traduit par:

P\left({\frac {X}{N}}-2,576{\sqrt {\frac {(X/N)(1-(X/N))}{N}}}<p<{\frac {X}{N}} 2,576{\sqrt {\frac {(X/N)(1-(X/N))}{N}}}\ \right)=0,99.

Le premier et le troisième membre de l'inégalité dépendent de la valeur observable X/N et de la valeur inobservable p, et sont les valeurs extrêmes de l'intervalle de confiance. Autrement dit, la marge d'erreur est

2,576{\sqrt {\frac {(X/N)(1-(X/N))}{N}}}.

Cas des systèmes complexes et vivants

Dans les systèmes complexes, en particulier dans le domaine de la biologie et plus encore de l'écologie ou du climat, dans le domaine des faibles doses, etc., les marges d'erreurs peuvent être importantes, notamment du fait de fréquents effets cachés non pris en compte à cause de la difficulté de séparer les aspects biotiques et abiotiques de certaines circonstances réelles (in situ) ou expérimentales en laboratoire, in vitro, en enceinte confinée^[1]… ou certains effets stochastiques.

Notes et références

↑ Michael A. Huston, Hidden treatments in ecological experiments: re-evaluating the ecosystem function of biodiversity ; Oecologia (1997) 110:449±460 Ó Springer-Verlag 1997

Voir aussi

Articles connexes

Portail des probabilités et de la statistique

[1] Michael A. Huston, Hidden treatments in ecological experiments: re-evaluating the ecosystem function of biodiversity ; Oecologia (1997) 110:449±460 Ó Springer-Verlag 1997

[1]