Rapport15122014 M2MIGS

Etude et estimation de
la consommation totale
dlectricit par calage
avec ou sans rduction
du nombre de variables
auxiliaires.
Amin El Gareh et Cheikh Med
Lmami Bezeid
Table des Matires
Prsentation des donnes dlectricit . . . . . . . . . . . . . . . . . . . . . . . 3
1.1
Introduction des donnes
1.2
Etude descriptive des donnes
1.2.1
1.2.2
1.2.3
Consommation moyenne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
Mesure de la dispersion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
Analyse en composantes principales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
Prsentation du calage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.1
Estimation par Horvitz-Thompson
2.2
Estimation par calage
2.3
Application du calage
11
2.3.1
2.3.2
Calage selon un plan SAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

Calage selon un plan Stratifi avec SAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
Prsentation du calage sur CP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
3.1
Mthode de calage sur CP
3.1.1
3.1.2
Information auxiliaire sur CP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

Calage sur CP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
3.2
Application du calage sur CP
Prsentation des programmes R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
4.1
Organigramme
18
4.2
Bibliothque des programmes R
19
Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
14
15

Consommation moyenne
Mesure de la dispersion
Analyse en composantes principales
1. Prsentation des donnes dlectricit
1.1

On sintresse des donnes dlectricit irlandaise de trs grandes dimensions. Il sagit de la
consommation dlectricit enregistre toutes les 30 minutes pendant 2 semaines (du lundi 5
octobre 2009 00:00 au dimanche 18 octobre 2009 23h30) pour 6291 individus: rsidentiels,
petites & moyennes entreprises, et autres. Ces donnes sont des donnes fonctionnelles car elles
sont constitues dun certain nombre de valeurs discrtes qui ont t mesures, enregistres par le
CER (Commission for Energy Regulation ), mais dont lensemble reflte une variation rgulire.
Comme en thorie, on pourrait obtenir une grande quantit de points, aussi rapprochs que lon
veut, on voit que lon obtient une courbe et que lon peut traiter la donne comme une fonction.
1.2

Notre objectif ici est disoler le ou les comportements de consommation dun ensemble dindividus
appartenant une mme classe: rsidentiels, petites & moyennes entreprises, ou autres.
1.2.1
Consommation moyenne
On considre la consommation moyenne comme tant la consommation totale prise en moyenne
sur toute la population et par jour de la semaine. Sur la figure 1.1, on a reprsent cette
consommation moyenne en fonction du temps en minutes, et les jours de la semaine y sont
dlimits par des traits verticals rouges. Lanalyse de la courbe des individus "rsidentiels" et
"autres", nous rvle le caractre cyclique de la consommation moyenne sur une priode de 24h.
La courbe des individus "petites & moyennes entreprises" indique une consommation moyenne
qui sapparente tre cyclique entre le lundi et le vendredi, mais qui ne lest pas le week-end.
Chapter 1. Prsentation des donnes dlectricit
Figure 1.1 - Courbes de la consommation moyenne en fonction du temps (en minutes)

1.2.2
Mesure de la dispersion
Lillustration 1.2 met en relation la variance de la consommation des individus avec la classe
dappartenance. On peut distinguer un cart important entre les variances des petites & moyennes
entreprises et les autres classes.
Figure 1.2 - Diagrammes en colonnes : variance de la consommation des individus par classes
1.2 Etude descriptive des donnes
Etudier la rpartition journalire des botes moustaches (no 1: lundi 5 octobre, ... , no 14:
dimanche 18 octobre) permet dabord de confirmer lintuition que nous avions concernant la
consommation moyenne journalire dlectricit qui savre tre effectivement rgulire. De
plus, la figure 1.3 indique la prsence dun nombre important dindividus atypiques, en particulier
"rsidentiel", et qui par consquent peuvent tre problmatique car ils peuvent biaiser les rsultats,
notamment pour la variance intra-classe.
Figure 1.3 - Botes moustaches de la consommation des individus par jour

1.2.3
Analyse en composantes principales

La premire tape consiste slectionner le nombre daxes factoriels. En utilisant le critre de
Kaiser, nous slectionnons les 3 premires valeurs propres qui expliquent 72.72% de linertie
totale du nuage de points. Nanmoins, comme le troisime axe nest corrl significativement
quavec une seule variable, nous ne le considrons pas dans linterprtation.
Figure 1.4 - Part de linertie
Chapter 1. Prsentation des donnes dlectricit
Le cercle des corrlations pour le plan form des deux premiers axes factoriels est reprsent
figure 1.5 et 1.6. Toutes les variables sont bien reprsentes dans ce plan factoriel puisquelles
sont proches du bord du cerle de corrlation. Sur la figure 1.5 on a choisi de prendre les variables
reprsentatives dun jour entre le lundi et le samedi, soit le vendredi 9 octobre 2009, et pour une
meilleure visibilit nous avons divis la reprsentation des variables en deux parties: matin-midi
et midi-soir. Tandis que sur la figure 1.6 nous avons pris les variables reprsentatives du dimanche
11 octobre 2009.
Figure 1.5 - Cercle des corrlations, reprsentation des variables du vendredi 9 octobre 2009
Figure 1.6 - Cercle des corrlations, reprsentation des variables pour le dimanche 11 octobre
2009
1.2 Etude descriptive des donnes
Figure 1.7 - Reprsentation des individus dans le plan factoriel selon la classe dappartenance
On constate que les variables entre 8h et 18h sont bien reprsentes par rapport au premier
axe tandis que le reste des variables est moins bien reprsent. On peut donc dire que ce dernier
explique la consommation dlectricit.
En utilisant une approche simultane entre les graphes des individus et des variables, on
saperoit que tous les individus sont bien reprsents par rapport au premier axe. Par consquent,
ces mmes individus ont des valeurs leves pour les variables entre 8h et 18h.
Pour le cas particulier du dimanche, on constate que les variables sont toutes ngativement
corrls au deuxime axe. Cet axe explique la consommation, qui savre tre faible.

Calage selon un plan SAS
Calage selon un plan Stratifi avec SAS
2. Prsentation du calage
En thorie des sondages, nous sommes souvent confronts lestimation du total dune variable
dintrt Y
ty =
yk
kU
2.1

Horvitz et Thompson (1952) ont prsent un estimateur linaire sans biais dun total ty valable
pour tout plan de sondage
yk
ks k
ty =
Cet estimateur est appel le -estimateur ou estimateur de Horvitz-Thompson. En effet, les

valeurs prises par le caractre y sur les units de lchantillon sont dilates par linverse des
probabilits dinclusion.
Theorem 2.1.1 Si k > 0, k U, alors ty estime ty sans biais.
Demonstration.
"
#
yk
= E
E[ty]
ks k
"
#
Ik yk
= E
kU k
o Ik est une variable indicatrice qui vaut 1 si k s et 0 sinon
2.2 Estimation par calage
E[Ik ]yk
k
kU
yk
kU
= ty
= E[ty]
ty = 0
Par consquent, Biais(ty)
2.2

Les mthodes de calage ont t formalises par Deville et Srndal (1992). ils donnent un cadre
gnral pour lestimation par calage et tudient les proprits de ces estimateurs. Linformation
auxiliaire utilise est un vecteur de totaux connus tx .
Definition 2.2.1 Estimateur de calage. La mthode de calage consiste chercher de
nouveaux coefficients de pondration affecter aux variables. Lestimateur par calage du
total est un estimateur linaire homogne qui scrit:
tw,y = wks yk
ks
Proposition 2.2.1 Les poids wks dpendent de lchantillon alatoire et sont dtermins de sorte
que lestimateur soit cal sur les totaux des caractres auxiliaires.
twx = tx
twx = wks xk
ks
Notation 2.1. Par commodit on pose wk = wks , pour tout k s
Comme il existe une infinit de poids wk qui satisfait la proposition 2.2.1, on va chercher
des poids proches des poids k1 du -estimateur. Notons:
dk =
1
,
k
ks
estime asymptotiquement sans biais ty

Theorem 2.2.2 Si k > 0, k U, alors twy
Demonstration.
Le choix des poids wk proches de dk assure la convergence asymptotique de lestimateur de calage twy
vers lestimateur de Horvitz-Thompson ty
wk xk dk xk twy
ks
ty
ks
est uniformement borne car cest une somme finie alors, on a:

Comme twy
ty E[twy
] E[ty ]
twy
) E[ty ] ty = 0
Par consquent, Biais(twy
Chapter 2. Prsentation du calage
10
Pour garantir le critre de proximit entre wk et dk , on va utiliser une pseudo-distance de

2
Khi-deux, Fk (wk , dk ) = (wkdk)
.
dk
La fonction Fk (wk , dk ) est suppose positive, drivable par rapport wk et strictement convexe,
telle que Fk (wk , dk ) = 0. Les poids wk , k s, sont obtenus en rsolvant le problme (P) de
minimisation
(P) :=
(wk dk )2
F
(w
,
d
)
=
min
k
k
k
dk
ks
ks
twx j = tx j
j = 1, ..., p
On peut crire la fonction Lagrangienne :

p
(wk dk )2
j (twx j tx j )
dk
j=1
ks
L(wk , j ) =
p
(wk dk )2
=
j
dk
j=1
ks
wk xk
ks
xk
kU
o les j sont les multiplicateurs de Lagrange. En annulant les drives partielles du

Lagrangien par rapport aux wk , on obtient:
L(wk , j )
=0
wk
wk dk
2
dk
wk = dk
1
2
j xk j = 0
j=1
j xk
+1
(2.1)
j=1
En considrant lexpression des poids wk et daprs les contraintes de (P), on obtient:
tx j = wk xk j tx j = dk xk j
ks
ks
1
2
j xk
+1
j=1
1
tx j = dk xk j + dk xk j
2 ks
ks
j xk
j=1
Lexpression peut galement scrire sous forme matricielle
tx = tx +
1
dk xtk xk
2 ks
Sous rserve que la matrice ks dk xtk xk soit inversible, on peut dterminer

!1
= 2
dk xtk xk
ks
(tx tx )
2.3 Application du calage
11
En remplaant dans lexpression (2.1) on obtient les poids wk

w k = dk
1t
xk + 1
2
!1
= dk t (tx tx )
dk xtk xk
xk + 1
(2.2)
ks
= ks wk yk peut scrire
Enfin, lestimateur de calage twy
!1
= ty +t (tx tx )
twy
2.3
dk xtk xk
xk dk yk
ks
ks
(2.3)
On souhaite estimer la consommation totale dlectricit de la deuxime semaine, ty = 1485176258.
Il ya 336 variables auxiliaires, qui reprsentent les consommations prises toutes les 30 minutes
pendant la premire semaine. Et sont prsentes dans les vecteurs (tx j ) j=1,...,336 = kU xk j .
2.3.1
Calage selon un plan SAS

Soit U la population dtude compose de N=6291 individus qui consomment de llectricit sur
deux semaines conscutives. La premire approche consiste slectionner un chantillon s U
selon un plan de sondage p(.) alatoire simple sans remise (SAS) de taille n=600.
Definition 2.3.1 Un plan de taille fixe n est dit simple sans remise (SAS) si et seulement si
1
N
n
p(s) :=
si card(s) = n
sinon
Definition 2.3.2 Les probabilits dinclusion dordre un peuvent tre dduites du plan de
sondage p(.) SAS

1

N
N 1 N 1 n
k = p(s) =
=
= , pour tout k U
N
n1
n
ks
ks n
Les probabilits dinclusion associes nos donnes sur llectricit sont k =
600
6291 .
Chapter 2. Prsentation du calage
12
On a simul I=500 chantillons alatoires simples sans remise de taille n=600, en utilisant la mthode de calage prsente au paragraphe 2.2 on obtient une estimation moyenne de
(i)
twy = 1I Ii=1 twy = 1492219885.
Pour comparer lestimateur de Horvitz-Thompson avec celui par le calage on utilise le
rapport des variances R qui suit:
R=
) Ii=1 (twy
(i) ty )2 1.747882e + 17
Var(twy
=
= 0.047365
(i)
Var(ty )
3.690269e + 18
Ii=1 (ty ty )2
La mme prcision est obtenue en utilisant le calage avec un plan SAS de taille n = 600*0.047365 = 29
quen prennant la mthode de Horvitz-Thompson avec un plan SAS de taille n = 600.
Le coefficient de variation cv est une mesure de dispersion relative, qui va tre utilis comme
contrle de qualit pour lestimateur de calage.
p
)
Var(twy
cv =
= 0.011618
twy
2.3.2
qui peut aussi sexprimer en pourcentage, soit cv = 1.1618%
Calage selon un plan Stratifi avec SAS

Notre population dtude U est divise dans H = 3 strates avec Nh units dans la strate h.
Les tailles des strates sont connues et valent N1 = 4225 pour la strat "Autres", N2 = 485 pour
la strat "P&M entreprises", et N3 = 1581 pour la strat "Rsidents". Et vrifient la condition
suivantes: N1 + N2 + N3 = N = 6291
La deuxime approche pour slectionner notre chantillon s sera dappliquer le plan SAS
dans chacune des trois strates.
Pour trouver le nombre dunits chantillonnes nh dans chaque strate on utilise une allocation
proportionnelle: Nnhh = Nn .
Lestimateur de Horvitz-Thompson selon le plan Stratifi pour le total ty est donn par:
H
=
tstr
Nh
nh yk .
h=1
ksh
Et lestimateur de calage selon le plan Stratifi est de:

H
=
twstr
wk,s yk .
h
h=1
ksh
2.3 Application du calage
13
On a simul I = 500 chantillons tirs selon le plan Stratifi avec SAS chacun de taille
= 1504942728.
n = 600. On obtient une estimation moyenne de twstr
Pour comparer lestimateur de Horvitz-Thompson avec celui du calage pour ce plan on
calcule
R=
(i) ty )2
) Ii=1 (twstr
Var(twstr
= 0.231561
)
Var(tstr
(i) ty )2
Ii=1 (tstr
La mme prcision est obtenue en utilisant le calage par Stratification avec SAS de taille
n = 600* 0.231561 = 139 quen prennant la mthode de Horvitz-Thompson avec un plan SAS de
taille n = 600.
On calcule le coefficient de variation cv , qui vaut:
p
)
Var(twstr
= 0.02203803
cv =
twstr
qui peut aussi sexprimer en pourcentage, soit cv = 2.203803%
Le calage qui a t effectu suivant lun ou lautre des plans utilise une pseudo-distance de
khi-deux. Cette pseudo-distance est lorigine de lobtention de poids ngatifs.
Pour y remdier on peut utiliser dautres mthodes comme logistique, raking ratio, linaire
tronque, ...

Information auxiliaire sur CP
Calage sur CP
3. Prsentation du calage sur CP
Le calage en prsence de beaucoup de variables auxilaires peut savrer instable surtout sil ya
des collinarits entre les variables auxiliaires. Une mthode pour palier cet incovnient est de
rduire linformation auxiliaire en ralisant une ACP.
3.1
3.1.1

Information auxiliaire sur CP
Soient 1 2 ... p > 0 les valeurs propres de matrice de variance-covariance N1 X T X, o
X est la matrice forme des vecteurs (X j )1,...,p contenant linformation auxiliaire de dpart. Et
soient v1 , ..., v p les vecteurs propres associs aux ( j ) j=1,...,p .
Les composantes principales Z1 , ..., Z p qui sont les combinaisons linaires des (X j )1,...,p
sont dfinies par la relation Z j = Xv j ,
j = 1, ..., p.
On va slectionner selon le critre de Kaiser les r premires composantes principales, qui vont
formes les nouvelles variables auxiliaires. La matrice dinformation auxiliaire est maintenant
donne par:
Z = (Z1 , ..., Zr ) = (zk )kU

3.1.2
zk = (zk1 , ..., zkr )T
Calage sur CP
Notre objectif est de trouver les poids de calage (wk )ks qui vrifient:
(P0 ) :=
(wk dk )2
F
(w
,
d
)
=
k
k
k
dk min
ks
ks
twz j = tz j
j = 1, ..., r
3.2 Application du calage sur CP

R
15
Les quations de calage qui peuvent aussi scrire sous la forme ks wk zk j = ks zk j

o twz j = ks wk zk j est un estimateur dpendant du paramtre r
- Si r = 0 on obtient lestimateur de Horvitz-Thompson ty qui nutilise pas linformation
auxiliaire.
- Si r = p on obtient lestimateur cal sur les p variables de dpart.
La rsolution du problme de minimisation (P0 ) est la mme que celle prsente au paragraphe 2.2, les poids wk sont donc:

wk = dk
1t
zk + 1
2
!1
= dk t (tz tz )
dk ztk zk
zk + 1
ks
= ks wk yk peut scrire
Et lestimateur de calage twy
!1
= ty +t (tz tz )
twy
3.2
dk ztk zk
zk dk yk
ks
ks

On souhaite toujours estimer la consommation totale dlectricit de la deuxime semaine,
ty = 1485176258. La matrice des variables auxiliaires de dpart X est de dimension
6291 x 336. On rappelle que la nouvelle matrice des variables auxiliaires Z = (Z1 , ..., Zr ), dpend
dun paramtre r, que lon peut faire varier entre 1 et p = 336. Le choix du nombre r de variables
auxiliaires ou autrement dit composantes principales vont permettre dtudier la qualit de
lestimation par calage.
On a simul I=500 chantillons alatoires simples sans remise de taille n=600, en utilisant la
mthode de calage sur les r=2 composantes principales on obtient une estimation moyenne de ty
(i)
qui est twy = 1I Ii=1 twy = 1480138029.
Le rapport des variances R vaut:
R=
) Ii=1 (twy
(i) ty )2 1.088333e + 17
Var(twy
=
= 0.029585
(i)
Var(ty )
3.678668e + 18
Ii=1 (ty ty )2
La mme prcision est obtenue en utilisant le calage sur CP avec un plan SAS de taille
n = 600*0.029585 = 18 quen prennant la mthode de Horvitz-Thompson avec un plan SAS de
taille n = 600.
)
Var(twy
Le coefficient de variation vaut: cv =
= 0.009377838 qui peut aussi sexprimer
twy
en pourcentage, soit cv = 0.9377838%
On va montrer que lestimateur du calage sur les deux premires CP est dans notre cas
, le rapport R et le
le meilleur estimateur. Pour se faire on a calculer lestimateur moyen twy
coefficient cv pour les CP compris entre 2 et 336.
16
Chapter 3. Prsentation du calage sur CP
Daprs la figure 1.8, la valeur de lestimateur moyen par calage diminue en fonction du
nombre de CP retenus. Le trait horizontal rouge reprsente la valeur exact de la consommation
total dlectricit.
du total de la consommation en fonction du nombre de CP

Figure 1.8 - Estimateur moyen twy
Daprs la figure 1.9, le rapport des variances R volue progressivement jusqu un nombre
de CP gal 200. Une fois ce nombre de CP dpass le coefficient R devient lev et instable.
Figure 1.9 - Le rapport R en fonction du nombre de CP
3.2 Application du calage sur CP
17
De la figure 1.10 on retiendra que le choix des 2 premires composantes principales implique
une faible variation cv 1%, alors que pour un nombre de CP au dla de r = 50 le coefficient cv
devient relativement important (suprieur 5%).
Figure 1.10 - Le coefficient de variation cv en fonction du nombre de CP
Interprtation de la mthode du calage sur les CP

Avantages
- Rapide lorsque
le calage est fait sur un nombre trs faible de CP, car la taille de la matrice
t
ks dk zk zk inverser est petite.
- Facile mettre en oeuvre, elle permet dobtenir de gains importants en termes de variance.
- La prcision R de lestimateur de calage est meilleure par rapport aux deux autres plans,
condition que lon retienne un nombre faible de CP.
- Le problme de positivit des poids est rsolus, ceci d au fait dune variance rpartit sur
les CP.
Inconvnient
- Instable pour un grand nombre de CP.
Organigramme
4. Prsentation des programmes R
Nous avons raliss ltude de la mthode de calage selon plusieurs plans:

- SC = Calage selon un plan SAS (voir 2.3.1)
- SSC = Calage selon un plan Stratifi avec SAS (voir 2.3.2)
- SAC = Calage sur Composantes principales avec SAS (voir 3.2).
- SA2C = Calage sur les 2 premires Composantes principales avec SAS (le meilleur plan).
4.1
Organigramme
Pour chacun des plans, on a cre un "main" ou autrement dit un programme principal, dont
les dpendances ont t gnralises. On distingue dun ct une dpendance conditionnelle
marque par des pointills, cest--dire que struct_conso sexcute que si la table conso nexiste
4.2 Bibliothque des programmes R
19
pas dans le workspace.

De lautre ct on effectue un calage tape par tape partir de main_calage, qui se rsume de la
facon suivante:
1. chantillonnage selon un plan p(.) SAS avec la fonction echantillonage.
2. calcul des poids de calage avec la fonction calage_fun.
3. calcul des estimateurs de calage et de Horvitz-Thompson.
4.2
# struct_conso.R
# struct_conso permet de structurer la table "smart.278co.csv" avec "contrat.smartco.csv"
#
#=> en sortie :
# ~ conso : table des conso. des ind. classs par contrat
# ~ nconso : table uniquement avec les conso. des ind.
struct_conso=function(){
source(rename_col.R)
smart=read.table(smart.278co.csv, header = TRUE, sep=",")
smart[,1]=1:nrow(smart)
contrat=read.table(contrat.smartco.csv, header = TRUE, sep=",")
# renomme la table contrat, 1:Autres, 2:PM entreprises, 3:Rsidentiels
levels=c("Autres","PM entreprises","Rsidentiels")
for( i in 1:3){ contrat[which(contrat[,2]==i),2]=levels[i]; }
tab.conso=merge(smart,contrat, by="X") # fusion de la table conso. des ind. avec contrat

tab.conso[,1]=tab.conso[,ncol(tab.conso)]
tab.conso=tab.conso[,-ncol(tab.conso)]
# renomme les colonnes de la table conso, nouveau format: JOURS/HEURE
conso=rename_col(tab.conso,p=(ncol(tab.conso)-1))
nconso=conso[,-1] # table conso sans var. qualitatives
list(conso=conso,nconso=nconso)
}
Chapter 4. Prsentation des programmes R
20
# rename_col.R
# rename_col creer un nouveau format "JOURS/ HEURE"

# pour le nom des variables de la table conso
rename_col=function(conso,p){
v=rep(0,p)
h=0; m=0; j=5
v[1]="5/ 0:0"
for( i in 1:(p-1) ){
if(i%%48!=0){
m=m+30
if(m==60){ m=0; h=h+1;}
}
else{ j=j+1; h=0; m=0;}
v[i+1]=paste(c(as.character(j),"/ ",as.character(h),":",as.character(m)),sep=" ",
collapse="")
}
v=c("code",v);
return(conso)
}
colnames(conso)=v;
21
# main_calage.R
# main_calage permet de calculer les estimateurs de calage et de horvitz-thompson
#
#=> en entre :
# ~ tab : la matrice contenant toutes les donnes
# ~ X_U : la matrice contenant linformation auxiliaire dans U
# ~ N : la taille de la population U
# ~ n : la taille de la pop. S
# ~ dk : linverse de la probabilit dinclusion pour un plan p(.) SAS
# ~ sem1.var : les indices des var. de la semaine 1
# ~ nom_plan : SC = SAS+Calage | SSC = Strat+SAS+Calage | SAC = SAS+ACP+Calage
main_calage=function(tab,X_U,N,n,dk,sem1.var,sem2.var,nom_plan){
echt = echantillonage(tab,X_U,N,n,sem1.var,sem2.var,nom_plan) # echantillonage
X_S = echt$X_S; Y_S=echt$Y_S
yk=apply(Y_S,1,sum) # conso. de lindividu k dans S pdt la sem2
calage.conso = calage_fun(dk,X_S,X_U) # fonction de calage
est.ty = calage.conso$wk %*% yk # estimateur de calage
est.hty = sum(dk*yk) # estimateur de hovitz-thompson
list( est.ty=est.ty, est.hty=est.hty)
}
22
# echantillonage.R
# echantillonage renvoit les matrices X_S et Y_S prises alatoirement dans U

#
#=> en entre :
# ~ tab : la matrice contenant toutes les donnes
# ~ N : la taille de la population U
# ~ n : la taille de la pop. S
# ~ nom_plan : SC = SAS+Calage | SSC = Strat+SAS+Calage | SAC = SAS+ACP+Calage
echantillonage=function(tab,X_U,N,n,sem1.var,sem2.var,nom_plan){
rand.ind=sample(1:N, n, replace=F) # indice des individus appartenant a S pris alea.
if(nom_plan=="SC" | nom_plan=="SSC" ){ # plan SC ou SSC
X_S=as.matrix(tab[rand.ind,sem1.var]) # conso. des ind. de S pour la sem1
}
else{ # plan SAC
X_S=as.matrix(X_U[rand.ind,]) } # conso. des ind. de S pour la sem1
Y_S=as.matrix(tab[rand.ind,sem2.var])
# conso. des ind. de S pour la sem2
list( X_S=X_S, Y_S=Y_S)

}
# calage_fun.R
# calage_fun permet de calculer les poids de calage
#
#=> en entre :
# ~ dk : linverse de la probabilit dinclusion pour un plan p(.) SAS
# ~ X_S : la matrice contenant linformation auxiliaire dans S
calage_fun=function(dk,X_S,X_U){
tx = apply(X_U,2,sum) # vecteur contenant les totaux pour linfo. aux. dans U
twdx = apply(X_S,2,sum) # vecteur contenant les totaux pour linfo. aux. dans S
txtwdx = tx - dk*twdx
mat = ginv(dk * crossprod(X_S,X_S))
wk = dk + dk*(txtwdx %*% mat) %*% t(X_S) # poids de calage
list(wk=wk)
}
23
# main_SC.R
##################################################################
#######
CALAGE AVEC UN PLAN SAS
########
##################################################################
setwd("F:/Master 2 MIGS/projet/")
# chemin du dossier courant
# si la table conso nexiste pas dans le workspace, alors

# on creer la table conso et nconso (sans var. qualitative)
if( exists("conso")=="FALSE" ){
source(struct_conso.R)
struct_conso=struct_conso()
conso=struct_conso$conso; nconso=struct_conso$nconso
}
source(echantillonage.R); source(calage_fun.R); source(main_calage.R)
library(MASS)
N=nrow(nconso) # U
n=600 # S
P=ncol(nconso) # nombre de variables
p=336 # nombre de variables auxiliaires
sem1.var=1:p # indice des var de la sem1
sem2.var=(p+1):P # indice des var de la sem2
X_U=as.matrix(nconso[,sem1.var]) # conso des ind de U pour la sem1
Y_U=as.matrix(nconso[,sem2.var]) # conso des ind de U pour la sem2
yk=apply(Y_U,1,sum) # conso de lindividu k dans U pdt la sem2
ty=sum(yk) # conso total sem2
dk=N/n # linverse de la probabilit dinclusion pour un plan p(.) SAS
ni=50 # nombre dechantillons I de taille n=600
i=seq(1,ni,1)
lest=sapply( i,function(x) main_calage(nconso,X_U,N,n,dk,sem1.var,sem2.var,"SC") )
est.ty=unlist(lest[1,]); est.hty=unlist(lest[2,])
tty = rep( ty, ni )
R = sum( (est.ty - tty)^2 ) / sum( (est.hty - tty)^2 )
cv = sqrt( var(est.ty) ) / mean(est.ty)
cat( sprintf( "\n Lestimateur moyen de la conso totale de la semaine 2 est de %d \n
La qualite R de lestimateur est de %f \n
Le coefficient de variation est de %f \n" , round(mean(est.ty)), R, cv) )
24
# main_SSC.R
########################################################################
#
# #######
CALAGE SELON UN PLAN STRAT AVEC SAS
########
#
# ######################################################################
setwd("F:/Master 2 MIGS/projet/") # chemin du dossier courant
# on creer la table conso et nconso (sans var. qualitative) avec la fonction struct_conso
n=struct_conso$n; p=struct_conso$p
}
source(echantillonage.R); source(main_calage.R); source(calage_fun.R)
library(MASS)
N=nrow(nconso) # U
n=600; # S
P=ncol(nconso) # nombre total de variables
p=336 # nombre de variables auxiliaires
class.contrat=conso[,1]
fac=as.factor(class.contrat)
levels=c("Autres","PM entreprises","Rsidentiels")
Y_U=as.matrix(nconso[,sem2.var])
lest.ty=list(); lest.hty=list()
for(j in 1:10){
twy=list(); htwy=list(); k=1
for(i in levels){
aux = factor( (fac%in%i)*1 )
Nh = length( which(aux==1) ) # Uh
nh = round(n*Nh/N) # Sh
25
dk = Nh/nh # linverse de la proba. dinclusion p(.) SAS pour la k-ieme strat

mat = as.matrix(nconso[aux%in%1,]) # matrice de donnes pour la k-ieme strat
X_U = mat[,sem1.var]; Y_U=mat[,sem2.var]
lest = main_calage(mat,X_U,Nh,nh,dk,sem1.var,sem2.var,"SSC")
twy[[k]] = lest$est.ty # estimation par calage pour la k-ieme strat
htwy[[k]] = lest$est.hty # estimation par horvitz-thompson pour la k-ieme strat
k=k+1
}
lest.ty[[j]] = sum( unlist(twy) ) # j-ieme estimation par calage
lest.hty[[j]] = sum( unlist(htwy) ) # j-ieme estimation par horvitz-thompson
}
est.ty=unlist(lest.ty); est.hty=unlist(lest.hty)
tty = rep( ty, length(est.ty) )
La qualit R de lestimateur est de %f" , round(mean(est.ty)), R) )
# main_SA2C.R
##################################################################
#######
CALAGE SUR LES 2 CP AVEC UN PLAN SAS
########
##################################################################

# on creer la table conso et nconso (sans var. qualitatives) avec la fonction struct_conso
}
source(echantillonage.R); source(calage_fun.R); source(main_calage.R)
# install.packages("ade4")
library(ade4)
library(MASS)
N=nrow(nconso) # U
n=600 # S
26
P=ncol(nconso) # nombre de variable

p=336 # nombre de variable auxiliaire de d?part
dk=N/n # linverse de la probabilite dinclusion pour un plan p(.) SAS
# ACP centree reduite sur les variables auxiliaires

#-------------------------------------------------conso.acp=dudi.pca(X_U,center=TRUE,scale=TRUE,scannf=FALSE,nf=p)
# Estimation optimale par calage sur les CP 1 et 2
#------------------------------------------------X_U=-conso.acp$li[,1:2] # matrice des var. auxiliaires sur les CP
sem1.var=1:2 # indice des var de la sem1
i=seq(1,ni,1)
lest=sapply( i,function(x) main_calage(nconso,X_U,N,n,dk,sem1.var,sem2.var,"SAC") )
est.ty=unlist(lest[1,]) # ni estimation par calage
est.hty=unlist(lest[2,]) # ni estimation par horvitz-thompson
tty = rep( ty, ni )
cv = sqrt( var(est.ty) ) / mean(est.ty)
La qualite R de lestimateur est de %f \n
Le coefficient de variation est de %f \n" , round(mean(est.ty)), R, cv) )
27
# main_SAC.R
#############################################################################
#######
CALAGE SUR CP ENTRE 2 et 336 AVEC UN PLAN SAS
########
#############################################################################
# on creer la table conso et nconso (sans var. qualitative) avec la fonction struct_conso
}
source(echantillonage.R)
source(calage_fun.R)
source(main_calage.R)
# install.packages("ade4")
library(ade4)
library(MASS)
N=nrow(nconso) # U
n=600 # S
P=ncol(nconso) # nombre de variable
p=336 # nombre de variable auxiliaire de depart
dk=N/n # linverse de la probabilite dinclusion pour un plan p(.) SAS
# ACP centree reduite sur les variables auxiliaires

#-------------------------------------------------conso.acp=dudi.pca(X_U,center=TRUE,scale=TRUE,scannf=FALSE,nf=p)
#
lnb.cp=seq(2,p,by=10) # le nombre de CP a garder, compris entre 3 et 336
lest=list()
k=1
for( pj in lnb.cp ){
28
X_U=-conso.acp$li[,1:pj] # matrice des var. auxiliaires sur les CP

sem1.var=1:pj # indice des var de la sem1
i=seq(1,ni,1)
lest[[k]]=sapply( i,function(x) main_calage(nconso,X_U,N,n,dk,sem1.var,sem2.var,"SAC")
k=k+1
}
i=seq(1,(k-1),1)
# ni estimation par calage pour la ieme CP
est.ty=sapply( i,function(x) unlist(lest[[x]][1,]) )
# ni estimation par HT pour la ieme CP
est.hty=sapply( i,function(x) unlist(lest[[x]][2,]) )
mest.ty=sapply( i,function(x) mean(unlist(lest[[x]][1,])) )
tty = rep( ty, ni )
R=sapply( i,function(x) sum((est.ty[,x] - tty)^2) / sum((est.hty[,x] - tty)^2) )
cv=sapply( i, function(x) sqrt( var(est.ty[,x]) ) / mest.ty[x] )
# representation de la qualite de lestimateur en fonction du nombre de CP

#-------------------------------------------------------------------------# affichage du coefficient R en fonction du nb de CP
plot(lnb.cp,R, type="p", col="red",xlab="nombre de CP")
lines(lnb.cp,R,col="black")
# affichage du coefficient de variation cv en fonction du nb de CP
plot(lnb.cp,cv, type="p", col="red",xlab="nombre de CP",ylab="cv")
lines(lnb.cp,cv,col="black")
# affichage de lestimateur moyen en fonction du nb de CP
plot(lnb.cp,mest.ty, type="p", col="red",xlab="nombre de CP",
ylab="estimateur moyen du total de la consommation")
lines(lnb.cp,mest.ty,col="black")
lines(2:p,rep(ty,(p-1)),col="red")
5. Conclusion
Ce travail visait dvelopper plusieurs plans permettant destimer la consommation totale

dlectricit. Introduire des mthodes issues de la thorie des sondages, nous a permis de
comprendre les principes et les enjeux de cette discipline. La thorie des sondages suscite des
travaux dapprofondissement rcents et innovants en tout point. Du fait quelle porte sur des
populations finies, dexistence bien concrte, elle ne peut ignorer les contraintes du monde rel.
Cest dans ce sens que nous portons un intrt pour son tude et pour son application.
Bibliographie
1. Till, Y. (2001), Thorie des sondages, chez Dunod.

2. http://sondages2012.ensai.fr/wp-content/uploads/2011/01/expose_rennes_gogaShehzad_
20121.pdf

Rapport15122014 M2MIGS

Загружено:

Сведения о документе

Оригинальное название

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

Rapport15122014 M2MIGS

Загружено:

Авторское право:

Доступные форматы

Etude et estimation de

Table des Matires

Prsentation des donnes dlectricit . . . . . . . . . . . . . . . . . . . . . . . 3

Introduction des donnes

Etude descriptive des donnes

Estimation par Horvitz-Thompson

Estimation par calage

Calage selon un plan SAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

Prsentation du calage sur CP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

Mthode de calage sur CP

Information auxiliaire sur CP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

Application du calage sur CP

Prsentation des programmes R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

Bibliothque des programmes R

Introduction des donnes

1. Prsentation des donnes dlectricit

Introduction des donnes

Etude descriptive des donnes

Chapter 1. Prsentation des donnes dlectricit

Figure 1.1 - Courbes de la consommation moyenne en fonction du temps (en minutes)

1.2 Etude descriptive des donnes

Figure 1.3 - Botes moustaches de la consommation des individus par jour

Analyse en composantes principales

Figure 1.4 - Part de linertie

Chapter 1. Prsentation des donnes dlectricit

1.2 Etude descriptive des donnes

Estimation par Horvitz-Thompson

Estimation par Horvitz-Thompson

Cet estimateur est appel le -estimateur ou estimateur de Horvitz-Thompson. En effet, les

o Ik est une variable indicatrice qui vaut 1 si k s et 0 sinon

2.2 Estimation par calage

Estimation par calage

Notation 2.1. Par commodit on pose wk = wks , pour tout k s

estime asymptotiquement sans biais ty

est uniformement borne car cest une somme finie alors, on a:

Chapter 2. Prsentation du calage

Pour garantir le critre de proximit entre wk et dk , on va utiliser une pseudo-distance de

On peut crire la fonction Lagrangienne :

o les j sont les multiplicateurs de Lagrange. En annulant les drives partielles du

En considrant lexpression des poids wk et daprs les contraintes de (P), on obtient:

Lexpression peut galement scrire sous forme matricielle

Sous rserve que la matrice ks dk xtk xk soit inversible, on peut dterminer

2.3 Application du calage

En remplaant dans lexpression (2.1) on obtient les poids wk

Calage selon un plan SAS

sondage p(.) SAS

Les probabilits dinclusion associes nos donnes sur llectricit sont k =

Chapter 2. Prsentation du calage

qui peut aussi sexprimer en pourcentage, soit cv = 1.1618%

Calage selon un plan Stratifi avec SAS

Et lestimateur de calage selon le plan Stratifi est de:

2.3 Application du calage

qui peut aussi sexprimer en pourcentage, soit cv = 2.203803%

Mthode de calage sur CP

3. Prsentation du calage sur CP

Mthode de calage sur CP

Z = (Z1 , ..., Zr ) = (zk )kU

zk = (zk1 , ..., zkr )T

3.2 Application du calage sur CP

Les quations de calage qui peuvent aussi scrire sous la forme ks wk zk j = ks zk j

Application du calage sur CP

Chapter 3. Prsentation du calage sur CP

du total de la consommation en fonction du nombre de CP