XSX

COMMUNICATIONS NUMÈRIQUES
( Tronc commun )
NBI/01/05/06 Nicolas IBRAHIM

Introduction à la
Théorie d’Information
Année 2005/2006 – ESME/Sudria Nicolas IBRAHIM
Domaine de la Théorie d’Information

Th mun
Co
lité
éor ica
m
abi
ie d tio
b
e la n
Pro
Phys
ique Théorie ue
Statistiq
de
l’Information
M
é ath
le xit que ém
mp mi ati
Co orith
Economie
qu
Alg e
2
Théorie de l'information
Probabilité, mathématique et statistique
Entropie, Séquence aléatoire longue,
Entropie relative Test d’hypothèse,
information mutuelle Probabilité des événements rares
Economie
Investissement optimal à la bourse, calcul du risque et du gain.
Complexité Algorithmique
Entropie, Complexité de Kolmogorov :
Description minimale plus petite longueur du programme
Binaire capable de faire le calcul
Physique
Entropie, Deuxième loi de la
Entropie relative thermodynamique
3
Théorie de la Communication
Bannir les idées pré-établies :
Côté Source
Compression illimitée d’une source d’information
Côté Canal
Augmenter Augmenter
le débit de transmission la probabilité d’erreur
4
Shannon 1948
Les limites de la communication
Source Canal de
Récepteur
d’Information transmission
Taux maximal de compression Débit maximal de transmission

d’une source d’information, sur un canal,
au delà duquel les informations au delà duquel les informations
sont distordues sont erronées
5
Système de communication : petit aperçu

Source c, ,
Blo lutif ,
n
e e nvo M)
Info n, dag e co e ( GS S), )
t io
n
fma que o
C dag od M D T
TD (UM ADS
L
ca f
Hu tropi QA
an tifi Co rbo-C SK
, S
E DM (
u En Tu BP
Q OF
Codage Codage Modulation
Modulation
A/D Source canal Binaire signal
(compression)
,
G N h,
A le g jet,..
W i
y
Ra lti-tra Canal de
Mu
transmission
Décodage Démodulation Démodulation

D/A Décodage
Source Binaire Signal
canal
(expansion) ,
et filtrage
ple l,
, o
s eu t ima eur
s
AP atif io n r ro p
sat
i , M ér lat on du t eu t il i
erb e it d u i cep on, ti-u 6
Vit odag mo la t Ré lisati r mul
Théorie de l'information Dé
c Dé modu a
Eg epteu
Dé Ré
c
Plan
A la découverte de la théorie de communication
7
Notion d’Information
Un événement informatif est un événement inattendu !!!!
Attendu Probable
Inattendu improbable
Inversement
Info (événement) Prob (événement)
proportionnelle
1
I (x) ~
Pr (x)
8
Mesure de l’Information
§ 1 ·
I ( x) f ¨¨ ¸¸
© Pr( x) ¹
f(x) est une fonction croissante de x
f ~ fonction logarithme :
log2 Information mesurée en [bit] = [Binary Information Digit]
loge Information mesurée en [nat]
I ( x) lbPr( x)
9
Probabilité et Information
1/p
lb (1/p)
10
Mesure de l’Information Moyenne
Information moyenne = EX [ I(X) ] , X est l’ensemble où x prend ses valeurs
ª § 1 ·º
E X « lb ¨¨ ¸¸ »
¬ © Pr( x ) ¹¼
§ 1 ·
¦ Pr x lb ¨¨ Pr( x ) ¸¸
x X © ¹
¦ Pr x lb Pr x = Entropie de la source
x X
Def : Entropie d’une source discrète H(X) est la valeur moyenne d’information
fournie par cette source
H (X ) ¦ Pr x lb Pr x
x X
11
Propriétés de l’Entropie
L’Entropie est toujours positive
1
H(X ) t 0 puisque 0 d p( x) d 1 1 d df
p( x)
Changement de variable
H b ( X ) log b (a ).H a X
puisque log b ( p) log b (a). log a ( p)
12
Exemple 1
Source binaire X : 0 et 1
Pr(x=0) = p; Pr(x=1) = q=1-p
H( X ) p lb ( p) q lb (q)
p lb ( p) (1 p) lb (1 p)
def H( p)
13
Exemple 2
Source quaternaire équiprobable Source quaternaire

X : {a, b, c, d} X : {a, b, c, d}
Pr(x=a) = 1/4 , Pr(x=b) = 1/4 Pr(x=a) = 1/2 , Pr(x=b) = 1/4
Pr(x=c) = 1/4 , Pr(x=d) = 1/4 Pr(x=c) = 1/8 , Pr(x=d) = 1/8
1 §1· 1 §1·
H (X ) lb ¨ ¸ lb ¨ ¸
2 ©2¹ 4 ©4¹
§ 1 § 1 ··
H (X ) 4 * ¨¨ lb ¨ ¸ ¸¸ 1 §1· 1 §1·
© 4 © 4 ¹¹ lb ¨ ¸ lb ¨ ¸
8 ©8¹ 8 ©8¹
H (X ) 2bits 7
H (X ) bits 1,75 bits
4
L’Entropie est maximale pour une source équiprobable
14
Entropie = nombre moyen de questions à poser pour connaître le résultat de
chaque tirage
Stratégie
Q1 - Est-ce que x € {a, b} ? Q1 - Est-ce que x = a ?
oui non
Q2 oui, Q2 non,
Q2 est-ce que x = b ?
est-ce que x = a ? est-ce que x = c ?
oui non
Q2 est-ce que x = c ?
15
Entropie de deux variables aléatoires
(X,Y) Pr(X,Y)
Entropie conjointe
H X ,Y ¦ ¦ px, y lb p( x, y)
x X yY
H X , Y E p ( x , y ) >lb p ( x, y ) @
= l’information moyenne des deux sources de variables aléatoires
16
Entropie Conditionnelle
H Y X ¦ px H Y X x
x X
¦ p x ¦ p y x lb p ( y x)
x X yY
¦ ¦ p ( y, x)lb p ( y x)
x X yY
E lb p (Y X )
p( x, y )
= l’information moyenne d’une variable

conditionnée par la connaissance de l’autre variable
Attention H Y X z ¦ ¦ p ( y x ) lb p ( y x )
x X yY
H Y X z H X Y Car généralement p(y|x) = p(x|y)

17
X
Exemple Y x1 x2 x3 x4
y1 1/8 1/16 1/32 1/32 1/4

y2 1/16 1/8 1/32 1/32 1/4
y3 1/16 1/16 1/16 1/16 1/4
y4 1/4 0 0 0 1/4
1/2 1/4 1/8 1/8
4
H (X Y ) ¦ p (Y y i ) H X Y yi
i 1
1 §1 1 1 1· 1 §1 1 1 1· 1 §1 1 1 1· 1
H ¨ , , , ¸ H ¨ , , , ¸ H ¨ , , , ¸ H 1,0 ,0 ,0
4 ©2 4 8 8¹ 4 ©4 2 8 8¹ 4 ©4 4 4 4¹ 4
17 17 1 1
2 0
44 44 4 4
11
bits
8
H (Y X ) 13 / 8 bits
18
Exemple : Entropie de la langue française
26
Alphabet avec 26 lettres § 1 · § 1 ·
équiprobable
H ( X 26 ) ¦ lb¨© 26 ¸¹
i 1
lb¨ ¸
© 26 ¹
4,7 [bit ]
Fréquences d'apparition des lettres dans

un texte français
Lettre Fréquence Lettre Fréquence

(%) (%)
A 8,11 N 7,68
B 0,81 O 5,20
C 3,38 P 2,92
D 4,28 Q 0,83 26
§ 1 ·
E 17,69 R 6,43 H ( Francçais) ¦ p( x )lb¨¨ p( x ) ¸¸
i 3,954 [bit ]
F 1,13 S 8,87 i 1 © i ¹
G 1,19 T 7,44
H 0,74 U 5,23
I 7,24 V 1,28
J 0,18 W 0,06
Peut-on diminuer ceci davantage ???
K 0,02 X 0,53
L 5,99 Y 0,26
M 2,29 Z 0,12
19
La règle de chaîne
H(X,Y) = H(X) + H(Y|X)

= H(Y) + H(X|Y)
H(X,X) = H(X) + H(X|X)
= H(X) + 0
= H(X)
Corollaire : Relation de dépendance
H(X,Y|Z) = H(X|Z) + H(Y|X,Z)
20
A quoi ça sert ???
Entropie et codage de source
Entropie = quantité moyenne d’information émise dans la source
= longueur moyenne des « expressions » émises par la source
= longueur moyenne des mots de code de la source (L)
Codage de source
sans distorsion
H ( X ) d L d H ( X ) 1
n
xi est un mot de code de la source X
l(xi) est la longueur du mot xi
L ¦ p( x ) l (x )
i 1
i i
§ 1 ·
Il suffit d’avoir l ( xi ) lb¨¨ ¸¸ or l(xi) est entier !!!
© p ( x )
i ¹
21
Entropie relative
L’entropie relative D(p||q) entre deux distributions de probabilité (p, q)
est une mesure de « la distance » ces deux distributions
Distance de Kullback-Leibler
§ p( x) ·
D p q ¦ p( x) lb¨¨ q( x) ¸¸
x X © ¹ X,p Y,q
§ p ( x) ·
E p lb¨¨ ¸¸
© q ( x ) ¹
p p
§1· §1·
D(p||q) t 0 ¦X p lb¨¨ p ¸¸ t ¦X p lb¨¨ q ¸¸
© ¹ © ¹ H(X) H(X)+D(p||q)
Si p = q D(p||q)=0
Mais D(p||q) = D(q||p)
22
Si
p = p(x,y) probabilité conjointe
q = p(x).p(y) probabilité produite
§ p ( x, y ) ·
D p ( x, y ) p ( x ) p ( y ) ¦¦ p ( x, y ) lb¨¨ ¸¸
x X yY © p ( x) p( y ) ¹
§ p ( x, y ) ·
E p ( x , y ) lb¨¨ ¸¸
© p( x) p ( y ) ¹
Information Mutuelle
Quantité moyenne d’information qu’une variable livre sur une autre
(X,Y)
§ p ( x, y ) ·
I ( X ;Y ) ¦ ¦ p( x, y)lb¨¨ p( x) p( y) ¸¸ X Y
xX yY © ¹
23
I(X;Y)
H(X,Y)
Information mutuelle Entropie H(Y)
§ p ( x, y ) ·
I ( X ;Y ) ¦ p( x, y) lb¨¨ p( x) p( y) ¸¸ H(X)
X ,Y © ¹
§ p( x y) ·
¦ p ( x, y ) lb¨¨ ¸ H(X|Y) H(Y|X)
¸
X ,Y © p( x) ¹
§ 1 ·
¦X p( x) lb¨¨ p( x) ¸¸ ¦ p ( x, y ) lb p ( x y )
© ¹ X ,Y
§ 1 · § 1 ·
¦ p( x) lb¨¨ ¸¸ ¦ p ( x, y ) lb¨ ¸
X © p ( x) ¹ X ,Y
¨ p( x y) ¸
© ¹
I(X;Y)
H (X ) H (X Y)
Propriétés : I ( X ;Y ) H(X ) H(X Y)

H (Y ) H (Y X )
H ( X ) H (Y ) H ( X , Y )
I (Y ; X )
I(X ; X ) I(X )
24
Règle de chaîne
Entropie
H ( X 1 , X 2 , X 3 ,.., X n ) H ( X 1 ) H ( X 2 X 1 ) H ( X 3 X 1 , X 2 ) .. H ( X n X 1 , X 2 ,.., X n 1 )
n
H ( X 1 , X 2 , X 3 ,.., X n ) ¦ H (X
i 1
i X 1 ,.., X i 1 )
Entropie Relative

D p ( x , y ) q ( x, y ) D p ( x ) q ( x ) D p ( y x ) q ( y x )
Information Mutuelle
n
I ( X 1 , X 2 , X 3 ,.., X n ; Y ) ¦ I ( X ; Y X ,.., X
i 1
i 1 i 1 )
25
A quoi ça sert ???

Information mutuelle et capacité du canal
Contexte : X (source, message) communique avec Y (destinataire, récepteur)
Question : Quelle est la quantité d’information obtenue sur X à partir de Y ?
Capacité : Quantité maximale d’information obtenue sur X à partir de Y
p(X,Y)
X Y p(X).p(Y)
p(X).p(Y|X)
C max I ( X ; Y )
p( x)
26
Quelques exemples simples
Canal sans bruit
0 0 P(0|0) = 1, p(0|1) = 0
1 1 P(1|1) = 1, p(1|0) = 0
C = 1 [bit/transmission] ([bit/channel use]) avec p(0) = p(1) = 1/2
Canal bruité, sortie disjointe

0 a P(a|0) = 1 , p(a|1) = 0
b P(b|0) = 1 , p(b|1) = 0
1 c P(c|0) = 0 , p(c|1) = 1
d P(d|0) = 0 , p(d|1) = 1
C = 1 [bit/transmission] ([bit/channel use]) avec p(0) = p(1) = 1/2
27
Canal bruité
1 1/2
a C = 1 [bit/transmission]
1/2
2 b
1/2 C = max I(X;Y) = max[H(Y)-H(Y|X)]
1/2 = max [H(Y)] - 1 = lb(4)-1 = 1
3 c
1/2
Pour N entrées C = lb(N/2) [bit/transmission]
4 1/2
1/2
d
1/2
28
Canal binaire symétrique I (X;Y) H(Y) H(Y X)
1-p
0 0 H(Y) ¦p(x)H(Y X x)
p
H(Y) ¦p(x)H( p)
p
1
1-p
1 H(Y) H( p)
p : Probabilité d’erreur d 1 H( p)
Si p(0) = p(1) = ½
C = 1-H(p) bits/transmission
29
Canal binaire à effacement

C max I ( X ; Y )
p( x)
max( H (Y ) H (Y X ))
0 1-D 0
p( x)
D max( H (Y )) H (D )
p( x)
e
D Soit E l’événement {Y= e }
1 1-D 1
H(Y) = H(Y,E)=H(E)+H(Y|E)
Alphabet d’entrée : {0, 1}
Alphabet de sortie : {0, e, 1} Soit p = Pr(X=1)
H(Y) = H((1-p)(1- D), D, p(1- D))
= H(D) + (1- D)H(p)
Donc C max( H (Y )) H (D )
p( x)
max(1 D ) H ( p ) H (D ) H (D )
p( x)
max(1 D ) H ( p )
p( x)
(1 D ) H ( p )
30
Canal symétrique
Matrice de passage du canal p(y|x) = {pi,j(y|x)} = p(yi|xj)
• Canal Symétrique :
les lignes de la matrice sont obtenues les unes des autres à une permutation près
les colonnes de la matrice sont obtenues les unes des autres à une permutation près
Exemple
§ 0.3 0.2 0.5 ·
¨ ¸
p y x ¨ 0.5 0.3 0.2 ¸
¨ 0.2 0.5 0.3 ¸
© ¹
• Canal faiblement symétrique:
Les lignes se déduisent les unes des autres à une permutation près
Les sommes des colonnes sont égales
Exemple
§1 / 3 1 / 6 1 / 6 ·
p y x ¨¨ ¸¸
© 1 / 3 1 / 2 3 / 6 ¹
31
Capacité d’un canal faiblement symétrique :
C = lb|Y| -H(ligne de la matrice de transition)
|Y| = cardinale de l’ensemble Y
Cette capacité est atteinte avec une distribution uniforme de l’alphabet de l’entrée.
Démonstration
C = max I(X;I) = H(Y) – H(Y|X)
p(x)
H Y X ¦ p( x) H (Y X x)
H(Y) d lb(|Y|) x X
½
° °
¦ p ( x)® ¦ p( y x) lb( y x))¾
x X ° yY °
¯ m H (r ) x o¿
H(r)¦ p ( x)
xX
H (r )
32
Il reste à démontrer qu’une distribution équiprobable à l’entrée
donne une distribution équiprobable à la sortie
DONC
maximise H(Y)
p( y) ¦ p ( x) p ( y x)
x X
1
X
¦ p ( y x)
yY
= somme de colonne : constante par définition
c
X
= constante
33
Canal Q-aire
Alphabet d’entrée : X= {0,1,…,Q-1} Probabilité de bonne transmission : q

Alphabet de sortie : Y={0,1,…,Q-1} Probabilité d’erreur : p
t.q : q+(Q-1).p=1
§q p .... p p ·
¨ ¸
¨p q .... p p ¸
p y x ¨. . . ¸
¨ ¸
¨. . . ¸
¨p p .... p q ¸¹
©
Capacité :
CQ aire lb(Q) H (q) (Q 1). p.lb(Q 1)
Q=2 Canal binaire symétrique : C2 = 1 – H(q)
34
Propriétés de la capacité d’un canal
• C t 0 puisque I(X;Y) t 0
• C d lb(|X|) puisque C = max I(X;Y) d max H(X) = lb (|X|)
• C d lb(|Y|)
• I(X;Y) est une fonction continue de p(x)
• I(X;Y) est une fonction concave en p(x)
un maximum local est un maximum global
35
Canal Gaussien Continu (à Bruit Blanc Gaussien Additif)

(Additive White Gaussian Noise)
Modèle :
N est un bruit blanc additif gaussien, Le bruit gaussien est MODELISE par
Densité spectrale de puissance ) : Une variable aléatoire gaussienne N de
) = E[NN*] Moyenne nulle
Puissance du bruit blanc gaussien : Variance N0 = )
PN = B. E[NN*]
N N ~ Norm(0,N0)
X Y
X est un signal à bande limitée B,
Transmis durant la période T, t.q Y=X+N
B = 1/T
Puissance du signal
X et N sont indépendants
T
* E[XN*] = 0
³ X (t ) X (t ) dt
t 0
PX
T E[YY*] = E[XX*]+E[NN*]
B/2
*
PX B. ³ X ( f ) X ( f ) df
f B/ 2
PY = PX + PN
36
Courbe de Gauss
N0 = 2.V ²
x x0 x2

1 29 2
Pr( x d x0 )
2SV 2 ³
x f
e dx erf(x0)
f x2

1 29 2
Pr( x ! x0 ) ³e
2SV 2 x x0
dx
erfc(x0)
1 Pr( x d x0 )
37
Exemple de signaux
S = sign(randn(1,100))
N = randn(1,1000)
N0
38
Capacité du canal gaussien BGA
§ yx2 · 1 § 2 Es ·
p y x
1
exp¨ ¸ C AWGN lb¨1 ¸
2SV 2 ¨
© 2V 2
¸
¹ 2 ¨© N 0 ¸¹
Information mutuelle moyenne :

La source gaussienne maximise l’entropie dans
I(X;Y) = H(Y) -H(Y|X) Le cas continue
= H(Y)-H(X+N|X)
= H(Y) -H(N) Le canal gaussien est le pire cas !!!!
39
Capacité canal AWGN
échelle logarithmique échelle linéaire
40
Théorème de codage canal (Shannon 1948)
Pour un canal stationnaire causal de capacité C, Canal
les données transmises peuvent être reçues avec une Récepteur
fiabilité arbitrairement petite Probabilité d’erreur (Pe)
tant que le débit de transmission Taux de codage (R)
reste inférieur à la capacité. Canal (C)
Si R d C Il existe un code correcteur d’erreur t.q Pe 0

(code de canal)
N(0,N0)
Eb = REs
Eb Es
X Codage canal (R) Décodage canal Y
C
1 § 2 REb ·
C AWGN lb¨1 ¸
2 ¨© N 0 ¸¹
41
Cas limite : R = C
1 § 2CEb ·
C AWGN lb¨1 ¸
2 ¨© N 0 ¸¹
Eb 2 2C 1
N0 2C Zone permise
Eb
lim ln(2) 1.59[dB]
C o0 N
0
Interprétation
Il n’est pas possible de transmettre sans erreur

sur un canal gaussien
à entrée et sortie continue
si l’énergie à l’entrée est inférieur à –1.59 [dB]
42
Capacité canal AWGN sans codage vs avec codage
43
Et si on dépassait ??
Gallager (1968) :
Pour un canal stationnaire causal de capacité C,
Pour un code de taux R et longueur de mot N,
Pour un décodage optimal (à maximum de vraisemblance)
la probabilité d’erreur par mot peut être majorée par
Pe d cst.e N . E ( R )
E(R) : exposant de Gallager.
E(R) > 0 pour R < C

Pe o 0
N of
44
Canal BSC
N N
X Modulation Modulation
Y X Y
binaire binaire
Canal BSC discret Canal BSC continu
Capacité : C = 1-H(p) bits/transmission

Probabilité d’erreur
Probabilité d’erreur § 2 Es · § ·
p p erfc¨¨ ¸ erfc¨ 2 REb ¸
¸ ¨ N ¸
© N0 ¹ © 0 ¹
§ § 2 REb ··
C 1 H ¨ erfc¨¨ ¸¸
¸¸
¨
© © N0 ¹¹
45
De quoi l’on parle ??
La capacité du canal en AWGN est établie avec une source gaussienne,
OR en télécommunication numérique, la source est

• discrète !!!
• équiprobable (codage source performant)
Capacité d’une source discrète sur un canal gaussien

La capacité est limitée par la modulation utilisée :
•BPSK (Binary Phase Shift Keying) : 1 bit par symbole
•PSK (2-QAM: Quadrature Amplitude Modulation) : 2 bits/symboles
•M-QAM : lb(M) bits/symbole
Cutoff Rate
2
§M M xi x j · § xi x j
2
·
¨ ¸ Si constellation ¨ 1 M M ¸
R0 lb¨ ¦¦ p ( xi ) p ( xi )e 4 N 0 ¸ R0 lb¨ 2 ¦¦ e 4 N0
¸
¨i1 j 1
©
¸
¹ équiprobable ¨p i 1 j 1 ¸
© ¹
46
CutOff Rate Capacité
Débit maximal obtenu Débit maximal obtenu

avec une source à avec une source gaussienne
nombre fini d’états (M) (nombre infini d’états)
Exemple : PSK : modulation à 2 états

Capacité BPSK
Es/No
47
Transmission sur une bande limitée
Bande du signal W [Hz] taux de transmission T=1/W [sec]
Chaque T [sec], un symbole de la modulation est transmis (Baude Rate)
Chaque symbole de la modulation contient lb(M) [bits]
Taux maximal de transmission lb(M)/T = W*lb(M) [bits/sec]
§ P ·
C Wlb¨¨1 ¸¸
© WN 0 ¹
Tout système de transmission ne peut que diminuer ce débit :
Exemple : UMTS
W = 3.84 [MHz]
modulaiton binaire : 1 [bits/symbole réel]
débit maximal W*lb(2) = 3.84 [Mega bit/sec]
débit maximal annoncé : 2 [M bits/sec] !!

48
Capacité du canal à accès multiple
Coopération maximale entre les utilisateurs

R2
• utilisateur 1 doit satisfaire :
§ P ·
C1 W . lb¨¨1 1 ¸¸
© WN 0 ¹
C2
• utilisateur 2 doit satisfaire :
§ P ·
C2 W . lb¨¨1 2 ¸¸
R2, single user
© WN 0 ¹
• utilisateur virtuel (1 & 2) doit satisfaire
R1
R1, single user C
§ P P · 1
C1&2 W . lb¨¨1 1 2 ¸¸
© WN 0 ¹
Zone de capacité dans un
schéma d’accès multiple
non coopératif
49
MIMO capacité
MIMO : Multiple Input Multiple Output (Entrée Multiple, Sortie Multiple)
M antennes
N antennes
émission
réception
Matrice de canal H = {hmn = canal entre l’antenne émettrice m et l’antenne réceptrice n }
§ ª P º·
C lb¨¨ det « I M HH *T » ¸¸
© ¬ N ¼¹
50
Codage source-canal conjoint
Codage Codage
Source Source
Info canal
(compression)
Enlever de la redondance Ajouter de la redondance

propre à la source Contrôlée:
(non contrôlée): Dc : 2ème limite de Shannon
Ds : 1ère limite de Shannon
D=Ds+Dc :
Débit limité sur le canal
Compromis entre
Ds compression sans dégradation de la source.
Dc protection convenable des données
51
Plan
• Mesure de l’Information
• Entropie : Quantité moyenne de d’information codage de source
• Entropie relative : distance de Kullback-Leibler : limite de compression de source
• Information Mutuelle
• Capacité de transmission sur un canal : Maximiser l’information mutuelle, limite de shannon
• Canal à bruit additif blanc gaussien (AWGN)
• Capacité à accès multiple
• Capacité à antenne multiple.
52
Codage Source
Codage Canal
Codage Source
• Théorie de l'information
• Hypothèse sur la source / le canal
• Entropie d'une source
• Codage entropique /capacité d'un canal
• Mesure de l'information
• Sources discrètes
• Codage source : généralités et exemples
• Codes de Fano et Huffman
• Distorsion / Compression de l'information
Codage Source / Codage Canal 2

ESME-Sudria 2005/2006

Schéma de communication
Codage Codage Modulation
Source Source
Modulation
canal Binaire signal
Info (compression)
Canal de
transmission
Décodage Démodulation Démodulation

Info Décodage
Source Binaire Signal
reçue (expansion)
canal
et filtrage

Codage Source

Hypothèse sur la source

Hypothèse sur le canal

Codage Source

Entropie d ’une source

Codage Source

Codage entropique

Capacité d’un canal X ? Y

Capacité d’un canal

Codage Source

Comment mesurer l’information (1/2)

Comment mesurer l’information (2/2)

Codage Source

Sources d’information discrètes (1/3)



Entropie d’une source discrète (1/2)

Entropie d’une source discrète (2/2)

Codage Source

Codage source : généralités

Exemples (1/6)

Exemples (2/6)
• Exemple 3

Exemples (3/6)

Exemples (4/6)

Exemples (5/6)

Exemples (6/6)

Conditions de préfixe

Optimisation du codage

Codes optimaux

Codage Source

Code de Fano (1/2)

Code de Fano (2/2)

Code de Huffman (1/3)



Codage Source

Distorsion de l'information (1/2)
Traitement Codage source
Vidéo MPEGx, H26x, ... Codage canal accès modulation
EFR, AMR, Viterbi, codage turbo, TDMA, FDMA, PSK, MSK,

Audio
CELP, RPE-LTP, ... Reed Solomon, ... W-CDMA, ... ASK, QAM, ...
Données IP, ...

Distorsion de l'information (2/2)

• Dans plusieurs situations pratiques des contraintes forcent le codage à
être imparfait, ce qui implique de la distorsion.
• Exemples:
– un débit maximum peut être spécifié, impliquant une limite pour la
longueur des mots code.
– Signal de parole : nécessite une quantification pour la représentation
numérique.
• On parle alors de codage avec critère de fidélité, et la théorie est celle
de la distorsion de débit.
• Application:
– codage de source pour les sources continues (compression du signal).
– Transmission d'information à débit supérieur à la capacité du canal.

Compression de l'information (1/2)
• La compression d'information est une des applications de
la théorie de la distorsion d'information.
• Le dispositif de compression de l'information retient le

contenu informationnel pertinent, en gommant les détails
fins.
• On parle alors de compression avec perte (lossy

compression) : l'entropie diminue avec perte d'information.

Compression de l'information (2/2)

• Source discrète: l'objectif est de transmettre à des taux de
codage (longueur moyenne) inférieurs à l'entropie de la
source.
– Exemple : codage d'images fixes ou animées (JPEG, MPEG).
• Source continue:
– exemple : codage de parole sur le réseau téléphonique.
• Dans les 2 cas, la distorsion du codage est mesurée en
fonction:
– de critères objectifs : maximisation du rapport S/N, minimisation de la
distorsion quadratique.
– De critères subjectifs : qualité visuelle ou auditive (modèles psycho-
acoustiques).

Codage
Source Source Codage Modulation Modulation
Info (compression) canal Binaire signal
Canal de
transmission
Décodage Démodulation
Info Décodage Démodulation
Source Signal
reçue canal Binaire
(expansion) et filtrage

Codage Canal
• Classification des codes
• Codes détecteurs / correcteurs d'erreurs
• Codes linéaires
• Code de Hamming
• Codes cycliques
• Cyclic Redundancy Check
• Borne de Singleton
• Codes de Reed-Solomon
• Codes Convolutifs / Algorithme de Viterbi
• Poinçonnage
• Turbo-Codes
• Codage joint Source-Canal

Classifications des codes
• Codes algébriques structurés (1948-1993)

– codes en blocs : Hamming Golay, Reed-Solomon…
– codes convolutifs
• Codes pseudo-aléatoires (1993-2003)
– Turbo-codes (1993)
– LDCP (Low Density Parity Check codes) (1963)

Codage Canal
• Code de Hamming
• Codes cycliques
• Poinçonnage
• Turbo-Codes

Codes détecteurs / correcteurs d’erreurs
• Codes [n, m, d]
• n : mots code composés de n bits
• m : m bits associés à l ’information utile
• k=n-m : k bits utilisés pour la détection/correction
d ’erreurs (bits de parité)
• d : distance de Hamming du code = nombre de
symboles différents entre 2 mots quelconques du code
– avec d=2e+1 correction de e erreurs
– avec d=2e, détection de e erreurs, correction de e-1

Détection d’une erreur

1 0 0 0 1 1 0 1 0 0 0
information parité
• m=n-1 bits d ’information

• 1 bit de parité, de sorte que le nombre total de "1" dans le
mot code soit pair
• s ’il y a une seule erreur dans le mot code, on la détecte
puisque le nombre de "1" devient impair
• Redondance de ce code:
• De manière plus générale, l'ajour d'un bit de parité permet
de transformer un code (n,m,2e+1) en code (n+1,m,2e+2)

Correction d’une erreur
• L'adjonction de k bits de parité doit permettre de coder soit
l'absence d'erreur, soit la position d'une erreur. Donc:
n 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
m 0 0 1 1 2 3 4 4 5 6 7 8 9 10 11 11
k 1 2 2 3 3 3 3 4 4 4 4 4 4 4 4 5

Codage Canal
• Code de Hamming
• Codes cycliques
• Poinçonnage
• Turbo-Codes

Codes linéaires
• Les mots codes sont extraits de l'espace vectoriel
(Z2)n l'ensemble des vecteurs contenant des éléments 011 111
2
de Z ={0,1}
• Les mots du code forment un sous-espace vectoriel, 001 101
caractérisé par une base. Pour trouver le mot code x
(n,1) qui correspond au message m(m,1), on calcule 010 110
x=mG, où G est la matrice génératrice (n,m) où
chaque ligne est un vecteur de la base.
000 100
• Pour décoder, on crée la matrice de parité H(n,k) telle
que pour tout mot du code x on ait s=H.xT=0. Le
vecteur s est appelé syndrome. Si sz0, sa valeur
permet de trouver la position de (ou des) erreur(s).
• Si on choisit G={Im,A} avec Im la matrice (m,m)
unité et A une matrice (k,m) quelconque, on trouve
H={ATIk}
Codage Canal
• Code de Hamming
• Codes cycliques
• Poinçonnage
• Turbo-Codes

Code de Hamming(7,4,3)
• Les bits d'information sont en position 3,5,6,7
• Le bit de parité en position 1 contrôle les positions 1,3,5,7
• On veut transmettre 6=0110
1 1 0 0 1 1 0
• On reçoit:
1 1 0 0 0 1 0
• On vérifie les parités:
• Bits 1,3,5,7: 1000 NOK s0=1
• Bits 2,3,6,7: 1010 OK s1=0
• Bits 4,5,6,7: 0010 NOK s2=1
• La position de l'erreur est s2s1s0 =101=5. On a une erreur sur le 5ème bit

Exemple : Hamming (7,4,3)

Codage Canal
• Code de Hamming
• Codes cycliques
• Poinçonnage
• Turbo-Codes

Codes linéaires cycliques (1/6)
• A l'origine, on a considéré des mots codes de n bits sans restriction, donc

pris de manière quelconque dans (Z2)n [(Zq)n pour alphabet q-aire].
• Avec les codes linéaires, on impose plus de structure: les mots du code
doivent former un espace vectoriel, d'où restriction du nombre de codes
disponibles, mais traitement du codage/décodage de manière efficace
avec les matrices génératrices et de parité.
• Avec les codes cycliques, encore plus de structure: un code C est

cyclique si pour tout mot code (c0,c1,…,cn-1), le mot code permuté
(cn-1,c0,c1,…,cn-2) appartient également au code.
• Exemple! {000,011,101,110} est cyclique.

Codes cycliques (2/6)
• Intérêt des codes cycliques: utilisation de la théorie de

l'algèbre des corps de Galois.
• A chaque mot code (c0,c1,…,cn-1) dans Z on associe un polynôme
c(X)=c0 + c1X + … + cn-1Xn-1 dans Zq[X].
• L'opération de permutation sur un mot code est équivalente à une
multiplication modulo Xn-1 par X.
• Il y a un isomorphisme entre les espaces vectoriels (Zq)n et

Rn=Zq[X]/Xn-1.


• Soit C un sous-espace linéaire de Rn: c'est un code cyclique ssi C st un
idéal de l'anneau Rn, cad:
– pour tout polynôme c(X) dans C
– pour tout polynôme p(X) dans Rn
– p(X).c(X) appartient à C.
• Exemple: idéal généré par X2+X+1 dans R3=Z2[X]/X3-1. Pour trouver
tous les éléments de l'idéal on doit calculer:
• et les deux seuls mots code sont {000,111}.

• On montre que tous les idéaux de Rn=Zq[X]/Xn-1 sont principaux, cad
générés par un seul polynôme g(X) qui est un diviseur de Xn-1.
• Exemple: pour trouver tous les codes cycliques de 3 symboles binaires,
il suffit de trouver les idéaux de R3=Z2[X]/X3-1.
On sait que X3-1=(X+1)(X2+X+1), d'où:
• Le polynôme g(X) est appelé polynôme générateur du code C s'il est le

degré le plus petit qui génère C.


• On montre qu'à un polynôme générateur g de degré r dans Rn
correspond une matrice génératrice G de dimension (nxn-r):

• Enfin à la matrice de parité H telle que H.GT=0 correspond un
polynôme de vérification h(X) tel que g(X).h(X)=Xn-1.
• Pour encoder m avec un code cyclique généré par le polynôme g, on

calcule le polynôme c(X)=m(X).g(X) modXn-1.
• A la réception on a un mot code ssi c(X).h(X)=0 modXn-1.
• En cas d'erreur, on reçoit w(X) = c(X) + e(X), où e(X) est le polynôme

d'erreur. Pour trouver la ou les erreurs, on calcule le syndrome s(X) =
w(X) mod g(X) = e(X) mod g(X), qui ne dépend que de l'erreur.

Codage Canal
• Code de Hamming
• Codes cycliques
• Poinçonnage
• Turbo-Codes

Cyclic Redundancy Check
• Utilisé pour la détection d'erreurs, pas la correction.
• Technique similaire aux codes cycliques.
• Pour ajouter k bits de parité à un message m(X) de m bits on choisit un

polynôme g(X) de degré k. On calcule r(X) = Xk.m(X) mod g(X). On
envoie le mot code Xk.m(X) + r(X).
• Polynômes courants:
– CRC-12: X12 + X11 + X3 + X2 + X +1
– CRC-16: X16 + X15 + X2 + 1
– CRC-CCITT: X16 + X12 + X5 + 1
– REF: "Applications of Error-Control Coding"
Costello et al / IEEE on IT / vol.44 No. 6 - Oct 98.

Codage Canal
• Code de Hamming
• Codes cycliques
• Poinçonnage
• Turbo-Codes

Borne de Singleton
• On a vu les codes de Hamming (n,m=n-k,d) qui sont "parfaits" au sens
où il atteignent la borne:
2k t m + k + 1 = n+1
Il existe une autre borne, dite borne de Singleton: tout code (n,m,d) défini
sur un alphabet q-aire est tel que d = n-m+1.
• Il y a qm mots dans le code.
• Si on s'intéresse aux m-1 premiers symboles de chaque mot, il y a au
moins 2 mots qui ont ces symboles identiques.
• Ces 2 mots-codes diffèrent au plus par les n-(m-1) bits restants, cad
qu'ils sont à une distance de Hamming d'au plus n-(m-1).
• Les codes de Reed-Solomon atteignent la borne de Singleton. De tels
codes sont appelés MDS (Maximum Distance Separable).

Codage Canal
• Code de Hamming
• Codes cycliques
• Poinçonnage
• Turbo-Codes

Codes de Reed-Solomon / principe
• On replace l'alphabet binaire par un alphabet q-aire (typiquement
q=256).
• On transmet un message composé de m symboles q-aires.
• Ce message est représenté par un polynôme de degré m-1:
m(X)=m0 + m1X + m2X2 + … + mm-1Xm-1
• Plutôt que de transmettre le coefficients m0…mm-1, on évalue le
polynôme m(X) pour m valeurs distinctes de X.
• Pour corriger e erreurs et donc avoir une distance de Hamming
d=2.e+1, on transmet n=m+2.e évaluations (xi,yi=m(xi)), et donc on
utilise k=2.e symboles supplémentaires.
• Pour décoder, on cherche un sous-ensemble de m+e points (xi,yi) par
lesquels passe un polynôme de degré m-1. En supposant qu'il y a au
maximum e erreurs, il y a au moins m points communs avec m(x) et les
polynômes sont identiques.
Codes de Reed-Solomon / pratique (1/3)

• La recherche du bon sous-ensemble de m+e points est lourde en temps
de calcul: typiquement on travaille avec des bytes pour symboles,
m=223, e=16, et n=255.
• Sous-ensembles de m points pour lesquels on doit trouver les m
coefficients de m(X) à partir de m points (xi,yi) en résolvant le système
de m équations:
• Si ce polynôme passe également par au moins e des 2.e points (xi,yi)

restants : c'est gagné!

• On peut faire mieux en rendant le code systématique: on envoie les m
coefficients du polynôme et 2.e évaluations pour la parité, qui donnent
2.e équations:
• Si un sous-ensemble de m symboles sans erreur comprend m-l

coefficients et l évaluations, il reste l équations utiles pour l inconnues.
(l est plus petit que m).


• On peut faire encore mieux en utilisant un code cyclique généré par un
polynôme g(x) de degré 2.e-1.
• Pour trouver le mot code c(x) qui correspond au message m(x), on
calcule:
• Les m premiers bits correspondent au message, les 2.e suivants aux bits
de parité.
• Vérifier l'absence d'erreur est facile en utilisant le polynôme de parité
h(x) tel que h(x).g(x)=xn-1.

Application de Reed-Solomon : le CD
• Types d'erreurs à corriger:

– erreur de lecture du laser : aléatoires / Pe de l'ordre de 10-6.
– Griffe, empreinte de doigt: erreurs en blocs.
• La correction d'erreurs sur un CD peut corriger des blocs contenant

jusqu'à 3500 erreurs consécutives?
• Plusieurs niveaux de codes détecteurs et correcteurs d'erreurs, séparés

par un niveau de cross-interleaving (Cross Interleave Reed-Solomon
Code = CIRC).

Codage Canal
• Code de Hamming
• Codes cycliques
• Poinçonnage
• Turbo-Codes

Codes Convolutifs (1/3)
• Codeurs composés de m cellules à retard, et caractérisés

par :
– le rendement.
– la longueur de contrainte (m+1) ou la mémoire du codeur (m).
– Les polynômes générateurs.
• Représentation du code: table, arbre ou treillis.



Décodage : algorithme de Viterbi

Algorithme de Viterbi: performances

Algorithme de Viterbi: performances

Codage Canal
• Code de Hamming
• Codes cycliques
• Poinçonnage
• Turbo-Codes

Poinçonnage (1/2)
• On peut représenter le code comme une matrice de
dimension:
[nb bits codés/branche x nb de transitions].
• Le principe du poinçonnage est de supprimer des bits dans
cette matrice.
• Permet d'atteindre tout type de taux de codage.
• En pratique : matrices de poinçonnage obtenues par
simulation/optimisation.

Poinçonnage (2/2)
"Rate Matching in Multichannel Systems using RCPC-Codes"
Frenger et al. / Chalmers Univ. Of Techno. - Göteborg - Sweden

Codage Canal
• Code de Hamming
• Codes cycliques
• Poinçonnage
• Turbo-Codes

TurboCodes (1/3)
• Codeurs parallèle et série

TurboCodes (2/3)
• Décodeurs parallèle et série

TurboCodes (3/3)
Courbe de taux d'erreurs en fonction
du rapport signal à bruit
1,00E+00
1,00E-01
1,00E-02
1,00E-03
1,00E-04
1,00E-05
1,00E-06
0 1 2 3 4 5 6
Sans codage Code convolutif Turbo code

Codage Canal
• Code de Hamming
• Codes cycliques
• Poinçonnage
• Turbo-Codes

Codage joint Source-Canal
• "Channel
Adaptative
Joint-
Channel
Coding of
Speech".
• 32è
Asilomar
Conference
on Signals,
Systems
and
Computers.

Modulations Numériques
Modulations numériques
• Signaux bande de base-bande étroite : bases théoriques
• Schéma de communication
• Codes en lignes
• Généralités sur les modulations numériques
• Modulation par Déplacement d'Amplitude (MDA)
• Modulation par Déplacement de Phase (MDP)
• Modulation d'amplitude sur deux porteuses en quadrature (QAM)
• Modulation par Déplacement de Fréquence (MDF)
Modulations Numériques 2
Signaux à bande étroite
Signal analytique / enveloppe complexe / composantes en

phase et en quadrature (1/4)

Filtre de Hilbert
• Filtre de Hilbert : filtre linéaire dont la réponse impulsionnelle est

1/ST, de fonction de transfert:
• Application à un sinusoïde:
• Le filtre de Hilbert transforme un cosinus en sinus : c'est un

quadrateur parfait.
• Codes en lignes
Codage
Source Source Codage Modulation Modulation
Info (compression) canal Binaire signal
Canal de
transmission
Décodage
Info Décodage Démodulation Démodulation
Source
reçue canal Binaire signal/filtrage
(expansion)
Chaîne d'émission
SOURCE CODAGE
MODULATION FILTRAGE
NUMERIQUE M - AIRE
ONDE PORTEUSE
• Source numérique: train de données binaires constituant

l'information à transmettre.
• Codage M-aire: assigner un mot de n bits parmi M=2n du
message numériques à transmettre à un signal analogique
(signal modulant).
• Modulation: faire varier un paramètre d'une onde
sinusoïdale (onde porteuse) en fonction du signal
modulant.
• Filtrage: optimiser le spectre d'émission du signal.
• Codes en lignes
Codes en ligne (1/5)
• Codes à 2 niveaux

• Codes par transitions

• Codes à 3 niveaux (bipolaires)
• Codes en lignes
Modulations numériques : généralités
Définitions et appellations (1/2)
Définitions et appellations (2/2)
Principes
• Signal modulant:
• Signal modulé:
Modulateur
Représentations
• Codes en lignes
MDA / ASK
MDA M-ETATS (1/3)
MDA M-ETATS (2/3)
MDA M-ETATS (3/3)
MDA M-ETATS : Performances
• Probabilité d'erreur:
MDA M-ETATS : Conclusion
• Lorsque M augmente:
• Codes en lignes
MDP / PSK (1/2)
MDP / PSK (2/2)
Exemple 1 : MDP2 / BPSK (1/2)
Exemple 1 : MDP2 / BPSK (2/2)
Exemple 2 : MDP4 / QPSK (1/3)
Exemple 2 : MDP4 / QPSK

La modulation étape par étape
• Séquence à transmettre
• Step 1: polarisation du signal
• Step 2: répartition sur canaux I/Q
La modulation étape par étape
• Step 3: multiplication des

canaux I/Q par cos/sin
• Step 4: somme des canaux I/Q

La variante OQPSK : Offset-QPSK
Généralisation aux M-MDP
Performances
• Efficacité spectrale
• Probabilité d'erreur:
• Ò M Ôdistance entre symboles adjacents sur la

constellation : dégradation des performances.
• Codes en lignes
Modulation d'amplitude sur 2 porteuses

en quadrature : QAM (1/3)

• Codes en lignes
MDF / FSK (1/)
MDF / FSK (2/)
• Signal modulé:
MDF / FSK : MDF binaire à phase discontinue
• Signal modulé:
MDF / FSK : MDF binaire à phase continue
MDF / FSK : performances et conclusion
MSK (1/6)
• MDF générée de la
manière suivante:
MSK (2/6)
• Ecriture du signal • Signal MSK interprété
MSK: comme une forme de FSK:
MSK (3/6)
• Pourquoi "Minimum" Shift-Keying
MSK (4/6)
MSK (5/6)
• GMSK : un filtre gaussien précède g1(t) et g2(t) et réduit la
largeur de bande:
MSK (6/6)
• GMSK : "coherent receiver" - détection cohérente:
Émission – Réception :
les enjeux

de
o r i e a ti o n
Source é
Th nform c, ,
Blo lutif ,
L’I n
e e nvo M)
n fma que o
C dag od M D T
TD (UM ADS
L
t io f
Hu tropi QA
tifi
ca Co rbo-C SK
, S
E DM (
an En Tu BP
Qu OF
Codage Codage Modulation signal
Modulation
A/D Source canal Binaire
(compression) Filtrage émission
S
N, IE
G ,
AW leigh jet,..
ay t ra
R lti- Canal de
Mu
transmission
Décodage Filtrage réception

Source Binaire Démodulation
canal
(expansion) , Signal
ple l,
, o
s eu t ima eur
s
AP atif io n r ro p
sat
erb e it d u i cep on, ti-u
Emission-Réception Vit odag mo la t Ré lisati r mul 2
Dé
c Dé modu a
Ég epteu
Dé Ré
c
Transmission du Signal : modèle
Temps discret Temps continue Temps discret
v(t) r(t)
x(t) Mise en forme Canal Récepteur
g(t) c(t)
Démodulateur y(t) Détecteur

h(t) T Décision
ak : modulation binaire utilisée

x(t ) ¦ a G t kT
k
k
v(t ) x(t ) g (t )
Filtrage linaire
r (t ) v(t ) c(t ) x(t ) g (t ) c(t )
Emission-Réception 3
… pourquoi on utilise un filtre de mise en forme ??
1- g(t) = G(t)
T
Signal transmis : peigne de Dirac
t
x(t ) ¦ a G t kT
k
k
T
3A
A
-A
t
-3A
N’est pas réalisable car spectre infini !!!
2- g(t) = 3T(t)
La porte n’est pas réalisable car une rampe infinie !!
Caractéristique du g(t) :
1 - à bande limitée en fréquence
2 - réalisable
Le filtre de mise en forme à l’émission
Le signal est transmis en temps à un rythme T

donc
il occupe une bande de fréquence de largeur B ~ 1/T
§ ·
v(t ) ¨¨ ¦ ak G (t kT ) ¸¸ g (t )
© k ¹
¦ a g (t kT )
k
k
En temps
g(t) x(t) a1=3A
a0 =A
0 t 0 L
L
T T
a2 = -A
En Fréquence
G(f) X(f)
W/2
f 1/T
f
-W/2 -1/T 0
W=1/T W=1/T
Échantillonnage Périodisation du spectre

en temps (T) en fréquence (1/T)
Interférence Entre Symboles (IES)
v(t ) ¦ a g (t kT )
k
k
v(t) a1=3A v0 a0 g 0
1- L d T v1 a1 g 0
a0 =A
vk ak g 0
0 L t
T T
a2 = -A
a1=3A
v(t)
2- L > T
v0 a0 g 0
a0 =A
v1 a1 g 0 a0 g1
IES
0 L t vk ak g 0 ¦a g
nzk
n k n
T T a2 = -A
Le diagramme de l’œil
1- Sans IES (ISI free)
g(t) passe par

0 lorsque le
Symbole suivant
arrive !!!
Diagramme de l’œil sans IES
v(t) en temps continu :

À la sortie du filtre
de mise en forme g(t)
v(t) regardé à l’oscilloscope

Sur un intervalle de 2T
L’œil est ouvert,

il n’y a pas
D’IES !
1- Avec IES (ISI)
Diagramme de l’œil avec IES
L’œil n’est pas

Complètement ouvert ;
L’œil commence à
se fermer
Qu’est ce qu’on voit dans l’œil ??
Sensibilité
à l’instant de L’interférence
l’échantillonnage Entre symboles
IES
Distorsion
lié au bruit
Distorsion
lié au passage
par zéro
Distorsion
du maximum
de g(t)
Conception du filtre de mise en forme à l’émission
Étape 1: Critère de Nyquist
vk ak g 0 ¦a g
nzk
n k n
vt kT ak g t 0 ¦ a g t n (k n)T
nzk
La condition pour annuler l’IES :
1 (ou ak ) k 0
vt kT { vk ®
¯ 0 k z0
Théorème de Nyquist:
La condition nécessaire et suffisante pour satisfaire la condition de non IES est que la
Transformé de Fourier de v(t) satisfait
f
¦V f m / T
m f
T avec
TF
v(t ) o V( f )
Démo de Nyquist
En générale, v(t) est la transformé de Fourier inverse de V(f)

f
v (t ) ³ X ( f ) exp( 2iSft ) df
f
Pour t=kT, ceci devient

f
v ( kT ) ³ X ( f ) exp( 2iSfkT ) df
f
Décomposition en sommation d’intégrales sur 1/T

f ( 2 m 1) / 2 T
v ( kT ) ¦ ³ X ( f ) exp( 2iSf
m f ( 2 m 1) / 2 T
kT )df
f 1 / 2T
¦ ³ X ( f m / T ) exp( 2iSf
m f 1 / 2 T
kT )df
1 / 2T f
ª º
³ « ¦ X ( f m / T ) » exp( 2iSf kT )df
1 / 2 T ¬ m f ¼
1 / 2T
³ B ( f ) exp( 2iSf
1 / 2 T
kT )df
Il est claire que B(f) est une fonction périodique de période 1/T,
Donc, on peut la décomposer en série de Fourier :

f f
B( f ) ¦ V ( f M /T)
m f
¦b
k f
k exp(2iS fkT )
avec 1 / 2T
bn T ³ B( f ) exp(2iSfkT )df
1 / 2T
bn = v(nT)
Donc, la condition nécessaire et suffisante devient :
T k 0
bk ®
¯0 k z0
f
f
Ce qui donne
B( f ) ¦b
m f
k exp(2iS fkT ) T ¦V ( f M / T )
m f
T
Plusieurs cas de figures ??
1- 1/T >W f
¦V f m / T
m f
f
-1/T 0 1/T
W
Pas de chevauchement en fréquence entre les réplicats du filtre,

par contre, aucun filtre ne peut garantir une IES nulle
2- 1/T = W
f
-2/T -1/T 1/T 2/T
W
Le seul filtre qui satisfait Nyquist est une porte en fréquence DONC un SINC en temps
TF
f
t W
2/T
PROBLEME :
Décroissance lente (en 1/t ) Erreur sur l’instant d’échantillonnage
des lobes secondaires engendre une suite divergente d’interférence !!!
3- 1/T < W f
¦V f m / T
m f
f
-1/T 0 1/T
W
Les réplicats du filtre se chevauchent en fréquences, pour satisfaire Nyquist, il faut que la somme soit
égale à T
Le cosinus surélevé (raised cosin) :
1 E
°T 0d f d
2T
°
°T ª § ST § 1 E · ·º 1 E 1 E E : roll-of
G f ® «1 cos¨¨ ¨ f ¸ ¸¸» d f d
°2 ¬ © E © 2T ¹ ¹¼ 2T 2T
° 1 E
°¯0 f !
2T
sinʌt/T cosSEt / T
g (t )
ʌt/T 1 4E 2t 2 / T 2
g(t)
Cos-Sur(f) E=0
T
E=0.5
E=1
E=0 E=1 E=0.5
t f
1/4T 1/2T 3/4T 1/2T
2T
Les réplicats du filtre cosinus surélevé se chevauchent en fréquences, Mais la somme soit est égale à T,
La décroissance des lobes secondaires est en 1/t3
NB : FIRRCOS sous Matlab
Exemple du GSM : le filtre de mise en forme est le GMSK (Gaussian Minimum Shift Keying)
Le filtre de mise en forme génère de l’Interférence entre Symboles à l’émission IES !!! Donc il faut égaliser
Récepteur Optimal en AWGN
Modèle discret
Temps discret Temps continue Temps discret
v(t) r(t)
x(t) Mise en forme Canal Récepteur
g(t) c(t)
x(t ) ¦ a G t kT Démodulateur y(t)

Détecteur
k
h(t) Décision
v(t ) x(t ) g (t ) ¦ a g t kT
k
T
k
r (t ) v(t ) c(t ) ¦ a >g t c(t )@t kT

k
k
y (t ) r (t ) h(t ) ¦ a >>g t c(t )@ h(t )@t kT

k
k
y (t ) ¦ a >g t c(t ) h(t )@t kT

k
k
y (t ) ¦ a pt kT
k
k
Canal AWGN
n(t)
v(t) r(t) Démodulateur y(t)
x(t) Mise en forme
g(t) h(t)
T
v(t ) x(t ) g (t ) n(t) : bruit blanc gaussien additif
MODÉLISÉ
r (t ) v(t ) n(t ) par un processus gaussien de
Moyenne nulle (centré)
y (t ) v(t ) h(t ) Densité spectrale de puissance N0
y (T ) v(t ) h(t ) (t T)
Le but intelligent est de maximiser le rapport signal sur bruit à la sortie de l’échantillonneur
y(t) = ys(t) + yn(t) Max

> @
E ys2
> @
h (t ) E y 2
n
Le chantier …
q (t ) h(t ) g (t ) x(t ) x(t ) h(t ) g (t ) Q f X f .H f G f

t
qt ³ y(W )h(t W )dW
0
t t
³ v(W )h(t W )dW ³ n(W )h(t W )dW

0 0
t T
T t
q(t T) ³ v(W )h(T W )dW ³ n(W )h(T W )dW
0 0
qs (T ) qn (T )
SNR
> @
E qs (T )
2
E>q (T ) @
2
n
Côté Bruit
T T
>
E qn T
2
@ ³ ³ E>n(t )n(W )h(T t )h(T W )dtdW @
0 0
T T
³ ³ N G (t W )h(T t )h(T W )dtdW

0 0
0
T
N 0 ³ h 2 (T t )dt
0
Côté Signal
T T
>
E qs T
2
@ ³ ³ E>v(W )h(T W )dW @
2
0 0
T T
³ >
³ E h(W )v(T W )dW
2
@
0 0
T T
³ ³ E>h(W ) x(T ) g (T W )dW @

2
0 0
T T
>
E x(T )
2
@ ³ ³ h(W ) g (T W )dW 2
0 0
T T
³ h(W ) g (T W )dW
2
Es ³
0 0
2 2 2
Théorème de Cauchy-Schwartz : §f · §f · §f ·
¨ ³ f1 (t ) f 2 (t )dt ¸ d ¨ ³ f1 (t )dt ¸ ¨ ³ f 2 (t )dt ¸
¨ ¸ ¨ ¸ ¨ ¸
© f ¹ © f ¹ © f ¹
avec égalité si :
f1 (t ) C onst f 2 (t )
Ce qui donne :
³ h(W ) g (T W )dW d ³ h
2 2
(W )dt.³ g 2 (T W )dW
avec égalité si
h(t ) C onst g (T t )
Donc :
SNR
> @
E qs (T )
2
Es ³ h(W ) g (T W )dW
2
E
d s
³ h(W )dW ³ g (T W )dW
2 2
E>q (T ) @ N0
2
n
N 0 ³ h 2 (T W )dW ³h
2
(T W )dW
Si h(t) = Const g(T-t)

Es
³ h(W )dW
2
SNR max
N0
On appelle h(T-t) le filtre adapté à h(t)
Exemple 1 :
h(t) h(T-t)
1 1
T T
t t
T 2T 3T 4T T 2T 3T 4T
h(t) h(T-t)
1/T
t
T 2T 3T 4T
Maximiser la convolution au
moment d’échantillonnage T
Optimisation conjointe des filtres émission/réception
Problème :
Optimisation conjointe des deux filtres émission/réception
Contraintes :
1- Maximiser le rapport Signal sur Bruit à la sortie du filtre
2- Réponse totale p(t) satisfait, a priori, le critère de Nyquist (pour annuler l’IES)
3- La réponse est unitaire en puissance
Solutions:
1- Respecter parfaitement Nyquist Filtre adapté
2- Respecter partiellement Nyquist Filtre non-nécessairement adapté
Solution 1 : le filtre de Cosinus Surélevé (IEI free)
Le filtre global
émission Réception
Racine de Cos Surélevé
Root Raised Cosin

(RRC)
Pourquoi il n’existe pas d’IES ??
Aux moments d’échantillonnage nT ,

les autres filtres passent par Zéros !!
Filtre d’émission/réception en UMTS
n h(n)
0 39 -1
1 38 0.0
2 37 2.0
3 36 3.0
4 35 2.0
5 34 -1.0
6 33 -5.0
7 32 -5.0
8 31 -1.0
9 30 6.0
10 29 12.0
11 28 11.0
12 27 0.0
13 26 -15.0
14 25 -25.0
15 24 -18.0
16 23 10.0
17 22 56.0
18 21 102.0
19 20 132.0
Solution 2 : Utilisation de filtre non adapté
Relaxation de la contrainte sur l’IES augmenter le débit à l’émission !!
Introduction de l’IES Contrôlé
Exemple d’un filtre :
IES = 0 IES z 0
1 n 0 1 n 0,1
g (nT ) ® g (nT ) ®
¯0 n z 0 ¯0 ailleurs
2 jSf
1 § · 2 jWSf § Sf ·
° ¨1 e W ¸ e cos¨ ¸ f W
Pour T=1/W : G( f ) ¨ ¸ W
®W © ¹ ©W ¹
°
¯0 ailleurs
ª § 1 ·º
g (t ) sinc2 S Wt sinc «2S ¨Wt ¸»
¬ © 2 ¹¼
Exemple d’un filtre avec IES contrôlée
En temps En fréquence
1/w
T W
Où en sommes-nous ????
Filtrage adapté
T
x(t) Mise en forme Canal Démodulateur
g(t) c(t) h(t)
De telle manière à
annuler l’IES
APRES échantillonnage
Mais, qu’en est-il du canal ????
Canal AWGN
n(t)
T
x(t) Mise en forme Démodulateur
g(t) h(t)
Il suffit que h(t) soit le filtre adapté à g(t)

pour que les symboles issus de l’échantillonnage
ne contiennent pas d’IES
Canal introduisant IES
Filtrage adapté
n(t)
T
Mise en forme Canal Démodulateur
x(t)
g(t) c(t) h(t)
Canal IES,
Canal à distortion,
Canal multi-échos,
Canal multi-trajets,
Canal méchant,
Canal ….
.
.
Canal de propagation avec IES
Modèle du canal :
L
filtrage linaire « discret »
c(t ) ¦ c G t W
k 1
k k
=
Ck : coefficients du canal
Wk : retards des échos
x(t)
C2
C4
C1 C3
=
t t t
0 W1 W2 W3 0 W1 W2 W3
Signal reçu avec IES
t
Modèle du canal en filtre linéaire
C2
L C4
C3
c(t ) ¦ c G t W
k k
C1
k 1 t
0 W1 W2 W3
T
Retard de T
x(t) x(t-T) x(t-2T) x(t-3T) x(t-4T) x(t-5T)

T T T T T
b1 b2 b3 b4 b5
z(t)
Même technique …..
Filtrage adapté
n(t)
T
Mise en forme Canal Démodulateur
x(t) Détecteur
g(t) c(t) h(t) ‘égaliseur’
Filtrage adapté
De telle manière à
annuler l’IES
après
n(t)
Canal égaliseur
xk yk
ck qk
Pourquoi « égalisation » ?
Spectre du canal avec

|C(f)| IES
Spectre respectant
Nyquist
f
W
f
W
1 KHz 3 KHz 10 KHz 20 KHz

Pourquoi un traitement vectoriel ???
xk
Canal
zk
ck
Ensemble des Suite d’échantillons

Symboles indépendants DEPENDANTS
Donc, un échantillon reçu contient des informations
• sur le symbole correspondant

ET
• sur les symboles précédents.
Un échantillon ne suffit pas à détecter le symbole correspondant
il faut considérer un ensemble d’échantillons à la réception Vecteur d’échantillons
La problématique Espace des signaux

de dimension N 2N points
Signal émis Vecteur de

N composantes
Signal reçu
ªc0 0 ..... 0 0 .... 0 º ª x0 º ªn0 º

«c »«x » «n »
ª y0 º «1 c0 0 ..... 0 0 .... 0 »« 1 » « 1 »
«y » « c2 c1 c0 0 .... 0 0 0 » «. » «. »
« 1 » « »« » « »
«. » «. ..... .... 0 » «. » «. », Y
« » C N .( N L 1) . X N L 1 N N
«cL 1 .... .... c1 c0 0 .... 0 » «. » «. » N
« » « »« » « »
«. » «0 cL 1 c1 c0 » «. » «. »
« » «0 » «. » «. »
«¬ y N 1 »¼
« »« » « »
¬«. cL 1 c1 c0 ¼» ¬« x N L 1 ¼» ¬«nN L 1 ¼»
Les détecteurs
Calcul du canal c(t)

puis Calcul direct
égalisation du filtre égaliseur
L 1
YN C N .( N L 1) . X N L 1 N N yk ¦c x k k L
n 0
1
X C .(Y N ) X H .(Y N )
1
H #C
Le problème c’est le bruit N !!!
Les détecteurs (égaliseurs)
Détecteur linéaire Détecteur non linéaire
Zero Forcing (ZF) Filtrage Decision Feedback Equalizer (DFE)

adaptatif
Meam Square Error (MSE) Maximum a posteriori (MAP)
Filtage adapté (Wiener) Maximum de vraisemblance (ML, Viterbi)
. optimaux
.
Classification par rapport au critère choisi
Les détecteurs (égaliseurs)
Détection classique Détection semi-aveugle Détection aveugle

« voyant »
Y C. X N Y C. X N Y C. X N
connus inconnu : data connus connus inconnu : data

inconnu : data
connu : pilote connu : pilote
Inconnu Inconnu Inconnu

à calculer à calculer à calculer
Égaliseur linéaire : Le Zero Forcing (ZF)

L 1
yk ¦c x
j 0
j k j nk Où :
k
X ( z) ¦a z k ,
Dans le domaine Z, ceci s’écrit
L 1
k
C ( z) ¦c z k
Y ( z) X ( z ).C ( z ) N ( z ) k 0
k
Après passage Y ( z) ¦y z k
par l’égaliseur H(z)
qk ¦h y
j
j k j ¦ hn nk j
j
Q( z ) X ( z ).C ( z ).H ( z ) H ( z ) N ( z )
1 si k 0
IES nulle qk ® Inversion de C(z)
¯0 si k z 0
1
H ZF ( z )
C ( z)
Égaliseur linéaire : Le Zero Forcing (ZF)
Matriciellement parlant … Q H .Y
H .C. X N
H .C X H N
H inv C
N0 : densité spectrale
du bruit blanc gaussien
additif
f
W
Inconvénients di ZF :
1- Amplification du bruit blanc !!
2- Le bruit n’est plus blanc à la sortie de l’égaliseur!!
3- Irréalisable si C(f)=0 pour une fréquence donnée
Le ZF
respecte le critère de Nyquist : annulation de l’IES
Mais, ne respecte pas le critère de max SNR
Donc, il faut développer autres conceptions
Égaliseur linéaire : MMSE (Minimum Mean Squared Error)
L’erreur à la sortie de l’égaliseur s’écrit

ek ak aˆ k
xk y k
La forme quadratique de l’erreur s’écrit
r( f ) x( f ).c( f ) n( f )
y( f ) h( f ).r ( f )
h( f ). x( f ).c( f ) n( f )
h( f ).x( f ).c( f ) h( f ).n( f )
L’expression de l’erreur en fréquence devient alors :

e( f ) y ( f ) x( f )
h( f ).c( f ) 1x(h) h( f )n( f )
La forme quadratique de l’erreur devient
>
E e( f )
2
@ >
E h( f ).c( f ) 1x(h) h( f )n( f )
2
@
En minimisant l’erreur quadratique moyenne, on obtient :
c* ( f ) E x N0 =E[n(f)n*(f)]
h( f )
c ( f )c * ( f ) E x N 0
Es =E[x(f)x*(f)]
Remarques ZF
N0 c* ( f ) E x
h( f ) o Filtre adapté
N0 MMSE
Ex
C(f) h( f ) o Zero forcing f
c( f ) N 0 W
Égaliseur linéaire : MMSE (représentation en filtrage linéaire FIR)
Dans le domaine discret, les équations deviennent

rk ck xk nk
yk hk rk
M 1
¦h r
j 0
j k j
T
h .r
Avec hT=[h0, h1, ….., hM-1] , r = [rk, rk-1, ….., rk-M+1],

L’erreur devient alors
ek y k xk
La forme quadratique :
E ek2 > @ >

E h T rk xk @
2
> @
E ek2 >
E h T rk a k @
2
> @ > @
E a k2 2 h T E >rk a k @ h T E rk rkT h
E >a @ 2 h
2
k
T
p h T Rh
Avec
R : > @
E rk rkT Es c k cTk V n2 Matrice d’autocorrélation du signal reçu
p E>rk ak @ c k Es Corrélation entre signal reçu et signal désiré
> @
wE ek2
0 2Rh - 2p 0
wh
h R -1p
Filtre de Wiener
h > @
E r r E>rk ak @
T
k k
Égaliseur linéaire : Filtrage adaptatif
Le MMSE ou le filtre de Wiener nécessitent une inversion matricielle,

DONC très coûteux en terme de calcul
SOLUTION : remplacer la solution directe par une solution adaptative.
L’erreur instantanée :
ek2 h T
rk a k
2
a k2 2 h T rk a k h T rk rkT h
Son gradient :
> @
h ek2 2rk rkT h - 2rk ak
2rk ak rkT h 2rk ek
Le calcul direct de la matrice d’auocorrélation R et du filtre p peut être remplacé par :
R rk rkT p rk ak
L’algorithme de gradient stochastique :

E
h (k 1) hk h ek2
2
h k Eek rk
Ceci est appelé : LMS Least Mean Squares
Les étapes :
yk h Tk rk
ek ak y k
h k 1 h k Eek rk
Problèmes :
• Les performances ne sont pas toujours bonnes
• sensibilité à la variable ȕ
• convergence lente si le canal est de longueur élevé
Égaliseur nonlinéaire : DFE
Nouvelle approche :
Utiliser le symbole actuel rk et les décisions précédentes faites sur yk-i,

Ces décisions servent à éliminer l’interférence sur le symbole présent causée par
les symboles précédemment détectés.
Structure non linéaire : nk

fk
xk,, - xk,,
ak, ck hk ak,
La non linéarité
Structure linéaire : provient de la décision
fk
nk
xk,, - xk,,
ak, ck hk ak,
Critère de conception du DFE
1- Zero Forcing DFE
ck hk f k Gk
c ( z ) h( z ) f ( z ) 1
2- MMSE - DFE
ek y k xk
>ck hk f k G k @ ak hk nk
La forme quadratique :
> @ ³ C ( f ) H ( f ) F ( f ) 1 E df ³ H ( f )
E ek2
2
x
2
N 0 df
2
Il faut donc minimiser :
³ H( f ) N 0 df Min
Sous la contrainte : C( f )H ( f ) F ( f ) 1
Égaliseur nonlinéaire : Maximum de Vraisemblance (Viterbi)
Le canal est modélisé par un filtre linéaire

Le filtrage est une opération de convolution entre les symboles à l’entrée et le filtre,
Donc, c’est comme si c’était un codage convolutif,
Avec une différence majeure : le canal n’apporte pas de redondance !!! Donc pas de gain
xk,,
ak, D D D D
c0 c1 c2 c3
rk,
Si A est la cardinalité de l’ensemble des symboles ak,

Si L est la longueur du filtre linéaire modélisant le canal
Alors
Le treillis de Viterbi contient AL-1 états
L’algorithme de maximum de vraisemblance détermine la séquence émise

qui « ressemble » le plus à la séquence reçue.
max Pr r X
X F
Où F est l’ensemble de toutes les réalisations d’une longueur donnée issues du canal
Pour une séquence de longueur N, il faut tester AN combinaisons !!!
L’algorithme de Viterbi (Add, compare, select) réduit énormément le nombre des calculs.
2
1 § r -qk ·
Pr r X exp ¨ ¸
S N 0 N / 2 ¨
© N0 ¸
¹
avec
qk hk a k
Exemple
hk G k 0.5G k 1
Modèle de Markov pour la machine d’état :
xk=ak, xk-1=ak-1,
Z-1 (1,1)
(0,0)
h(xk, xk-1)=xk + 0.5 xk-1 0 1 (1,1,5)
(0,0,5)
k=0 k=1 k=2 k=3 …. (nouvel état, nouvelle sortie)
Ȍ=0
Ȍ=0 (0,0)
Ȍ=1
(1,1) (0,0,5)
Ȍ=1
Emission-Réception (1,1,5) 61
Égaliseur nonlinéaire : Maximum a posteriori (MAP)
Cet algorithme calcul la probabilité d’avoir émis ak sachant toute la séquence reçue r
Pr ak r
Relation entre MV et MAP :

MV
Pr ak , r Pr r ak Pr ak
MAP Pr ak r
Pr r Pr r
La probabilité de la
Séquence reçue est
Commune aux deux
Le MV est équivalent au MAP égaliseurs
Si
Tous les symboles sont équiprobables à l’émission
Problématique de l’accès multiple
L’IES traité jusqu’à maintenant provenait du canal en tant qu’un filtre linéaire.
Les symboles interférents appartiennent à la même source.
Source Canal
IES
Info à IES
Source Canal
Info 2 sans IES
Interférence entre
Source Canal Utilisateurs (MUI)
Info 1 sans IES
Source Canal
Info 3 sans IES
Problématique de l’accès multiple
Donc:
Interférence entre symboles (IES) Interférence entre utilisateur (MUI)
Presque les
Égalisation élimination d’interférence
mêmes techniques !!
Possibilité de concevoir un filtre dans certain cas, on peut concevoir

annulant l’IES à l’émission un ensemble des filtres annulant
l’interférence entre les utilisateurs
à l’émission (UMTS)
Le canal
radio-mobile

de
o r i e a ti o n
Source é
Th nform c, ,
Blo lutif ,
L’I n
e e nvo M)
n fma que o
C dag od M D T
TD (UM ADS
L
t io f
Hu tropi QA
tifi
ca Co rbo-C SK
, S
E DM (
an En Tu BP
Qu OF
Codage Codage Modulation signal
Modulation
A/D Source canal Binaire
(compression) Filtrage émission
S
N, IE
G ,
AW leigh jet,..
ay t ra
R lti- Canal de
Mu
transmission
Décodage Filtrage réception

Source Binaire Démodulation
canal
(expansion) , Signal
ple l,
, o
s eu t ima eur
s
AP atif io n r ro p
sat
erb e it d u i cep on, ti-u
le canal radio-mobile Vit odag mo la t Ré lisati r mul 2
Dé
c Dé modu a
Ég epteu
Dé Ré
c
Interaction entre
Forme d’onde Environnement

Fréquence porteuse f0, Paysage (urbain, rural, indoor, outdoor,etc.)
Bande fréquentielle W Changement (Doppler)
Canal de
propagation
mesures
Modèle du canal
Paramètres du modèle
pour les simulations!!
le canal radio-mobile 3
Caractéristique du canal de propagation :
1- Long terme : Variations à grande échelle

(atténuation de propagation)
2- Moyen terme : Effet de masque (Shadowing)
3- Court terme : Évanouissement

Variations propagation (long terme)
Variation masquage (moyen terme)
Variation mobilité (court terme)
Forme d’onde
C=f.O
Émetteur Canal récepteur
Transmission sur Transmission en

fréquence porteuse Bande de base
Forme d’onde
Modèle pour signal à bande étroite
Le canal est fonction de la fréquence
f
f0
Si W << f0 le canal est considéré constant sur W
Si W <(mais pas beaucoup) f0 le canal n’est pas considéré constant sur W
Application : OFDM
Forme d’onde
Modèle de propagation de l’onde :
PR : puissance reçue
PT : puissance transmise
GR : gain de l’antenne à la réception
GT : gain de l’antenne à l’émission
O : longueur de l’onde transmise
d : distance émetteur-récepteur
Forme d’onde
Perte due à la distance :
d(t) : distance
a : exposant de perte
=2 distance libre
=4 réflecteur idéal
= 2.7 ; 3.5 cellule urbaine
ment
nne
=3;5 cellule urbaine, masquage
= 1.6 ; 1.8 bâtiments avec trajet direct iro
=4;6 bâtiments, sans trajet direct env
=2;3 usine
=… ….
Modèle de propagation à grande échelle
§d · § f ·
L 10J log10 ¨¨ ¸¸ 10n log10 ¨¨ ¸¸ f hm , hb D 0 [dB]
© d0 ¹ © f0 ¹
Le modèle est valable pour une gamme donnée de

distances d,J
fréquences f , n
hauteur des antennes hm, hb
modèles théoriques Modèles empiriques :

Okumara-Hata, Walfish-Ikegami,
Edwards et Durkin, Carey,
Blonquist et Label, Lee,
Breton et Walfish,
Alsebrook et Parsons,
etc. et etc.
Modèle de propagation à moyenne échelle : effet de masque
L [dB]
mrV
10log10(d)
Atténuation en loi log-normale :
1 § g m 2 ·
P( g ) exp¨¨ 2
¸
¸
2SV 2
© 2V ¹
Suivant les environnements, l’écart type peut varier entre 2 et 12 dB
Modèle de propagation à court terme : canal à évanouissement ( fading )
Variation à court terme,

Diffraction dans le voisinage du récepteur
Long et moyen terme
Dans le voisinage du récepteur, des faisceaux « microscopique* »se forment
le contenu d’un faisceau change les variations surgissent :

constructives : amplification
destructive : évanouissement
Le changement est rapide les évanouissements sont en court terme
* microscopique par rapport à la longueur d’onde !!

Modélisation temporelle de l’évanouissement
Modèle de Rician, Rayleigh (différence par rapport à la domination du trajet direct)
L’atténuation autour du récepteur est modélisé par :
L(t ) D (t ) exp jI (t )
I(t) : variable aléatoire uniformément répartie dans [-S, + S]
D(t) : variable de Rayleigh (variable de Chi centrée du deuxième ordre)
D § D2 ·
D (t ) x (t ) y (t )
2 2
Pr(D ) exp¨¨ 2 ¸¸
V2 © 2V ¹
° x(t ) ~ N (0, V x2 )
où ® , circulaire si V x Vy
°̄ y (t ) ~ N (0, V y )
2
D(t) : variable de Rice (variable de Chi non-centrée du deuxième ordre)
D § D 2 s § Ds · ·
Pr(D ) exp¨¨ I 0 ¨ 2 ¸ ¸¸
V2 © 2V 2
© V ¹¹
D (t ) x 2 (t ) y 2 (t )
° x(t ) ~ N (mx , V x2 )
où ® , circulaire si V x V y , s2 mx2 m y2
°̄ y (t ) ~ N (m y , V y )
2
D(t) : variable de Nakagami m-distribué

m
2 § m · 2 m 1 § mD 2 ·
Pr(D ) ¨ ¸ D exp¨¨ ¸¸
* ( m) © : ¹ © : ¹
:2
: > @
E R ;R2 2
¦ x ,m
le canal radio-mobile
i
>
E R2 : @
2
13
Modélisation fréquentielle de l’évanouissement
L’évanouissement est rapide par rapport aux autres changement du canal

MAIS
Lent par rapport au signal !!
!!!! Sinon, aucune détection n’est possible !!!!!
S(f), C(f)
BD
f
W
L’évanouissement est un processus aléatoire variable en temps
modélisé
par un signal en bande étroite (filtre passe bas) par rapport à la bande du signal
Définition : Bande de Doppler Normalisée : BD / W
Modélisation fréquentielle de l’évanouissement
2
V
Spectre de Doppler C( f ) ; 0 f fD
S f D
2
f 2
Bande de Doppler BD 2 fD
f
-fD fD Signal
« Fabrication » d’information
Processus aléatoire RIF de Doppler

Blanc gaussien (en temps) Signal d’information
après passage
par un canal de
spectre Doppler
Signal d’information FFT IFFT Doppler
(en Fréquence)
Évanouissement Évanouissement
rapide lent
Modèle du Canal multi-trajet
Un signal transmis en forme de Dirac;

Le signal arrive au récepteur en forme de continuum;
Des limites supérieures sont fixées pour indiquer la pertinence du signal détecté;
Naissance de notion de trajet-multiples discernables
Canal
t évanouissement t
Signal transmis seuillage Signal reçu
W0 t
W1
W2
Canal
t Évanouissement
t = t0 W0 W1 W2 W3 t
(t0)
Canal
t Évanouissement t
t = t0+D (t0+D)
W0 W1 W2W3 W4
Canal
t Évanouissement t
W0 W1 W2W3 W4
t = t0 +ȕ (t0 +ȕ)
Canal
t Évanouissement t
W0 W1 W2W3
t = t0+G (t0+G )
Modèle du Canal multi-trajet
Le canal est caractérisé par deux profiles :
Profile des retards { Wn }
Profile de puissance moyenne associée à chaque retard { Pn }

Pn = E[ (rn)² ]
Autour de la fréquence porteuse, le modèle du canal s’écrit :
L 1
c(W ; t ) ¦D n (t )e 2iS fc W n (t )
G (t W n (t )) Pn >
E D n (t )
2
@
n 0
W est relatif au répétition de l’expérience

t est relatif au déroulement de l’expérience Canal stationnaire : c(t)
c(W, t) est une variable gaussienne complexe selon la variable W
Propriétés statistiques du modèle du canal
c(W ; t )
W t
temps fréquence temps fréquence
???
W
1- Temps
Pour deux retards différents, quelle est la ressemblance des réponses ?
>
) c W 1 ,W 2 ; 't E c* (W 1 ; t )c(W 2 ; t 't ) @
Généralement, pour les canaux radio-mobile,
) c W 1 ,W 2 ; 't ) c W 1 ; 't G W 1 W 2
Donc, indépendance entre les réponses sur les différents trajets
Puissance moyenne du canal
) c W ;0 ) c W
W L’auto-corrélation temporelle de la réponse du canal à un Dirac à l’entrée
) c W
W
Tm Tm
Définition
Tm est appelé « l’étalement du canal » (multipath spread)
Pratiquement, Tm # retard max du canal (dernier trajet)
W
2- Fréquence
f
C f , t ³ cW , t exp 2iS f Ĳ dW
f
L’auto-corrélation fréquentielle de la réponse du canal à un Dirac à l’entrée
>
) C f1 , f 2 ; 't E C * ( f1 ; t )C ( f 2 ; t 't ) @
TF
cW , t C f , t
TF
) c W 1 ,W 2 ; 't ) C f1 , f 2 ; 't ) C 'f ; 't
Ne dépend que de la différence entre les fréquences !!!
W
) C 'f ; 't L’auto-corrélation entre deux sinusoides à l’entrée
)C(' f ) ) c W
TF(W)
W
Tm Tm
'f c
Bande de cohérence 1 Temps d’étalement

( 'f )c = Bc Bc | Tm
Tm
Si BD << W canal sélectif en fréquence
t
Doppler : variation relative au temps
Émetteur
fixe s (t ) A cos(2Sf c t )
Observateur fixe
Déphasage :
d
d
I 2S
émetteur
mobile
Oc
Observateur
fixe
t
d
I 2S
Oc
§ d ·
s (t ) A cos ¨¨ 2Sf c t 2S ¸¸
© Oc ¹
§ ·
¨ vt ¸
s (t ) A cos ¨ 2Sf c t 2S
¨ c ¸¸
© fc ¹
§ v ·
s (t ) A cos ¨ 2Sf c t 2Sf c t ¸ A cos 2S f c f D t
© c ¹
Fréquence de Doppler :
v
fD fc
c
t
Transformée de Fourier selon la variable t
TF(t) f
) C 'f ; 't S C 'f ; O ³ ) 'f ; 't exp(2iSO 't )d ('t )
C
f
)C('t) SC O
'f 0
TF(t)
't c BD
1
Temps de cohérence 't c | Bande de Doppler
't c BD BD
t
Transformée de Fourier selon la variable 't
f
SC W ; O ³ ) W ; 't exp(2iSO 't )d ('t )
c
f
Ou transformée de Fourier inverse selon la variable 'f

f
SC W ; O ³ S 'f ; O exp(2iSOW'f )d ('f )
C
f
Ou transformée de Fourier directe selon 't et inverse selon la variable 'f

f f
SC W ; O ³ ³ ) 'f ; 't exp(2iS O 't ) exp(2iS OW'f )d't d'f
C
f f
Récapitulation : Propriétés statistiques du modèle du canal
) c W ; 't TF ( W, 't )
SC 'f ; O
) C W ; 't 0
TF ( W )
Dispersion temporelle
Tm
SC 'f 0; O
Bande de Doppler
) C 'f ; 't BD~1/Tc
TF ( W )
TF ( 't )
) C 'f ; 't 0 ) C 'f 0; 't

Bande de cohérence Temps de cohérence
Bc~1/Tm Tc
Diagramme de dispersion du canal
ªc0 nT º ªc0 T º ªc0 0 º ªC0 nT º ªc0 T º ªc0 0 º

«c (nT ) » «c (T ) » «c (0) » «C (nT ) » «c (T ) » «c (0) »
«1 » «1 » «1 » TF « 1 » «1 » «1 »
«. » «. » «. » «. » «. » «. »
« » ….. « » « » « »….. « » « »
«kc (nT ) » «ck (T ) » «ck (0) » Selon l’indice k C
« m ( nT ) » «cm (T ) » «cm (0) »
«. » «. » «. » «. » «. » «. »
« » « » « » « » « » « »
¬«cL1 (nT )¼» «¬cL1 (T )»¼ ¬«cL1 (0)¼» ¬«CM 1 (nT )¼» «¬cM 1 (T )»¼ ¬«cM 1 (0)¼»
Performance sur canal à évanouissment
Modèle du signal reçu
r (t ) D (t ) s (t ) n(t )
Probabilité d’erreur est donnée par
§ 2J b ·
Pr(J b ) Q¨¨ ¸
¸
© N0 ¹
avec
Jb D (t ) s(t ) 2 Es .D (t )
2
Les performances instantanées sont dominées par la puissance instantanée du trajet

f
1 Es
Pr ³ Pr(J b ) p(J b )dJ b Pr |
N0
E D2> @
0 Jb
Conséquence directe décroissance linéaire

sur les performances avec le SNR !!!
L
§ 1 ·
Plus précisément Pr | ¨¨ ¸¸ L : ordre du la diversité du canal
Pr ©J b ¹
L=1
L=2
L= f
Perf sur canal Perf sur canal
Gaussien Multi-trajet
SNR
Pour une diversité infinie, le canal multi-trajet rattrape le canal gaussien !!
Exercices Communications Numériques
CALCUL D’ENTROPIES
Exercice 1
On considère un couple de variables aléatoires I et J dépendantes l’une de l’autre. Ces
variables peuvent respectivement prendre les valeurs i {A, B, C} et j {D, E, F, G}.
Démontrer la formule suivante :
H(i,j) d H(i) + H(j)
Dans quel cas a-t-on égalité ?
NB : on peut utiliser la relation loge(x) d x-1.
Exercice 2
On considère un couple de variables aléatoires I et J dépendantes l’une de l’autre. Ces
variables peuvent respectivement prendre les valeurs i ^A, B, C` et j ^D, E , F , G` selon les
probabilités suivantes :
A B C
p(i) 1/2 1/3 1/6
p(j|i) D 1/4 3/10 1/6
E 1/4 1/5 1/2
F 1/4 1/5 1/6
G 1/4 3/10 1/6
Calculer les entropies simples H(I) et H(J), conditionnelles H(I|J) et H(J|I), jointe H(I,J) ainsi
que l’information mutuelle I(I,J).
CAPACITE D’UN CANAL
Exercice 3
Calculer la capacité, en bits par symbole transmis des canaux suivants :
(1)- Canal binaire sans perte.
(2)- Canal ternaire sans perte.
(3)- Canal binaire bruité symétrique pour lequel la probabilité d’erreur sur un symbole est de
10%.
Exercice 4
On considère le canal dont les alphabets d'entrée et de sortie comportent 5 symboles notés
{0, 1, 2, 3, 4} et dont les probabilités de transition sont définies par:
1 2 si i j r 1 mod 5
Pr^Y i X j` ® .
¯0 sinon
Calculer la capacité de ce canal.
1/7
CODAGE SOURCE
Exercice 5
Soit une source qui émet 4 symboles x1,…,x4 et 4 codes C1,…,C4 tels que :
x p(x) C1 C2 C3 C4
x1 0.5 0 0 0 0
x2 0.25 0 1 10 01
x3 0.125 1 00 110 011
x4 0.125 10 11 111 0111
Parmi ces 4 codes lesquels satisfont la condition de préfixe ? Pourquoi ?

Parmi ces 4 codes lesquels sont à décodage unique ? Pourquoi ?
Quel est le plus efficace ?
Exercice 6
On considère une source binaire Markovienne de mémoire 1, caractérisée par les probabilités
de transitions suivantes :
p(xi = 0|xi-1 = 0) = 7/8

p(xi = 1|xi-1 = 0) = 1/8
p(xi = 1|xi-1 = 1) = 3/4
p(xi = 0|xi-1 = 1) = 1/4
(1)- Calculer les probabilités d’apparition des symboles 0 et 1 en régime stationnaire,

l’entropie de cette source (si l’on ne tient pas compte de l’interaction entre symboles
successifs).
(2)- Dans cet exercice, on va appliquer plusieurs stratégies pour coder cette source. Dans
chaque cas, établir les bornes théoriques sur la longueur moyenne par symbole du code
obtenu, réaliser ce code et calculer la longueur moyenne attendue.
(3)- Finalement coder le flux de source suivant :
000011100000011…
Méthodes à considérer :
(a) codage de Fano sur les symboles de la source 1 par 1.
(b) codage de Huffman sur les symboles de la source 1 par 1.
(c) codage de Fano sur les symboles de la source 3 par 3.
NB : pour calculer la probabilité d’apparition de chacun des 8 triplets possibles de
symboles, on utilise les probabilités conditionnelles.
(d) codage de Huffman sur les symboles de la source 3 par 3.
CODES DETECTEURS/CORRECTEURS D’ERREURS
Exercice 7
On considère le code linéaire dont la matrice génératrice est :
§ 10 0 0 1 1 ·
G ¨¨ 0 10 10 1 ¸¸
© 0 0 1 1 10 ¹
(1)- Lister tous les mots code de ce code.
(2)- Quelle est la capacité de détection, de correction et de détection/correction de ce code ?
2/7
(3)- Quelle est la matrice de parité ?
(4)- On veut transmettre le message 011 mais il y a une erreur de transmission sur le 5è bit.
Quel message reçoit-on ? Comment peut-on corriger cette erreur ?
(5)- On veut étendre ce code en y adjoignant un bit de parité. Que deviennent la matrice
génératrice / les mots code / la matrice de parité / la capacité détectrice/correctrice du code ?
Quelle est la redondance de ce code ?
Exercice 8
Combien d’erreurs peut-on détecter et/ou corriger en utilisant les codes suivants ?
Parmi ces codes lesquels sont linéaires et/ou cycliques ?
Pour les codes linéaires, donner leurs matrices génératrices et de parité. Pour les codes
cycliques, donner leurs polynômes générateurs et de parité.
(1)- C = 00, 01, 10, 11.
(2)- C = 000, 111.
(3)- C = 000, 100, 101, 011.
(4)- C = 01010, 10101, 11111, 00000.
Exercice 9
Soit le code linéaire de matrice génératrice :
§ 1 0 1 1·
¨ ¸
G ¨ I3 1 1 0 1¸ .
¨ 1 1 1 0 ¸¹
©
(1) Déterminer la matrice de contrôle de parité.
(2) On suppose qu’après transmission il y a une erreur en position i. Déterminer le syndrome
correspondant. En déduire que l’on peut corriger une erreur.
(3) On suppose qu’il y a 2 erreurs en position i et j. Déterminer le syndrome correspondant.
Peut-on corriger 2 erreurs ? Peut-on détecter 2 erreurs ?
CODAGE CONVOLUTIF
Exercice 10
On considère le codeur de caractéristiques : K = 3, r = ½ de la figure suivante :
g1(X)
T T
g2(X)
Ce codeur est utilisé sur un canal binaire symétrique. On suppose que l’état initial est 00. A la
sortie du canal, la séquence reçue est la suivante : Z = (11000010110000).
Déterminer le chemin le plus probable dans le treillis et déterminer les 5 premiers bits
d’information.
3/7
MODULATIONS NUMERIQUES
Exercice 11
Pour une ligne de téléphone, avec une modulation 16-QAM rectangulaire, avec une porteuse à
1800Hz, un taux de transmission symbole de R=2400Hz et un taux binaire de 9600b/s.
-3 -1 1 3
-1
-3
Trouver :
(1)- la bande de fréquence utilisée pour un filtrage idéal de Nyquist
(2)- La bande de fréquence utilisée pour un filtrage RC, avec D = 0.3 (largeur de bande en
excès).
Exercice 12
On considère la constellation 8QAM donnée dans la figure suivante :
1+3
-1-3 -1 1 1+3
-1
-1-3
(1)- Quelles sont les coordonnées des symboles (dans l’espace du signal) quand tous les
symboles ont la même probabilité ?
(2)- Trouver la probabilité d’erreur en utilisant l’approximation venant de la borne d’union.
(3)- Est-ce que cette configuration a une meilleure probabilité d’erreur que la constellation
suivante ? Pourquoi ?
-3 -1 1 3
-1
Exercice 13
Si le critère de performance principal d’un système est la probabilité d’erreur bit, lequel de ces
2 schémas de modulation serait choisi pour un canal AWGN ? Pourquoi ?
(a) FSK non cohérent avec bruité Eb/N0 = 13dB.
(b) PSK cohérent avec Eb/N0 = 8dB.
4/7
Exercice 14
Pour transmettre un débit binaire de 2Mbits/s, on utilise une modulation MIA à 4 états. La
probabilité d’erreur par bit est de 10-5. On désire, en conservant une modulation de type MIA,
doubler le débit binaire, sur ce même canal (et donc avec la même bande), sans toucher à la
probabilité d’erreur par bit.
(1)- Quelle doit être la nouvelle valeur de la taille de l’alphabet de modulation ?
(2)- De combien de dB faut-il augmenter la puissance nécessaire a l’émission ?
On donne pour une probabilité d’erreur par bit Pe = 10-5 :
M 2 4 8 16
Eb/N0 (dB) 9.6 13.6 18 22.9
Exercice 15
On considère un système de transmission de données à un taux RB = 9600bits/seconde, et qui
nécessite une probabilité d’erreur bit n’excédant pas PB = 10-3, sur un canal gaussien additif
(canal AWGN).
On demande de concevoir le système, en choisissant le schéma de modulation parmi :
- une modulation M-PSK, à détection cohérente.
- une modulation M-FSK orthogonale, à détection non cohérente.
Le système ainsi conçu doit respecter à la fois le taux de transmission et la probabilité d’erreur
maximale, tout en maximisant l’efficacité spectrale K RS WS , où WS désigne la largeur de
bande.
Expliquer votre choix de modulation dans les situations suivantes :
(1)- La largeur de bande maximale allouable pour la transmission est BW = 5000Hz, et le
rapport signal-à-bruit disponible en dB est EB/N0 = 12 dB.
(2)- BW = 40 kHz et EB/N0 = 7dB.
NB : Pour choisir le schéma de modulation, on pourra comparer les efficacités spectrales

respectives des 2 schémas proposés, en exprimant WS en fonction de RB et M, et en simplifiant
l’expression de K .
Puis une fois le schéma de modulation choisi, pour déterminer la valeur de M adéquate, on
établira un tableau des valeurs de PB, WS et K en fonction des valeurs 2, 4, 8 ou 16 pour M.
ANNEXE 1 :
M=2 M>2
M-PSK § 2EB · 1 § 2 log 2 ( M ) E B §S · ·¸
PB Q¨¨ ¸
¸ PB u 2Q¨¨ sin ¨ ¸¸
© N 0 ¹ log 2 ( M ) © N0 ©M ¹¹
M-FSK 1 § 1 EB · M § log 2 ( M ) E B ·
PB exp¨¨ ¸¸ PB exp¨¨ ¸¸
2 © 2 N0 ¹ 4 © 2 N0 ¹
ANNEXE 2 :
f
1 t 2 2
On définit la fonction d’erreur Q ( z )
2S
³e
z
dt , avec les propriétés suivantes :
5/7
ISI ET FILTRAGE ADAPTE
Exercice 16
Quelle est la largeur de bande minimale théorique nécessaire à une communication avec un
taux de transmission de 10Mbits/s et pour un signal 16-niveaux PAM sans ISI ?
Quel facteur de roll-off doit avoir le filtre si la largeur de bande permise est de 1.375MHz ?
TRANSMISSION EN BANDE DE BASE
Exercice 17
On considère une source binaire, indépendante, équirépartie, dont le débit est de 10000 bits/s.
Le signal émis a pour expression :
s(t ) ¦ a k h(t kT ) ,
k
où les ak sont une suite de symboles à valeurs dans l’alphabet {-3, -1, +1, +3}. T désigne
l’intervalle de temps entre 2 symboles consécutifs. La fonction h(t) est un signal réel,
d’énergie finie, dont la transformée de Fourier H(f) est nulle à l’extérieur de la bande de
fréquence [-B, B]. On donne W = 3000Hz. Le bruit est issu d’un processus blanc, gaussien,
centré, de densité spectrale de puissance N0/2.
On note z(t) = s(t) + b(t) le signal reçu.
(1)- Calculer la vitesse de modulation 1/T.

(2)- Indiquer un codage qui minimise le taux d’erreur par bit.
6/7
(3)- Donner la fonction de transfert du filtre de réception qui minimise la probabilité d’erreur.
On note P(f) la cascade constituée par le filtre d’émission H(f) et le filtre de réception, et p(t)
la transformée de Fourier inverse.
(4)- A quelle condition sur p(t) a-t-on absence d’interférences entre symboles à la sortie de
l’échantillonneur?
(5)- On utilise pour P(f) une fonction en cosinus surélevé. Quelle valeur du roll-off faut-il
choisir ?
(6)- Calculer en fonction de p(t) l’énergie moyenne Es par symbole.
(7)- En déduire l’énergie moyenne Eb par bit.
(8)- Montrer que la variance du bruit a la sortie de l’échantillonneur est égale a N0 p(0)/2.
(9)- Indiquer la règle de l’organe de décision.
(10)- Déterminer l’expression de la probabilité d’erreur par symbole, en fonction de Eb et N0.
(11)- En déduire la probabilité d’erreur par bit.
(12)- Y a-t-il des raies spectrales dans le signal émis ? Justifier la réponse.
7/7
BIBLIOGRAPHIE :
1. D. Ventre. Communications analogiques. Collection Pédagogique de
Télécommunications. Ellipses, 91.
2. G. Battail. Théorie de l’information. Collection Pédagogique de
Télécommunications. Masson 97.
3. M. Joindot et A. Glavieux. Introduction aux communications Numériques.
Collection Pédagogique de Télécommunications. Ellipses, 95.
4. Collectif d’auteurs/ direction Geneviève Baudoin. Radiocommunications
numériques 1- Principes, modélisation et simulation. Collection EEA- Série
Principes Electroniques. Dunod.
5. J.J. Brossier. Signal et Communication Numérique. Hermès, 97.
6. Proakis. Digital Communications (4ème edition). McGraw Hill, 2000.
7. S. Lin and D.J. Costello. Error Control Coding : Fundamentals and Applications.
Prentice Hall, 1983
8. The Error Correcting Codes (ECC) Page : http://www.eccpage.com

XSX

Загружено:

Сведения о документе

Оригинальное название

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

XSX

Загружено:

Авторское право:

Доступные форматы

COMMUNICATIONS NUMÈRIQUES

NBI/01/05/06 Nicolas IBRAHIM

Année 2005/2006 – ESME/Sudria Nicolas IBRAHIM

Domaine de la Théorie d’Information

Bannir les idées pré-établies :

Taux maximal de compression Débit maximal de transmission

Système de communication : petit aperçu

Décodage Démodulation Démodulation

A la découverte de la théorie de communication

Un événement informatif est un événement inattendu !!!!

log2 Information mesurée en [bit] = [Binary Information Digit]

loge Information mesurée en [nat]

Information moyenne = EX [ I(X) ] , X est l’ensemble où x prend ses valeurs

puisque log b ( p) log b (a). log a ( p)

Source quaternaire équiprobable Source quaternaire

L’Entropie est maximale pour une source équiprobable

Entropie de deux variables aléatoires

= l’information moyenne des deux sources de variables aléatoires

= l’information moyenne d’une variable

H Y X z H X Y Car généralement p(y|x) = p(x|y)

y1 1/8 1/16 1/32 1/32 1/4

Fréquences d'apparition des lettres dans

Lettre Fréquence Lettre Fréquence

H(X,Y) = H(X) + H(Y|X)

Corollaire : Relation de dépendance

H(X,Y|Z) = H(X|Z) + H(Y|X,Z)

Entropie et codage de source

Entropie = quantité moyenne d’information émise dans la source

= longueur moyenne des « expressions » émises par la source

= longueur moyenne des mots de code de la source (L)

Propriétés : I ( X ;Y ) H(X )  H(X Y)

A quoi ça sert ???

Contexte : X (source, message) communique avec Y (destinataire, récepteur)

Question : Quelle est la quantité d’information obtenue sur X à partir de Y ?

Capacité : Quantité maximale d’information obtenue sur X à partir de Y

Canal sans bruit

C = 1 [bit/transmission] ([bit/channel use]) avec p(0) = p(1) = 1/2

Canal bruité, sortie disjointe

Canal binaire à effacement

Matrice de passage du canal p(y|x) = {pi,j(y|x)} = p(yi|xj)

Capacité d’un canal faiblement symétrique :

C = lb|Y| -H(ligne de la matrice de transition)

|Y| = cardinale de l’ensemble Y

Alphabet d’entrée : X= {0,1,…,Q-1} Probabilité de bonne transmission : q

Q=2 Canal binaire symétrique : C2 = 1 – H(q)

• C d lb(|X|) puisque C = max I(X;Y) d max H(X) = lb (|X|)

• I(X;Y) est une fonction continue de p(x)

• I(X;Y) est une fonction concave en p(x)

un maximum local est un maximum global

Canal Gaussien Continu (à Bruit Blanc Gaussien Additif)

Information mutuelle moyenne :

Capacité canal AWGN

échelle logarithmique échelle linéaire

Si R d C Il existe un code correcteur d’erreur t.q Pe 0

Il n’est pas possible de transmettre sans erreur

E(R) : exposant de Gallager.

E(R) > 0 pour R < C

Canal BSC discret Canal BSC continu

Capacité : C = 1-H(p) bits/transmission

De quoi l’on parle ??

La capacité du canal en AWGN est établie avec une source gaussienne,

OR en télécommunication numérique, la source est

Capacité d’une source discrète sur un canal gaussien

Propriétés : I ( X ;Y ) H(X ) H(X Y)