Follet Otice Gas Carlos

APUNTES DE
TEORIA DE LA INFORMACION
Y LA CODIFICACION
ING. CARLOS EGAS A.

Abril, 2006
"La Energa y la materia desempean un papel tan

importante en toda la fsica, como tambin lo
hacen en las dems ciencias naturales y en la
tcnica, que son consideradas actualmente como
magnitudes fundamentales universales. Por otra
parte el concepto de informacin ha alcanzado
el mismo significado amplio y primordial. Hoy
en da, se est consumando un proceso innovativo
de enorme envergadura, originado por la
creciente
integracin
de
una
tecnologa
informtica altamente desarrollada con los
medios de telecomunicacin modernos"
Werner Gitt
TEORIA DE LA INFORMACION Y CODIFICACION

INFORMACION
Si se trata nicamente de almacenar o transmitir datos, es
suficiente el concepto de informacin desarrollado por Shannon,
mientras que resulta inservible para comprender el significado
intrnseco de dicha informacin, ya que esta definicin de informacin
es totalmente inadecuada para enjuiciar el significado de una serie
de signos ya que solo se ocupa de registrar la dependencia estadstica
de cadenas de signos sin considerar en absoluto su significado.
De ello se deriva que para poder juzgar suficientemente una
informacin y su elaboracin en diversos sistemas, orgnicos o
inorgnicos se requiere una ampliacin considerable del concepto de
informacin, mas all de la teora de Shannon.
Es as como para comprender la naturaleza de la informacin
es necesario representar a la informacin en cinco niveles que a
continuacin se presentan:
-
Estadstico
Sintaxis
Semntico
Pragmatismo
Apobtica
Nivel 1: Estadstica
El teorema de informacin de Shannon es
muy adecuado para
describir el aspecto estadstico, describiendo de forma cuantitativa
las caractersticas del lenguaje que tienen como fundamento los
parmetros probabilsticos. Por otra parte no tiene en cuenta si
una serie de signos posee algn significado. En este nivel tampoco
se tienen en consideracin cuestiones gramaticales.
Nivel 2: Sintaxis
La composicin de signos para formar palabras en las denominadas
secuencias de smbolos, as como el orden de las palabras para originar
frases, estn supeditadas a reglas determinadas, basadas en acuerdos
concretos para cada lenguaje.
A nivel sintctico se requiere un repertorio determinado de
signos para representar la informacin (sistema de cdigo). La mayor
parte de los lenguajes escritos utilizan letras para ello, pero hay
que tener en cuenta que para ciertos fines se emplearon y se emplean
los sistemas ms diversos: morse. jeroglfico, el cdigo de banderas,
notas, cdigos de informtica, cdigo gentico, el lenguaje de las
abeja basadas en figuras bailadas, sustancias aromticas utilizadas
por los insectos en el lenguaje feromnico, la posicin de las manos
en el lenguaje para los sordomudos.
Por sintaxis de un lenguaje se entienden todas las reglas
gramaticales segn las cuales se pueden o deben combinar los diferentes
ING. CARLOS EGAS
elementos lingsticos. La estructura de un lenguaje natural tiene

una estructura mucho mas compleja que en las lenguas artificiales
y formalizadas.
Nivel 3: Semntica
Las series de signos y reglas sintcticas constituyen la base
necesaria para representar la informacin. No obstante, el aspecto
decisivo para la transmisin de una informacin no es el cdigo
elegido, el tamao, nmero o forma de las letras, ni el medio de
transmisin, sino el mensaje que se halla contenido en la informacin,
el significado, el sentido, es decir la semntica.
Por otra parte no se requiere este aspecto central de una
informacin para llevar a cabo su almacenamiento o transmisin. Segn
Nobert Wiener, el fundador de la ciberntica y de la teora
informtica, la informacin no puede ser de contenido fsico
"Informacin es informacin, no es ni materia ni energa.
Todo
materialismo que no lo tenga en cuenta no puede sobrevivir hoy en
da"
Nivel 4: Pragmatismo
Hasta el nivel semntico no aparece la cuestin de un objetivo
que pueda perseguir el emisor al transmitir su informacin.
No
obstante toda transmisin de informacin sucede con el objeto de
originar un resultado determinado en el receptor. A fin de alcanzar
este resultado previsto, el emisor consideras cul ha de ser su
comportamiento para lograr que el receptor reaccione segn el objetivo
perseguido.
Este aspecto de una accin se define con la expresin pragmatismo.
Por medio del lenguaje no se unen sencillamente frases una tras
otra, sino que se formulan peticiones, quejas, preguntas, consejos,
solicitudes, todo ello con el objeto de obtener una reaccin por parte
del receptor.
Nivel 5: Apobtica
Estamos llegando ahora al ltimo y mas alto nivel de la
informacin, el aspecto de su objetivo. Por analoga lingstico
con las designaciones anteriores, se ha creado a tal efecto la palabra
apobtica.
El resultado obtenido en la parte receptora se basa en el
objetivo, plan concepto de la parte emisora. El aspecto apobtico
de la informacin es el mas importante, ya que es el que se pregunta
cual es el objetivo del emisor. Para toda informacin se puede formular
la pregunta siguiente. Porque enva el emisor dicha informacin,
que es ello que espera alcanzar del receptor.
Por ejemplo los programas de computadores han sido concebidos
con un objetivo muy concreto (solucionar un sistema de ecuaciones,
controlar un sistema etc.).
ING. CARLOS EGAS
Basndonos en la teora de informacin de Shannon que hoy en

da se considera como concluida matemticamente, se ha ampliado el
concepto de informacin hasta el quinto nivel requerido. Resumindose
lo anteriormente dicho de la siguiente forma.
-
No existe informacin sin cdigo.

No existe un cdigo sin un acuerdo consciente y libre.
No existe informacin sin emisor.
No existe una cadena informtica sin origen intelectual.
No existe informacin sin una fuente intelectual en su principio,
por lo que la informacin es por si una magnitud intelectual
y no material.
No existe informacin sin voluntad.
No existe informacin sin los cinco niveles estadsticos.
Los procesos estadsticos no pueden originar informacin alguna.
El ocuparse de los niveles de informacin en forma cuantitativa es

una de las muchas tareas que todava quedan por realizar.
SISTEMA DE COMUNICACIN
Fuente
Codifica.
Medio
Decodifi.
Destino
Ruido
Fuente de informacin generadora de smbolos.

Codificador de los smbolos de la fuente.
Medio a travs del cual la informacin es enviada o almacenada.
Fuente de ruido que modifica a la seal transmitida o almacenada.
Un decodificador para recuperar la informacin original de la
seal recibida.
El destino de la informacin.
El establecimiento de una comunicacin tiene como objetivo,

transmitir informacin, la cual esta contenida en una serie de smbolos
que se utilizan para lograr una comunicacin confiable y eficiente.
La utilizacin de smbolos para entablar dicha comunicacin tiene
como objetivo, el poder transmitir la mayor cantidad de informacin
posible, aprovechando al mximo, el medio de transmisin que se utiliza
para tal efecto.
La informacin que se desea transmitir, se ve modificada cualitativa y cuantitativamente para que esta llegue a su destino de una
manera rpida y confiable.
ING. CARLOS EGAS
Tales modificaciones que se realizan en la informacin son

realizadas tomando en cuenta el medio por el cual se va entablar la
comunicacin.
As tenemos por ejemplo, que al establecer la comunicacin entre
dos personas en un medio donde existe mucho ruido, ser necesario
que las dos personas que intenten comunicarse eleven el tono de voz.
Tambin se puede establecer comunicacin utilizando canales,
tal que la informacin a enviarse, deba ser modificada de tal manera
que esta pueda transmitirse. As por ejemplo tenemos informacin
analgica y digital producto de esta transformacin.
Al hablar de codificacin se debe tener bien claro que esta palabra se usa para muchas aplicaciones, por ejemplo, codificacin de
la informacin para que esta pueda ser transmitida por un canal de
informacin dado (cdigos de lnea), codificacin de la informacin
para la deteccin y correccin de errores en transmisin digital,
codificacin de la informacin para aumentar la velocidad de transmisin y reducir el ancho de banda necesario para su transmisin,
entre otras aplicaciones.
En nuestro caso, nosotros nos concentraremos al estudio de la
codificacin para el control de errores y la codificacin de fuentes
de informacin.
La teora de la informacin y codificacin es un campo muy extenso que tranquilamente puede ser necesario la utilizacin de dos
semestres para abarcar tan solo los conceptos bsicos de estas dos
ramas que van muy juntas.
MEDIDA DE LA INFORMACIN
El propsito de un sistema de comunicacin es, en el ms amplio
sentido, la transmisin de informacin desde un punto del espacio
y del tiempo hasta otro. La cantidad de informacin sobre un
acontecimiento est estrechamente relacionada con su probabilidad
de ocurrencia.
Los mensajes que contienen noticias de gran probabilidad de
ocurrencia, es decir que indican muy poca incertidumbre en el
resultado, conducen relativamente poca informacin. Por el contrario,
los que contienen noticias con baja probabilidad de ocurrencia
conducen relativamente grandes cantidades de informacin.
Dado E un suceso que puede ser presentado con probabilidad
pE .Cuando E tiene lugar, decimos que hemos recibido:
I E log
1
p E
unidadesde informacin
ec.1
I E se lo conoce tambin como cantidad de informacin contenida

ING. CARLOS EGAS
por E o suministrada por E cuando

medida de informacin.
y la base del logaritmo es una
Unidades de medida
La unidad de medida de la cantidad de informacin esta determinada
por la base del logaritmo utilizado en el clculo, las tres unidades
mas utilizadas son las siguientes.
Logaritmo
Unida de informacin
base 2
natural (base e)
base 10
Bits de informacin
nats
hartleys
La relacin existente entre estas unidades es la siguiente:

1 Hartley =
1 nat
=
3.3219 bits de informacin

1.4426 bits de informacin
Generalmente los clculos se los hace utilizando el logaritmo

en base 10 para luego pasarlos a bits de informacin que es la unidad
que se utilizara en el curso. Adems en las expresiones siguientes
el termino log implicar que el clculo es realizado en base dos.
La definicin informtica de Shannon se limita a un aspecto de
la informacin, esto es, el hecho de que a travs de ella se expres
algo nuevo: el contenido de la informacin es el contenido de algo
nuevo. Nuevo no significa aqu una nueva idea, un nuevo pensamiento
ni un mensaje nuevo, ello sera ya un aspecto significativo, si no
que implica un mayor efecto de sorpresa que se obtiene al aparecer
un signo (suceso) menos usual.
Informacin es, por lo tanto, en este caso, la medida de
improbabilidad de un acontecimiento, por esta razn, a un signo con
alto grado de improbabilidad se le concede un mayor contenido
informtico.
Antes de que un emisor de signos origine uno, existe la duda
de qu signo especial va ha emitirse de entre los signos disponibles.
Esta inseguridad desaparece nicamente tras haber recibido la seal.
De tal forma que para Shannon la informacin es la inseguridad que
desaparece al recibir la seal correspondiente.
Teniendo en cuenta que solo se esta interesado en determinar
la probabilidad de aparicin de los signos, automticamente slo se
registra el carcter estadstico de la informacin. Con ello, el
concepto de la palabra informacin queda reducido a su aspecto carente
de significado.
Segn la definicin de informacin dada anteriormente, esta queda
definida en la forma que cumpla las tres propiedades siguientes.
Condicin de adicin
ING. CARLOS EGAS
El contenido de informacin de signos o serie de signos

independientes el uno del otro es igual a la suma de la informacin
producida por cada uno de ellos, lo cual concibe a la informacin
como algo cuantitativo.
q
I ET log
i=1
p E i
ec.2
q = nmero de smbolos.
p E i = probabilidad de ocurrencia del smbolo E i .

E i = probabilidad de que el smbolo i genere informacin.
Es decir, para determinar la cantidad de informacin producida

en un intervalo de tiempo dado, hay que sumar la cantidad de informacin
generada por los sucesos ocurridos en ese intervalo de tiempo.
Condicin de probabilidad
El contenido de informacin atribuido a un signo debe aumentar

con el aumento progresivo de la sorpresa. Cuanto menos probable sea
un signo tanto mayor ser su contenido de informacin.
La definicin de cantidad de informacin se basa en la probabilidad de ocurrencia de los mensajes y no del significado que pueda
representar el mensaje que se transmite.
El bit como unidad de informacin
Si se presenta el caso ms sencillo cuando se dispone nicamente

de dos signos, que adems tienen el mismo valor de probabilidad, el
contenido de informacin que se atribuye a uno de ellos es justamente
un bit.
FUENTE DE INFORMACION.
Es un mecanismo generador de informacin. Una fuente de
informacin discreta que genera q smbolos diferentes con
probabilidades ps1 , ps 2 , ps q se la representa como:
S s1 , s 2 , s q
Donde los smbolos s1 , s2 , sq conforman el alfabeto de dicha fuente
(alfabeto fuente).
Cuando las probabilidades de los smbolos son independientes
entre ellos, se tiene lo que se conoce como una fuente de informacin
ING. CARLOS EGAS
de memoria nula (FIMN).

Si los signos individuales de una larga secuencia no son
igualmente probables (por ejemplo un texto), lo que interesa es el
contenido medio de informacin de cada signo dentro de esta secuencia.
Dada una fuente de informacin discreta,
informacin suministrada por un smbolo es:
I s i log
la
cantidad
de
bits de informacin
1
ps i
Para calcular la cantidad de informacin promedio generada por

todos los smbolos de la fuente, hay que considerar la cantidad de
informacin generada por cada smbolo conjuntamente con la
probabilidad de que la fuente genere ese smbolo y por lo tanto esa
cantidad de informacin.
q
H S ps i I s i
i=1
H S = p( si ) log
i=1
1
p( si )
ec.3
bits de informacin
H S
smbolo de S
H S ser la cantidad media de informacin por smbolo emitida por
la fuente o entropa de la fuente de informacin de memoria nula.
La cantidad de informacin proporcionada por la fuente en un
intervalo de tiempo dado es igual a la suma de la informacin generada
por cada uno de los smbolos que ha emitido la fuente en ese intervalo
de tiempo.
Nuevamente, la base del logaritmo utilizado definir las unidades
de la entropa.
H r S =
H S
ec.4
log r
unidades de informacin
H r S
smbolo
H S puede ser interpretado como el valor medio de la informacin

por smbolo suministrada por la fuente o el valor medio de la
incertidumbre de un observador antes de conocer la salida de la fuente.
Ahora surge un problema en la terminologa, hasta ahora se haba
ING. CARLOS EGAS
echo referencia a los pulsos binarios como bits; ahora se define bit
como una medida del contenido de informacin. Para una fuente binaria
con eventos equiprobables las dos definiciones coinciden, pero esto
es sin duda un caso especial.
Sin embargo el trmino bit esta tan firmemente arraigado con
ambos sentidos que en el transcurso del curso se lo emplear en los
dos significados, por lo cual se recomienda poner mucha atencin
en la interpretacin de los resultados.
Las matemticas son una herramienta fundamental para el
desarrollo de la teora de informacin y codificacin y todas las
conclusiones importantes a las que se han llegado son fruto de su
eficiente uso.
Si la fuente emite rs smbolos cada segundo (baudios), la
velocidad promedio de informacin (taza de informacin) de la fuente
esta dada por viene dada por:
R rs H r S ec.5
R unidades de informacin segundo

Para propsitos de descripcin de la fuente, muchas veces se
define a R , como la velocidad de entropa, velocidad media de
transmisin de informacin o taza de entropa.
Una fuente de tres smbolos, S 0, 1, 2 cuyas probabilidades son
0.3, 0.5, 0.2 respectivamente, genera los smbolos a razn de 3
smbolos cada segundo.
La Informacin que genera el smbolo 1 cuando es generado por
la fuente es:
I 1 log1 0.5 1
bit de informacin
Si la fuente emite en un segundo la siguiente secuencia de

smbolos, 1, 1, 2, la cantidad de informacin generada por la fuente
en ese segundo es:
I T log 1 0.5 log 1 0.5 log 1 0.2
I T 4.3219
es:
bits de informacin
La cantidad de informacin generada por smbolo en ese segundo
I T 3 1.4406
bits de informacin
La cantidad de informacin promedio generada por la fuente es:
ING. CARLOS EGAS
H S 1.4849
bits de informacin
smbolo
Y la tasa de informacin promedio generada por la fuente es:

R H S rs 4.4548
bits de informacin
segundo
A pesar de que, especificar las probabilidades de los mensajes

no corresponde generalmente al diseo del sistema de comunicacin
(dado que, o se conocen, o pueden aproximarse por mediciones), es
de primordial inters la maximizacin de la rapidez de transmisin
de informacin del sistema.
La densidad informtica ms elevada que se conoce se da en las
molculas de ADN (cido desoxirribonucleico) en clulas vivas con
una densidad de 1.88 10 21 bits cm 3 . Las DRAM 1 Mbit con una capacidad
de memoria volumtrica de 42 103 bits mm . Comparada con el Megachip
la molcula de ADN alcanza una capacidad de almacenamiento de 451012
mayor.
3
Toda la ciencia conservada actualmente en las bibliotecas del

mundo entero se calcula en unos 1018 bits Si fuera posible memorizar
toda esa informacin en molculas de ADN, el espacio requerido sera
aproximadamente el 1% del volumen de la cabeza de un alfiler.
Por otra parte si se quisiera almacenar esa informacin en los
Megachips actuales se necesitara una hilera de chips mas larga que
la distancia de la tierra a la luna.
FUENTE DE INFORMACION CONTINUA
El siguiente paso en la teora de la informacin sera la
definicin de una fuente continua y la entropa para esta fuente,
cuyos mensajes son funciones del tiempo, variantes en forma continua.
Tales definiciones son posibles, pero matemticamente se hace
ms compleja su tratamiento y por sobre todo su interpretacin fsica
se hace muy difcil, adems de que la entropa de la fuente continua
resulta ser una medida relativa en vez de una medida absoluta como
es en el caso de la entropa para las fuentes discretas.
Muchas de las conclusiones de las fuentes discretas son
aplicables a las fuentes continuas con pequeas modificaciones, pero
lo mas importante, es que dada las limitaciones fsicas fundamentales,
la comunicacin es en forma inherente un proceso discreto sin importar
la fuente.
Para el futuro entendimiento de las frmulas matemticas que
posteriormente se demostraran, es necesario tener en cuenta ciertas
relaciones fundamentales que a continuacin exponemos.
ING. CARLOS EGAS
RELACIONES FUNDAMENTALES
Expresin 1
ln x x 1
ln
1
1 x
x
Expresin 2
Sean x1 , x 2 , x q e y1 , y 2 , y q dos conjuntos de probabilidades, tal

que:
q
i=1
i=1
y i xi 1
Entonces se cumple:
q
i=1
i=1
xi log y i xi log xi ec.7

Demostracin:
log a C log b C 1 log b a
Si a = 2, b = e y C = y i x i
yi
log
xi
= ln y i / xi
1
ln 2
Multiplicando por x i , y aplicando el sumatorio para todos los

q elementos:
q
xi log
i=1
q
yi
xi ln y i xi
xi i=1
ln x x - 1
q
xi log
i=1
q
yi
1 q
y i xi
xi ln 2 i=1
i=1
x
i=1
x
i=1
log
yi
1
1 1
xi ln 2
1
log y i log 0
xi
ING. CARLOS EGAS
x log y
i
log xi 0
i=1
i=1
i=1
xi log y i xi log xi
Esta igualdad se da cuando y i x i .
Propiedad de la entropa
Suponiendo una fuente de informacin de memoria nula S s i con
i 1, 2, q y cuyas probabilidades son ps i respectivamente, se tiene
que:
log q H S ec.8
Demostracin:
q
H S p i log
i=1
1
pi
i=1
Multiplicando ambos miembros por log q :

q
log q = log q pi
i=1
Restando H S log q :
q
H S log q pi log
i=1
q
1
pi log q
pi i=1
1
1
H S log q p i log
log q H S log q p i log
pi
p
q
i=1
i
=
1
i
log q H S p i log p i q
i=1
Cambiando de base tenemos:

q
log q H S p i log e ln ( p i q )
i=1
Si:
ING. CARLOS EGAS
ln
1
1 x
x
log q H S pi log e 1
pi q
i=1
q
q
q
1
1
log e pi
log q H S log e pi 1
pi q
i=1
i=1 q
i=1
log q H S log e 1 1
log q H (S ) 0
Por lo tanto:
log q H S
De la expresin anterior se puede concluir que la cantidad mxima

de informacin promedio que nos puede proporcionar la fuente de
memoria nula de q smbolos es log q , y crece lentamente al aumentar
el nmero de smbolos de la fuente.
La condicin para obtener la mxima informacin posible de una
fuente de q smbolos, es que sean equiprobables.
Nmero de
smbolos
H(S) max
(bits inf./smbolo)
2
3
4
5
8
16
1
1.58
2
2.32
3
4
Para una fuente de informacin de memoria nula binaria S = (s1,s2)

donde ps1 w y ps 2 1 w w ,la entropa viene dada por la siguiente
expresin:
H S w log 1 w w log 1 w
La funcin anterior de la conoce como funcin entropa y se la

presenta como:
H S H w H w
ING. CARLOS EGAS
El valor mximo de H w se da cuando w 0.5 , por lo tanto igual

a un bit de informacin por smbolo.
La cantidad mxima de informacin que nos puede proporcionar
una fuente de informacin binaria es de un bit de informacin.
EXTENSIONES DE UN FUENTE DE MEMORIA NULA
Anteriormente habamos definido un tipo de fuente la cual generaba smbolos aislados. Aquella fuente con las caractersticas de
una fuente de memoria nula y que genera grupos de smbolos es una
extensin de esta ltima.
Definicin
Sea S una fuente de informacin de memoria nula con un alfabeto
y probabilidades ps1 , ps2 , psq .
q
s , s , s
1
La extensin de orden n de S representada por S n , es una fuente

de memoria nula con q n smbolos 1 , 2 , q n tal que i corresponda
a una secuencia de n smbolos de los q posibles, tal que
i si1 , si 2 , siq .
P i es la probabilidad de que se genere el smbolo i de la

extensin de la fuente original. Se cumple que:
P 1 psi1 . ps si 2 . psin pi1 . pi 2 . piq

La cantidad de informacin media suministrada por la extensin
de una fuente de informacin de memoria nula se la puede calcular
utilizando el siguiente sumatorio.
qn
H S p i log
n
i=1
p i
ec.9
El clculo de la entropa para la extensin de la fuente es

bsicamente el mismo que para una fuente de informacin de memoria
nula.
A partir de una fuente binaria S 0, 1 cuyos smbolos tienen las
siguientes probabilidades p0 0.4 y p1 0.6 se puede obtener la
segunda extensin, que es otra fuente de informacin de memoria nula
cuyo alfabeto es:
S n 00, 01, 10, 11
Y las probabilidades de los smbolos son las siguientes:

ING. CARLOS EGAS
p00 p0 p0 0.16
p01 p0 p1 0.24
p10 p1 p0 0.24
p11 p1 p1 0.36
Donde:
1 00
2 01
3 10
4 11
La entropa es igual a:
H S 2 0.16 log 1 0.16 0.24 log 1 0.24 0.24 log 1 0.24 0.36 log 1 0.36
H S 2 1.9418
bits de inf . smbolo de S

2
La entropa de la fuente de informacin de memoria nula se relaciona con la entropa de su extensin con la siguiente expresin:
H S n nH S ec.10
Demostracin:
qn
H S p i log
n
i=1
q
H S psi log
i=1
p i
1
psi
P i psi1 psi2 psin pi1 . pi2 pin
1
1
1
H S n pi1 . pi 2 pin log

log
log
n
p
p
p
S
i1
i2
in
Existe n logaritmos
en el sumatorio, tomando solo uno:
H S n pi1 . pi 2 pin log

Sn
H S n pi1 log
Sn
1
pi1
1
pin
pi1
ING. CARLOS EGAS
pi1 log
Sn
1
q
1 q
pi 2 pin H S
pi1 i=1
i=1
Como son n sumandos similares:

H S n H S H S H S H S (n veces)
H S n nH S
La cantidad de informacin promedio que genera la extensin,

es mayor que la generada por fuente original porque se tiene mayor
nmero de smbolos para enviar un mayor nmero de mensajes con
informacin.
Aproximaciones de varios ordenes de una lengua con los modelos
probabilsticos.
En lingstica, la generacin de las palabras o letras que
componen un alfabeto, raramente tienen la misma probabilidad. Se puede
plantear un modelo matemtico para la generacin de los smbolos de
un alfabeto en un idioma dado conociendo las probabilidades de
ocurrencia. En base a estas probabilidades se puede calcular la
cantidad de informacin media suministrada por un idioma en
particular.
Mejor aun, si se trata al alfabeto como los smbolos de una fuente
de informacin y adems se procede a trabajar con las extensiones,
tambin se puede encontrar la cantidad de informacin media como se
indica a continuacin.
Lengua
H S max
H S
H S2
H S 25
Inglesa
Rusa
Francesa
Espaola
Rumana
Alemana
4.76
5.00
4.70
4.70
4.70
4.76
4.03
4.35
3.98
4.01
4.11
4.037
3.32
3.52
3.40
310
3.01
2.80
FUENTES DE INFORMACION DE MARKOV

Una fuente de informacin de Markov es aquella en la cual la
aparicin de un smbolo s i , depende de un nmero finito m de smbolos
precedentes, y se la conoce como una fuente de Markov de orden m.
Una fuente de informacin de Markov de orden m tiene un alfabeto
dado por S m s1 , s2 , sq y probabilidades condicionales dadas por
psi si1 , si 2 , s jm donde i 1, 2, q .
ING. CARLOS EGAS
El nmero de smbolos precedentes del cual depende la generacin

de un nuevo smbolo, definen el estado de una fuente de Markov. De
esta manera una fuente de q smbolos admite q m estados posibles,
los cuales se pueden apreciar grficamente en lo que se conoce como
diagrama de estados q m 1 probabilidades.
En el estado representado por los smbolos
j1
, s j 2 , s jm , el
ltimo smbolo emitido por la fuente es s jm , una vez emitido s i el

nuevo estado es formado por
j2
, s j 3 , s jm , si .
Diagrama de estados
Considerando una fuente de Markov de segundo orden con alfabeto
fuente S 0, 1 y con probabilidades:
p0 00 p1 11 0.6
p1 00 p0 11 0.4
p1 10 p0 10 0.3
p0 01 p1 10 0.7
El diagrama de estados para esta fuente es el siguiente:
En este diagrama se debe notar lo siguiente:

La direccin de aparicin de los smbolos es de derecha a
izquierda.
Al aparecer un nuevo smbolo no necesariamente se cambia de
estado.
Los diagramas de estado sirven para estudiar el comportamiento
de una fuente de Markov.
ING. CARLOS EGAS
Si en el transcurso del tiempo se tiene que la probabilidad de

que se de un estado es igual a cero, entonces se dice que la fuente
es no ergdica. En cambio en una fuente ergdica estamos seguros que
en el transcurso del tiempo cualquiera de los estados tiene una
probabilidad de presentarse.
Obtencin de las probabilidades de los estados
Para una fuente de Markov de primer orden, las probabilidades
de los estados pueden calcularse conociendo las probabilidades
condicionales de los smbolos.
ps j , si psi s j ps j
A partir de las probabilidades de los estados podemos conocer
la probabilidad de ocurrencia de un smbolo en una fuente de Markov
de primer orden.
q
ps , s ps p
j
ec.11
j=1
En general para una fuente de Markov se pueden obtener los

siguientes tipos de probabilidades.
Probabilidad de ocurrencia de un
estado
ps j1 , s j 2 , s j 3 , s jm
Probabilidad condicional. Probabilidad de que la fuente emita el
smbolo si, dado que se esta en el estado s j1 , s j 2 , s j 3 , s jm :
psi s j1 , s j 2 , s j 3 , s jm
Probabilidad simultnea. Probabilidad de saber con certeza cual es
el smbolo a la salida dado que el estado es s j1 , s j 2 , s j 3 , s jm :
ps j1 , s j 2 , s j 3 , s jm , si
Probabilidad de ocurrencia de un
smbolo:
psi
ENTROPIA DE UNA FUENTE DE MARKOV
ING. CARLOS EGAS
La informacin proporcionada por el smbolo s i cuando estamos

en el estado s j1 , s j 2 , s j 3 , s jm es:
I si s j1 , s j 2 , s j 3 , s jm log 1 p si s j1 , s j 2 , s j 3 , s jm
Si queremos considerar la informacin proporcionada por todos
los smbolos debemos calcular la cantidad de informacin media por
smbolo cuando nos hallamos en el estado s j1 , s j 2 , s j 3 , s jm , es decir,
H S si s j1 , s j 2 , s j 3 , s jm psi s j1 , s j 2 , s j 3 , s jm .I si s j1 , s j 2 , s j 3 , s jm
Para calcular la cantidad de informacin media suministrada por

una fuente de Markov, hay que considerar los q m estados posibles,
de esta forma la entropa de una fuente de Markov es:
H ( S M ) p s j1, s j 2 , s j 3 , s jm , si .H si s j1 , s j 2 , s j 3 , s jm
s m 1
H ( S M ) p s j1, s j 2 , s j 3 , s jm , si . log 1 si s j1 , s j 2 , s j 3 , s jm
s m 1
Si la fuente de Markov fuese de memoria nula se cumple que:
psi s j1 , s j 2 , s j 3 , s jm psi
FUENTE AFIN
es
Supongamos que el alfabeto de una fuente de Markov de orden m

S M s1 , s 2 , sq y sean p1 , p2 , pq las probabilidades de los
smbolos de la fuente de Markov. La fuente afn de S m llamada S

es la fuente de informacin de memoria nula de alfabeto idntico al
de S m1 y de smbolos de probabilidades p1 , p2 , pq .
La fuente afn de una fuente S de memoria nula es S misma, la
entropa de la fuente afn S nunca es menor a la entropa de la fuente
S M , esto se cumple debido a que las probabilidades condicionales de
la fuente S M hacen decrecer la cantidad media de informacin que fluye
de la fuente.
H S* H S M ec.12
Para una fuente de Markov de primer orden con smbolos s1 , s2 , sq

y
probabilidades
psi s j
para
continuacin que H S * H S m .
i, j 1, 2, q
se
demuestra
ING. CARLOS EGAS
Demostracin:
q
yi
x log x
i=1
Si ps j si xi y ps j psi yi :
ps
, si log
ps j psi
s2
ps j . si
Utilizando el teorema de Bayes tenemos reemplazando:

p s j si psi / s j ps j
ps ps
ps , s log ps s ps
i
s2
p s j , si log
S
H S M ps j , si log
S2
p s j si
psi
p s j , si log psi
S2
H S M ps j , si log
q
i=1
H S M psi log
i=1
p si
psi
ps , s
j
j=1
H S M H S
H S M H S
EXTENSIONES DE UNA FUENTE DE MARKOV

Para la creacin de la extensin de una fuente de Markov hay
que considerar que un bloque de n smbolos de una fuente de Markov
constituye un nuevo smbolo i que pertenece al alfabeto fuente de
la extensin.
Sea una fuente de informacin de Markov de orden m de alfabeto
y
probabilidades
condicionales
S s1 , s2 , s3 , sq
psi s j1 , s j 2 , s j 3 , s jm . La extensin de orden n de S , representada por
S n , es una fuente de Markov de orden con q n smbolos 1 , 2 , 3 , qn .

Cada i corresponde a una secuencia de n de los s i smbolos,
y las probabilidades condicionales son:
ING. CARLOS EGAS
p i j1 , j 2 , j 3 , j
Con:
i s j1 , s j 2 , , s jn
S ji puede ser cualquiera de los smbolos del alfabeto fuente de

la fuente de Markov.
La
secuencia
j1
, s j 2 , , s jn
es
equivalente
la
secuencia
, j 2 , 3 , j donde m n es el menor nmero entero menor igual

o superior a m/n.
j1
Las probabilidades de los smbolos de la extensin, pueden

calcularse de la siguiente manera.
p i j1 , j 2 , j 3 , j psi1 , si 2 , sin s j1 , s j 2 , , s jm
psi1 s j1 , s j 2 , , s jm psi 2 s j1 , s j 2 , , s jm , si1 psin s1nm , s1nm1 , sin1
Esta ltima expresin se ha supuesto para el caso en que n es
mayor que m. Si n en menor que m, el ltimo trmino de esta expresin
sera:
psin sin1 , sin1 , , s1in1
En fuentes de Markov se cumple tambin que:
nH S M H S M
Para una fuente de Markov de primer orden con alfabeto

S s1 , s2 , s3 , , sq y probabilidades condicionales p(si s j ) la entropa
de la extensin
i 1, 2, 3, 4, , q n .
de
orden
con alfabeto fuente
H( S n ) = p j , i log
n
S n ( 1 )
para
1
p i / j
En esta expresin se puede apreciar claramente que la extensin

de orden n de una fuente de Markov puede ser considerada tambin como
una fuente de Markov.
Redundancia de una fuente de informacin.
Se define la redundancia de una fuente de informacin como la
diferencia entre la cantidad promedio mxima de informacin que puede
generar la fuente menos la cantidad de informacin promedio
suministrada por la misma
ING. CARLOS EGAS
Rf log q H S ec.13
En sistemas de compresin de datos, el objetivo es de generar
la misma cantidad de informacin pero con un nmero menor de smbolos
q.
Rendimiento
de una fuente de informacin
log q
H S
Sea una fuente de Markov binaria de tercer orden tal que S (0.1) .
Con:
s j1 0
s j2 1
Una de sus 16 probabilidades condiciones puede ser la siguiente:
p0 001
La segunda extensin de esta fuente de Markov tiene el siguiente
alfabeto fuente:
S M 00, 01, 10, 11

2
Donde:
11 00 s11 , s11
12 01 s11 , s12
13 10 s12 , s11
14 11 s12 , s12
Una de las 32 probabilidades condicionales de la segunda
extensin puede ser la siguiente:
p01 010 p j 2 j 2 j
En donde:
p01 010 p1 010 p0 100
ING. CARLOS EGAS
CODIFICACION DE UN ALFABETO FUENTE

Uno de los principales propsitos en la codificacin de fuentes
de informacin, es la compresin de datos, es decir el de eliminar
la informacin redundante. Si no se elimina la informacin redundante,
se necesitar un mayor requerimiento de ancho de banda del canal
o una mayor velocidad de transmisin de la informacin.
La codificacin tambin es empleada con propsitos de seguridad
y privacidad en la comunicacin, la codificacin con este objetivo
es llamado encripcin, criptografa, etc. El rea de la criptografa
puede tambin ser incluida en lo que es la teora de la Codificacin,
y de echo fue tratada por Shannon.
La criptologa trata tanto de la encripcin, codificacin
(criptografa) como de la decodificacin, obtencin del mensaje
(criptoanlisis).
A continuacin se establecern ciertos criterios para la
codificacin de fuentes discretas.
Cdigo
Si S s1 , s 2 , s q es el conjunto de smbolo de un alfabeto dado,
se define un cdigo como la correspondencia de todas las secuencias
posibles de smbolos del alfabeto fuente de S a secuencias de smbolos
de algn otro alfabeto X x1 , x2 , xr .
S a, b
a
ab
ba
aba
.
.
X 0, 1
0
00
010
00
.
.
Cdigo bloque
Es aquel que asigna a cada uno de los smbolos del alfabeto fuente S , una secuencia fija de smbolos del alfabeto cdigo X a cuya
secuencia se denomina palabra cdigo.
Si alfabeto fuente es S a, b y el alfabeto cdigo es X 0, 1 :
Smbolos a
codificar
a
b
Palabras
cdigo
00
00
Cdigo no singular
ING. CARLOS EGAS
Un cdigo bloque se denomina no singular si todas sus palabras

cdigo son distintas.
S a, b, c, d
X 0, 1
Smbolos a
codificar
Cdigo
singular
a
b
c
d
Cdigo no
singular
0
00
01
01
0
00
01
10
Esta definicin nos asegura que el momento de recibir una sola

palabra cdigo, no va a existir ninguna equivocacin al decodificar
la palabra asignndole el mensaje correcto, sin embargo es posible
que en secuencias de smbolos codificadas transmitidas, al intentar
decodificarlas exista la posibilidad de que diversas secuencias de
smbolos posean una misma secuencia de palabras cdigo, lo cual es
un limitante cuando se enva bloques de smbolos codificados en forma
continua.
Secuencia codificada con

un cdigo no singular
Secuencia
transmitida
Posibles secuencias
enviadas
Aabb
Y
aaaaa
bbb
aabb
baaaa
bbaa
Extensin de orden n de un cdigo bloque

La extensin de orden n de un cdigo bloque, que relaciona a
s
x
los smbolos i con palabras cdigo i , es otro cdigo bloque que
s j1 , s j 2 , s jn de
hace corresponder a las secuencias de n smbolos
xi1 , xi 2 , xin .
la fuente S con secuencias de las palabras cdigo
S a, b
X 0, 1
a
b
01
10
La segunda extensin de este cdigo sera:

aa
ab
0101
0110
ING. CARLOS EGAS
ba
bb
1001
1010
Una cosa es obtener la segunda extensin del cdigo y otra muy

diferente es codificar la segunda extensin del alfabeto fuente.
aa
ab
ba
bb
0
01
101
1010
Cdigo unvoco
Un cdigo bloque se dice unvoco si y solamente si, su extensin
de orden n es no singular para cualquier valor finito de n.
Esta definicin asegura que cada una de las secuencias
codificadas de n smbolos del alfabeto fuente, estn asociadas a solo
una secuencia de palabras cdigo.
S a, b, c, d
X 0, 1
Smbolos a
codificar
a
b
c
d
Cdigo A
0
00
01
01
Cdigo B
0
11
01
10
Si encontramos la segunda extensin del cdigo A, podramos

comprobar que el nuevo cdigo as formado es singular por lo tanto
el cdigo A es no univoco.
Para el caso del cdigo B, si encontramos la segunda extensin
comprobaremos que la segunda extensin del cdigo es no singular,
si encontramos la tercera, tambin verificaremos que es no singular
y as podramos verificar hasta la extensin de orden n de tal forma
que podemos concluir que el cdigo B es univoco.
Cdigo instantneo
Un cdigo unvoco se dice instantneo, cuando es posible decodificar las palabras de una secuencia sin precisar el conocimiento de
los smbolos que la preceden.
S a, b, c, d
X 0, 1
Smbolos a
codificar
Cdigo
instantneo
Cdigo no
instantneo
ING. CARLOS EGAS
a
b
c
d
1
0
10
110
1110
0
01
011
0111
Una caracterstica de los cdigos instantneos cuyas palabras

cdigo tienen longitud variable, es que ellas tienen un smbolo
predeterminado ubicado en la ltima posicin
Una clase muy importante de los cdigos instantneos son aquellos
cdigos unvocos cuyas palabras cdigo siempre tienen la misma
longitud.
Prefijo de un cdigo
Sea xi xi1 , xi 2 , xim una palabra cdigo, se denomina prefijo de
esta palabra a la secuencia de smbolos xi1 , xi 2 , xij donde j m . Una
palabra cdigo puede tener hasta m prefijos.
La condicin necesaria y suficiente para que un cdigo sea
instantneo, es que ninguna palabra cdigo sea prefijo de otra.
La palabra cdigo 010001 asociada a un smbolo tiene un total
de 6 prefijos, que se presentan a continuacin:
Prefijos de xi 010001
0
01
010
0100
01000
010001
Longitud de una palabra cdigo

Sea un cdigo con alfabeto fuente S s1 , s 2 , s q y alfabeto
cdigo X x1 , x2 , xr . Se denomina longitud l i de la palabra cdigo

x i , al nmero de smbolos del alfabeto cdigo que forman la palabra
cdigo.
Si el alfabeto fuente es S a, b, c, d y el alfabeto cdigo es
X 0, 1 , entonces se tiene que:
Smbolos a
codificar
a
Cdigo
instantneo
0
Longitud de palabra
cdigo l i
l1 1
ING. CARLOS EGAS
10
110
l2 2
l3 3
1110
l4 4
LA INEGUALDAD DE KRAFT
La inecuacin de Kraft proporciona
existencia de cdigos instantneos.
la
condicin
para
la
Una condicin necesaria y pero no suficiente para la existencia

de un cdigo instantneo asociado a una fuente S de q smbolos s i
para i 1, 2, 3, q , con palabras cdigo de longitud l1 , l 2 , l3 , l q es:
q
li
1 ec.14
i=1
Donde r es el nmero de smbolos del alfabeto cdigo.

La desigualdad de Kraft nos indica de la existencia de cdigos
instantneos con palabras cdigo de longitud l i , pero no nos indica
como encontrarlos, es decir, es una condicin aplicable solo a las
longitudes de las palabras y no a la manera de como se generaron las
mismas.
Otra manera de expresar la desigualdad de Kraft es en trminos
del nmero de palabras cdigo n i que tienen longitud l i . En este caso
existir una longitud de palabra cdigo de valor mximo representado
por:
q
n r
i
-1
i=1
Si n i es el nmero de palabras cdigo de longitud i y adems

r es el nmero de smbolos del alfabeto cdigo, una condicin necesaria
pero no suficiente para generar un cdigo instantneo para un alfabeto
fuente de r smbolos, es que el nmero de palabras cdigo de longitud
uno sea igual al nmero de smbolos del alfabeto cdigo.
ni r
Si existen ms de r smbolos del alfabeto fuente a codificar,

para que el cdigo sea instantneo, el nmero de palabras cdigo de
longitud dos, dado que existen n i palabras cdigo de longitud uno,
debe ser a lo mximo.
n2 r nl r
ING. CARLOS EGAS
As podemos hacer el anlisis para determinar el nmero de

palabras cdigo de longitud igual a tres n3.
n3 r ni r n2
Por lo tanto las condiciones necesarias pero no suficientes

para generar un cdigo instantneo son:
n1 r
2
n2 r n1 r = r n1 r
3
2
n3 r n1r n2 r = r r n1 rn2
nl 1 r
l 1
n1 r l -2 n2 r l -3 nl -2 r
l
l -1
l -2
nl r n1 r n2 r nl -1 r
nl r
1 n1 r1 n2 r 2 nl -1 r ( l 1)
-1
-2
-3
-(l-1)
-l
n1 r n2 r n3 r nl -1 r nl r 1
n r
i
-1
i=1
LA INEGUALDAD DE McMILLAN
La inecuacin de Kraft se aplica a los cdigos instantneos los
cuales son un caso especial de los cdigos unvocamente decodificables, por lo tanto se podra decir que tambin esta ecuacin es
aplicable a los cdigos unvocos, o es una condicin necesaria pero
no suficiente para tener tambin cdigos unvocos, sin embargo es
necesario probar que tambin son aplicables a ellos.
La desigualdad de McMillan mostrar que la misma, puede ser
aplicada a los cdigos unvocamente decodificables.
q
li
i=1 r
nl ec.15
Demostracin
ING. CARLOS EGAS
El trmino de la inecuacin de Kraft se lo elevara a la n, en

donde n representara la extensin de orden n del cdigo univoco.
n
q li
l
i
r
n
r
i
i=1
i=1
Desarrollando el primer sumatorio se tiene:
( n1 r -1 n2 r -2 ni r -i )n
Al elevar a la n, el polinomio formado, tendr exponentes desde
-n hasta -nl. Si l es igual a la longitud mxima que pueda tener una
palabra en el cdigo univoco, nl ser la longitud mxima que puede
tener una palabra cdigo en la extensin de orden n.
La expresin anterior puede ser reemplazada por el siguiente
sumatorio.
nl
N k r -k
k=n
N K representa el nmero de palabras cdigo que tienen longitud

k, y la longitud de estas palabras van desde n hasta nl. (Se estara
trabajando con la extensin n del cdigo original).
Para que el cdigo sea unvoco, es decir que ninguna palabra
cdigo se repita, una condicin necesaria pero no suficiente es que
el nmero de smbolos a codificar sea menor o igual que el numero
total de palabras cdigo diferentes que se pueda tener, lo cual esta
representado por la siguiente expresin.
Nk r
Por lo que, para que sea unvoco:

nl
nl
nl
k=n
k=n
N k r r - k r k = 1
-k
k=n
nl
1 = nl n 1
k=n
O lo que es lo mismo:
nl
-k
r nl n + 1 nl
k=n
q li
r
i=1
nl
ING. CARLOS EGAS
LONGITUD MEDIA DE UN CDIGO

Sea un cdigo bloque que asocia los smbolos del alfabeto fuente
,
palabras
cdigo
Si
las
x1 , x2 , x3 , xq .
2
3
q
S s , s , s , s
i
probabilidades de los smbolos son p1 , p2 , p3 , pq , y las longitudes

de las palabras cdigo son l1 , l 2 , l3 , l q . La longitud media de un cdigo
este definida por la siguiente expresin:
q
L = pi l i
i=1
simb.del.alfab..cdigo
ec.16
simb.del.alfab.. fuente
CODIGO COMPACTO
Un cdigo ser compacto con respecto a una fuente S , si su
longitud media es igual o menor que la longitud media de todos los
cdigos unvocos que pueden aplicarse a la misma fuente con el mismo
alfabeto.
Es posible establecer una relacin entre la cantidad de
informacin media de la fuente a ser codificada y la longitud media
mnima posible que se puede obtener al codificar dicha fuente.
H r (S) L ec.17
Para poder realizar esta comparacin, es necesario que la base
del logaritmo empleado para calcular la entropa, sea igual al nmero
de smbolos del alfabeto cdigo.
Para obtener la condicin con la cual la longitud media toma
el valor mnimo se igualan los correspondientes sumatorios.
q
i=1
i=1
pi l i pi logr
1
pi
Por lo que L alcanzar su valor mnimo igual a H r S si y

solamente si las longitudes de las palabras cdigo cumplen con la
siguiente condicin:
1
l i logr
pi
Para que el cdigo sea compacto, l i debe ser un nmero entero.
Sin embargo, existen valores de probabilidades de los smbolos a
codificar, que proporcionan longitudes que no necesariamente son
nmeros enteros por lo que en primera instancia se considerara para
realizar la codificacin un nmero entero superior o inferior al valor
dado por la condicin anterior.
ING. CARLOS EGAS
CDIGOS HUFFMAN
Los cdigos Huffman son en realidad cdigos compactos, los cuales
se obtienen en base a un proceso de codificacin utilizando las
llamadas fuentes reducidas.
Estos cdigos representan al tipo de cdigo de longitud variable
y muchas de las veces son ms eficientes para representar una misma
informacin, sin embargo estos cdigos presentan el problema de que
es difcil reconocer el fin de cada palabra cdigo cuando ms de dos
palabras cdigo se juntan para la transmisin
Pasos para la obtencin de cdigos Huffman:
1. En primer lugar hay que colocar los smbolos de la fuente
a codificar en forma vertical, de tal forma que el valor de
probabilidades se hallen en forma descendente.
2. Hay que verificar si el nmero de los smbolos de la fuente,
es igual r+(r-1) donde es un nmero entero y r es el nmero
de smbolos del alfabeto cdigo X x1 , x 2 , x3 , x r .
3. Si no se cumple la condicin anterior hay que completar el
nmero de smbolos del alfabeto a codificar con smbolos que
tengan probabilidad igual a cero. Esto se lo hace para que
el nmero de smbolos de la ltima fuente reducida tenga
exactamente el nmero de smbolos que tiene el alfabeto cdigo.
4. Para formar una fuente reducida, escogen los r ltimos smbolos
de la fuente para generar un nuevo smbolo cuya probabilidad
es igual a la suma de las probabilidades de los r smbolos.
De esta forma se tiene una nueva fuente con r - 1 smbolos
denominada fuente reducida.
5. Los smbolos de esta fuente reducida, tambin se los ordena
de tal manera que sus probabilidades estn en forma
descendente.
6. El procedimiento de encontrar fuentes reducidas se lo hace
hasta llegar a una fuente reducida de r smbolos o hasta
que tengamos la seguridad de que si codificamos la ltima
fuente reducida, obtengamos un cdigo compacto.
7. Si llegamos a una fuente reducida de r smbolos procedemos
a codificar cada uno de ellos, con cada uno de los smbolos
del alfabeto cdigo.
8. Realizamos la codificacin regresiva
codificacin de la fuente original.
hasta
realizar
Caso #1
ING. CARLOS EGAS
la
Cuando la suma de las r probabilidades es menor que las dems.

Smbolo de la
fuente
Palabra
cdigo
Smbolo de la fuente
reducida
Palabra
cdigo
.
.
.
.
.
.
.
.
.
.
.
.
s pr 1
xr 1
s pr 1
xr 1
s p r
xr x1
st
xr
s p r 1
xr x2
s p 1
x r x r 1
sp
xr xr
Caso # 2
Cuando la suma de las ltimas r probabilidades no es el menor
valor.
Smbolo de la
fuente
Palabra
cdigo
Smbolo de la fuente
reducida
Palabra
cdigo
.
.
.
.
st
xi
s pr 1
s pr 1
xr 1
s p r
xr 1
xi x1
s p r 1
xi x 2
s p 1
xi x r 1
sp
xi x r
Rendimiento de un cdigo
El rendimiento de un cdigo se define como la relacin entre
la longitud media mnima terica posible y la longitud media del
cdigo.
(S)
c = H r
L
Es importante que el clculo del rendimiento, que la cantidad

de informacin este expresada en unidades de orden r(nmero de smbolos
del alfabeto cdigo).
ING. CARLOS EGAS
Eficiencia de un cdigo
La eficiencia de un cdigo es:
Eficiencia ( c .100)%
El cdigo ptimo es aquel que tiene una eficiencia del 100%,

es decir, la informacin a transmitir es igual a la capacidad del
canal.
Redundancia de un cdigo
redundancia 1 c
PRIMER TEOREMA DE SHANNON

Se puede tratar de encontrar cdigos compactos a partir de la
inecuacin de Kraft utilizando la expresin:
1
li log r
pi
Siempre y cuando los valores de las longitudes obtenidas sean
nmeros enteros, lo que en la prctica no se da, lo cual hace a este
mtodo para encontrar cdigos compactos, deficiente que la obtencin
de cdigos compactos utilizando los cdigos Huffman.
Sin embargo, hay que notar que si se cumple la condicin anterior,
se tiene un cdigo con una eficiencia del 100% ya que se cumple que
L H r S .
Si tenemos una fuente de informacin S a, b, c, d y un alfabeto
cdigo X 0, 1 . En base a sus probabilidades tratamos de encontrar cual
sera la longitud de las palabras cdigo para tener un cdigo compacto
con un rendimiento del 100%.
Smbolos a
codificar
pi
l i log r 1 p i
Cdigo
compacto
a
b
c
d
0.25
0.25
0.25
0.25
2
2
2
2
00
11
01
10
Al utilizar l i log r 1 p i , no existe problema alguno porque las

longitudes calculadas son nmeros enteros y tan solo debemos realizar
la codificacin de tal forma de tener un cdigo no unvoco.
Existen problemas cuando tenemos fuentes cuyos valores de
ING. CARLOS EGAS
probabilidad no generan longitudes con un valor entero como es el

siguiente caso en el cual se quiere tener un cdigo compacto con el
siguiente alfabeto cdigo X 0, 1 .
smbolos a
codificar
pi
l i log r 1 p i
a
b
c
d
0.3
0.3
0.25
0.15
1.73
1.73
1.99
2.73
Los resultados sugieren que debemos encontrar una palabra cdigo

de longitud igual a 1.73, lo cual es imposible. Sin embargo se podra
intentar realizar la codificacin asignndole una palabra cdigo con
una longitud superior o inferior a este valor.
Por lo que debemos encontrar una manera alternativa, tal que
a codificar dicha fuente obtengamos un cdigo compacto con una
eficiencia del 100%.
El primer teorema de Shannon nos proporciona los lmites superior
e inferior en los cuales debe estar la longitud de la palabra cdigo
de forma general
Si utilizamos el criterio de que, para que el cdigo sea compacto,
el valor de la longitud de cada palabra cdigo debe estar entre:
1
1
logr li logr 1
pi
pi
Multiplicando por p i :
1
1
pi logr pi li pi logr pi
pi
pi
Al realizar el sumatorio
hasta i=q
se tiene que:
H r (S ) L H r (S ) 1
La expresin anterior es aplicable a una fuente de informacin
de memoria nula y si por definicin la extensin de dicha fuente es
tambin una fuente de informacin de memoria nula, la misma expresin
puede ser aplicable a su extensin de orden n, por lo que:
H r (S n ) Ln H r (S n ) 1
Donde Ln es la longitud media del cdigo compacto aplicado a
la extensin de orden n.
ING. CARLOS EGAS
Si utilizamos la relacin de que H ( S n ) nH ( S ) , obtenemos:
H r (S )
Ln
1
H r (S )
n
n
La expresin anterior se conoce como primer teorema de Shannon

o teorema de la codificacin sin ruido.
El teorema de Shannon establece que el nmero medio de smbolos
r-arios correspondientes a un smbolo de la fuente puede hacerse tan
pequeo como se quiera pero no inferior a la entropa expresada en
unidades de orden r.
El efecto que causa la disminucin de Ln n es un aumento en la
complejidad de la codificacin de un gran nmero de smbolos q n del

alfabeto fuente, ya que se debe trabajar codificando las extensiones
de la fuente original.
lim
n
Ln
H r (S )
n
De esta forma, para tratar de obtener un cdigo compacto cuya

longitud sea igual al valor mnimo que nos da H r S (eficiencia = 100%),
lo que debemos hacer es codificar sus extensiones del tal forma que
el rendimiento del cdigo sea lo mas cercano a uno.
Fuentes primarias y fuentes secundarias
En un proceso de transmisin de informacin siempre existe una
fuente original de informacin y una utilizacin final de la misma.
La fuente original puede ser un conjunto de sonidos, imgenes,
valores de temperatura, letras de algn alfabeto etc. Con la ayuda
de traductores se establece una correspondencia entre los elementos
de estos conjuntos y las seales, que se denominan por lo general
como mensajes. La salida de los traductores se denomina como fuente
primaria. Si los mensajes o los smbolos de una fuente discreta se
transforman en los smbolos de otra fuente discreta, esta nueva fuente
se llama fuente secundaria.
La nocin de fuente secundaria es til en el caso de un cdigo
que opera la transformacin de la fuente primaria dada, en una fuente
secundaria, utilizada para maximizar el rendimiento del canal.
Fuente primaria
Fuente secundaria
pi
Si
si
1/2
1/4
00
01
0
10
ING. CARLOS EGAS
1/8
1/8
1
10
11
110
111
En el ejemplo anterior se ha codificado la fuente primaria con

el mismo alfabeto cdigo, de tal forma que la longitud media del cdigo
obtenido sea lo mas ptimo posible.
COMPRESION DE DATOS
La idea de la compresin de datos no es nueva, ya que siempre
ha sido factor fundamental en el aspecto econmico de un sistema de
transmisin.
El cdigo Huffman es un mtodo de codificacin de una fuente
binaria que realiza compresin de la informacin que se va a
transmitir, lo cual se refleja en cdigos compactos que transmiten
o almacenan la informacin de una manera ms ptima.
La compresin de datos es la reduccin de la cantidad de la seal
en el espacio que debe ser asignada a un conjunto de mensajes o conjunto
de muestras de datos.
La seal en el espacio puede estar en un volumen fsico como
un medio de almacenamiento o puede estar tambin en un intervalo de
tiempo, tal como el tiempo requerido para trasmitir un mensaje dado,
o en una porcin del espectro electromagntico tal como el ancho de
banda requerido para transmitir un conjunto de mensajes.
Volumen f tiempo * ancho de banda

De esta forma la reduccin del volumen puede ser realizada
reduciendo el tiempo de transmisin o el ancho de banda. El parmetro
a reducir o comprimir generalmente esta determinado por el lugar en
donde la operacin de compresin ser realizada en el sistema.
La compresin de datos se hace necesaria, entre otras cosas,
en lo siguiente:
-
Sistemas con una alta velocidad de transmisin han sido

desarrollados en rangos hasta los gigabits por segundos.
Sistemas de almacenamiento de los datos, la recuperacin

secundaria de los mismos y los requerimientos de diseminacin
de los mismos han incrementado el costo de las bases de datos
y los enlaces de comunicacin con terminales remotos.
La compresin de datos ha sido llamada con otros nombres en la

literatura. Los ms comunes son la compactacin de datos y codificacin
de la fuente.
Clases de compresin de datos.
ING. CARLOS EGAS
Han existido muchos intentos para agrupar las tcnicas de

compresin de datos dentro de varias clases, pero a la fecha no hay
una clasificacin en la que todos estn de acuerdo.
Sin embargo, estas tcnicas,
reversibles e irreversibles.
Reversible
Codificacin sin ruido
Reduccin de
redundancia
se
las
puede
clasificar
en
Irreversible
Codificacin reductora de
fidelidad
Reduccin de entropa
Algunas tcnicas podrn ser incluidas en ambas clases. Una

reduccin de Entropa resulta en una reduccin de informacin. La
informacin prdida nunca podr ser recuperada.
Una reduccin de redundancia, remueve o al menos reduce la
redundancia de tal forma, que pueda ser nuevamente reinsertada en
los datos.
CLASIFICACION DE LAS TECNICAS PARA COMPRESION DE DATOS

Reduccin de Entropa
ING. CARLOS EGAS
Reduccin de Redundancia
REDUCCIN DE ENTROPIA
En cualquier sistema en el cual la informacin de una fuente
de datos debe ser transmitida, existen dos preguntas fundamentales.
1.
2.
Que informacin debera ser transmitida.

Como deberamos transmitir esa informacin.
Estas preguntas nacen de la necesidad de transmitir solo la

informacin que es necesaria para tenerla en el receptor con un mnimo
de distorsin.
La segunda pregunta que fue contestada por Shannon en 1948, cuando
defini la capacidad de un canal, indicando que los smbolos pueden
ser transmitidos por un canal con una cantidad muy pequea de error
a una velocidad que no sea mayor que la capacidad del canal.
La primera pregunta sin embargo no recibi mucha atencin hasta
1959 cuando desarrollo la funcin de la taza de distorsin, como la
mnima cantidad que debe tener la taza de transmisin de la fuente
en bits por muestra tal que garantice que la distorsin no sea ms
grande que un valor mximo de distorsin permitido.
Generalmente la compresin de datos implica una transformacin
de un fuente continua de datos a un conjunto de muestras discretas
(fuente discreta) con valores de amplitud discretas.
ING. CARLOS EGAS
Cuantizacin
La cuantizacin ha sido la forma ms comn de compresin, no
solo para realizar una conversin anlogo-digital como el PCM, sino
como una parte integral de tcnicas de compresin como el DPCM.
Bsicamente existen tres formas de realizar la cuantizacin.
1. Cuantizacin escalar o de memoria cero
Este tipo de cuantizacin intenta minimizar el ruido de
cuantizacin, proporcionando un nmero fijo de niveles. Nosotros
cuantizamos una muestra
y usamos las mismas caractersticas de
cuantizador para todas las dems muestras. Dentro de este grupo existen
los cuantizadores uniformes y no uniformes o logartmicos.
2. Cuantizacin de bloque
En vez de cuantizar cada muestra independientemente, con la misma
funcin de cuantizacin, nosotros podemos, en general, aproximar una
secuencia o bloque de n muestras por una secuencia seleccionada de
un cdigo preestablecido de S secuencias
3. Cuantizacin secuencial.
En la cuantizacin de bloque nosotros optimizamos la codificacin
de la fuente tomando en cuenta solo las muestras en el bloque dado,
independientemente de las muestras de los anteriores o posteriores
bloques.
En la cuantizacin secuencial, no existe esta restriccin y
existen basicamente dos tipos de cuantizadores secuenciales; los
codificadores predictivos y los codificadores de bsqueda de
multicamino.
Los codificadores predictivos incluyen tcnicas conocidas como
la modulacin delta, el DPCM. Ambas tcnicas predicen el siguiente
valor de la muestra y luego cuantizan la diferencia entre el valor
predecido y el valor actual. La modulacin delta utiliza un bit de
cuantizacin, mientras el DPCM utiliza k bits.
Los codificadores de bsqueda de multicamino, utilizan los
valores muestreados previamente para seleccionar la forma de cuantizar
la siguiente muestra. Entre las tcnicas mas utilizadas actualmente
se hallan la codificacin de trellis y la codificacin de rbol.
REDUCCIN DE REDUNDANCIA
Las tcnicas de reduccin de redundancia remueven o reducen la
cantidad de los datos, los cuales pueden se reinsertados o
reconstituidos en el receptor del sistema con una mnima distorsin.
ING. CARLOS EGAS
La aplicacin de la reduccin de redundancia es aplicable a

fuentes discretas que son el resultado directo de muestrear y codificar
fuentes anlogas, con el objetivo de reducir el nmero de bits
requeridos para codificar un bloque de datos con cero o mnima
distorsin.
Una fuente de informacin discreta, tpicamente produce a la
salida una seal cuya amplitud es funcin de una o ms variables.
Las dos variables ms comunes son el tiempo y la posicin, a pesar
de que la posicin en muchos sistemas es equivalente al tiempo. En
nuestro caso la variable de tiempo es discreta y es el tiempo de
muestreo y la amplitud discreta es funcin de una cuantizacin.
Redundancia
Como ya habamos definido anteriormente, la redundancia de una
fuente binaria es igual a:
Redundancia log q H S
Taza de compresin
Hay muchas maneras de definir la taza de compresin. En general,
es simplemente la razn entre los bits por smbolo antes de la
compresin y los bits por smbolo despus de la compresin.
La taza de compresin mxima viene dada por:
Rmax log q H S
Hay dos mtodos para alcanzar la taza de compresin mxima:

1. Hacer las muestras estadsticamente independientes, lo cual
involucra cambiar las caractersticas de la fuente de
informacin, es decir una fuente de Markov a una fuente de
Informacin de Memoria Nula.
2. Hacer la longitud promedio de un cdigo, igual o muy cercana al
valor de la entropa de la Fuente de Informacin de Memoria Nula.
Codificacin optima de una fuente
Bsicamente este es un mtodo de reduccin de redundancia el
cual trata de conseguir que la longitud promedio de una palabra cdigo
sea igual a la entropa del smbolo. Este mtodo es llamado
codificacin de la entropa. El primer mtodo implementado fue la
codificacin descrita por Shannon y Fano el cual fue luego optimizado
por Huffman (cdigos compactos).
El procedimiento provee de una manera de construir cdigos
razonablemente eficientes con decodificacin instantnea.
ING. CARLOS EGAS
Otras tcnicas de reduccin de redundancia

Otras tcnicas, tienen que ver con la codificacin de muestras
no redundantes y la codificacin de fuentes binarias.
Codificacin de muestras no redundantes
Cuando se piensa en comprimir datos discretos uno de los primeros
pasos es el como eliminar las muestras repetitivas. Solo las muestras
que representen cambios en una serie de muestras, deberan ser
transmitidas, Esto se lo conoce como codificacin de recorrido
longitudinal.
En este tipo de codificacin es necesario, para reconstruir la
secuencia de muestras, tener conocimiento del tiempo de codificacin
de las muestras no redundantes.
Codificacin de
fuentes binarias
Una fuente binaria produce solo dos niveles o smbolos a la

salida, y existen varias tcnicas para realizar la compresin
reduciendo la redundancia.
Estas tcnicas se las puede clasificar en tres categoras de acuerdo
a la informacin que esta siendo codificada, es decir:
La secuencia total de los dos smbolos generados por la fuente

binaria.
El tiempo de ocurrencia de un tipo de smbolos.
La corrida alternada de los dos tipos de smbolos.
CODIFICACIN DE FUENTES BINARIAS Y DEL TIEMPO

El uso de tcnicas de reduccin de redundancia requiere por lo
general, la adicin de informacin extra a la informacin comprimida,
de tal forma que pueda ser reconstruida.
Esta informacin extra es la posicin o el tiempo de ocurrencia
del smbolo la cual debe ser codificada de tal manera que no afecte
a la taza de compresin, disminuyndola, y minimizar su efecto.
No todos los mtodos de codificacin para la compresin no
necesitan codificar el tiempo de ocurrencia de la muestra. La
informacin bsica a ser preservada en la codificacin del tiempo
es el tiempo en que ocurre cada muestra no redundante. Para lo cual
existen varias tcnicas.
La razn de comprensin R se puede definir como la relacin entre
ING. CARLOS EGAS
el nmero total de smbolos en la secuencia y el nmero total de

smbolos redundantes en la misma secuencia.
Mtodos de codificacin del tiempo
Existen tres formas bsicas de enviar la informacin de tiempo:
Enviando la secuencia total de muestras redundantes y no

redundantes.
Enviando el tiempo de cada muestra no redundante.
Enviando la longitud de cada secuencia redundantes y no
redundantes.
La codificacin del tiempo, se las puede agrupar en las siguientes

categoras:
Cdigos de tiempo de secuencia.

Cdigos de tiempo de muestras no redundantes.
Cdigos de corrida longitudinal.
Algunos de estos cdigos estn diseados para operar sobre

secuencias de longitud fijas o variables.
La sincronizacin de trama no esta incluida en el diseo de estos
cdigos
Cdigos de Tiempo de Secuencia
Cdigos de secuencia binarios
Una manera de codificar el tipo de secuencia de entrada con
muestras redundantes y no redundantes es utilizando una simple palabra
cdigo. La manera ms simple de hacer esto es representar una muestra
no redundantes con un 1 y la redundante con un 0.
Cdigo de Lynch-Davisson
Este es un mtodo para codificar muestras redundantes y no
redundantes. En este caso el tipo de la secuencia en la n-esima muestra
esta representada por el siguiente nmero:
n
T j 1
j=1 j
q
Donde:
q = es el nmero de muestras no redundantes 1 q N 1 .
n j = es el nmero que indica la posicin de una muestra no redundante
1 n j N 1.
ING. CARLOS EGAS
j = es el ndice de una muestra no redundante 1 j q .
La codificacin y decodificacin utilizando el mtodo de

Lynch-Davisson puede ser implementado utilizando la siguiente matriz:
Fila
.
.
11
10
9
8
7
6
5
4
3
2
1
10
9
8
7
6
5
4
3
2
1
0
1
45
36
28
21
15
10
6
3
0
1
120
84
56
35
20
10
4
1
0
210
126
70
35
15
5
1
0
252
126
56
21
6
1
0
210
84
28
7
1
0
120
36
8
1
0
45
9
1
0
10
1
0
11
1
10
..Column
a
Considerando la siguiente secuencia de 16 bits:

0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 0
El valor de T se lo calcula de la siguiente manera:
3 1 11 1
T
47
1 2
Otra forma de realizar la codificacin es a partir de la matriz

de cdigo para lo cual hay que determinar:
n j = nmero de fila.
j = nmero de columna para cada valor de j .
Las filas son numeradas de abajo hacia arriba y las columnas
de izquierda a derecha.
Para la secuencia a codificar tenemos que las muestras no redundantes
son dos y sus posiciones son 3 y 11 dentro de la secuencia de dgitos,
por lo que:
T elemento 3, 1 elemento11, 2
T 2 45 27
Decodificacin
ING. CARLOS EGAS
Para decodificar la palabra comprimida hay que realizar el siguiente

procedimiento:
1.- Empezar en la q-esima columna y colocar el valor de T entre dos
elementos adyacentes tal que:
elemento k, q T
elemento k 1 , q
(fila,columna)
2.- Restar de T el elemento de menor valor para encontrar el valor

de la diferencia:
D T elemento k , q
3.- En la (q-1) columna colocamos el valor de D tal que el elemento
1,q-1 D < elemento l+1,q-1.
4.- Realizamos la resta y continuamos hasta llegar a la primera
columna.
5.- La secuencia original define las posiciones de los 1L (unos
lgicos) y estas son encontradas a partir de los nmeros de la
filas en donde se encuentran los elementos de mas bajo valor
obtenidos de la desigualdad. En donde el nmero de la fila
corresponde a la nj y el nmero de la columna corresponde a j
para j 1 , 2 , 3 ... q .
Para realizar la decodificacin del nmero 47, es necesario
partir de la segunda columna en donde hallamos dos filas en la cual
se halle el nmero 47.
En la columna 2 el nmero 47 esta contenido en los nmeros de
las filas 11 y 12 por lo tanto tomamos n j 11 y j 2 :
47 45 2
En la columna 1
nmero 2 esta entre las filas 3 y 4 por lo que:
n j 11 y j 2
Lo que nos permite encontrar la secuencia original:
0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 0
Para recuperar la secuencia original es necesario conocer
cuantos 0 se coloca despus del ltimo 1 y adems en que columna
se empieza el proceso de decodificacin.
El nmero T es nico para cada secuencia de q muestras no
redundantes distribuidas sobre N-1 posiciones, Generalmente N es fija
y es necesario enviar el valor de q conjuntamente con T para poder
ING. CARLOS EGAS
recuperar la secuencia transmitida.

Se cumple para un N y q fijos que:
N 1
0 T q 1
El nmero de dgitos requeridos para

q y T es:
enviar la informacin de
LD k q kT
Donde:
kq 1
N 2
kq
Y:
k q 1
N 1
k
q 2 q

La palabra cdigo para nuestro ejemplo, en el cual se asume que

se codificaran secuencias de 16 bits tendra los siguientes
parmetros:
K q log N log 17 5
K T logN 1 q log 16 2 log 120 7
Entonces la informacin completa LD a enviar es:
0 0 010
0 1 0 1111
q2
T 47
Cdigos de tiempo de muestras no redundantes (TNRS)

Cdigos TNRS
En este mtodo se enva el tiempo de cada muestra no redundante
dentro de una trama. La primera muestra de cada N muestras se asume
como no redundante, dejando un intervalo de tiempo de N-1 muestras
a codificar. Un cdigo binario TNRS debera tener entonces k bits
de largo, tal que:
Cdigo Clster
Es un cdigo TNRS modificado, en el cual solo el tiempo donde
empieza la muestra no redundante es enviado, y la reconstruccin de
los datos es acompaada por un relleno de muestras redundantes. Es
ING. CARLOS EGAS
necesario discriminar entre palabras cdigo de tiempo y palabras

cdigo de valores de muestra en este cdigo.
El inicio de una secuencia de muestra no redundantes es
direccionada con la palabra cdigo de tiempo y el final de la secuencia
es sealizada con un palabra cdigo denominada bandera.
Cdigos de corrida longitudinal
Los cdigos Huffman pertenecen a esta clase de cdigos, cuyas
palabras cdigo son de longitud variable. Sin embargo existen otros
tipos de cdigos, como el BNO, que realizan la compresin de
redundancia.
Cdigo BNO
Este es un cdigo es formado tal que todas las palabras cdigo
que tienen un misma longitud no pueden tener secuencias de unos
consecutivos.
Secuencias de consecutivos unos pueden ser insertados entre las
palabras cdigo y las muestras no redundantes para poder realizar
una discriminacin del cdigo.
Una secuencia de unos puede ser de la siguiente forma:
1 1 1 1 1 1 1 0
2N n
En donde N n es el nmero de muestras no redundantes que siguen

a la secuencia codificada por el cdigo BNO.
Las siguientes veinte palabras cdigo, que forman un cdigo BNO,
pueden ser asociadas a veinte smbolos de un alfabeto fuente.
0
1
00
01
10
000
001
010
100
101
0000
0001
0010
0100
0101
1000
ING. CARLOS EGAS
1
1001
1010
0000
0
.
.
.
En las veinte palabras cdigo no hay ninguna en la cual existan

unos consecutivos.
CANALES E INFORMACION MUTUA

El canal de informacin es un modelo esttico de un medio a travs
del cual pasa o es almacenada una seal, la misma puede ser continua
o discreta, dando lugar a lo que se conoce como canales continuos
y canales discretos. Estos ltimos sern los que analizaremos a
continuacin.
Un canal discreto es aquel que transmite informacin en forma
sucesiva, suponiendo diferentes estados elctricos disjuntos como
niveles de voltaje, frecuencia instantnea etc.
Un canal de informacin viene determinado por un alfabeto de
entrada A ai con i 1 , 2 , r , un alfabeto de salida B b j con
j 1 , 2 , s , y un conjunto de probabilidades condicionales pb j ai ,
que significan la probabilidad de recibir a la salida el smbolo b j

cuando se enva el smbolo ai .
Un canal de este tipo se conoce generalmente como canal de informacin de memoria nula, ya que el smbolo a la salida solo depende
del smbolo enviado en ese instante y no de smbolos anteriores
No necesariamente el nmero de smbolos a la entrada del canal
va ser igual al nmero de smbolos que tenemos a la salida
Un canal de informacin puede ser representado en base al conjunto
de probabilidades condicionales
pb1 a1 pb2 a1 pb3 a1 pbs a1
pb1 a2 pb2 a2 pb3 a2 pbs a1

P
pb1 ar pb2 ar pb3 ar pbs ar
Cada fila determina de los distintos valores que se puede obtener

a la salida cuando se transmite un mensaje fijo. Las probabilidades
ING. CARLOS EGAS
condicionales se las va a representar de la siguiente manera.
pb j ai pij
Debe cumplirse que la suma de las probabilidades
debe ser igual a uno.
s
ij
de una fila
j=1
En base a las probabilidades que conforman la matriz, se puede

definir dos tipos de canales.
Canal prospectivo
ai
b j
pb j ai
ai
b j
pai b j
Canal retrospectivo
En el canal retrospectivo los smbolos de entrada se convierten

en smbolos de salida y los de salida en de entrada.
Un canal de gran importancia es aquel cuyo alfabeto de entrada
tiene dos smbolos, este canal se conoce como canal binario simtrico.
Es simtrico por ser iguales las probabilidades de recibir un
0 al enviar un 1 y viceversa. Esta probabilidad p generalmente se
conoce como probabilidad de error de un canal.
p 1 p
En sistemas de transmisin de datos, el valor de probabilidad p, debe

ser de 10 -7 para que el sistema sea confiable.
ING. CARLOS EGAS
Extensiones de orden n de un canal

Sea un
parmetros:
canal
de
transmisin
definido
por
los
siguientes
Alfabeto de entrada A ai i 1 , 2 , r
Alfabeto de salida B b j j 1 , 2 , s
Y una matriz:
p1,1 p1, 2 p1, s
p 2,1 p 2, 2 p 2, s
p r ,1 p r , 2 p r , s
Con pb j ai pij .
La extensin de orden n del canal tiene un alfabeto de entrada
A i i 1 , 2 , r n , y un alfabeto de salida B n j i 1 , 2 , s n y una
matriz con probabilidades.
n
1,1 1, 2 1, s
2,1 2, 2 2, s
donde
,1
,2
r n , s n
i ai1 , ai 2 , ain
i b j1 , b j 2 , b jn
p j i pb j1 ai1 , pb j 2 ai 2 , pb jn ain
i = Una combinacin de n smbolos de A.

j = Una combinacin de n smbolos de B.
Calculo de las probabilidades de un canal
ING. CARLOS EGAS
pa1 p11 pa 2 p 21 pa r p r1 pb1
pa1 p12 pa 2 p 22 pa r p r 2 pb2
pa1 p1s pa 2 p 2 s pa r p rs pbs

El clculo anterior puede ser realizado tambin de la siguiente forma:
p11 p12 p1s
pai , pa 2 , par
p 21 p 22 p 2 s
pb1 , pb2 , pbs
p r1 p r 2 p rs
Teorema de Bayes
pai b j pb j pb j ai pai pai b j pb j ai

Es importante tener en cuenta la siguiente expresin:
pa , b pa
s
j=1
ENTROPIA APRIORI Y POSTERIORI

Anteriormente se utiliz el concepto de medida de informacin
para medir la cantidad media de informacin suministrada por una
fuente. Es de esperar que esta definicin de medida de informacin
permita evaluar la habilidad de un canal para transportar informacin,
es as como se definir la cantidad de informacin que un canal puede
transmitir.
Se define a p a i como la probabilidad apriori de los smbolos
de entrada, es decir la probabilidad de tener a la entrada del canal
un smbolo determinado.
Se define pai b j como la probabilidad a posteriori, es decir
la probabilidad de que el smbolo de entrada sea ai despus de recibir el smbolo b j a la salida del canal.
Con estos antecedentes se define la entropa apriori de A como:
H ( A) pai log
1
pai
ING. CARLOS EGAS
H ( A) 0
H ( A) log q , donde q es el nmero de smbolos de entrada.
H ( A) log q , cuando los smbolos de entrada son equiprobables.
La entropa aposteriori de A cuando se ha recibido b j es:
H ( A b j ) p ai b j log
1
p ai b j
H (A) es el nmero medio de bits necesario para representar un

smbolo de una fuente con una probabilidad apriori p a i con
i 1 , 2 , 3 , r .
H ( A b j ) representa el nmero medio de bits necesarios para repre-
sentar un smbolo de la fuente con probabilidad a posteriori pai b j

con i 1 , 2 , 3 , r .
Entropa a posteriori promedio
H A B pb H A b
AB
H A B pa, b log
AB
1
pa b
H A B recibe el nombre de equivocacin de A con respecto a B

debido a que representa la prdida de informacin en el canal o tambin
se la conoce como entropa ruidosa del canal.
INFORMACIN MUTUA
b j
pai b j
ai
de
bj
La diferencia entre la informacin incierta antes de la recepcin

y despus de la recepcin de b j mide la ganancia de la
informacin debido a la recepcin de b j . Esta cantidad de informacin

es llamada informacin mutua.
I ai ; b j log r
pai b j
1
1
log r
log r
pai
pai b j
pai
I A : B H A H A B
ING. CARLOS EGAS
I A : B H B H A B
H A pa log
1
pa
A
1
H A B = pab log
pa b
AB
1
1
I A : B pa log
pab log
pa AB
pa b
A
1
H A log
pab
pa AB
A
1
1
I A : B pab log
pab log
pa AB
pa b
AB
pa b
= pab log
pa
AB
pab
I A : B pab log
pa pb
AB
Se puede decir que la informacin mutua es el nmero medio de
bits necesarios para determinar un smbolo de entrada antes de conocer
un smbolo a la salida, menos el nmero medio de bits necesarios para
especificar un smbolo de entrada despus de conocer el smbolo de
salida.
Otra manera de interpretar a I A : B , indica que la informacin
mutua, es parte de la cantidad de informacin total que tengo a la
entrada, que consigue llegar a la salida del canal.
Propiedades de la informacin mutua
a)
I A : B 0
La informacin mutua
no puede ser negativa, ya que esto
significara que el canal estara generando informacin.
Para que la informacin mutua sea igual a cero debe cumplirse
que los smbolos de entrada y de salida sean estadsticamente
independientes, o que los smbolos que tengo a la salida no tengan
ninguna relacin con los smbolos a la entrada.
Si pab pa pb , entonces se cumple que I A : B 0
I A : B 0 H A H B A
H A H B A
Cuando la informacin mutua es igual a cero, significa que la
ING. CARLOS EGAS
cantidad de informacin que ingresa al canal, se pierde totalmente

en el mismo.
b)
I A : B I B : A
Esta propiedad nos indica que el ruido introducido en el canal

es el mismo, o afecta a la informacin que esta pasando a travs del
mismo, sin importar el terminal del canal que se utilice para
introducir la informacin a transmitir. Un canal es bidireccional.
c)
I A n : B n nI B : A
Cuando conecto n canales de las mismas caractersticas en

paralelo y sobre ellos ingresa la misma seal, la cantidad de
informacin que tengo a la salida de los n canales conectados en
paralelo, es igual a la suma de la cantidad de informacin de cada
uno de los canales.
Para un canal binario simtrico en donde las probabilidades de
los smbolos de entrada son pa1 w y pa 2 w se tiene que
pa1 w y pa 2 w
I A : B H B H B A
s
H B pbi log
i=1
1
pbi
w p 1 wp wp w p log wp 1 w p
H B H w p wp H wp w p
w p w p log
H B A pab log
AB
H B A w p log
1
1
pa pb a log
pb a AB
pb a
1
1
1
1
wp log w p log w p log
p
p
p
p
1
1
1
1
w p log p log w p log p log
p
p
p
p
1
1
w w p log p log
p
p
H B A H p
ING. CARLOS EGAS
I A : B H w p wp H p
ENTROPIA AFIN
Mide la incertidumbre de un suceso simultneo
tiene una probabilidad pai , b j .
a , b
i
el cual
De las anteriores tenemos:
H A, B pai , b j log
H B : A pab log
AB
pab log
AB
pab log
AB
1
pab
1
pab
pa pb
pa pb pab
pa pb
1
pab log
pab
pa pb
AB
H A : B I A : B pab log
AB
1
1
pab log
pa AB
pb
H A : B H A H B I A : B
I A : B H A H A B
H A : B H A B H B A I A : B
Adems tenemos que:
H A, B H A H B A
H A, B H B H A B
CANAL SIN RUIDO

Un canal definido por una matriz con un elemento y solamente
un elemento distinto de cero en cada columna se denomina canal sin
ruido.
ING. CARLOS EGAS
En un canal sin ruido pai b j = 0 1 con lo que:
H A B 0
Y por lo tanto I A : B H A .
Un ejemplo de canal sin ruido es el siguiente:
0.6 0.4 0
0
0 1
0
0
0
0
0
0 0.5 0.5
CANAL DETERMINANTE
Un canal definido por una matriz con un elemento y solo uno
distinto de cero en cada fila recibe el nombre de canal determinante.
En un canal determinante se cumple que pbi a j = 0 1 y H A B 0 ,
por lo que I A : B H B .
Un ejemplo de canal determinante es el siguiente:
1 0 0 0
0 1 0 0
0 1 0 0
0 0 0 1
0 0 1 0
Un canal binario simtrico sin ruido es tambin un canal

determinante:
Cbsc
1 0
0 1
CANALES EN SERIE
Al conectar dos canales en serie los smbolos de salida del primer
canal se convierten en los smbolos de entrada del segundo canal por
lo que debe cumplirse que el nmero de smbolos de salida sea igual
que el nmero de smbolos de entrada.
pb j ai
pck b j
Canal 1
a1 , a2 , ar
smbolos de entrada
ING. CARLOS EGAS
b1 , b2 , bs
smbolos de salida
Canal 2 b1 , b2 , bs smbolos de entrada

c1 , c 2 , ct smbolos de salida
En dos canales en serie se cumple que:
H A C H A B 0
H A C H A B
I A : B I A : C
Demostracin:
H A C H A B pac log
AC
1
1
pab log
pac AB
pa b
pabc log pa c pabc log pa b

1
ABC
ABC
pa b
pabc log pa c si pa b pa bc
ABC
pa bc
pabc log pa c
ABC
Por Bayes tenemos:
pabc pa bc pbc
H A C H
pbc pa bc log
ABC
pa bc
ac
H A C H A B pbc pa bc log
BC
pa bc
pa bc log pa c
pa bc
0
pa c
H A C H A B 0
H A H A B H A H A C
I A : B I A : C
ING. CARLOS EGAS
Esta ltima expresin nos indica que la cantidad de informacin

que se pierde entre A y C va a ser mayor o igual a la cantidad de
informacin que se puede perder entre A y B.
A partir de varios canales en serie, se puede obtener un canal
equivalente, encontrando una matriz que relacione los smbolos de
entrada con los de salida.
p c k ai
ck
ai
La matriz del canal equivalente, puede ser encontrada

multiplicando las matrices de los canales conectados en serie:
p1,1 p1, 2 p1,m
p1,1 p1, 2 p1,t
p 2,1 p 2, 2 p 2,m
p 2,1 p 2, 2 p 2,t
p r ,1 p r , 2 p r ,m
p r ,1 p r , 2 p r ,t
Para dos canales BSC conectados en serie, en la que los smbolos

de entrada son equiprobables, la matriz equivalente puede ser
encontrada multiplicando la matriz del canal de la siguiente forma:
p 2 p 2
2 pp
2 pp
p 2 p 2
Cuando conectamos dos o ms canales en serie, se puede encontrar

un canal binario simtrico equivalente de la siguiente forma
p
p1
p
p
p
Para encontrar p y p es necesario desarrollar la siguiente
expresin p p
en donde n represente el nmero de canales a ser
conectados en serie, para luego realizar la siguiente asignacin:
p es igual a la suma de todos los trminos en donde p tiene como
potencia un nmero par.
p es igual a la suma de todos los trminos en donde p tiene como
potencia un nmero impar.
CANALES REDUCIDOS
P.
Sea un canal de r entradas y s salidas, definido por una matriz

El canal de r entradas y s-1 salidas representado por la matriz
ING. CARLOS EGAS
Pr se dice que es un canal reducido de P si y solo si, esta matriz

Pr se la forma sumando dos de las columnas de P cualesquiera.
La reduccin de un canal disminuye o a lo sumo mantiene constante
la informacin mutua entre los alfabetos de entrada y salida.
El siguiente canal tiene dos smbolos de entrada y tres smbolos
de salida.
0.9 0.05 0.05

0.005 0.9 0.05
El nmero de smbolos de salida puede ser reducido a dos, sumando

la tercera columna con cualesquiera de las dos primeras.
pr
0.9 0.1
0.05 0.95
Uno de los objetivos de la reduccin de canales, es facilitar

los clculos, eliminando smbolos de salida que son muy poco probables
y que bsicamente no influyen en los resultados finales.
CAPACIDAD DE UN CANAL
El hecho de que existan limitaciones fsicas fundamentales para
la transferencia de la informacin por medios elctricos conduce a
la nocin de capacidad de un canal.
Es as, que para un canal discreto, la capacidad del canal se
define como el mximo valor de la informacin mutua.
C max I A : B
bits inf .
simb.
La capacidad del canal depende exclusivamente de las

probabilidades condicionales que definen del canal, no dependen de
las probabilidades de los smbolos de entrada es decir de la forma
como se utiliza el canal.
Si la fuente emite r smbolos cada segundo, entonces la capacidad
del canal es:
C r max I A : B
bits inf .
seg.
En la mayora de los sistemas de comunicacin anlogos o

digitales, la capacidad del canal es un parmetro muy difcil de
modificar, por lo que todo el diseo debe adaptarse al mismo, ya sea
como mxima velocidad de transmisin a la cual puedo transmitir, o
como el mximo ancho de banda disponible que debe tener la seal a
ser transmitida por el canal, para tener informacin confiable a la
salida del mismo.
ING. CARLOS EGAS
Capacidad de un canal binario simtrico
pa1 w
pa1 w
Con p + p* = 1 y w = w* = 1
La cantidad de informacin media a la entrada del BSC es:
H A w log
1
1
w log
w
w
Si pb1 wp w p y pb2 wp w p la cantidad de informacin media

a la salida del canal es:
H B H wp w p
H B wp w p log
1
1
wp w p log
wp w p
wp w p
Calculando H A B :
H A B pa pb a log
AB
H A B wp log
1
p
wp log
1
pb a
1
1
1
w p log w p log
p
p
p
1
1
1
1
w p log p log w p log p log
p
p
p
p
1
1
w w p log p log
p
p
H A B H p
La informacin mutua es igual a:
ING. CARLOS EGAS
I A : B H B H B A
I A : B H wp w p H p
En un canal binario simtrico, el mximo valor de la informacin
mutua ocurre cuando los smbolos de entrada son equiprobables, por
lo que la capacidad de dicho canal es:
C bsc 1 H p
bits simb.
Considrese una fuente que dispone de alfabeto de mensajes

discretos. Se supone que cada mensaje enviado puede identificarse
en el receptor, por lo que esto se llama canal discreto sin ruido.
Si la mxima entropa de la fuente es log bits inf . mensaje y si
T seg. mensaje es el tiempo de transmisin de cada mensaje la capacidad
del canal es:
1
log
T
bits inf .
seg.
Para alcanzar este mximo los mensajes deben ser equiprobables

y estadsticamente independientes. Estas condiciones son la base de
la codificacin de la informacin transmitida por el canal.
En presencia de ruido, la capacidad del canal discreto disminuye
debido a errores de la transmisin. Esto puede contrarrestarse
sustrayendo la razn de entropa de los smbolos errneamente
detectados.
Si
una fuente binaria (que genera dos smbolos) enva los
mensajes equiprobables e identificables, a una razn de r smbolos
cada segundo (baudios) utilizando un tiempo T para transmitir cada
mensaje, el nmero de mensajes equiprobables que se puede enviar en
cada intervalo T es = 2rT y al usarse la ecuacin anterior da:
1
log 2 rt r
T
simb. seg.
De aqu se puede concluir que la capacidad de un canal discreto

sin ruido binario es
Cr
simb. seg.
En presencia de ruido, la cantidad de informacin media ruidosa

que entrar a la salida del canal va ha depender de la probabilidad
de que se cometa o no se cometa un error en la transmisin de un smbolo,
por lo que en un BSC estas dos alternativas proporcionan una cantidad
de informacin media ruidosa igual a H p H e , y si adems la velocidad
de ocurrencia de estas alternativas es igual a la velocidad de emisin
ING. CARLOS EGAS
de los smbolos de la fuente se tiene que la razn de entropa errnea

Re (cantidad de informacin media errnea), es igual a:
Re r H e
1
1
r 1 p log
p
1 p
Re rp log
Entonces la capacidad del canal ruidoso es igual a la cantidad

de informacin media mxima que se puede transmitir por el canal sin
error (capacidad del canal sin ruido) menos la cantidad de informacin
media ruidosa generada por la fuente de ruido.
C r Re
C 1 p log p 1 p log 1 p
Este resultado coincide con el calculado a partir de maximizacin
de la informacin mutua.
Capacidad de un canal uniforme
Un canal uniforme es la generalizacin del canal binario
simtrico BSC, ya que se lo considera como un canal simtrico r-ario
rSC que posee r smbolos de entrada y r smbolos de salida y esta
definido por la siguiente matriz:
p
r 1
p
p
1
P r
p
r 1
La matriz de un
siguiente:
p
r 1
p
p
r 1
r 1
p
p
r 1
r 1
r 1
canal uniforme con r 3 y
p 0.4 sera el
0.6 0.2 0.2

P 0.2 0.6 0.2
0.2 0.2 0.6
En un canal uniforme todo smbolo a la entrada produce el mismo
error medio a la salida, es decir, que cada smbolo a la entrada es
perturbado en la misma medida por el ruido del canal.
En un canal simtrico se cumple que smbolos de entrada
equiprobables generan smbolos de salida equiprobables.
ING. CARLOS EGAS
La capacidad de un canal uniforme esta determinada por:
C log r p log r H p
bits inf .
simb.
Demostracin:
I A : B H B H B A
Desarrollando H B A :
I A : B H B pa b a log
1
pb a
Asumiendo las entradas equiprobables:
pai
1
r
I A : B H B pb a log
B
1
pb a
En canales uniformes se cumple que a entradas equiprobables se

tiene salidas equiprobables con lo que pb 1 r .
H B log r
Desarrollando el sumatorio de H B A se tiene que:
H B A p log
1
p
r 1
p
r 1
log

log
p r 1
p
r 1
p
Los ltimos r 1 trminos son iguales por lo que:
H B A p log
H B A p log
1
p
r 1
r 1
log
p
r 1
p
1
1
p log r 1 p log
p
p
H B A H p p log r 1
Reemplazando en I A : B se tiene que:
I A : B log r H p p log r 1
ING. CARLOS EGAS
Este valor de la informacin mutua calculado cuando las entradas

son equiprobables representa la capacidad del canal uniforme. Slo
para este tipo de canales es posible calcular la capacidad del canal
maximizando la informacin mutua.
Capacidad de un canal continuo con ruido
En trminos generales la capacidad de un canal esta en funcin
del ancho de banda B del canal y de la potencia de ruido N que se
introduce en el canal.
La capacidad de un canal discreto sin ruido viene dado por la
expresin:
1
log
T
bits inf .
seg.
La cual a su vez puede ser expresada en trminos de la taza de

transmisin de smbolos r y del nmero de estados (niveles) que
puede tomar una forma de onda discreta, de tal forma que la expresin
anterior puede ser expresada como:
C r log
Este nmero de estados , se lo puede interpretar como el nmero
de niveles de cuantizacin utilizados para digitalizar una seal
anloga, los cuales a su vez se los representa por una serie de dgitos.
Si se transmite a r simb. seg. (baudios), en nuestro caso un smbolo
equivale a una muestra cuantizada, y adems se sabe que la velocidad
de muestreo necesaria para poder recuperar la seal digitalizada est
dada por el teorema de Nyquist y es f 2B , entonces la velocidad mnima
con la que se enva cada muestra es:
r 2B
muestras seg.
B representa el ancho de banda de la seal a ser digitalizada.

El nmero mximo de estados discretos (niveles de cuantizacin)
que yo puedo utilizar en una transmisin con una especfica relacin
seal a ruido S N es el siguiente:
SN
N
Es decir, el nmero de niveles de cuantizacin depende del voltaje

mximo de ruido y del voltaje mximo que toma la seal. De esta forma
se tiene que:
1 S N 2
1
ING. CARLOS EGAS
Hay que destacar el echo de que por cada muestra enviada, en

realidad se esta enviando un determinado nivel de cuantizacin
representado por un cierto nmero de dgitos (8 en PCM 30 + 2)
Reemplazando en la expresin general de la capacidad de un canal
se tiene la ecuacin de Hartley-Shannon para canales continuos
afectados con ruido blanco gausiano.
C B log 1 S N
bits por segundo
Donde B es al ancho de banda del canal y S N es la razn cuadrtica

media seal a ruido.
SEGUNDO TEOREMA DE SHANNON
La extensin de una fuente de orden n de una fuente de r smbolos
tiene un total de r n smbolos de entrada, utilizando solamente N de
ellos como mensajes se disminuye la probabilidad de error.
Si la fuente es binaria, tendramos entonces un total de 2 n
palabras cdigo de las cuales tendramos la posibilidad de escoger
un total de N de todas ellas, esto da la posibilidad de poder escoger
estas N palabras cdigo de 2 Nn diferentes maneras, es decir podemos
tener un total de 2 Nn cdigos diferentes algunos de los cuales
disminuirn la probabilidad de error efectiva del canal a un valor
tan pequeo como se quiera.
La probabilidad de error aumentar si la distancia de Hamming
de las palabras cdigo elegidas es pequea, de esta manera se ha de
escoger los N mensajes o palabras cdigo de tal forma que la distancia
mnima de Hamming de entre todos estos M mensajes sea el mas alto
posible.
Es evidente que esta distancia mnima va a disminuir a medida
que aumente el nmero de mensajes N de los 2 n posibles.
La capacidad de un canal coincide con la velocidad mxima de
un mensaje sin error.
El segundo teorema de Shannon dice que la probabilidad de error
puede ser tan pequea como se quiera siempre y cuando:
N 2 nC
No solo afirma que se pueden obtener resultados ptimos cuando

se combina la velocidad de transmisin y la probabilidad de error,
sino que indica cuanto puede mejorarse sin indicar como hacerlo.
Si la razn de entropa R es igual o menor que la capacidad del
canal C existe una tcnica de codificacin que permite la transmisin
ING. CARLOS EGAS
por el canal con una ocurrencia de errores tan pequea como se quiera.
Determina que la probabilidad de interpretar mal una palabra,
enviada a travs de un canal con ruido, puede hacerse tan pequea
como se quiera si R < C:
P(E) 2-nEb(R)
Donde:
K b (R) lim
n
1
log P E R, n
n
El teorema no afirma que la comunicacin sea imposible si N 2 nC .

Demostracin:
La disminucin de la probabilidad de recepcin errnea de un
mensaje, tiene como contrapartida de que el nmero de cifras binarias
a transmitir por un mismo mensaje aumente, de tal forma que, lo que
se gana en seguridad se pierde en concisin, por lo que es preciso
buscar y determinar un trmino medio aceptable.
Digamos que tenemos un alfabeto cdigo binario {0,1} y que vamos
a codificar un alfabeto fuente con la extensin de tercer orden.
1.- Si la fuente a codificar tiene dos smbolos S s1 , s2 tal que
de las ocho secuencias posibles para codificarlos escogemos dos. A
s1 la codificamos como 000 y a s2 le codificamos con 111 para ser
transmitidos un BSC con probabilidad de error p, a la entrada y salida
del canal vamos a tener las siguientes secuencias.
entrada del canal
salida de canal
000
111
000
001
010
011
100
101
110
111
Las salidas posibles del canal corresponden a secuencias de entrada

con 0, 1, 2 y 3 errores, producidos en la transmisin los cuales tienen
la siguiente probabilidad de ocurrencia.
nmeros de errores
probabilidades de ocurrencia
ningn error en la T
ING. CARLOS EGAS
1
2
un error
dos errores
tres errores
3pq
2
3p q
3
p
La probabilidad de error total en la transmisin va a ser igual

a la suma de las probabilidades de que se comentan tres y dos errores
en la transmisin de los tres dgitos, es decir:
PE p2 3 - 2p 3 p2
Si la probabilidad de error del BSC es p 10 3 el riesgo inicial
se ha reducido a 3.10-6 transmitiendo tres smbolos idnticos y
adoptando como regla de decisin una eleccin mayoritaria, en vez
de enviar un dgito por mensaje.
La probabilidad de error se puede disminuir aumentando el nmero
de repeticiones, es decir trabajando con una extensin de orden
superior del alfabeto cdigo.
orden de la extencin
P E
p 10 3
1
2
5
7
9
11
P
2
3p
3
10p
4
35p
5
126p
6
426p
10
-6
3.10
-8
10
-11
4.10
-13
10
-16
5.10
-3
2.- Si el alfabeto fuente, o el nmero de smbolos a enviar son cuatro

S s1 , s 2 , s3 , s 4 , de las ocho secuencias de tres dgitos que seran todo
el alfabeto cdigo, debemos escoger cuatro de ellas como palabras
cdigo, para asociarlas a cada uno de los smbolos a enviar.
De todas las formas posibles, es escoge aquella en que las
secuencias codificadas son 000, 110, 101, 011 asociadas a
S s1 , s 2 , s3 , s 4 respectivamente. De esta forma las secuencias a la
entrada y salida del canal son:
entrada del canal
salida de canal
000
110
101
011
000
001
010
011
100
101
110
111
ING. CARLOS EGAS
En este caso se tomar como regla de decisin el considerar como

vlida a la salida toda secuencia que posea las dos ltimas cifras
binarias idnticas a la secuencia de entrada, es decir si enviamos
codificamos s1 con 000 y la enviamos por un BSC, las secuencias 000
y 100 son secuencias que van a ser interpretadas como S1. De esta
forma, un error que ocurre en el primer dgito de la secuencia no
produce error.
La probabilidad de que una secuencia sea interpretada
correctamente es la de una transmisin fiel de las dos ltimas cifras
de cada secuencia es decir q2. Por lo tanto la probabilidad de una
decodificacin errnea es:
PE 1 q2 1 1 p 2p
2
3.- Si quisiramos optimizar el cdigo, utilizando todas las

secuencias posibles de tres dgitos, entonces lo que deberamos hacer
es tener ocho smbolos a enviar de tal forma que a cada uno de ellos
le corresponda una palabra cdigo de las ocho posibles.
entrada del canal
salida de canal
000
001
010
011
100
101
110
111
000
001
010
011
100
101
110
111
En este caso la secuencia transmitida no puede contener errores,

ya que cada una de las posibles secuencias recibidas corresponde a
un mensaje a ser enviado. En este caso la probabilidad de recibir
correctamente una secuencia es q3 por lo que la probabilidad de recibir
errneamente el mensaje es:
PE 1 q3 1 1 p 3p
3
Estos tres casos pueden ser resumidos en la siguiente tabla:
nmero N de secuencias
de entrada
P E
2
4
8
3.10
-3
2.10
-3
3.10
-6
si se
transmite
1/3
2/3
1
ING. CARLOS EGAS
A medida que el nmero N de mensajes a codificar aumenta,

manteniendo el mismo nmero de palabras cdigo, la probabilidad de
error en la transmisin aumenta y tambin lo hace la velocidad con
la cual transmitimos los mensajes.
Si la fuente tiene N mensajes a codificar (alfabeto fuente de
n smbolos), la entropa mxima de la fuente es:
log N
bits de informacin
mensaje
Adems si cada mensaje se lo codifica con n smbolos del alfabeto

cdigo (es decir se trabaja con la extensin de orden n del alfabeto
cdigo binario X = {0,1}), la cantidad de informacin por dgito que
se transmite cuando se enva por el canal BSC un uno lgico o un cero
lgico es:
log N
n
bits de informacin
dgito transmitido
Si se transmite a razn de r dgitos por segundo la velocidad de

transmisin de la informacin se la puede expresar como:
r
R log N
n
bits de informacin
segundo
La cantidad de informacin mxima que se puede transmitir por un canal

viene dada por la capacidad C de este, por lo que, para poder transmitir
los N mensajes de una fuente, sobre el canal debe cumplirse que:
F C es decir
C log N
N 2nC
El objetivo es, disminuir N a un valor suficientemente pequeo
1
sin que la relacin log N tome un valor demasiado pequeo.
n
Shannon demuestra en el segundo teorema, que la probabilidad
de error PE puede hacerse tan pequea como se quiera, con tal que
N permanezca inferior a 2 nC .
1
En el lmite, es decir cuando C log N , se tiene la tasa de
n
transmisin mxima sin error de las secuencias de entrada.
En el caso de que los mensajes o los smbolos del alfabeto fuente

no sean equiprobables se tiene que:
ING. CARLOS EGAS
H S
C
n
Codificacin de la informacin
a)
Teorema fundamental de la codificacin de canales ruidosos
Se supone que una fuente discreta con una velocidad de transmisin

de informacin fija Rbits seg alimenta a un canal con una
capacidad C bits seg , recordando que R rH A y r smbolos segundo
es la velocidad de emisin de los smbolos de la fuente.
Si R C existe al menos un procedimiento de codificacin que

permite la transmisin de los mensajes de la fuente por el canal
con un error arbitrariamente pequeo y positivo, tal que:
H A B
Si R C la fuente de mensajes puede ser codificada de manera

que se consiga que la equivocacin sea igual a:
r H A B R C
O
r H A B r H A C
Donde es arbitrariamente pequeo y positivo.
No existe ningn mtodo de codificacin
tal que:
r H A B R C
El teorema fundamental de la codificacin determina la existencia
de cdigos especiales con los cuales la probabilidad de error del
canal puede hacerse tan pequea como se quiera.
Por lo tanto la codificacin consistir en expresar de la mejor
forma posible, es decir con valores de muy pequeos, cada smbolo
de la fuente con la ayuda de las palabras cdigo provenientes del
alfabeto cdigo.
b)
Codificacin de la informacin sobre un canal con ruido.
La capacidad de un canal viene dada por el mximo valor de la

informacin mutua:
C max I A: B
Y para un canal binario simtrico con una probabilidad de error
ING. CARLOS EGAS
igual a p , la capacidad es:
C 1 H p
Segn el teorema de Shannon se tiene que:
1
F max H A log N C
n
En caso ideal cuando la transmisin es sin error p = 0 y por

lo tanto:
C 1
bit de informacin
smbolo
La codificacin consiste en tratar de encontrar una

representacin de los N smbolos del alfabeto fuente S con la ayuda
del alfabeto cdigo X = {0,1} tal que las probabilidades de estos
smbolos del alfabeto cdigo, que van a ser transmitidos, sean
equiprobables.
Si la capacidad del BSC es C bits de informacin smbolo en donde el
smbolo a que hace referencia esta capacidad corresponde a un 1 lgico
o 0 lgico que son los smbolos que se tiene a la entrada de un BSC.
Y si adems estos smbolos a la entrada del canal son emitidos a una
razn de r smbolo segundo entonces la capacidad del canal ser igual
a:
Cr rC
bits de informacin
smbolo
Si
la
fuente
de
informacin
posee
una
entropa
H A bits de informacin mensaje de la fuente , se podrn transmitir mensajes
por el canal a una velocidad R tan prxima a:
C
H
mensajes segundo
Pero siempre inferior a este valor, es decir:
es un valor suficientemente pequeo que puede ser elegido de

tal suerte que la probabilidad de error en la recepcin sea inferior
a un valor previamente establecido y tan pequeo como se quiera. Por
lo que es siempre posible, dividiendo, en caso de necesidad, la
comunicacin en trozos suficientemente largos, encontrar un cdigo
apropiado para la transmisin.
Redundancia y rendimiento de un canal

ING. CARLOS EGAS
La capacidad del canal nos permite determinar una medida de

eficacia con la cual la informacin es transmitida.
La redundancia de un canal, por analoga con la redundancia de
una fuente, viene definida como la diferencia entre la capacidad del
canal y su transformacin (informacin transmitida).
Rc C I A : B
El rendimiento del canal viene definido como la relacin entre
la informacin transmitida y la capacidad del canal.
I A : B
C
REGLA DE DESICION
Consideremos un canal con un alfabeto de entrada A ai , para
i 1, 2, 3, r y un alfabeto de salida B b j para j 1, 2, 3, s . Se
denomina regla de decisin d b j a la funcin que especifica el smbolo

de entrada nico
que corresponde a cada smbolo de salida.
Generalmente se asigna el smbolo de salida b j ms probable al

smbolo de entrada ai .
En general se tiene un total de r s reglas de decisin aplicables
a un canal de transmisin, y se elegir aquella regla de decisin
que haga mnima la probabilidad de error.
PROBABILIDAD DE ERROR DE UN CANAL
La probabilidad de error de un canal se define como el valor
medio de pE b j probabilidad condicional de error cuando la salida
del canal es b j .
PE p E b pb
Para un canal binario simtrico la probabilidad de error es p.

Probabilidad de error y regla decisin
Si a es el smbolo de entrada asignado al smbolo de salida b j
tal que
d b j a para que el valor de PE tome el valor mnimo, en
la expresin anterior hay que minimizar pE b j o lo que es lo mismo

maximizar pa b j para j 1, 2, 3, s con:
ING. CARLOS EGAS
p E b j p a b j 1
que:
El momento que establecemos la regla de decisin debe cumplirse
p a b j
pa I b j
La probabilidad de error de un canal ser mnima con la regla

de decisin que asigna a cada smbolo de salida el smbolo de entrada
de mayor probabilidad. Esta regla de decisin recibe el nombre de
regla de mxima posibilidad condicional
La desigualdad anterior no cambia si multiplicamos por p b j p a .
p a b j pb j
pa
pa1 b j pb j
p a
Utilizando el teorema de Bayes se tiene que:
p b j a
pa1 b j pb j

pa b pb pa
pb a
pa pa
pb a pa
pb a
pa
p a
Si los smbolos de entrada son equiprobables la desigualdad queda

de la siguiente manera:
p b j a pb j a1
La probabilidad de error, dado que se recibi el smbolo b j ,

se lo puede escribir de la siguiente manera:
p E B j
pa
r
ai a
bj
Para calcular la probabilidad de error total en trmino de las

probabilidades condicionales se reemplaza la expresin anterior en
PE :
ING. CARLOS EGAS
p E
pa
r
ai a ,b j
b j pb j
Utilizando el teorema de Bayes:
pa
r
p E
ai a ,b j
bj
Expresando la probabilidad de error del canal en trminos de

las probabilidades prospectivas, tenemos que:
p E
pb
r
ai a ,b j
ai pai
Si los smbolos de entrada son equiprobables p ai 1 r .

p E
1
r
p b a
B , A a
r es igual a el nmero de smbolos de entrada del canal.

Para el siguiente canal cuyas entradas son equiprobables:
0.3 0.5 0.2

C 0.8 0.1 0.1
0.1 0.2 0.7
La regla de decisin se escoge tal que p b j a p b j ai por lo
que:
d b1 a 2
d b2 a1
d b3 a3
La probabilidad de error viene dada por:
pE 1 3 0.3 0.1 0.1 0.2 0.2 0.1

pE 0.3333
Se puede encontrar la probabilidad de que no se comentan errores
en un canal de la siguiente manera:
p NE p a b j
r
bj
ING. CARLOS EGAS
La probabilidad de error de un canal si los smbolos son

equiprobables es:
P E 1 P b a
LMITE DE FANO
Establece una relacin entre la probabilidad de error y los
conceptos de entropa e informacin mutua y tiene validez cualquiera
sea la regla de decisin aplicada.
H A B PE log r 1 H P E
CONTROL DE ERRORES
El problema del control de errores es el de disear e implementar
sistemas codificadores y decodificadores que cumplan con las siguientes caractersticas
-La informacin debe ser transmitida o grabada en un ambiente ruidoso
de la manera mas rpida posible, conservando de esta forma la
velocidad de transmisin de los mensajes.
-Se debe recuperar la informacin a la salida del canal decodificador
de una manera confiable.
-Los costos del codificador y decodificador deben estar dentro de
lmites aceptables y sean fcilmente implementados.
-Debe disminuir la probabilidad de error efectiva del canal
MEDIO DE TRANSMISION
El control de errores es aplicable a todo tipo de medio de
transmisin tales como la lnea telefnica, enlaces de radio, enlaces
telemtricos, enlaces satelitales
MEDIOS DE ALMACENAMIENTO
Cuando se almacena informacin, muchas veces el tiempo de
almacenamiento, puede ser causa de que el momento en que se quiera
recuperar la informacin, esta haya sufrido variaciones mientras
estuvo
almacenada
por
distintas
causas
en
memorias
semiconductoras,magnticas y pticas, discos flexibles.
TIPOS DE ERRORES
ING. CARLOS EGAS
Errores aleatorios.- Son aquellos que se producen aleatoriamente

en una secuencia de dgitos
Errores tipo rfaga.- Son aquellos en los cuales la ocurrencia
de un error afecta tambin a secuencias anteriores y posteriores de
secuencias de dgitos.
TIPOS DE CANALES
Canales sin memoria.- Es aquel canal en el cual la salida del
canal solo depende de la seal transmitida en ese instante.
Canales con memoria .- Es aquel canal en el cual el resultado
obtenido en el receptor depende de seales previamente transmitidas
CLASIFICACION
Cdigos
Bloque
DE
LOS
CODIGOS
PARA
CONTROL
DE
ERRORES
Relacin constante
Ortogonales
Especiales S-arios.Canales
asimtricos
Control de Hamming
paridad
Geomtricos
Cclicos BCH Goppa
Golay
Reed-Solomon
Cdigos
Paridad deslizante
no bloque
o recurrentes
Convolucionales
ESTRATEGIAS PARA EL CONTROL DE ERRORES

La manera en la cual se pretenda eliminar el efecto que producen
los errores en la transmisin mucho va a depender del tipo de sistema
de comunicacin con el cual se esta trabajando .
Por lo general en sistemas en los cuales la transmisin de datos
se da en una sola direccin, es conveniente el implementar sistemas
de correccin y deteccin automtica de errores debido a la
imposibilidad de pedir retransmisin del mensaje.
En sistemas en los cuales la transmisin de mensajes se da en
los dos sentidos, la utilizacin de cdigos correctores y detectores
de errores depender de la rapidez conque se quiera obtener la
ING. CARLOS EGAS
informacin libre de error. de lo contrario es suficiente con pedir

retransmisin del mensaje utilizando para ello un sencillo sistema
de deteccin de errores.
Correccin directa de errores (forward-error correcction FEC)
La FEC utiliza ingeniosos procedimientos matemticos para
disminuir considerablemente los efectos causados por el ruido
introducido en el canal, en la transmisin de datos
Se utiliza en general dos tcnicas que se refieren a la utilizacin de dos tipos de cdigos. Los cdigos convolucionales y los cdigos
bloque.
La teora de los cdigos bloques es mucho mas vieja y rica que
la teora de los cdigos convolucionales y la mayor parte del tiempo
se ha consumido en tratar de encontrar cdigos ptimos y en desarrollar
tcnicas que permitan una fcil implementacin de estos.
Como resultado de esta investigacin han aparecido los cdigos
cclicos muy fciles de implementar, los cdigos denominados BCH
que se caracterizan principalmente por su capacidad para la correcin
de mltiples errores y por sus eficientes algoritmos de decodificacin
Entre los cdigos BCH podemos destacar a los cdigos Goppa que
son en realidad un generalizacin de estos ltimos, y los cdigos
de Reed-Solomom . Adems existen los cdigos Reed-Muller, cdigos
Hamming, entre otros. De esta forma se pueden enumerar un diversidad
de cdigos que se pueden encontrar en la literatura sobre los cdigos
bloque lineales cuyos nombres generalmente tienen que ver con los
descubridores de dichos cdigos o de sus algoritmos de decodificacin.
Ya sea en los cdigos bloque o en los cdigos convolucionales
es necesario la adicin de informacin extra en el mensaje transmitido
para que en el receptor se pueda realizar el proceso de encontrar
los errores introducidos en la comunicacin y su posterior correccin.
Esta informacin extra se calcula en el proceso de codificacin
del mensaje a transmitir y se conoce como bits de control, los cuales
se suman a los dgitos que representan el mensaje a ser transmitido.
En protocolos utilizados en la transmisin de datos , como HDLC,
en la configuracin de la trama existe un espacio de 16 bits en donde
se colocan los bits de control producto de la codificacin utilizando
un cdigo cclico.
La capacidad de un cdigo determina el nmero de errores que
puede detectar y corregir en una secuencia dada de dgitos
Los circuitos decodificadores son mas sencillos cuando solo se
requiere detectar los errores, y su complejidad aumenta segn el nmero
de errores que se desee corregir.
Dependiendo del nmero de bits de control que se generan en la
codificacin, la capacidad que tiene el cdigo para corregir errores
aumenta o disminuye.
ING. CARLOS EGAS
La teora de los cdigos convolucionales es mucho menos

desarrollada que la de los cdigos bloque lineales debido a que fueron
descubiertos despus de estos y su caracterstica principal es que
en ellos se introduce el concepto de memoria
En el proceso de codificacin de estos cdigos, se necesita de
varios bits del mensaje a la vez, para obtener la secuencia codificada.
La informacin necesaria para realizar la correccin directa
de errores esta contenida en la manera como se codifican los bits
anteriores, De esta forma se miniminiza el uso de los bits redundantes
que utilizan los cdigo bloque pero la complejidad del procesamiento
aumenta considerablemente.
Esto tiene relacin directa con el tiempo de procesamiento lo
cual afecta el costo de un sistema FEC.
Los cdigos convolucionales se dividen en varias clases, las
cuales difieren en los algoritmos empleados para realizar la
decodificacin. Generalmente se utiliza tcnicas de decodificacin
como ; de Vitervi, de retroalimentacin y la secuencial.
Un aspecto muy importante que no debe ser olvidado es el retraso
que aparentemente puede sufrir la transmisin de la informacin cuando
se utiliza cualquiera de estas dos tcnicas, debido principalmente
al tiempo de procesamiento para realizar la codificacin o
decodificacin. Este retraso puede ser imperceptible dependiendo de
la velocidad de transmisin tanto a la entrada y salida de los
codificadores y decodificadores y de la aplicacin que se le de a
los datos a ser transmitidos.
Los cdigos convolucionales generalmente estn diseados para
corregir y detectar errores de hasta secuencias de seis bits.
PEDIDO DE REPETICION AUTOMATICO (ARQ)
En la correccin por retransmisin solo es necesario utilizar
cdigos que permitan detectar la presencia de errores en la transmisin
para de esta forma proceder a pedir la retrasmisin del bloque de
datos donde se detect errores.
Basicamente los tipos de cdigos utilizados para realizar esta
tarea son los cdigos cclicos que son una subclase de los cdigos
de bloque lineales que se caracterizan por su fcil implementacin
Existen tres tipos de retransmisin
Retransmisin con para y espera
El emisor emite un bloque de informacin
recibo del receptor
y espera un acuse de
Si el acuse de recibo es positivo ACK, es decir que no se ha

detectado la presencia de errores, el transmisor emite el siguiente
bloque de informacin.
ING. CARLOS EGAS
Si el acuse de recibo es negativo NAK, el transmisor reemite

el mismo bloque.
Se puede utilizar canales duplex o simplemente halfduplex porque
los dos terminales emiten uno despus del otro.
Este mtodo es sencillo , necesita tan solo de un canal
half-duplex, no hay necesidad de numerar los bloques emitidos y no
existe la necesidad de almacenar mas de un bloque, sin embargo su
rendimiento es muy bajo (tiempo de transmisin)
Retransmisin continua
El transmisor emite bloques sin esperar el acuse de recibo
positivo. El receptor emite solamente seales de acuse de recibo
negativo cuando a detectado errores.
En caso de error el transmisor reemite el bloque que fue detectado
con errores y los siguientes.
Esta ves es necesario un canal full-duplex porque el receptor
puede emitir su seal de acuse negativo al en el mismo momento en
que el transmisor esta emitiendo los bloques de datos.
Retransmisin selectiva
Esta es un optimizacin del mtodo anterior, ya que el
transmisor al recibir un acuse de recibo negativo, reemite solamente
el bloque falso y no los siguientes que ya han sido emitidos,
necesitando tambin un canal full duplex.
Este mtodo es conveniente en las transmisiones por satlite
en las cuales existe un taza de errores importante y un tiempo de
propagacin elevado.
Estos mtodos son bien adaptados para la correccin de paquetes
de errores pero no a un tratamiento en tiempo real.
SISTEMAS HIBRIDOS
Comparando los dos sistemas , se puede determinar que el ARQ
es simple y provee una alta confiabilidad del sistema, sin embargo
tienen una gran desventaja, su eficiencia del cdigo utilizado, R
= n/k , cae rpidamente conforme aumenta la taza de error del canal.
Los sistemas que usan FEC mantienen constante la eficiencia.
Los sistemas FEC tienen dos desventajas.
La primera, cuando
en una secuencia de dgitos se detecta un error, es necesario
decodificar la secuencia aceptando el resultado ,el cual tiene una
probabilidad de ser incorrecto, conociendo que la probabilidad de
corregir el error es mucho mas grande que la de no poderlo detectar.
Segundo, para obtener un sistema de alta confiabilidad, es
ING. CARLOS EGAS
necesario el uso de un largo y poderoso cdigo el cual sea capaz

de corregir una gran cantidad de errores. Eso se traduce en una
decodificacin muy difcil de implementar y muy costosa.
Por estas razones, los sistemas con ARQ son preferidos sobre
los sistemas que usan FEC cuando se trabaja en sistemas de comunicacin
de datos, tales como en redes de computadores y redes de paquetes
de datos. Sin embargo en sistemas de comunicacin o almacenamiento
de datos en los cuales la retransmisin no es posible, el FEC es el
nico usado.
Un sistema hibrido ARQ consiste en un subsistema FEC contenido
en un sistema ARQ. Esto da lugar a que la confiabilidad y eficiencia
del sistema sea mayor que cualquiera de los dos mtodos de control
de errores usados independientemente.
La funcin del FEC en un sistema hbrido, es reducir la frecuencia
de retransmisin para corregir los errores que ocurren mas
frecuentemente, Cuando errores menos frecuentes son detectados, se
pide retransmisin.
Factores determinantes de la eleccin de los cdigos para aplicaciones
prcticas
Parmetros que han de considerarse
Para elegir una codificacin determinada, debe tenerse en cuenta
las caractersticas siguientes:
-Relacin portadora/ruido (C/N) disponible a la recepcin,
-Proporcin de bits errneos (BER) que no debe rebasarse,
-Estructura de los errores,
-Anchura de banda (B) disponible,
-Velocidad binaria que han de emplearse en la transmisin,
-Tipo de acceso y formato de los mensajes que se transmitirn,
-Tipo de modulacin y demodulacin,
-Problemas de sincronizacin,
-Complejidad aceptable.
Las opciones relativas a la codificacin son las siguientes:
-Codificacin selectiva o global,
-Cdigo bloque o convolucional,
-Cdigo de correcin de errores independientes,
-Relacin de codificacin (R) y longitud del cdigo (N),
-Capacidad correcin,
-Algoritmo de decodificacin algebraico o probabilstico,
-Sincronizacin,
-Efecto de demodulacin.
Seguidadmente se examinan estos diveros aspectos
Codificacin selectiva o global
La codificacin es global cuando es necesario abarcar el tren
de bits completo a fin de mejorar el balance global del enlace.
ING. CARLOS EGAS
La codificacin es selectiva cuando se aplica slo a una parte

del trfico que requiere proteccin adicional, como por ejemplo a
un canal de transmisin de datos en un mltiplex telefnico. Las dos
codificaciones pueden emplearse en cascada.
Cdigo bloque o convolucional
La eleccin entre un cdigo convolucional y un cdigo bloque
depende sobre todo del criterio u orientacin de distintas escuelas.
Actualmente, los cdigos convolucionales son mejores para el
tratamiento de decisiones flexibles a la salida del demodulador,
gracias al empleo de algoritmos probabilsticos. Tambin se pueden
prestar ms fcilmente para la sincronizacin de palabras, es decir,
la divisin correcta de la seal recibida en bloques de smbolos,
dado que el nmero de posibilidades que pueden tener que ensayarse
es generalmente pequeo comparado con la longitud del bloque en los
cdigos bloque. En cambio, si la sincronizacin se efecta por otros
medios, por ejemplo utilizando un bit de sincronizacin nico, los
cdigos bloque son plenamente satisfactorios.
En la transmisin de paquetes, los cdigos convolucionales
requieren la terminacin de la operacin de codificacin, es decir,
la codificacin suplementaria de M-1 bloques de Ko bits cero, lo cual,
en el caso de paquetes de una longitud de L*Ko bits da una relacin
efectiva igual a:
R' = ( Ko/No )* L /(L + M - 1)
Cuando L no es demasiado pequeo o M demasiado grande, el factor
de correcin es muy prximo a 1.
Por consiguiente, los cdigos bloque parecen presentar una ligera
ventaja en el caso de las tcnicas AMDT y los cdigos convolucionales
en el de las tcnicas AMDFG, pero esto no puede considerarse una regla
general.
Relacin y longitud del cdigo
La relacin del cdigo mnima est determinadad por la anchura
de banda disponible del canal, dado que la codificacin multiplica
la anchura de banda por 1/R.
Debe sealarse que a fin de obtener una capacidad de correcin
equivalentes, los cdigos de relacin elevada debern ser ms largos
y por tanto ms complejos que los cdigos de relacin baja.
En trminos aproximados, el nmero de bits de paridad necesarios
para corregir t errores con un cdigo de longitud N viene dado por:
N - K = t log2 N
Cdigos con correcin de errores independientes o en rfagas
La eleccin depender del tipo de modulacin y de la estructura
de los errores.
ING. CARLOS EGAS
Los errores producidos por un demodulador coherente en una seal

con modulacin MDP son esencialmente independientes. El uso de la
decodificacin diferencial a complica la estructura de errores, pero
existe la posibilidad de utilizar un cdigo transparente o una tcnica
de intercalado (vase el punto 3.2 de ste apndice). No obstante,
puede utilizarse tambin un cdigo con correccin de rfagas de
errores, tal como el cdigo Reed-Solomon.
Los cdigos con correcin de rfagas de errores tambin pueden
aplicarse como segunda decodificacin a un tren de bits procedente
de un primer decodificador.
Capacidad de correccin
La capacidad de correcin, o la distancia mnima necesaria, est
determinada por la proporcin de errores admisible a la salida del
decodificador, para una relacin Eb/No dada.
Puesto que la relacin de cdigo tambin esta fijada, debe
determinarse la distancia mnima necesaria utilizando las cifras que
dan el valor de la proporcin de errores a la salida en funcin de
la relacin Eb/No, tales como las que figuran en el punto 1.3 de este
apndice.
Algoritmo de decodificacin
Como es natural, el algoritmo de decodificacin est vinculado
con la eleccin del tipo de cdigo, la estructura de los errores,
la capacidad de correccin necesaria, la complejidad resultante de
la velocidad binaria que han de utilizarse y del tipo de modulacin.
Entre los tipos de cdigo disponibles actualmente , los
algoritmos probabilsticos para cdigos de relacin baja o mediana
parecen suministrar las mayores ganancias de codificacin (hasta
5 dB para BER = 10-5) cuando se emplean velocidades binarias desde
algunos Mbit/s a varias decenas de Mbit/s, siempre que se use un
modulador de decisin flexible.
Para las ganancias de codificacin medianas (3 dB), los cdigos
auto-ortogonales con decodificacin por mayora y los cdigos bloque
con decodificacin tabular constituyen soluciones satisfactorias.
Es evidente que tales consideraciones pueden resultar alteradas por
nuevas tecnologas u otros nuevos procedimientos que simplifiquen
(o favorezcan) la aplicacin de ciertos algoritmos que actualmente
se estiman demasiado complejos.
Sincronizacin
La sincronizacin, es decir, la divisin de la seal recibida
en palabras de N o No bits, puede ser efectuada por el propio cdigo
o por informacin externa.
En el primer caso, los cdigos convolucionales de pequeo No
sern ms fciles de sincronizar, ya que el nmero de posibilidades
es ms reducido. La duracin de la sincronizacin corresponde a algunas
ING. CARLOS EGAS
decenas o centenas de bits, lo que es insignificante para enlaces

establecidos durante un perodo relativamente largo de tiempo, por
ejemplo, en AMDF.
Si se requiere una sincronizacin muy rpida el decodificador
debe disponer de una referencia, tal como una palabra nica en AMDT
o una palabra de sincronizacin en AMDF.
Efectos de la demodulacin
El efecto ms obvio es el derivado del uso de un algoritmo de
decisin flexible, que requiere un proceso de demodulacin apropiado.
Es importante sealar que con codificacin de correccin, el
demodulador funciona con valores de la relacin Eb/No inferiores a
los empleados sin codificacin. Por ejemplo, es posible un valor de
0 dB. Por consiguinte, ha de dedicarse atencin al comportamiento
de los circuitos de sincronizacin: recuperacin de la portadora,
recuperacin de la temporizacin, deteccin de la palabra nica, etc.
que, cuando los valores Eb/No son bajos, puede originar problemas tales
como los saltos de ciclos en las recuperaciones, la falsa deteccin
y la falta de deteccin de la palabra nica. Las palabras nicas no
pueden protegerse mediante la codificacin de correccin, ya que ello
les hara perder sus propiedades de correlacin. Por consiguinte,
puede ser menester alargarlas.
CAMPOS
Una considerable parte de la teora algbrica de la

codificacin se mueve alrededor del concepto de campo finito y es
por esta razn, que es necesario revisar ciertos conceptos bsicos
sobre este tema.
Si F es un conjunto en el cual estn definidas dos operaciones
binarias llamadas adicin " + " y multiplicacin " . ", F se llama
campo si junto con las dos operaciones , se cumplen las siguientes
condiciones:
-F es un grupo conmutativo cerrado bajo la adicin. El elemento
identidad con respecto a al adicin es llamado elemento cero
o la identidad aditiva de F y se lo representa como 0.
-El conjunto de elementos diferentes de cero que pertenecen a F
es un grupo conmutativo bajo la multiplicacin y su
correspondiente elemento identidad se llama elemento unitario
y se representa como 1.
-La multiplicacin es distributiva sobre la adicin.
El nmero de elementos del campo determina el orden del campo
y un campo con un nmero finito de elementos es un campo finito.
POPIEDADES
ING. CARLOS EGAS
Si a es diferente de cero a.0 = 0.a = 0

Si a y b son diferentes de cero a.b # 0
Si a.b = 0 y a # 0 entonces b = 0
Para dos elementos cualesquiera en un campo
(a.b) = (-a).b = a.(-b)
- Si a # 0 y a.b = a.c entonces b=c
Se puede demostrar que el conjunto formado por los elementos
(0,1), la adicin modulo dos y la multiplicacin mdulo dos forman
un campo finito:
sumamultiplicacin
+01.01
001000
110101
Estas dos operaciones matemticas se pueden implementar
fcilmente utilizando compuertas logicas AND y OR-ESCLUSIVA.
Los campos finitos son llamados tambin campos de Galois en
honor a su descubridor y su importancia en la teora de control de
errores radica en que la construccin de los cdigos y los procesos
de codificacin y decodificacin giran alrededor de estos campos
finitos.
Los cdigos ms ampliamente usados son aquellos cuyos smbolos
pertenecen a los campos binarios representados por GF(2) o a sus
extensiones GF(2m) ya que la informacin que se transmite o se almacena
en los sistemas de comunicacin es universalmente codificada en forma
binaria por muchas razones prcticas.
El anlisis de control de errores requiere en muchas ocasiones
de diversas formas matemticas para cumplir su objetivo. Es as como
una secuencia de n dgitos, puede ser representada como un vector
o como un
polinomio, cuyos coeficientes pertenecen a GF(2),
denominandose polinomios sobre GF(2) , a los cuales prestaremos mas
atencin.
secuencia de dgitos:
f0 , f1 , ................ , fn-1
donde fi = 0 1 para 0 < i < n-1
representacin vectorial:
f = ( f0 , f1 , ................ , fn-1 )
representacin polinomial:
ING. CARLOS EGAS
f(x) = f0 + f1X1 + f2X2 + ...... + fn-1Xn-1

el grado del polinomio es la potencia de ms alto valor de X con
coeficiente diferente de cero
Estos polinomios pueden ser sumados, multiplicados y
divididos entre s, utilizando para ello la multiplicacin y suma
mdulo 2. Adems cumplen con las propiedades Conmutativa , Asociativa,
y distributiva.
La divisin de un polinomio f(x) para otro g(x) diferente
de cero se lo puede representar de la siguiente manera
f(x) = q(x) . g(x) + r(x)
donde q(x) es el residuo y r(x) es el cuociente.
CODIGO BLOQUE LINEAL
u v r u*
fuen codi canal deco des.
ruido
Cuando se desea realizar la codificacin de informacin de tipo

digital para el control de errores, es necesario segmentar toda la
secuencia de informacin a transmitirse en bloques de longitud fija
, cada uno de los cuales ser codificado de una manera independiente.
La longitud de cada bloque u se la representa con la letra k,
en el proceso de codificacin, a este bloque de k dgitos se transforma
en un nuevo bloque v, esta ves conformado con n dgitos tal que:
n > k
Estos n dgitos pasan a travs del canal y entran al decodificador
como una secuencia recibida r de n dgitos de los cuales se recupera
una secuencia de k dgitos representada por u*
ING. CARLOS EGAS
Se pueden establecer las siguientes relaciones

v r entonces existe error en la transmisin
v = r no existe error en la transmisin
u = u* no existe error en la transmisin o si ha existido,se
lo a corregido
u u* existe error en la transmisin y no se lo ha podido
corregir
Decodificacin de mxima probabilidad
La decodificacin de mxima probabilidad debe minimizar, la
probabilidad de realizar un decodificacin errnea, es decir minimizar
la probabilidad de que dada una secuencia recibida r se asocie a una
secuencia u* diferente a la secuencia u originalmente enviada.
Utilizando probabilidades, se puede establecer la probabilidad
de error de una secuencia recibida r
p(E/r) = P(u*
u/r)
La probabilidad de error total considerando todas las posibles

secuencias es
p(E) = p(E/r)p(r)
r
Para minimizar esta probabilidad de error total es necesario

minimizar p(E/r) = p(u u*/r) o en su defecto maximizar la probabilidad
p(u = u*/r) = p(u/r)
p(u/r) =
p(r/u)p(u)
p(r)
Concluyendo, se tiene que para minimizar la probabilidad de una

decodificacin errnea, es necesario maximizar la probabilidad de
que enviando el mensaje u, se obtenga a la salida del canal la secuencia
r , p(r/u). El proceso de maximizar esta probabilidad se conoce como
decodificacin de mxima probabilidad
Eficiencia de transmisin
En los cdigos bloque se define como eficiencia de transmisin
de los mensajes a la relacin entre n y k
Rt = n/k
Cuando la eficiencia es uno, no existe informacin redundante
que es transmitida para realizar el control de errores. En el control
ING. CARLOS EGAS
de errores que utilizan cdigos correctores, a menor eficiencia del

cdigo se tiene mayor capacidad del mismo para corregir mayor cantidad
de errores, por lo que en el proceso de seleccin de un cdigo, debe
existir un equilibrio entre estos dos parmetros.
Eficiencia vs. ancho de banda y velocidad de transmisin
Si necesito un tiempo T para enviar el mensaje u, utilizando
k dgitos , la velocidad de transmisin en bits por segundo es k/T
y por lo tanto el ancho de banda necesario para realizar la transmisin
si el ancho del pulso es T/k, es
B = k/2T
Si utiliz un cdigo para realizar el control de errores, el
mismo mensaje se lo enva utilizando ahora n dgitos y en el mismo
tiempo. la velocidad de transmisin de los dgitos es n/T
es decir que la velocidad de transmisin aumenta.
es
Si la duracin del pulso es T/n el mnimo ancho de banda necesario

B' = n/2T
relacionando los dos anchos de banda tenemos que

B/B' = k/n = 1/Rt
RtB = B'
Es decir que para realizar un control de errores manteniendo
la velocidad de trasmisin del mensaje, el ancho de banda del canal
debe aumentar en un factor de Rt
Los n - k dgitos extras que proporciona el codificador para
crear el nuevo bloque se denominan dgitos de control.
Eficacia de la deteccin
La existencia de redundancia en una informacin hace que un
mensaje se inteligible an cuando contenga algn error. Un diseo
apropiado de la redundancia en un esquema de codificacin es un mtodo
eficiente de aumentar la seguridad de la informacin
La medida Rd de la redundancia de un cdigo dado, se define en
funcion de la capacidad del canal C y de la informacin I que transporta
el cdigo
Rd =
H(S) max - I
H(S) max
donde 0 Rd 1
Cdigo Bloque
ING. CARLOS EGAS
En general se tiene 2k bloques distintos a

ciados en una correspondencia de uno a uno a
de longitud n, los cuales forman el llamado
A las secuencias de n dgitos se las denomina
ser codificados, aso2k bloques distintos

cdigo bloque (n,k).
palabras cdigo.
Para muchas aplicaciones los errores se pueden reducir sin

alterarlos si slo se detectan, sin intentar una correccin inmediata.
El cdigo bloque detector de errores mas simple, es aquel que
se basa en verificar la paridad del mensaje recibido, y donde n =
k + 1, por lo que estamos hablando de un cdigo bloque (k+1,k).
Por ejemplo el cdigo (6,5) tiene un total de 25 mensajes y
palabras cdigo. Uno de ellos es
mensaje
palabra cdigo
10101
110101
El nico dgito extra que aade el codificador se lo hace con

el criterio de mantener la paridad de 1L transmitidos, es decir, si
hay un nmero par de unos, se aade un cero y si es impar se aade
un uno.
Otro cdigo bloque, es el cdigo de repeticin representado como
(n,1) en el cual se repite n veces el mensaje a enviar para de esta
forma por mayora decidir la presencia de errores en la transmisin.
Por ejemplo el cdigo repeticin (5,1) tiene un total de dos
mensajes asociados a dos palabras cdigo y estas dos palabras cdigo
forman el llamado cdigo bloque (5,1).
mensaje
palabra cdigo
0
1
00000
11111
Cdigo Bloque lineal

Un cdigo bloque de longitud n y 2k palabras cdigo, es llamado
cdigo bloque lineal (n,k). Si y solo si las 2k palabras cdigo forman
un subespacio k-dimensional del espacio n-dimencional que puede
formarse con todos los vectores de longitud n.
En otras palabras un cdigo bloque es lineal, si y solo si la
suma modulo 2 entre dos palabras cdigo es otra palabra cdigo.
La linealidad de un cdigo bloque facilita los procesos de
codificacin y decodificacin
El
cdigo
caractersticas
bloque
lineal
(7,4)
tiene
las
siguientes
ING. CARLOS EGAS
Mensaje
Palabra cdigo
0
1
0
1
0
1
0
1
0
1
0
1
0
1
0
1
0
1
0
1
1
0
1
0
1
0
1
0
0
1
0
1
0
0
1
1
0
0
1
1
0
0
1
1
0
0
1
1
0
0
0
0
1
1
1
1
0
0
0
0
1
1
1
1
0
0
0
0
0
0
0
0
1
1
1
1
1
1
1
1
0
1
1
0
1
0
0
1
0
1
1
0
1
0
0
1
0
0
1
1
1
1
0
0
1
1
0
0
0
0
1
1
0
1
0
1
0
1
0
1
0
1
0
1
0
1
0
1
0
0
1
1
0
0
1
1
0
0
1
1
0
0
1
1
0
0
0
0
1
1
1
1
0
0
0
0
1
1
1
1
0
0
0
0
0
0
0
0
1
1
1
1
1
1
1
1
La representacin vectorial del mensaje y la palabra cdigo es

u = (0,1,1,1)
v = (0,0,1,0,1,1,1)
Si un cdigo bloque lineal C (n,k) es un subespacio k-dimensional

del espacio vectorial Vn, entonces es posible encontrar k palabras
cdigo linealmente independientes
g0 , g1 , ................ , gk-1
tal que cualquier palabra cdigo v sea una combinacin lineal de estos
k vectores
v = u0 g0 ,u1 g1 , ................ ,uk-1 gk-1
Con los elementos de estos k vectores cdigo linealmente
independientes podemos formar una matriz que la llamaremos matriz
generadora, la cual nos permitir encontrar todas las palabras cdigo
del cdigo bloque lineal.
g0
g1
g0,0
g1,0
g0,1
g1,1
g0,2
g0,2
........
........
g0,n-1
g1,n-1
ING. CARLOS EGAS
G =
gi=
(gi,0
.
.
.
.
gk-1
.
= .
.
.
gk-1,0
gi,1
gi,2
1
.
.
.
gk-1,1 gk-1,2
........
.
........gk-1,n-1
0 i k
gi,n-1)
Si u = (u0 , u1 , ................ , uk-1)

a ser codificado entonces
representa al mensaje
v = u . G
=(u0 , u1 , ................ , uk-1)
g0
g1
g2
.
.
.
gk-1
Caractersticas de la matriz generadora:

-genera al subespacio vectorial Vk
-esta formada por lo elementos de los k vectores linealmente independientes
-se puede encontrar diversos conjuntos de vectores linealmente
independientes que formen la matriz G, y solo algunos de ellos
generarn cdigos buenos
Para el cdigo (7,4) una de sus matrices generadoras tiene la
siguiente forma
1
0
1
1
1
1
1
0
0
1
1
1
1
0
0
0
0
1
0
0
0
0
1
0
0
0
0
1
Bajo cierta estructura de la matriz G es posible obtener una

palabra codificada con la siguiente caracterstica:
bits introducidos en
bits de la informacin
ING. CARLOS EGAS
la codificacin.
que se codific
n-k dgitos
k dgitos
Cuando la palabra cdigo posee esta estructura, al cdigo se
lo llama cdigo lineal sistemtico. Esta estructura facilita los
proceso de codificacin ya que en lugar de calcular los n dgitos
de la palabra cdigo, el codificador, solo debe calcular n-k dgitos
denominados bits de control
La matriz generadora de un cdigo con estructura sistemtica
tiene la siguiente forma.
p0,0
p1,0
.
.
.
pk-1,0
G =
p0,1
p1,1
........
........
.
pk-1,1
p0,n-k-1 | 1 0 0
p1,n-k-1 | 0 1 0
|
.
|
.
|
.
|
.
........pk-1,n-k-1 | 0 0 0
.. 0
.. 0
.. 1
G = P Ik
Al hacer la multiplicacin
v = u . G
se tienen las siguientes ecuaciones, las cuales nos permitirn
encontrar los bits de control
vn-k-i = ui
para 0 i < k
vj = u0 p0,j + u1
p1,j +.........+ uk-1 pk-1,j
para 0 j < n - k
Para el cdigo (7,4) las ecuaciones son las siguientes
v0
v1
v2
v3
v4
v5
=
=
=
=
=
=
u0
u1
u2
u3
u1 + u2 + u3
u0 + u1 + u2
ING. CARLOS EGAS
v6
u0 + u2 + u3
Una manera de implementar un circuito codificador de un cdigo

bloque lineal sera el de almacenar todas las palabras cdigo posibles,
las cuales estaran relacionadas a solo una secuencia de mensaje a
codificar, sin embargo este mtodo para cdigos cuyo valor de n sea
demasiado grande implicara utilizar gran cantidad de memoria para
este propsito.
El mtodo mas utilizado para realizar la codificacin, es la
implementacin de las ecuaciones anteriormente descritas por hardware
o software.
entrada
u(x)
registro para u(x)
u0 u1
.......
uk-1
calculo de bits de control
v0 v1
.......
vn-k-1
registro de bits de control
salida
v(x)
mux
Figura N.1 Circuito codificador de un cdigo bloque (n,k)

Para cualquier matriz G (k x n) con k filas linealmente independientes, existe una matriz que la representaremos por H ((n-k) x n)
con n-k filas linealmente independientes tal que cualquier fila en
G es ortogonal a las filas de H. La matriz H se la encuentra a partir
de la matriz G.
H =
1 0 0 ... 0
0 1 0 ... 0
.
.
.
.
0 0 0 ... 1
p0,0
p0,1
p1,0
p1,1
....... pk-1,0
........ pk-1,0
.
p0,n-k-1 p1,n-k-1 ........pk-1,n-k-1
H = In-k PT
La matriz H puede ser utilizada como matriz generadora, por lo
ING. CARLOS EGAS
que , genera un cdigo lineal sistemtico Cd denominado cdigo dual

del cdigo C generado por la matriz G
Esta propiedad implica que cualquier n-tupla v es una palabra
cdigo generado por G si y solo si se cumple la siguiente condicin;
v . HT = 0
Realizando este producto se puede comprobar en el receptor si
el bloque recibido est libre de error.
Para el cdigo (7,4) la matriz verificadora de paridad es
1
0
0
0
1
0
0
0
1
1
1
0
0
1
1
1
1
1
1
0
1
Esta matriz verificadora de paridad, puede utilizarse como matriz

generadora del cdigo dual al codigo (7,4). Dando lugar al codigo
(7,3) que tiene las siguientes palabras cdigo
Mensaje
Palabras cdigo
0
1
0
0
1
1
0
1
0
1
0
0
1
1
0
1
0
0
1
0
1
0
1
1
0
0
0
1
0
1
1
1
0
0
1
0
1
0
1
1
0
0
0
1
0
1
1
1
0
1
1
0
0
1
1
0
0
0
1
1
1
1
0
0
0
1
1
1
0
0
0
1
0
1
0
1
1
0
1
0
Hay que notar, que la estructura sistemtica de las palabras

cdigo as formadas, se componen primero del mensaje y luego de los
bits de control.
En el receptor , el decodificador a partir de la secuencia
recibida r = ( r0 , r1 , ................ , rn-1 ) y de la matriz
verificadora de paridad H, realiza el clculo de la siguiente expresin
cuyo resultado se lo conoce como sndrome, es decir
S = r . HT
S = (s0 , s1 , ................ , sn-k-1)
donde S representa el sndrome.
S es igual 0 , si y solo si r es una palabra cdigo y S no es
igual 0 si y solo s r no es una palabra cdigo, por lo que existen
errores en bloque recibido r.
ING. CARLOS EGAS
Al desarrollar la expresin que me permite encontrar el sndrome,

se generan las siguientes ecuaciones.
s0 =
r0 + rn-k p0,0 + rn-k+1 p1,0 ...
rn-1 pk-1,0
s1 =
r1 + rn-k p0,1 + rn-k+1 p1,1
.. rn-1 pk-1,1
.
.
.
sn-k-1 =
rn-k-1 + rn-k p0,n-k-1 + rn-k+1 p1,n-k-1 ... rn-1 pk-1,n-k-1
.
.
.
El echo vital acerca del sndrome es que depende solo del tipo
de error introducido durante la transmisin y no del bloque transmitido
v. Es por esta razn que cada valor que puede tomar el sndrome es
asociado a uno y solo un tipo de error el cual es representado por
e.
r = e + v
con e = ( e0 , e1 , e2 ,........, en-1 )
ei son los elementos del tipo de error o errores
S = e . HT
Esta expresin nos permite obtener un total de n - k ecuaciones
en las cuales los elementos del tipo de error son las variables cuyo
valor debemos encontrar y de esta manera poder conocer el tipo de
error introducido en la transmisin y por lo tanto realizar la
correccin del bloque recibido.
s0 =
s1 =
s2 =
..
..
..
sn-k-1 =
en-k-1
e0 + en-k p0,0 + en-k+1 p1,0

e1 + en-k p0,1 + en-k+1 p1,1
e2 + en-k p0,2 + en-k+1 p1,2
+ en-k p0,n-k-1 + en-k+1 p1,n-k-1
...
...
...
...
en-1 pk-1,0
en-1 pk-1,1
en-1 pk-1,2
en-1 pk-1,n-k-1
Estas ecuaciones tienen un total de 2k soluciones de las cuales

el decodificador debe escoger la mas probable, la cual corresponde
a un tipo de error con menos errores. Es por esto que toda la
implementacin de la correccin de errores debe minimizar la
ING. CARLOS EGAS
probabilidad de una decodificacin errnea escogiendo la solucin

mas probable.
Las soluciones representan todos los tipos de errores que tienen
el mismo sndrome
Para el cdigo (7,4) se puede establecer un sistema de 3
ecuaciones con 7 incgnitas
s0 =
s1 =
s2 =
e0 + e3 + e5 + e6
e1 + e3 + e4 + e5
e2 + e4 + e5 + e6
Si se transmite la palabra cdigo v = (1,0,0,1,0,1,1) y se recibe

la secuencia r = (1,0,0,1,0,0,1) , el sndrome que se puede calcular
a partir de la secuencia recibida es
s = r.HT
es decir
(1,1,1) = (1,0,0,1,0,0,1).
1
0
0
1
0
1
1
0
1
0
1
1
1
0
0
0
1
0
1
1
1
Con el sndrome calculado s = (1,1,1) se puede obtener el

siguiente sistema de tres ecuaciones con siete incognitas
1 =
1 =
1 =
e0 + e3 + e5 + e6
e1 + e3 + e4 + e5
e2 + e4 + e5 + e6
Para este sistema de ecuaciones existen un total de 24 = 16 tipos

de errores que satisfacen el sistema de ecuaciones, los cuales se
detallan a continuacin
(
(
(
(
(
(
(
(
0
1
0
1
1
0
1
0
0
1
1
0
1
0
0
1
0
0
1
1
1
1
0
0
0
1
0
1
0
1
0
1
0
0
1
1
0
0
1
1
1
1
1
1
0
0
0
0
0
0
0
0
0
0
0
0
)
)
)
)
)
)
)
)
(
(
(
(
(
(
(
(
1
0
1
0
0
1
0
1
0
1
1
0
1
0
0
1
1
1
0
0
0
0
1
1
0
1
0
1
0
1
0
1
0
0
1
1
0
0
1
1
1
1
1
1
0
0
0
0
1
1
1
1
1
1
1
1
)
)
)
)
)
)
)
)
ING. CARLOS EGAS
Existe una correspondencia de uno a uno entre el tipo de error

y el sndrome por lo cual cada tipo de error esta asociado a solo
un valor de sndrome, y el nmero de sndromes diferentes es igual
al nmero de tipos de errores que se pueden corregir.
Para el cdigo (7,4) la correspondencia entre el sndrome y el
tipo de error es
so
s1
s2
e0
e1
e2
e3
e4
e5
e6
0
1
0
0
1
0
1
1
0
0
1
0
1
1
1
0
0
0
0
1
0
1
1
1
0
1
0
0
0
0
0
0
0
0
1
0
0
0
0
0
0
0
0
1
0
0
0
0
0
0
0
0
1
0
0
0
0
0
0
0
0
1
0
0
0
0
0
0
0
0
1
0
0
0
0
0
0
0
0
1
CAPACIDAD DE DETECCION Y CORRECCION DE UN ERROR

Si v es una n tupla binaria entonces se define el ancho de hamming
de v representado por w ( v ) como el nmero de elementos diferentes
de cero que tiene v.
La distancia de Hamming entre dos palabras cdigo v y w representado como d (v , w ) se define como el nmero de lugares en los cuales
ambas palabras cdigo difieren. Este parmetro determina la capacidad
de correccin y deteccin de errores de un cdigo
La distancia mnima de un cdigo bloque lineal se define como
la distancia de valor mnimo que se obtiene al calcular la distancia
de Hamming entre todos sus elementos.
Estas definiciones son
importantes porque de ellas depende la capacidad de un cdigo para
corregir y detectar errores.
dmin = Wmin
Dado un cdigo lineal C (n,k) con una matriz verificadora de
paridad H, Por cada vector de cdigo con ancho de Hamming l, entonces
existen l columnas de H tal que la suma vectorial de estas l columnas
es igual al vector cero.
Es decir, un cdigo bloque lineal C (n,k) que tiene una matriz
verificadora de paridad H, el mas pequeo nmero de columnas de H
que sean linealmente independientes es igual a la distancia mnima
del cdigo C.
ING. CARLOS EGAS
As tenemos que un cdigo bloque con distancia mnima dmin garantiza corregir todos los tipos de errores con t errores o menos.
t = (dmin - 1) / 2
Puede detectar todos los tipos de errores con hasta dmin - 1
errores.
Cada cdigo bloque con una distancia mnima dmin garantiza
detectar todos los tipos de errores con dmin - 1 errores o menos, sin
embargo puede darse la posibilidad de que pueda detectar algunos
con dmin o mas errores. Aquel cdigo que garantiza corregir todos los
tipos de errores con dmin - 1 errores o menos
y ningn tipo de error con mas errores se denomina cdigo perfecto.
La distancia mnima del cdigo (7,4) es igual a tres, lo que
significa entre otras cosas, que para transformar una palabra cdigo
en otra palabra cdigo es necesario modificar dicha palabra, en por
lo menos tres lugares
En general un cdigo bloque lineal (n,k) es capaz detectar 2n
- 2
secuencias errneas de longitud n, denominados errores
detectables.
k
Existen 2k - 1 tipos de errores que transforman una palabra cdigo

en otra palabra cdigo y por lo tanto no pueden ser detectados, por
esta razn existe 2k - 1 tipos de errores indetectables.
El nmero de tipos de errores que puede corregir un cdigo esta
intimamente relacionado con el nmero de sndromes diferentes que
puede generar un decodificador, ya que cada valor de sndrome esta
asociado con un tipo de error diferente. De esta forma un cdigo es
capaz de corregir 2n-k tipos de errores diferentes.
PASOS DE LA DECODIFICACION
1.-Calcular el sndrome del vector recibido r utilizando la expresion
r.HT
2.-asociar el sndrome calculado con el tipo de error correspondiente
3.-Completar la decodificacin del vector recibido r realizando la
siguiente operacin
v = r + e
CIRCUITO DE DEDODIFICACION
r
Registro que almacena a r

ING. CARLOS EGAS
r0 r1 . . . . .
rn-1
Circuito que calcula el sndrome S
s0 s1 . . . . . sn-k-1
Circuito combinacional que asocia
un S con un e
e0
e1
en-1
r0 r1
. . . . rn-1
v0
v1
vn-1
Figura N.- 2Bloques que conforman un circuito decodificador
El circuito que calcula el sndrome es lo obtiene a partir de
las ecuaciones que provienen de desarrollar s = r.HT
El circuito conbinacional que me proporciona el tipo de error
introducido en la transmisin, basicamente es un circuito cuya tabla
de verdad contiene como elementos de entrada a todas las combinaciones
posibles de sndromes y como salidas al tipo de error asociado a su
correspondiente sndrome.
CDIGOS HAMMING
Este tipo de cdigos son ampliamente usados debido a la facilidad
de implementacin de los circuitos codificadores y decodificadores
para el control de errores y su caracterstica principal es que pueden
detectar tipos de errores con un mximo de dos errores y pueden corregir
tipos de errores con un error
Para cualquier valor de m 3 existe un cdigo bloque lineal
con los siguientes parmetros
longitud del cdigo

# de smbolos de informacin
# de smbolos verificadores de paridad
capacidad de correccin de errores
n = 2m
k = 2m
n- k =
t = 1
- 1
- m - 1
m
dmin = 3
ING. CARLOS EGAS
Caracterstica especial de los cdigos Hamming, es que la matriz

verificadora de paridad de este cdigo H contiene como columnas a
todos los vectores de m elementos, excepto el vector cero
Un cdigo corrector de t errores se dice perfecto , si todos
los tipos de errores que corrige tienen t errores o menos y no mas
de t
PROBABILIDAD DE NO DETECTAR UN ERROR EN UN BSC
Si C es un cdigo bloque lineal (n,k) y si adems definimos a
Ai com el nmero de palabras cdigo de ancho i en C, los valores
A0,A1,A2,.....An toman el nombre de distribucin de ancho del cdigo
C.'
La probabilidad de no detectar un error representada por Pu(E),
viene dada por la siguiente expresin
n
Pu(E) = Ai pi (1 - p )n-i
i=1
p es la probabilidad de transicin del canal binario simtrico.

A partir de esta expresin se puede determinar la existencias
de cdigos bloque lineales cuya probabilidad de error decrece
exponencialmente con el nmero de dgitos de paridad, es decir que
existen cdigos bloque lineales (n,k) tal que
Pu(E) 2
-(n-k)
CODIGOS CICLICOS
Los cdigos cclicos son una clase muy importante de los cdigos
bloque lineales ya que la implementacin de los circuitos codificadores y decodificadores resulta ser mucho menos complicada y esto
se debe a la propiedad cclica que presentan.
En este cdigo se cumple que cualquier desplazamiento de una
palabra cdigo se transforma en otra palabra cdigo. Es decir si
v = (v0 , v1 , ......., vn-1) es una palabra cdigo, el vector resultante
de desplazar ciclicamente i veces este vector es tambin una palabra
cdigo.
v
(i)
= (vn-i , vn-i+1 ,
....vn-1 , v0 , ...vn-i1)
ING. CARLOS EGAS
La descripcin polinomial de los cdigos cclicos es de tal forma

que al vector de cdigo v = (v0 , v1 , ......., vn-1) , que representa
la palabra codificada, le corresponde un polinomio dado por;
v(x) = v0 + v1X1 + v2X2 + ...... + vn-1Xn-1.
al vector u = (u0 , u1 , ........uk-1), palabra a codificar, le
corresponde un polinomio
u(x) = u0 + u1X1 + u2X2 + ...... + uk-1Xk-1
Todos los polinomios que se pueden formar con todas las palabras
cdigo que conforman el cdigo, forman tambin un subespacio vectorial
y por lo tanto existir un polinomio que genere dicho espacio
vectorial. Este polinomio representado por g(x) se lo conoce como
polinomio generador.
v(x) = u(x) .g(x)
Este polinomio g(x) es un polinomio de grado mnimo y tiene
la siguiente forma:
g(x) =
g0X0 + g1X1 + .......+ grXr
Propiedades del polinomio generador

1.- Es un polinomio de grado mnimo, es decir que de entre todos
los polinomios cdigos que conforman el cdigo ciclico, que tienen
grados entre r-1 y n-1, el polinomio generador va tener el grado r-1.
2.- El polinomio diferente de cero de grado mnimo en un cdigo
cclico es nico.
Sea g(X)= g0 +g1X +... +gr-1Xr-1 +Xr
Suponiendo que:
un polinomio de grado mnimo.
g'(X)= g0' +g1'X +... +gr-1'Xr-1 +Xr

tambin sea de grado mnimo,
g(X)+g'(X)= (g0+g0') +(g1+g1')X +... +(gr-1+gr-1')Xr-1
la suma es de grado r-1, menor que el grado de g(X), lo que no es
posible.Por tanto, g(X)+g'(X)=0 de lo que g(X)=g'(X).
3.- Sea g(X)= g0 +g1X +...+gr-1Xr-1 +Xr un polinomio diferente de
cero de grado mnimo en un cdigo cclico C(n,k). Entonces el trmino
ING. CARLOS EGAS
constante g0 debe ser igual a 1.

Suponiendo que g0 =0, entonces
g(X)= g1X +g2X2 +...+gr-1Xr-1 +Xr
si se desplaza cclicamente n-1 lugares a la derecha (o un lugar a
la izquierda), resulta el polinomio de cdigo
g1 +g2X + ...+gr-1Xr-2 +Xr-1
que es de grado menor que g(X) que es el de grado mnimo, siendo una
contradiccin, g0 = 0.
De la propiedad anterior se establece que el polinomio de cdigo
de grado mnimo es de la forma:
g(X)= 1 +g1X +g2X2 +...+gr-1Xr-1 +Xr
4.- Siendo g(X)= 1 +g1X+...+gr-1Xr-1 +Xr un polinomio de cdigo
diferente de cero y de grado mnimo en un cdigo cclico C(n,k). Un
polinomio binario de grado menor o igual a "n-1" es un polinomio de
cdigo si y slo si es mltiplo de g(X).
Si v(X) es un polinomio binario de grado menor o igual a n-1, suponiendo
que es mltiplo de g(X), entonces:
v(X)= (a0 +a1X +...+an-r-1Xn-r-1)g(X)
= a0g(X) +a1Xg(X) +...+an-r-1Xn-r-1g(X)
es una combinacin lineal de g(X), Xg(X),..,Xn-r-1g(X), y por tanto
polinomio de cdigo en C. Esto prueba la primera parte del teorema.
Dividiendo v(X) (polinomio de cdigo en C), por g(X) se obtiene:
v(X) = a(X)g(X) + b(X)
donde b(X) es cero o de menor grado que g(X).
Dado que la adicin y sustraccin en mdulo-2 son iguales,
b(X) = v(X) + a(X)g(X)
De la demostracin anterior, a(X)g(X) y v(X) son polinomios de
cdigo y por tanto b(X) tambin lo es. Si b(X)=0, sera de menor grado
que g(X), lo que contradice la hiptesis. As, b(X)=0 y v(X) es mltiplo
de g(X).
Si v(X) =
valor 0 o 1. El
a n-1 mltiplos
son polinomios
a(X)g(X), los coeficientes de a(X) pueden tener el

nmero de polinomios binarios de grado menor o igual
de g(X) es 2n-r . Demostrandose anteriormente que stos
de cdigo.
Para una longitud k se pueden tener 2k posibles mensajes

ING. CARLOS EGAS
diferentes, un cdigo cclico C (n,k) contiene los 2k polinomios de

cdigo correspondientes, de modo que 2n-r =2k ,y r=n-k.
El polinomio de cdigo diferente de cero con grado mnimo en
un cdigo cclico C (n,k) tiene la siguiente
forma:
g(X)= 1 +g1X +g2X +...+gn-k-1Xn-k-1 +Xn-k
5.- En un cdigo cclico C (n,k) existe un nico polinomio de cdigo
de grado n-k.
g(X)= 1 +g1X +g2X +...+gn-k-1Xn-k-1 +Xn-k
Este propiedades es una conclusin de los anteriores.
v(X) puede expresarse de siguiente forma:
v(X)= u(X)g(X)
v(X)= (u0 +u1X +...+uk-1Xk-1) g(X)
Si los coeficientes de u(X), u0 ,u1 ,...uk-1 son los k dgitos
de la informacin; v(X) es el correspondiente polinomio de cdigo.
La codificacin puede realizarse multiplicando el mensaje u(X) por
g(X).
Por lo tanto, un cdigo cclico es especificado completamente
por el polinomio de grado mnimo g(X) llamado polinomio generador
del cdigo, cuyo grado es igual al nmero de dgitos de chequeo de
paridad .
6.- Si g(X) es un polinomio de grado n-k y es un
entonces g(X) genera un cdigo cclico
C (n,k).
factor de
Xn+1,
Considerando los k polinomios g(X),Xg(X),.... ....Xk-1g(X) de

grado menor o igual a n-1 mltiplos de g(X), y su combinacin lineal
se tiene:
v(X)= a0g(X) +a1Xg(X) +...+ak-1Xk-1 g(X)
=(a0 +a1X +...+ak-1Xk-1) g(X)
que tambin es de grado menor o igual a n-1 y mltiplo de g(X).
Hay un total de 2k de estos polinomios que forman un cdigo lineal (n,k).
Si, v(X)= v0 +v1X +...+vn-1Xn-1 es un polinomio en este cdigo.
Multiplicando v(X) por X se obtiene:
Xv(X)= v0X +v1X2 +...+vn-2Xn-1 +vn-1Xn
ING. CARLOS EGAS
Sumando dos veces vn-1 se tiene:

Xv(X)= vn-1 (Xn+1)+(vn-1 +v0X +...+vn-2Xn-1)
= vn-1 (Xn+1)+ v(1)(X)
donde v(1)(X) es un desplazamiento cclico de v(X).
Ya que Xv(X) y Xn+1 son divisibles por g(X), v(1)(X) tambin debe
ser divisible por g(X) y un polinomio de cdigo.
Este teorema establece que todo factor de Xn+1 con grado n-k
genera un cdigo cclico (n,k).
Para una longitud n, Xn+1 puede tener varios factores de grado
n-k, los mismos que generan cdigos cclicos diferentes.
7.- El polinomio generador g(X) de un cdigo cclico es un factor
de Xn+1.
Multiplicando g(X) por Xk se tiene un polinomio Xkg(X) de grado n,
el mismo que si se divide por Xn+1 da como resultado:
Xkg(X) = (Xn+1) + g(k)(X)
donde g(k)(X) es el residuo.
g(k)(X) se obtiene desplazando g(X) k veces a la derecha, y por
consiguiente es mltiplo de g(X); es decir g(k)(X)=a(X)g(X).
Reemplazando se obtiene:
Xn+1 = {Xk+a(X)} g(X)
Por tanto, g(X) es un factor de Xn+1.
Para grandes valores de n , Xn + 1 puede tener muchos factores, solo
algunos de estos factores generan cdigos buenos, saber cuales son,
puede ser muy complicado.
De esta forma g(x), el polinomio generador, toma la siguiente forma
g(x) = 1 + g1X1 + .......+ gn-kXn-k
As el grado del polinomio generador es igual al nmero de bits de
control introducidos en la codificacin.
El nmero de polinomios binarios de grado menor o igual a
n-1 que son mltiplos de g(x) es igual a 2n-k y son llamados polinomios
de cdigo del cdigo cclico C (n,k). Con lo cual el cdigo cclico
ING. CARLOS EGAS
(n,k) esta completamente definido por su polinomio generador de grado

mnimo g(x).
De esta forma para que un polinomio de grado n-1 sea un cdigo
polinomial entonces este polinomio debe ser factor de g(x).
La codificacin de un mensaje representado por u(x) puede ser
realizada multiplicando dicho polinomio por g(x), de esta forma los
coeficientes del polinomio resultante v(x) nos dar la palabra cdigo
o la palabra codificada, la cual sin embargo no tiene estructura
sistemtica.
v(x) = u(x).g(x)
Una propiedad importante del polinomio generador es que este
polinomio es factor de Xn + 1. Cualquier factor de Xn + 1 con grado
n-k genera un cdigo cclico (n,k).
Como ya lo mencionamos antes, caracterstica fundamental de
los cdigos, es que sean cdigos sistemticos. La manera de obtener
cdigos cclicos sistemticos a partir de un polinomio generador es
la siguiente.
Si u(x) = u0 + u1X1 + u2X2 + ...... + uk-1Xk-1 representa
al mensaje a ser codificado, al multiplicar este polinomio por Xn-k
nos dar la siguiente expresin:
Xn-k.u(x) = u0Xn-k + u1Xn-k+1 + u2Xn-k+2 + ...... + uk-1Xn-1
dividiendo esta expresin para g(x) tenemos que:
Xn-k.u(x) = a(x) g(x) + b(x)
Xn-k.u(x) + b(x) = a(x).g(x)
donde a(x) es el cuociente y b(x) es el residuo.
El polinomio representado por Xn-k.u(x) + b(x) es una palabra
cdigo ya que es mltiplo de g(x) y es igual a:
b0 + b1X + ........+ bn-k-1Xn-k-1 + u0Xn-k + u1Xn-k+1 +
u2Xn-k+2 + ...... + uk-1Xn-1
Los coeficientes de este polinomio corresponden a un vector de
cdigo representado por:
v = (b0 , b1 , .....bn-k-1 , u0 , u1 , ..... , uk-1 )
que corresponde a la palabra codificada.
Se puede concluir que los bits de control de un cdigo cclico
se obtienen de los coeficientes del residuo que resulta de dividir
ING. CARLOS EGAS
Xn-k.u(x) para g(x).

Para El cdigo (7,4), el polinomio generador es g(X)=1+X+X3.
Si el mensaje a codificar es:
u=(1010), u(X)=1+X2.
La divisin de X3 u(X)=X3 +X5
la siguiente manera:
por g(X)=1 +X +X3 se realiza de
X2 : (cuociente)
---------------------:
X3 +X +1
X5
+X3
5
X
+X3 +X2
----------------X2
(residuo)
por tanto b(X)=X2, el polinomio de cdigo es:
v(X)= b(X)+X3 u(X)
= X2 +X3 +X5
el vector de cdigo resultante es: v=(0011010), donde los cuatro
ltimos dgitos corresponden a los del mensaje.
los vectores cdigo y polinomios de cdigo para el cdigo cclico
(7,4) en forma sistemtica, generado por el polinomio g(X)=1+X+X3
se presentan en la siguiente tabla.
Cdigo Cclico (7,4)
g(X)= 1+X+X3
Mensaje
0000
1000
0100
1100
0010
1010
0110
1110
0001
1001
Vect.de Cdigo
0000000
1101000
0110100
1011100
1110010
0011010
1000110
0101110
1010001
0111001
Polinomio de Cdigo
0
1+X+X3
X+X2+X4
1+X2+X3+X4
1+X+X2+X5
X2+X3+X5
1+X4+X5
X+X3+X4+X5
1+X2+X6
X+X2+X3+X6
ING. CARLOS EGAS
0101
1101
0011
1011
0111
1111
1
1+X+X4+X6
X3+X4+X6
X+X5+X6
1+X3+X5+X6
X2+X4+X5+X6
1+X+X2+X3+X4+X5+X6
1100101
0001101
0100011
1001011
0010111
1111111
De la misma forma como en los cdigos bloque, existia una matriz

H que me generaba un cdigo dual , al cdigo generado por G, en los
cdigos cclicos tambin se puede encontrar un polinomio de paridad
representado por h(x) a partir de la cual se puede generar un cdigo
dual al cdigo C, generado por g(x).
h(x) = (Xn + 1 ) / g(x)
h(x) = h0 + h1X1 + h2X2 + ...... + hkXk
con h0 = hk = 1
Obtencin de la matriz generadora
a)
En forma no sistemtica
Para un cdigo cclico (n,k) que tiene un polinomio generador

g(x) = 1 + g1X1 + .......+ gn-kXn-k se puede obtener la matriz generadora
no sistemtica, a partir de los coeficientes del polinomio g(x) de
la siguiente forma.
G =
g0
0
..
..
g1
g0
.
........ gn-k
0
........ bn-k-1 gn-k
0
0
0 ......
0
....
g0
g1
........
0
0
gn-k-1
Para el cdigo cicclico (7,4) que tiene como polinomio generador

a g(X)=1+X+X3
la matriz generadora para un cdigo cclico no
sistematico tiene la siguiente forma
G =
b)
1
0
0
0
1
1
0
0
0
1
1
0
1
0
1
1
0
1
0
1
0
0
1
0
0
0
0
1
En forma sistemtica
ING. CARLOS EGAS
La matriz generadora sistematica de un cdigo cclico puede ser

obtenida facilmente, dividiendo Xn-k+i para el polinomio generador g(x)
para i = 0,1,2 ....k-1.
Xn-k+i = ai(x)g(x) + bi(x)
bi(x) es el residuo de la divisin.
bi(x) = biX0 + bi,1X1 + bi,2X2 + ...... + ui,n-k-1Xk-1
Los k - 1 residuos de las divisiones son las filas de P de la
matriz generadora que toma la siguiente forma
G =
b0,0
b0,1
b1,0
b1,1
.
.
bk-1,0 bk-1,1
........
........
b0,n-k-1 | 1 0 0 .. 0
b1,n-k-1 | 0 1 0 .. 0
........bk-1,n-k-1| 0 0 0 .. 1
Para el cdigo (7,4) con g(X)=1+X+X3 la forma de obtener la matriz

generadora es la siguiente:
Siguiendo el procedimiento indicado anteriormente para obtener
la matriz del cdigo sistemtico, dividiendo X3,X4,X5,X6 por g(X)
resulta:
X3
X4
X5
X6
=
=
=
=
g(X) + (1+X)
Xg(X) + (X+X2)
(X2+1)g(X) + (1+X+X2)
(X3+X+1)g(X) + (1+X2)
Arreglando las ecuaciones de arriba se obtienen los polinomios de

cdigo:
v0(X)
v1(X)
v2(X)
v3(X)
= 1 +X
=
X +X2
= 1 +X +X2
= 1
+X2
+X3
+X4
+X5
+X6
La matriz en forma sistemtica es:
0
ING. CARLOS EGAS
G =
0
1
1
1
1
1
0
1
1
1
0
0
0
1
0
0
0
1
0
0
0
1
Codificacin de los cdigos cclicos

El proceso de codificacin de cdigos cclicos tiene los siguientes pasos:
1.-Multiplicar el mensaje representados por u(x) por Xn-k

2.-Obtener el residuo b(x) que resulta de dividir u(x) .Xn-k para el
polinomio generador g(x).
3.- Obtener la palabra codificada de los coeficientes del siguiente
polinomio b(x) + Xn-k.u(x)
Los tres pasos matemticos necesarios para realizar la codificacin pueden ser realizados por un circuito que involucra exactamente
n-k registros de desplazamiento con conexiones de realimentacin
basados en el polinomio generador g(x). Tal circuito tiene la siguiente
forma.
mux
g1
g2
gn-k-1
b0b1b3 . . bn-k-1
Xn-ku(x)
v(x)
Figura N 3
de k
Circuito codificador en base al polinomio g(x)
Para la implementacin de este circuito codificador necesitamos

registros de desplazamiento.
La codificacin tambin puede ser realizada en base al polinomio
ING. CARLOS EGAS
de paridad representado por h(x),en el cual se necesitan n registros

de desplazamiento
hk-1
hk-2
h0
h1
mux
u(x)

mux . .
v(x)
Figura N 4Circuito codificador en base a h(x)
SINDROME Y DETECCION DEL ERROR

En el receptor el decodificador acepta una secuencia de n digitos
representada por:
r = ( r0 , r1 , ................ , rn-1 )
la cual puede o no estar libre de error.
Esta secuencia puede ser representada por un polinomio r(x)
r(x) = r0 + r1X1 + r2X2 + ...... + rn-1Xn-1
al dividir este polinomio para el polinomio generador g(x)
tenemos lo siguiente
r(x) = a(x) g(x) + s(x)
El residuo s(x), resultado de esta divisin se conoce como
sndrome, el cual ser igual a cero si r(x) es mltiplo de g(x) o
es generado por g(x) con lo cual los coeficientes del polinomio r(x)
forman una palabra cdigo y por lo tanto se puede decir que no existe
errores en la transmisin.
Si el residuo es diferente de cero r(x) no es generado por g(x)
y por lo tanto existen errores en la transmisin.
El circuito digital para la obtencin del sndrome es similar
al circuito para obtener los dgitos de control de la palabra a
codificar.
ING. CARLOS EGAS
mux
g1
g2
gn-k-1
.....
r(x)
Figura N 5Circuito para calcular el sndrome con entrada de derecha
a izquierda.
mux
g1
g2
gn-k-1
r(x)

s0s1s3 ... sn-k-1
Figura N 6 Circuito que calcula el sndrome con entrada de izquierda

a derecha.
Teorema Sea s(X) el sndrome de un polinomio recibido
r(X)=r0 +r1X +...+rn-1Xn-1. Entonces, el residuo s(1)(X) resultante de
dividir Xs(X) por el polinomio generador g(X) es el sndrome de r(1)(X),
que es un desplazamiento cclico de r(X).
Demostracin:
De acuerdo con las propiedades cclicas, r(X) y r(1)(X) satisfacen
la siguiente relacin:
Xr(X)= rn-1(Xn+1) + r(1)(X)
que puede arreglarse como:
r(1)(X)= rn-1(Xn+1) + Xr(X)
Dividiendo ambos lados por g(X) y utilizando Xn+1= g(X)h(X) se obtiene:
c(X)g(X) + p(X) = rn-1g(X)h(X) + X[a(X)g(X)+s(X)]
donde p(X) es el residuo de dividir r(1)(X) por g(X). Luego p(X) es
el sndrome de r(1)(X).
Modificando la ecuacin anterior:
Xs(X) = [c(X)+rn-1h(X)+Xa(X)]g(X) + p(X)
ING. CARLOS EGAS
Se observa que p(X) es el residuo de dividir Xs(X) por g(X),

por lo tanto p(X)=s(1)(X).
Las propiedades ciclicas de este tipo de cdigos permite establecer que si s(x) es el sndrome del polinomio recibido r(x), entonces
el residuo sj resultado de dividir Xjs(x) para el polinomio generador
g(x), es el sndrome de rj(x), el cual resulta de desplazar ciclicamente
j-veces el polinomio r(x)
Esta propiedad es importante por que va a permitir que el proceso
de decodificacin se realice bit por bit de los dgitos que son
recibidos en forma serial.
Hay que notar que en el proceso de decodificacin, no existe
un retrazo en la velocidad de transmisin de los n dgitos, si es
que la implementacin se la hace por hardware
El diagrama de bloques del circuito corrector de errores que
se presenta a continuacin se lo conoce como decodificador de Meggitt,
el cual puede ser aplicado a cualquier clase de cdigos cclicos que
corrijan un tipo de error con un error.
Los circuitos que son aplicables a los cdigos bloque lineales,
tambin se los puede utilizar con los cdigos cclicos, pero con un
aumento en su complejidad.
entrada
salida
r(x)
ri
v(x)
mux
registro de r(x)
mux
mux
registro de s(x)
ING. CARLOS EGAS
s0 s1
sn-k
detector de e(x)
mux
Figura N 7Circuito corrector de error.

Este circuito , utilizado para la decodificacin de cdigos cclicos, permite corregir un error en el bloque de n dgitos recibidos.
Los dgitos del vector recibido r(x) ingresan en forma serial
al registro que almacena a r(x).
Una ves que todos los elementos de r(x) han ingresado al registro, inmediatamente despus en el registro de s(x) se tiene calculado
el sndrome del polinomio almacenado en el registro
El circuito detector de e(x) es diseado de tal manera que se
genera un uno lgico solamente cuando el error en el vector r(x) este
localizado en la posicin n-1 de r(x), es decir este circuito slo
va a corregir un tipo de error de la forma e(x) = X n-1.
Si el bit localizado en la ltima posicin no es el dgito errneo,
entonces se desplaza ciclicamente los n dgitos recibidos, de tal
manera que a la salida del circuito tenemos un dgito libre de error
y por efectos de la realimentacin en el registro de r(x) tenemos
a la secuencia recibida desplazada una ves.
Al mismo tiempo que es desplazado r(x) tambin desplazamos s(x)
de tal manera que este nuevo sndrome corresponda al polinomio r(x)
desplazada una vez.
El procedimiento anterior se lo hace n veces de tal forma de
que en algn momento el dgito errneo llegue a la posicin n-1. Cuando
esto sucede, el detector de error nos genera un 1L el cual nos indica
que ese dgito es el errneo y por lo tanto es corregido
los
Al desplazar ciclicamente n veces la secuencia recibida, todos

dgitos salen del circuito decodificador libre de error.
CODIGOS BCH
ING. CARLOS EGAS
Este tipo de cdigos son un generalizacin de los cdigos

Hamming para la correccin mltiple de errores. Fueron descubiertos
por Hocquenghem (1959) e independientemente por Bose y Chaudhuri
(1960) y tienen propiedades poderosas para la correcin y algoritmos
de decodificacin simples.
La estructura cclica de estos cdigos fue propuesta por
Peterson el cual propuso tambin su primer algoritmo de decodificacin
que se ha generalizado y optimizado.
Al ser identificado como un cdigo cclico su proceso de
codificacin es simple comparado con el proceso que hay que seguir
para realizar su decodificacin, cuya complejidad aumenta con la
capacidad de correcin y deteccin de errores.
Para cualquier entero positivo m tal que m 3 y cualquier
t con t < 2m-1 existe un cdigo BCH que tiene los siguientes parmetros
longitud del bloquen = 2m - 1

nmero de dgitos de controln - k mt
distancia mnimadmin 2t + 1
Existen cdigos con caractersticas matemticas especiales que llevan
generalmente el nombre de las personas que los descubrieron y que
son por ejemplo los cdigos Goppa, Red-Solomon los cuales son en
realidad cdigos BCH.
Adems se puede mencionar tambin el cdigo Golay que es un cdigo
bloque lineal (23,12), y es muy importante ya que es un cdigo perfecto
que corrige todos los tipos de errores de 3 o menos errores con una
distancia mnima igual a siete. A partir de este cdigo se puede
obtener una variacin de este cdigo que es el (24,12), el cual se
obtiene aumentando un dgito chequeador de paridad
Extensiones de orden m de un campo binario (0,1)
Los polinomios sobre GF(2) que tienen como coeficientes a
los elementos del conjunto formado por F = (0,1),tienen ciertas
propiedades algunas de las cuales detallamos a continuacin:
-Un polinomio p(x) sobre GF(2) cuyo grado es m, es irreducible sobre
GF(2) si p(x) no es divisible para cualquier polinomio sobre
GF(2) cuyo grado sea menor o igual a m
-Cualquier polinomio sobre GF(2) que sea irreducible y de grado m
divide a la expresin Xr + 1, con r = 2m - 1.
-Un polinomio irreducible p(x) de grado m se dice primitivo si el
mas pequeo entero positivo n para el cual p(x) divide a Xn +
1 es n = 2 m - 1.
No es fcil reconocer polinomios primitivos, ya que para una
m dada pueden existir ms de un polinomio primitivo de grado m. Es
por este motivo que es necesario tener presente la siguiente lista
ING. CARLOS EGAS
de polinomios primitivos que tienen el ms pequeo nmero de trminos

m =
=
=
=
=
=
3 1 + X + X3
41 + X + X4
51 + X2 + X5
61 + X + X6
71 + X3 + X7
81 + X2 + X3 + X4 + X8
= 91 + X4 + X9
= 101 + X3 + X10
La extensin de un campo GF(2) representado por GF(2m) posee

2 elementos que son generados a partir de los elementos (0,1). Estos
nuevos elementos son representados en base de un nuevo elemento que
lo llamaremos .
m
La generacin de los elementos de la extensin de GF(2) se

la realiza de la siguiente manera.
0.0 = 1
0.1 = 1.0 =
1.1 = 1
0. = .0 =
1. = .1 =
2 = .
3 = ..
.
..
j = ...
0
0
.....
j veces
Los elementos generados a partir de llegan hasta un elemento

dado por con = 2m -2 , a partir del cual comienzan a repetirse.
Estos elementos forman un conjunto finito F el cual es un grupo de
orden 2m cerrado bajo la suma y multiplicacin mdulo dos
F = ( 0 , 1 , , 2 , 2 , ....... )
Estos elementos que forman un grupo, tambin pueden ser
representados por polinomios diferentes de cero sobre GF(2) que tienen
un grado menor o igual m - 1. El polinomio cero ser representado
por el elemento cero.
La representacin exponencial de los elementos de GF(2m) es
conveniente cuando se realiza la multiplicacin y la divisin. La
representacin polinomial, en cambio, es til para la adicin.
Por ejemplo, los elementos que conforman el conjunto finito
de la extensin de cuarto orden, GF(24), de GF(2) son los siguientes.
F = { 0,1,,2,3,4,5,6,7,8,9,10,11,12,13,14 }
ING. CARLOS EGAS
representacinrepresentacinrepresentacin
exponencialpolinomialbinaria
11
1
0
0
0
0
1
0
0
2
2
0
0
3
3
0
0
41 +
1
1
0
5
+ 2
0
1
1
6
2 + 3 0
0
1
71 +
+ 3
1
1
81 + 2
1
0
1
0
9
+ 3
0
10
2
1 + +
1
1
1
11
+ 2 + 3
12
a 1 + + 2 + 3
1
1
131
+ 2 + 3
1
0
141
3 1
0
0
1
0
0
1
1
0
0
1
1
1
0
1
1
0
0
1
1
1
1
Los 2m - 1 elementos diferentes de cero pertenecientes a

GF(2 ) son todas las races del polinomio Xr + 1 con r = 2m - 1.
m
Si cualquier elemento en GF(2m) es raz del polinomio Xu +

X ( u = 2m ), entonces puede ser raz de un polinomio sobre GF(2)
con grado menor o igual a 2m.
Si (x) es un polinomio de grado mas pequeo sobre de GF(2) tal
que () = 0 entonces el polinomio (x) es el polinomio mnimo de
siendo adems irreducible.
Dado (x) el polinomio mnimo de un elemento de GF(2m) y e
es el entero ms pequeo tal que u = con = 2e entonces;
e-1
(x) = (x + 2i)
i=0
Este teorema nos proporciona la manera para encontrar el polinomio

mnimo de un elemento de campo.
son:
Cada elemento de GF(24) tiene su polinomio mnimo.
elementospolinomio mnimo
1X + 1
,2,4,8X4 + X + 1
3,6,9,12X4 + X3 + X2 + X + 1
5,10X2 + X + 1
ING. CARLOS EGAS
Estos
7,11,13,14X4 + X3 + 1
Todas estas propiedades que han sido resumidas anteriormente,
las cuales rigen el comportamiento de los campos GF(2m) , son
importantes para el diseo e implementacin de los codificadores y
decodificadores de los cdigos BCH, ya que la construccin de campos
GF(2m) y la utilizacin de sus propiedades simplifica mucho la elaboracin de estos cdigos.
Cdigos
BCH
El polinomio generador de este tipo de cdigos esta definido

en trminos de las races que pertenecen al campo de Galois GF(2n).
Si es un elemento primitivo de GF(2n), se define el polinomio
generador g(x) de un cdigo BCH corrector de t errores y longitud
2m-1 como el polinomio de mas alto grado sobre GF(2) que tiene a
,2 ,3 , ..... ,2t como sus racies es decir g(i) = 0 para 1 i
t.
Si v(x) = v0 + v1X1 + v2X2 + ...... + vn-1Xn-1. es un polinomio
de cdigo, de un cdigo BCH, entonces se cumple que
v(i) = 0
para
1 i 2t
La evaluacin del polinomio puede ser escrita en forma

matricial de tal manera que:
1
2i
(v0 , v1 , ......., vn-1)

.
(n-1)i
El codigo (15,7) es un cdigo BCH cuyo polinomio generador

puede ser encontrado en funcin de los polinomios mnimos de cada
uno de los elementos que conforman el campo GF(24)
As, el polinomio generador g(x) el esta definido en trminos
de los polinomios mnimos i(x) de i. por lo cual tenemos que :
g(x) = MCM (1(x) , 3(x) , .....2t(x) )
g(x) = MCM ( 1(x) , 3(x) , 5(x) )
g(x) = 1 + X + X2 + X5 + X8 + X10
ING. CARLOS EGAS
DECODIFICACION DE CODIGOS BCH

El proceso de decodificacin de este tipo de cdigos requiere
de algoritmos decodificadores para simplificar su decodificacin
puesto que corrigen mas de un error simultanemanente.
Si una palabra cdigo representada por:
v(x) = v0 + v1X1 + v2X2 + ...... + vn-1Xn-1
es transmitida y como resultado de los errores introducidos en la
transmisin se tiene un polinomio dado por:
r(x) = r0 + r1X1 + r2X2 + ...... + rn-1Xn-1.
Se puede definir al tipo de error introducido como e(x) tal que
r(x) = v(x) + e(x)
Para saber si la secuencia de dgitos que forman el polinomio
r(x) esta libre de error basta con evaluar el polinomio r(x) con el
valor i para 1 i 2t dando como resultado de esta evaluacin una
expresin que se conoce como sndrome.
Si = r(i).
Si ,2 ,3 , ..... ,2t son todas las races de cualquier
polinomio cdigo, entonces se debe cumplir que si = 0 para 1 i
2t cuando r(x) esta libre de error. Caso contrario el polinomio r(x)
no es un polinomio cdigo y por lo tanto el bloque de dgitos que
forman los coeficientes de r(x) estn con error.
Si r(x) = e(x) + v(x), se tiene que r(i) = e(i) + v(i)
para 1 i 2t. Como se cumple que v(i) = 0 entonces
r(i) = e(i) = Si
Claramente se ve que el sndrome Si depende solamente del
tipo de error e que ha sido introducido en el mensaje.
Si e tiene z errores que estn ubicados en las posiciones
j1 , j2 , .... jz, entonces e(x) tiene la forma:
e(x) = Xj1 + Xj2 + .......Xjz
para 0 < j1 < j2 < j3 < ... < n
Evaluando i, para todo i, en e(x) los componentes del sndrome
vienen dados por las siguientes expresiones.
ING. CARLOS EGAS
S1 =
S2 =
S3 =
.
.
.
S2t =
j1
+ j2
+ ............ + jz
j1 2
j2 2
( )
+ ( )
+ ............+ (jz)2
j1 3
j2 3
( )
+ ( )
+ ............+ (jz)3
.
(j1)2t + (j2)2t + ............+ (jz)2t
Al observar un poco estas ecuaciones, podemos darnos cuenta

que cualquier mtodo para resolverlas representa un algoritmo
decodificador de cdigos BCH, ya que una vez calculados
j1, j2
jz
, .... , las potencias j1, j2, ...jz nos indican las posiciones
erroneas en el bloque recibido.
El sistema de ecuaciones tiene en total 2k soluciones, y cada
solucin corresponde a un tipo de error diferente. Si el nmero de
errores existentes en el tipo de error e(x) es menor o igual t, es
decir que z t , la solucin correcta es aquella en la cual el tipo
de error tiene el mas pequeo nmero de errores, es decir el polinomio
e(x) tiene el menor nmero de coeficientes iguales a 1. Esta solucin
corresponde al tipo de error mas probable
METODO PARA RESOLVER EL SISTEMA DE ECUACIONES
Si l =jl el sistema de ecuaciones anteriormente expuesto

tendr la siguiente forma:
.
.
.
.
S1 = 1 + 2 +............z
S2 = 12 + 22 +............z2
(2)
S2t = 12t = 22t +............z2t
Estas 2t ecuaciones son funciones simtricas en trminos de

1 , 2 ,.......... , z y se los llama nmero localizadores de error.
Ahora definimos un polinomio (x) como :
(x) = ( 1 + 1X)(1 + 2X) ............(1 + zX)
(x) = 0 + 1X + 2X2 + ..........+ zXz
ING. CARLOS EGAS
Las races de este polinomio son:

1-1 ,
2-1 ,.......... , z-1
las cuales son los inversos de los nmeros localizadores de error.

Es por esta razn que a (x) se lo llama polinomio localizador
de error. Es un polinomio desconocido cuyos coeficientes deben ser
encontrados en el proceso de decodificacin.
nes.
Se puede relacionar i y j utilizando las siguientes expresio-
0 = 1
1 = 1 + 2 + ......
+ z
2 = 12 + 23 + ......
.
.
.
z = 123 .....z
+z-1z
(3)
Los coeficientes i son conocidos como funciones

elementales simtricas de los nmeros localizadores de errores l.
Utilizando las expresiones (2) y (3) se puede relacionar a
j con los componentes del sndrome Sj dando lugar a lo que se denomina
como identidades de Newton
S1 - 1 = 0
S2 - S11 - 22 = 0
S3 - S21 + S12 - 33 = 0
S4 - S31 - S22 + S13 - 44 = 0
.
.
.
.
.
A continuacin se mencionan los pasos que se deben seguir
para la decodificacin de un cdigo BCH:
1.-Se calcula el sndrome S = (S1 ,S2 , S3 , ......S2t) del polinomio
recibido r(x)
2.-Se calcula el polinomio localizador de error (x) a partir de los
componentes del sndrome S1 ,S2 , S3 , ......S2t
3.-Se determina los nmeros localizadores de error 1, 2 , ..........
,z calculando las races de (x) para luego, una ves conocidas
las posiciones erroneas, realizar la correccin.
ING. CARLOS EGAS
El primero y tercer paso se lo pueden realizar fcilmente,

el segundo paso es el mas difcil y su complejidad aumenta con la
capacidad de correccin y deteccin de errores que posea el cdigo.
Se han propuesto varios mtodos para calcular el polinomio
(x), el mas utilizado detallamos a continuacin y esta resumido en
el diagrama de flujo presentado en la figura N 3 que se basa en el
algoritmo presentado por Berlekamp.
Para esto es necesario definir el polinomio u(x) formado en
el u-esimo paso de la interaccin
u(x) = 1 + uX +2uX2 +
........ +luuXlu
y la discrepancia u-esima du dada por

du = Su+1 + 1uSu + 2uSu-1 + ........+luuSu+1-lu
Si du = 0 entonces u+1(x) = u(x)
si du # 0 entonces u+1(x) # u(x) y por lo tanto hay que encontrar
u+1(x) con la siguiente expresin
u+1(x) = u(x)(du/dp)X(u-p) p(x)
(4)
donde p(x) es un polinomio encontrado en la p-esima interaccin

anterior al u-esimo paso, tal que dp # 0 y
p - lp tenga el mas
alto valor.
El polinomio dado por (4) es de grado mnimo cuyos coeficientes
satisfacen las primeras u + 1 identidades de Newton.
Si el grado del polinomio es mas grande que t entonces existen
mas de t errores en el polinomio recibido r(x) y generalmente no es
posible localizar sus posiciones erroneas verdaderas en el polinomio
r(x). Realizandose tan dolo su deteccin.
Si el nmero de errores en el polinomio r(x) es menor que el
mximo nmero que el cdigo puede corregir, para encontrar el polinomio
que nos permita realizar la correcin, no es necesario realizar los
2t pasos de la interaccin para encontrar el polinomio (x).
Para los cdigos binarios BCH no es necesario realizar los
2t pasos de la interaccin y solamente es necesario realizar los t
primeros pasos.
Una manera manual para encontrar el polinomio (x) puede ser
realizada fcilmente utilizando la siguiente tabla.
ING. CARLOS EGAS
u(x)dulu2u - lu
-1/2110-1
01S100
1---.
.
.
t----
Si du = 0 entonces u+1(x) = u(x)

si du # 0 se busca otra fila anterior a la u-esima fila definida
como la p-esima fila, tal que el nmero 2p - lp en la ltima columna
de esa fila, posea el mas alto valor posible y ademas que dp # 0,
por lo que se tiene:
u+1(x) = u(x)(du/dp)X2(u-p) p(x)
El polinomio t(x) correspondiente a la ltima fila es el
polinomio buscado (x), el cual si tiene un grado mayor que t, indica
en el bloque recibido existen mas errores de los que puede corregir
El ltimo paso en la decodificacin de cdigos BCH es encontrar
los nmeros localizadores de error, lo cuales son los reciprocos de
las races de (x).
Las races de (x) pueden ser calculadas fcilmente evaluando
este polinomio con 1 , , 2 , ....n con n = 2m - 1.
Si en la evaluacin resulta que l es una raz de (x) ,
entonces el dgito recibido que se halla en la posicin n - l es un
dgito errneo.
IMPLEMENTACION DE UN CDIGO BCH.
El cdigo BCH a implementar utiliza los siguientes parmetros,

n = 15 y k = 5. La matriz generadora de este cdigo es la siguiente:
ING. CARLOS EGAS
1
0
H =1
0
1
1
1
1
1
1
1
1
0
1
0
0
1
1
0
1
1
0
0
1
1
1
1
1
0
0
0
1
1
1
0
0
0
1
1
1
1
1
0
1
1
0
0
1
0
1
1
1
0
0
0
0
0
1
0
0
0
0
0
1
0
0
0
0
0
1
0
0
0
0
0
1
A partir de esta matriz podemos determinar que el ancho mnimo

es igual a siete y por lo tanto la distancia mnima tambin es igual
a siete. La capacidad de correccin de errores de este cdigo viene
dada por;
t =dmin - 1
2
por lo tanto t = 3
Este cdigo puede corregir hasta tres errores que ocurran

simultneamente en un vector de cdigo o un bloque de 15 dgitos.
Los procesos de codificacin de este cdigo se basan en las
propiedades matemticas de los elementos de GF(24),que se los describio
anteriormente y cada uno de los cuales tiene su polinomio mnimo.
Con estas definiciones ya podemos encontrar el polinomio
generador g(x) el cual esta definido en trminos de los polinomios
mnimos i(x) de i. As tenemos que :
g(x) = MCM (1(x) , 3(x) , .....2t(x) )
g(x) = MCM ( 1(x) , 3(x) , 5(x) )
g(x) = 1 + X + X2 + X5 + X8 + X10
CODIFICADOR.
Como los cdigos BCH son cdigos cclicos, su codificacin
se la puede realizar fcilmente utilizando los polinomios g(x) o h(x)
para crear el circuito codificador. Calculando el polinomio h(x)
se tiene lo siguiente
h(x) = Xn + 1 / g(x)
h(x) = 1 + X + X3 + X5
El circuito codificador a partir de h(x) tiene menos elementos
que el circuito proporcionado por g(x). El circuito en base a h(x)
esta dado por la siguiente figura.
ING. CARLOS EGAS
FIGURA N 4.- Circuito codificador del cdigo BCH (15,5)
DECODIFICACION Y ALGORITMO DECODIFICADOR.

La decodificacin de estos cdigos correctores de errores
mltiples, consta de tres pasos ; calculo del sndrome, algoritmo
para encontrar (x) y por ltimo la correccin de los errores.
Todos estos pasos se realizan utilizando operaciones de suma
y divisin y multiplicacin modulo dos entre los elementos de GF(24),
para lo cual es necesario implementar el correspondiente algoritmo.
La multiplicacin y divisin entre dos elementos de GF(24)
viene dada por las siguientes relaciones;
multiplicar
dividir
i por jij = i+j

i para ji/j = i+15-j
El calculo del sndrome se realiza evaluando el polinomio

recibido r(x) con i para 1 i 6 de tal forma que si S = ( s1 ,
s2 , s3 , s4 , s5 ,s6 ) entonces si = r(i)
Una ves calculados todos los elementos del sndrome, el
siguiente paso es el de calcular (x) para lo cual es necesario
desarrollar el algoritmo que nos permita encontrar dicho polinomio.
El polinomio es el siguiente.
(x) = 1 + S1X + (d1/S1 + d2/d1 )X2
+ (d2/d1)S1X3
con d1= S3 + S2 S1
d2= S5 + 21 S4 + 22 S3 + 23 S2
0 = 1
ING. CARLOS EGAS
1= S1
2= (d1/S1 + d2/d1 )
4= (d2/d1)S1
Las races de (x) se encuentran evaluando este polinomio
con todos los elementos de GF(24) de tal forma que i es raiz si (i)
= 0
Hay
muchas
maneras
de
implementar
los
circuitos
decodificadores, una es la de implementar circuitos combinacionales
que realicen las operaciones aritmticas pero usando integracin en
gran escala debido a la gran cantidad de compuertas que se necesitan.
Esto lo hacen los fabricantes que disean chips especializados
para la correccin y deteccin de errores.
Otra manera es la de utilizar un microprocesador que nos ayude a
realizar estas operaciones y algoritmos mediante programas.
La decodificacion de codigos BCH requiere de calculos que
utilizan la aritmtica de los campos de Galois los cuales pueden ser
implementados por hardware o por software.
La ventaja de la
implementacin por hardware es una mayor velocidad en la realizacin
de los calculos, sin embargo una implementacin por software es mas
barata.
A continuacin se presenta una tabla de cdigos lineales (n,k)
con una capacidad de correccin de t errores.
n
7
15
31
63
127
n
255
4 11
11 1
7 2
5 3
26 1
21 2
16 3
11 5
57 1
51 2
45 3
16 11
7 15
120 1
113
k t
106
64
22
8
247
239
231
179
10
23
31
1
2
3
10
2
3
ING. CARLOS EGAS
511
1023
99 23
9 63
502 1
493 2
484 3
421 10
313 23
10 121
1013 1
1003 2
993 3
923 10
798 23
11 255
CODIGOS CONVOLUCIONALES
Estos cdigos, tambin conocidos como secuenciales o

recurrentes, difieren de los cdigos bloque en que los dgitos de
comprobacin se intercalan en forma continua en la corriente
codificada de bits en vez de agruparse en palabras.
Un cdigo convolucional (n,k) tambin puede ser caracterizado
por una matriz generadora G (nxk), la cual tiene como elementos de
sus columnas o filas a polinomios sobre F2, es decir a polinomios
cuyos coeficientes sean 0 o 1
G =
g0,0(x)
g0,1(x)
g0,2(x)
g1,0(x)
g1,1(x)
g0,2(x)
.
.
.
gk-1,0(x) gk-1,1(x) gk-1,2(x)
........
........
g0,n-1(x)
g1,n-1(x)
.
........
gk-1,n-1(x)
G =gi,j(x)
gi,j(x)=
gij0 + gij1X + gij2X2
........
gijsXs
As tenemos que la matriz generadora del cdigo convolucional

ING. CARLOS EGAS
(2,1) tiene la siguiente forma

G = (x2 + 1 , x2 + x + 1)
En los cdigos convolucionales es importante definir los
siguientes parmetros
La memoria
La memoria est definida como el mximo grado que se puede
obtener como resultado de comparar todos los grados de todos los
polinomios que conforman la matriz generadora
M = max [grado(gi,j(x))]
Longitud de compulsin
K =
M + 1
Eficiencia
R = k/n
Los bits de informacin pueden ser representados por los
coeficientes de los k polinomios que conforman el vector I
I = (I0(x),I1(x) ....
,Ik-1(x))
Cada polinomio tiene la siguiente estructura

Ij(x) = Ij0 + Ij1X+ Ij2X2 + .........
para 0 j k - 1
de tal forma que la palabra cdigo resultado de realizar la

multiplicacin
C = I.G
C = I (I0(x),I1(x).... ,Ik-1(x)).gi,j(x)
estar definida por un vector de n polinomios
C = (C0(x),C1(x)....
,Cn-1(x))
ING. CARLOS EGAS
El j-simo polinomio de la palabra cdigo Cj(x) tiene la siguiente

forma
Cj(x) = Cj0 + Cj1X + Cj2X2
+ ......... para 0 j n-1
La representacin escalar de la palabra cdigo C se la puede

obtener a partir de los coeficientes binarios de los polinomios que
conforman este vector.
C = ( C00, C10,... Cn-1,0, C01,......Cn-1,1,.....)
donde Cji son 0 1
Para formar este vector hay que colocar primero los coeficientes
de grado cero de todos los Cj(x), luego los de grado 1 , etc .
Los polinomios cdigo pueden tener un grado exsesivamente grande
el cual va a depender del bloque a codificar, por lo que es necesario
realizar un truncacin del cdigo. Es as como se define la L-sima
truncacin de un cdigo convolucional.
Primero nosotros requerimos que el grado de los polinomios que
representan al mensaje a codificar tengan un grado mnimo, es decir
que el grado de Ii(x) < L-1 para i = 0,1,2,...k-1, de tal forma que
cada polinomio que conforman el vector de polinomios
C = (C0(x),C1(x)....
igual a M +L -1.
,Cn-1(x))
tiene como grado un valor menor o
La representacin escalar de la palabra cdigo C se la podra

representar de la siguiente forma
C = ( C00, C10,... Cn-1,0, C01,......Cn-1,1,....C0M+L-1, C1M+L-1,... Cn-1,M+L-1).
As la informacin I = (I0(x),
,Ik-1(x)) puede ser representada
por kl bits y la palabra cdigo C por n(M+L) bits.
La obtencin de la palabra cdigo C puede ser obtenida mediante
el producto escalar de
C = I . GL
GL
es la matriz escalar que resulta de la truncacin de la matriz
G.
Asi la L-sima truncacin de un cdigo convolucional (n,k) puede
ser vista como un cdigo bloque lineal (n(M+L),kL),
La eficiencia de un cdigo truncado est dado por
RL = kL/n(M+L)
ING. CARLOS EGAS
1
= R(1-M/M+L)
CODIFICACION DE LOS CDIGOS CONVOLUCIONALES

La codificacin de los cdigos convolucionales, simplemente
consiste en implementar circuitos multiplicadores de polinomios, los
cuales tienen k entradas y n salidas.
En las k entradas se empiezan a introducir los coeficientes menos
significativos (dgitos) de los k
polinomios que conforman el
vector I, y a la salida se obtiene n dgitos, cada uno de los cuales
corresponde a los coeficientes de los n polinomios que conforman la
palabra cdigo C.
Un diagrama de bloques del circuito decodificador es el
I0(x)
siguiente
g0,0(x)
I1(x)
C0(x)
.
g1,0(x)
XOR
.
Ik-1(x)
gk-1,0(x)
g0,1(x)
C1(x)
g1,1(x)
XOR

.

.
.

gk-1,1(x)

.

.

.
.

.

.
.

.

.
g0,n-1(x)
Cn-1(x)
g1,n-1(x)
XOR

ING. CARLOS EGAS
gk-1,n-1(x)
En el diagrama anterior siguiente bloque representa a un circuito

que multipica el polinomio cualquiera, I(x), por g(x)
I(x)
g(X)
DECODIFICACION DE LOS CDIGOS CONVOLUCIONALES

La decodificacin de los cdigos convolucionales
necesitan
de algoritmos para recuperar el mensaje. Existen varios algoritmos
que se pueden utilizar para realizar la decodificacin como son la
decodificacin secuencial,
decodificacin de Vitervi entre otros
mtodos.
ING. CARLOS EGAS
FRMULAS PARA EXAMENES.
1
Lmin Hr ( S ) Pi log
Pi
L P ( Si )li
i 1
# cod r (r 1)
V rxl
H r (S )
H (S )
H ( S )max log q
n r
i 1
q li
r
i 1
r li 1
i 1
li n
ni r 1 1
nl
i 1
H ( S ) Pi log 2
i 1
1
Pi
I ( E ) log 2
H (S )max log q
H r (S ) L
l i log r Pi
1
P( E )
L pi li
i 1
i 1
i 1
pi li pi log
nc
1
pi
H r (S )
L
Eficiencia (nc .100)%
Eficiencia (nc .100)%
Re dundancia 1 n
1
li log r
Pi
H ( B) I ( A; B)
C 1 H ( p)
H (B / A) H (B) I ( A; B)
1
H ( A) Pa log
Pa
I ( A; B) H ( A) H ( A / B)
P(ai b j ) P(bi a j ) P(ai / b j ) P(b j ) P(bi / a j ) P(ai )
H ( A / B) P(ab) log
AB
P(ai / b j )
P(b / a
i
) P(ai )
p(b j )
1
1
P(ab) P(b) log
P(a / b) AB
P(a / b)
H ( A / B) P(a1 / b1) P(b1) log
1
1
P(a2 / b1) P(b1) log
.......... ........
P(a1 / b1)
P(a2 / b1)
ING. CARLOS EGAS
bits inf
bits inf
C I ( A; B)max
simb
bits inf
C r.I ( A; B)max
seg
P(a1) w
P(a2) w
P(b1) wp w p
P(b1) wp w p
H ( B) log r
I ( A; C) H (C) H (C / A)
H ( B) wp w p log
1
1
wp w p log
wp w p
wp w p
H ( B) H wp w p H wp w p
H ( B / A) p log
1
1
p log(r 1) p log
p
p
r 1
1
p log
p
p
i 1
i 1
1 q
1
xi log
i i 1
yi
x log x
i 1
xi log
i 1
H (C / A) H (C) I ( A : C)
ln
xi log
i 1
1
1 x
x
q
yi
yi
1 q
1
x
ln
H
(
S
)
Pi log
i
xi ln 2 i 1
xi
Pi
i 1
H S n nH (S ) m
log q H ( S ) log e Pi 1
i 1
qPi
q
1 q P
log e Pi i
q i 1 Pi
i 1
P(b) P( E / b)
BA a*
ln x x 1
xi yi 1
P( E )
simb
H ( B / A) H ( p) p log(r 1)
I ( A : B)mx log r H ( p) p log(r 1) C
C rI A; B max
I ( A : B) H wp w p H ( p)
1
1 1
p
1
H ( B / A) r p log (r 1)
log
p
p r
(r 1)
r
r 1
H ( B / A) p log
H S n H ( S n ) nH ( S )
yi
1 q yi
x1 1
xi ln 2 i 1 xi
q
q
1
y i xi
ln 2 i 1
i 1
ING. CARLOS EGAS
log q H ( S ) Pi log q Pi log

i 1
i 1
1
Pi
Pi log qPi
i 1
log e Pi ln qPi
1
q
H ( S ) Pi log r Pi log r j
i 1
i 1
j 1
q
q
l
log r Pi li log r j
i 1
j 1
Sn
q
i1
i2
i1
.......... Pi1 Pi2 ...... Pin

q
Sn
i2
i1 1
Pi1 Pi2 ......... Pin
in 1
1
Pi1
Pi1 log
1
Pi1
Sn
P i log
Sn
1
Pi1
Pi1 log
i1 1
H ( S n ) P i log
in
i2 1
i1
Pi1 log
in 1
i1 1
log
1
Pi1
i2 1
in 1
Pi2 .... Pin
1
Pi1 Pi2 ........ Pii
1
1
1
P i log
...... P i log
Pi1 S n
Pi2
Pin
Sn
I ( si / s j1 , s j2 ,..., s jm ) log
1
P( si / s j1 , s j2 ,..., s jm )
H Sn
H (S )
n
n
lim
H ( S / s j1 , s j2 ,..., s jm ) P( si / s j1 , s j2 ,..., s jm ).I ( si / s j1 , s j2 ,..., s jm )

S
H ( S ) P ( s j1 , s j2 ,..., s jm )H ( S / s j1 , s j2 ,..., s jm )
H ( S ) P( s j1 , s j2 ,..., s jm ) P( si / s j1 , s j2 ,..., s jm )x log
j1
, s j2 ,..., s jm )P( si / s j1 , s j2 ,..., s jm ) x log
P( s
j1
, s j2 ,..., s jm , si )x log
S m 1
P( s
S m 1
H Sn H S n
Sm
Sm
l j
1
P log P P P ..... P
in
q
i1 1 i2 1
j 1
P P P ..... P
i
li
L log r log r
i 1
1
P( si / s j1 , s j2 ,..., s jm )
1
P( si / s j1 , s j2 ,..., s jm )
1
P( si / s j1 , s j2 ,..., s jm )
ING. CARLOS EGAS
H S n P j , i log
Sn
Sn
Ps
/ s j P si2 / si1
H S n P j , i log
S 2n
H ( S n ) P j , i log
1
P i / j
P i / j P si1 , si2 ,..., sin / s j

i1
..... Ps
in
S 2n
/ sin 1
P si1 , si2 ,..., sin P si1 P si2 / si1 ....P sin / sin 1
H S n P i log
S
S 2n
Sn
, i log
H S n nH S
H ( S ) Pi log Pi
P i
i 1
P si1 , si2 ,..., sin log
H Sn
H (S ) m
n
n
1
1
...... P j , i log
P si1 / s j
P sin / sin 1
S 2n
1
P i / j
P si1 , si2 ,..., sin
1
1
P s j , s i log
P si / s j S 2
P si1 / s j
Pi log
i 1
1 q
1
Pi log
Pi i 1
Qi
H (S )
nH S
H S
1
1
1
H ( S n ) P si1 , si2 ,..., sin log
log
... log
P si1
P s i2 / s in
P sin / sin 1
S
H ( S ) (n 1) H ( S )
nH ( S ) H ( S ) H ( S )
q
H ( S ) Pi log Qi
i 1
Qi
H ( S ) L log r
r li
q
H (S )
L
log r
H r (S ) L
li
i 1
La matriz de un canal (BSC) 2 es :

pP
II
pP
pP
pP
H A, B P(a, b) log
A, B
1
P ( a, b )
ING. CARLOS EGAS
1
P11 P12 ...... P1s
P P ..... P
2s
P 21 22
.......... ..........
Pr1 Pr 2 ..... Prs
La matriz de un canal BSC es :

p
p
p
p
II 11 II 12 ...... II 1s n
II 21 II 22 ..... II 2 s n
II
.......... ..........
II r1 II r 2 ..... II rs n
p2
pp
II
pp
2
p
H A, B Pa, b log
A, B
pp
p2
p2
pp
p2
pp
pp
p 2
Pa Pb
1
Pa, b log
Pa, b
Pa Pb
A, B
I A; B Pa, b log
A, B
I A; B Pa log
A
pp
p2
p2
pp
1
1
Pa, b log
Pa A, B
Pb
1
1
Pb log
Pa B
Pb
H A H B I A; B
ING. CARLOS EGAS
PROBLEMAS PROPUESTOS
1.-Una fuente proporciona cinco posibles mensajes cuya probabilidades

son; P1 = 1/2, P2 = 1/4 P3 = 1/8, P4 = 1/16,
P5 = 1/16. Encontrar
el contenido de informacin de cada uno de los mensajes.
2.-Encontrar la cantidad de informacin media por smbolo que emite
una fuente, si los smbolos A,B,C son emitidos con probabilidades
1/2, 1/4, 1/4 respectivamente. Proporcione una secuencia tpica
de veinte smbolos.
3.-Una pantalla de TV contiene 525 lineas y cada lnea consiste de
525 puntos de iluminacin. Cada punto contiene 256 niveles de
luminosidad. Calcular la taza promedio de informacin requerida
por una fuente si cada cuadro se presenta a razon de 50
imagenes/segundo.
4.-La
cantidad de informacin por cuadro de informacin es

aproximadamente 9.96 10 5 bits,. Un anunciador de radio trata
de describir oralmente la imagen de televisin mediante 2000
palabras tomadas de su vocabulario de 10000. Supongase que cada
una de las 10000 palabras tiene la misma probabilida de aparecer
en la descripcin de esta imagen. Determinece la cantidad de
informacin radiada por el anunciador al describir la imagen.
Se pensaria que el anunciador describe fielmente la imagen
emplenado 1000 palabras. Vale mas una imagen que mil palabras.
porque?
5.-El espaol se fundamental utiliza 4224 palabras de longitud de

cinco letras.
Suponiendo que el espaol tiene 24 letras
(smbolos) equiprobables. Cual es la eficiencia y redundancia
del lenguaje
6.-Obtener la representacin grfica de una fuente de Markov de
segundo orden con un alfabeto binario {0,1}, si las probabilidades condicionales estan dadas por
p(0/00)
p(1/00)
p(0/01)
p(1/01)
=
=
=
=
0.5p(0/11)
0.5p(1/11)
0.3p(0/10)
0.7p(1/10)
=
=
=
=
0.3
0.7
0.6
0.4
Calcular
ING. CARLOS EGAS
-la
-la
-la
-la
probabilidad de cada smbolo

entropia de la fuente
entropa de la extensin de tercer orden
entropa de la fuente afn
7.-Encontrar la cantidad de informacin media que nos proporciona

una hoja impresa de algun libro escrito en espaol e ingles,
asumiendo
que
el
alfabeto
fuente
es
el
abecedario
respectivo.(adjuntar las fotoscopias de dichas hojas)
8.-Dos fuentes de memoria nula S1 y S2 tienen q1 y q2 smbolos
respectivamente. Los smbolos de S1 se representan con
probabilidades Pi, i = 1,2,3 .....,q1 ; los smbolos de S2 con
Qi, i = 1,2,3,....... q2 las entropas de ambas son H1 y H2
respectivamente. Una nueva fuente S() denominada compuesta
de S1 y S2 est formada con q1 + q2 smbolos.
Los q1 primeros smbolos de S() tienen probabilidades Pi, i =
1,2,3.......q1
y
los
ltimos q2 probabilidades
Qi , i = 1,2,3 ..... q2.
( = 1 - ).
Demostrar que H(S()) = H1 + H2 + H()
9.-La figura representa el diagrama de estados de una fuente de Markov
de primer orden de alfabeto S = (0,1,2). Por simetria la
distribucin estacionaria es
P(0) = p(1) = P(2) = 1/3
_
p
_
2 p
_
p
-Calcular H(S*), entropa de la fuente afin.

-Calcular H(S), comprobar el resultado para p = 0 y p = 1
-Calcular H(S2)
-Proporcionar el alfabeto fuente de la extension de segundo y tercer
orden de la fuente de Markov
ING. CARLOS EGAS
10.-Sea S0 la extensin de tercer orden de una fuente binaria de memoria

nula cuya probabilidad de emitir un cero es igual a p. Otra
fuente S, observa las salidas de S0 emitiendo un 0, 1, 2, o 3
segn la salida de S0 contenga 0, 1, 2, 3 ceros.
Calcular H(S0)
Calcular H(S)
Interpretar el significado de la diferencia de entropas si es que
las hay.
11.-Suponiendo una fuente de memoria nula S = { si } con i = 1,2,3,...q
y probabilidades p(si) respectivamente. Demostrar que
log q H (s)
12.-Considerando una fuente de Markov binaria de segundo orden en
que la probabilidad de emitir un 0 o un 1 no depende del smbolo
anterior sino del segundo. La probabilidad de que un smbolo
coincida con el emitido dos lugares antes es igual a 0.9, la
probabilidad de que sea distinto 0.1.
-Dibujar el diagrama de estados de esa fuente
-Calcular la entropia de la fuente
-calcular la entropa de la fuente afn
13.-Para el siguiente diagrama de estados calcular:
La probabilidad de cada smbolo, la entropa, la entropa de la
extensin de tercer orden
-Calcular la entropa de la fuente afn y determinar cual es la cantidad
media de informacin por smbolo mxima que se puede obtener
de esta fuente afn
0.2
00
0.8
0.5
01
0.5
0.5
0.4
11
0.6
0.5
10
14.-Para el siguiente diagrama de estados calcular:

La probabilidad de cada smbolo, la entropa, la entropa de la
ING. CARLOS EGAS
extensin de quinto orden

-Calcular la entropa de la fuente afn
0.1
00
0.9
0.6
01
0.4
0.1
0.4
11
0.6
0.9
10
15.-Encontrar todos los cdigos compactos ternarios posibles de la

fuente de la siguiente tabla;
S ....
s1 s2 s3 s4 s5 s6 s7 s8 s9 s10
P(si)0.20.180.120.10.10.080.060.060.070.03
Calcule la longitud media para cada cdigo
Se considerarn cdigos diferentes solamente aquellos que estn
formados con palabras cdigo de longitudes diferentes
16.-Un fuente binaria de memoria nula tiene las probabilidades P(0)
= 0.2 y P(1) = 0.8
Calcular H(S)
-Calcular la longitud media de las palabras de un cdigo compacto
de S cuando X = (0,1)
-Calcular Ln/n para n = 2,3,4, y n -> al codificar Sn en un cdigo
compacto, siempre con X = (0,1)
17.-Encontrar un cdigo compacto binario para la fuente de la siguiente
tabla;
ING. CARLOS EGAS
S ....
s1 s2 s3 s4 s5 s6 s7 s8 s9 s10
P(si)0.20.190.110.10.10.080.070.020.070.04
-Calcule la longitud media del cada cdigo
-Calcule la cantidad de informacin media que proporciona la fuente
sin codificar, y la fuente codificada.
18.-Utilizando la inecuacin de Kraft determinar un cdigo compacto

ternario para el alfabeto fuente S = (0 , 1 , 2 , ....., 14 ).
Comprobar que el cdigo obtenido es compacto. Las probabilidades
de los smbolos son las siguientes;
p(0) = 1/2 , p(1) = p(2) = 1/5, p(3) = p(4) = .....p(14) = 1/120.
19.-Dado un alfabeto
p(S1) = 1/3 ,
a partir de la
cdigo Huffman
fuente con S = (S1,S2,S3,S4) y con probabilidades

p(S2) = 1/6 , p(S3) = 3/8 y p(S4) =1/8, obtener
extensin de segundo orden de la fuente S un
cuaternario. Calcular su rendimiento.
20.-Demuestre que una de las condiciones para que el codigo sea

compacto, es que el negativo del logaritmo en base r de las
probabilidades de cada uno de los simbolos codificados, sea
igual a la longitud de la palabra codigo respectivamente.
21.-Una fuente discreta que genera seis simbolos, es codificada
utilizando un alfabeto codigo binario de la siguiente forma.
s1
s2
s3
s4
s5
s6
1/4
1/4
1/4
1/8
1/16
1/16
00
01
10
101
1110
11110
-Encontrar la cantidad de informacin media sumistrada por la fuente

y por el codificador binario. Compare estos resultados.
-Si se codifica con un codigo compacto, los resultados anteriores
cambiaran si, no porque.
-Si la fuente emite 2000 smbolos cada segundo, encontrar la velocidad
de informacion promedio por digito emitida por el codificador.
23.-Codificar la fuente del problema anterior con un cdigo BNO,
calcular su rendimiento. Existe alguna ventaja sobre un cdigo
Huffman aplicado a la misma fuente.
24.-Comprima la siguiente
Linch-Davisson:
secuencia
de
datos
con
un
000100000000001000000000100
ING. CARLOS EGAS
codigo
Cual es el cdigo que debe ser transmitidoo?

Cual es la taza de compresin?
25.- La secuencia codificada con un codigo Linch-Davisson es:
0110 101100
Cual es la secuencia que fue comprimida?
26.-Determinar la matriz de la segunda extensin de un canal binario
simtrico y dibuje dicho canal
27.-Los simbolos de una fuente de markov dada por diagrama de estados,
se codifican utilizando un cdigo compacto ternario para ser
transmitidos por un canal BSC con p = 10 -3
Cual es la cantidad de informacin media a la salida del canal?
0.2
00
0.8
0.5
01
0.5
0.3
0.6
11
0.4
0.7
10
28.-Determine el canal retrospectivo de los siguientes canales

conectados en serie cuando las entradas son equiprobables
C1=
0.5 0.2 0.3

0.3 0.3 0.4 C2 =
0.2 0.0 0.8
0.0 0.5 0.5

0.2 0.4 0.4
29.-Calcule I(A:C) si las probabilidades de los simbolos de entrada

son P(a1) = 0.3 ,P(a2)= 0.4 ,P(a3)= 0.3
0.5 0.2 0.3
0.0 0.5 0.5
C1 =
0.3 0.3 0.4 C2 =
0.2 0.4 0.4
0.2 0.4 0.4
0.2 0.0 0.8
30.-Determinar la informacin mutua I ( A:F ) de seis BSC equiprobables
ING. CARLOS EGAS
31.-Determinar el
informacin
canal
1
retrospectivo
del
siguiente
canal
de
0.3 b10.8
a1. ..
c1
0.7 0.2
0.4 b2 0.5
a2...
c2
0.6 0.5
0.5 b3 0.5
a3...
c3
0.50.5
p(a1) = 0.2
p(a2) = 0.3
p(a3) = 0.5
32.-Determinar si existe perdida de informacin cuando se utiliza

el canal C1 y C2 independientemente. Determinar si la prdida
de informacin aumenta con respecto a C1, cuando al canal C1 se
le coloca en serie el canal C2
C1
=
1/3 1/3 1/3
1
0
1/2 1/2C2 =
0
0
0
1
p(a1) = 0.2
p(a2) = 0.8
0
1/2
1/2
33.-Reducir el canal P1, tal que P(b=1/a=0), para que pueda ser
conectado en serie con P2 . Calcular I (A:C) si las entradas
son equiprobables
0.5 0.0 0.5
0.7 0.2 0.1
P1 =
0.2 0.2 0.6 P2 = 0.5 0.4 0.1
34.-Calcular la probabilidad de error de un canal binario simtrico
si se enva 6 veces el mismo mensaje para saber si hay errores
en la transmisin , si p = 10 -7.
35.-Demostrar que la capacidad de un canal uniforme es

C = log r - H(p) - p log (r-1)
36.-Calcular la capacidad del canal
ING. CARLOS EGAS
p
p
0
0
p
p
0
0
0
0
p
p
0
0
p
p
Dibujar la variacion de la capacidad en funcion de p

37.-Demuestre que la capacidad de un canal binario simtrico con
probabilidad de error p es igual a
C = 1 - H(p)
Realice todas las demostraciones pertinentes.
38.-Una fuente de informacin genera digitos binarios para
transmitirlos sobre un canal ruidoso a razn de 10000 digitos
por segundo. Los dos smbolos son igualmente probables, el ruido
en el canal es tal que la probabilidad de recibir incorrectamente
un 0 es 1/8 mientras que al de recibir incorrectamente un 1 es
1/16.
Encontrar la equivocacin de este canal, la taza de transmisin R
y comparar este valor con la capacidad C.
39.-Encontrar la probabilidad de error del siguiente canal
0.3
0.2
0.5
0.4
0.2
0.4
0.3
0.6
0.1
si las probabilidades de los smbolos de entrada son

p(a1) = 0.1 p(a2) = 0.3 p(a3) = 0.6
Repita el mismo ejercicio si las entradas son equiprobables
40.-En el cdigo bloque lineal sistemtico (5,1) cuales son sus
parmetros de correcin y deteccin de errores, demuestre su
respuesta.
Si se utiliza un BSC con p = 10-7, para realizar la transmisin, en
que porcentaje disminuye la probabilidad de error de transmisin
del mensaje, es decir, la probabilidad de no poder interpretar
correctamente el mensaje transmitido?
41.-Para el cdigo (15,11) determinar el circuito codificador y el
circuito que detecte el error.
42.-Para el cdigo (15,11) determine el circuito combinacional que
proporciona el tipo de error a la salida, cuando en la entrada
se tiene el valor del sndrome.
43.-Un cdigo bloque lineal sistemtico genera las siguientes palabras
ING. CARLOS EGAS
cdigo
0
1
1
1
0
1
0
0
1
0
1
1
0
0
1
0
1
1
0
0
0
1
1
0
1
0
1
0
0
1
0
1
0
0
1
1
0
0
1
1
0
1
0
0
0
1
1
1
Implementar el circuito codificador y decodificador para la deteccin

y correcin de errores
44.-Encontrar la matriz generadora, la matriz verificadora de paridad,
implementar el codificador para el cdigo lineal sistemtico
cuyas ecuaciones verificadoras de paridad son
v0
v1
v2
v3
=
=
=
=
u1
u0
u0
u0
+
+
+
+
u2
u1
u1
u2
+
+
+
+
u3
u2
u3
u3
Construir el circuito que calcula el sndrome. Cuantos tipos de error

corrige y cuantos detecta.
45.-Un cdigo bloque es generado por la siguiente matriz.
G
0
=
1
1
1 1 1 1 0 0 0
1 1 1 0 0 1 0 0
1 0 1 0 0 1 0
0 1 1 0 0 0 1
Implementar el circuito codificador y corrector de errores

46.-Para el cdigo ciclico (7,4) ,utilizando la representacin
polinomial, genere todas las palabras cdigo posibles utilizando
la expresin v(x) = u(x).g(x). y encuentre el sndrome
correspondiende a todos los tipos de error que se puedan corregir
utilizando la expresin r(x) = a(x)g(x) + s(x). Desarrolle las
multiplicaciones y divisiones.
47.-Un cdigo que genera bloques de 15 dgitos tiene un polinomio
generador dado por g(x) = 1 + X + X4. Implemente el circuito
codificador y el circuito que permita corregir los errores
48.-Encontrar la matriz generadora en forma sistemtica a partir del
siguiente polinomio g(x) = 1 + X + X4
ING. CARLOS EGAS
49.-Considerense el codigo (7,3) el cual tiene un polinomio generador

g(x) = x4 + x3 + x2 + 1, implemente el circuito codificador en
base a h(x) y en base a la matriz generadora.
50.-Dado un codigo binario (7,3) corrector de un simple error y
detector de dos errores, encontrar las probabilidades de corregir
errores, detectar errores y no detectar errores. Utilize p =
0.01
51.-Calcule la probabilidad de error de los siguientes codigos
(6.3),(12,5) y (23,12).
52.-El protocolo HDLC provee una norma internacional para el control
de enlaces de datos y utiliza un cdigo ciclico para realizar
el control de errores en la transmisin. Los bits de control
se generan utilizando el siguiente polinomio
g(x) = x16 + x12
5
+ x + 1.
Implemente el circuito codificador.
Es importante conocer el valor de n para realizar la codificacin,
explique su respuesta.
ING. CARLOS EGAS
1
INFORMACION
Si se trata nicamente de almacenar o transmitir datos , es

suficiente el concepto de informacin desarrollado por Shannon,
mientras que resulta inservible para comprender el significado
intrnseco de dicha informacin, ya que esta definicin de informacin
es totalmente inadecuada para enjuiciar el significado de una serie
de signos ya que solo se ocupa de registrar la dependencia estadstica
de cadenas de signos sin considerar en absoluto su significado.
De ello se deriva que para poder juzgar suficientemente una
informacin y su elaboracin en diversos sistemas , orgnicos o
inorgnicos se requiere una ampliacin considerable del concepto de
informacin, mas all de la teora de Shannon.
Es as como para comprender la naturaleza de la informacin
es necesario representar a la informacin en cinco niveles que a
continuacin se presentan:
-Estadstico
-Sintaxis
-Semntico
-Pragmatismo
-Apobetica
Nivel 1 : Estadstica
El teorema de informacin de Shannon es
muy adecuado para
describir el aspecto estadstico, describiendo de forma cuantitativa
las caractersticas del lenguaje que se bacen en parmetros
probabilsticos. Por otra parte no tiene en cuenta si una serie de
signos posee algn significado. En este nivel tampoco se tienen en
consideracin cuestiones gramaticales.
Nivel 2 : Sintaxis
La composicin de signos para formar palabras en las denominadas
secuencias de smbolos, as como el orden de las palabras para originar
frases, estn supeditadas a reglas determinadas, basadas en acuerdos
concretos para cada lenguaje.
A nivel sintctico se requiere un repertorio determinado de
signos para representar la informacin (sistema de cdigo). La mayor
parte de los lenguajes escritos utilizan letras para ello, pero hay
que tener en cuenta que para ciertos fines se emplearon y se emplean
los sistemas mas diversos: morse. jeroglfico, el cdigo de banderas,
notas, cdigos de informtica, cdigo gentico, el lenguaje de las
abeja basadas en figuras bailadas, sustancias aromticas utilizadas
por los insectos en el lenguaje feromnico, la posicin de las manos
en el lenguaje para los sordomudos.
Por sintaxis de un lenguaje se entienden todas las reglas
gramaticales segn las cuales se pueden o deben combinar los diferentes
elementos linguisticos. La estructura de un lenguaje natural tiene
ING. CARLOS EGAS
una estructura mucho mas compleja que en las lenguas artificiales

y formalizadas.
Nivel 3 : Semntica
Las series de signos y reglas sintcticas constituyen la base
necesaria para representar la informacin. No obstante, el aspecto
decisivo para la transmisin de una informacin no es el cdigo
elegido, el tamao , nmero o forma de las letras, ni el medio de
transmisin, sino el mensaje que se halla contenido en la informacin,
el significado, el sentido , es decir la semntica.
Por otra parte no se requiere este aspecto central de una
informacin para llevar a cabo su almacenamiento o transmisin. Segn
Nobert Wiener, el fundador de la ciberntica y de la teora
informtica, la informacin no puede ser de contenido fsico
"Informacin es informacin, no es ni materia ni energa.
Todo
materialismo que no lo tenga en cuenta no puede sobrevivir hoy en
da"
Nivel 4 : Pragmatismo
Hasta el nivel semntico no aparece la cuestin de un objetivo
que pueda perseguir el emisor al transmitir su informacin.
No
obstante toda transmisin de informacin sucede con el objeto de
originar un resultado determinado en el receptor. A fin de alcanzar
este resultado previsto , el emisor consideras cul ha de ser su
comportamiento para lograr que el receptor reaccione segn el objetivo
perseguido.
Este aspecto de una accin se define con la expresin pragmatismo.
Por medio del lenguaje no se unen sencillamente frases una tras
otra, sino que se formulan peticiones, quejas, preguntas, consejos,
solicitudes, todo ello con el objeto de obtener una reaccin por parte
del receptor.
Nivel 5 : Apobtica
Estamos llegando ahora al ltimo y mas alto nivel de la
informacin, el aspecto de su objetivo. Por analoga lingstico
con las designaciones anteriores, se ha creado a tal efecto la palabra
apobtica.
El resultado obtenido en la parte receptora se basa en el
objetivo, plan concepto de la parte emisora. El aspecto apobtico
de la informacin es el mas importante, ya que es el que se pregunta
cual es el objetivo del emisor. Para toda informacin se puede formular
la pregunta siguiente. Porque enva el emisor dicha informacin,
que es ello que espera alcanzar del receptor.
Por ejemplo los programas de computadores han sido cocebidos
con un objetivo muy concreto (solucionar un sistema de ecuaciones,
controlar un sistema etc.).
Basandonos en la teora de informacin de Shannon que hoy en
ING. CARLOS EGAS
da se considera como concluida matematicamente, se ha ampliado el

concepto de informacin hasta el quinto nivel requerido. Resumiendose
lo anteriormente dicho de la siguiente forma.
-No existe informacin sin cdigo
-No existe un cdigo sin un acuerdo consciente y libre
-No existe informacin sin emisor
-No existe una cadena informtica sin origen intelectual
-No existe informacin sin una fuente intelectual en su principio,
por lo que la informacin es por si una magnitud intelectual y no
material
-No existe informacin sin voluntad.
-No existe informacin sin los cinco niveles estadisticos
-Los procesos estadsticos no pueden originar informacin alguna.
El ocuparse de los niveles de informacin en forma cuantitativa es
una de las muchas tareas que todava quedan por realizar.
ING. CARLOS EGAS

Follet Otice Gas Carlos

Загружено:

Сведения о документе

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

Follet Otice Gas Carlos

Загружено:

Авторское право:

Доступные форматы

APUNTES DE

ING. CARLOS EGAS A.

"La Energa y la materia desempean un papel tan

TEORIA DE LA INFORMACION Y CODIFICACION

TEORIA DE LA INFORMACION Y CODIFICACION

TEORIA DE LA INFORMACION Y CODIFICACION

elementos lingsticos. La estructura de un lenguaje natural tiene

TEORIA DE LA INFORMACION Y CODIFICACION

Basndonos en la teora de informacin de Shannon que hoy en

No existe informacin sin cdigo.

El ocuparse de los niveles de informacin en forma cuantitativa es

Fuente de informacin generadora de smbolos.

El establecimiento de una comunicacin tiene como objetivo,

ING. CARLOS EGAS

TEORIA DE LA INFORMACION Y CODIFICACION

Tales modificaciones que se realizan en la informacin son

I E se lo conoce tambin como cantidad de informacin contenida

TEORIA DE LA INFORMACION Y CODIFICACION

por E o suministrada por E cuando

y la base del logaritmo es una

La relacin existente entre estas unidades es la siguiente:

3.3219 bits de informacin

Generalmente los clculos se los hace utilizando el logaritmo

TEORIA DE LA INFORMACION Y CODIFICACION

El contenido de informacin de signos o serie de signos

p E i = probabilidad de ocurrencia del smbolo E i .

Es decir, para determinar la cantidad de informacin producida

El contenido de informacin atribuido a un signo debe aumentar

El bit como unidad de informacin

Si se presenta el caso ms sencillo cuando se dispone nicamente

TEORIA DE LA INFORMACION Y CODIFICACION

de memoria nula (FIMN).

Para calcular la cantidad de informacin promedio generada por

H S puede ser interpretado como el valor medio de la informacin

TEORIA DE LA INFORMACION Y CODIFICACION

R unidades de informacin segundo

Si la fuente emite en un segundo la siguiente secuencia de

La cantidad de informacin generada por smbolo en ese segundo

La cantidad de informacin promedio generada por la fuente es:

ING. CARLOS EGAS

TEORIA DE LA INFORMACION Y CODIFICACION

Y la tasa de informacin promedio generada por la fuente es:

A pesar de que, especificar las probabilidades de los mensajes

Toda la ciencia conservada actualmente en las bibliotecas del

ING. CARLOS EGAS

TEORIA DE LA INFORMACION Y CODIFICACION

Sean x1 , x 2 , x q e y1 , y 2 , y q dos conjuntos de probabilidades, tal

xi log y i xi log xi ec.7

Multiplicando por x i , y aplicando el sumatorio para todos los

ING. CARLOS EGAS

TEORIA DE LA INFORMACION Y CODIFICACION

Multiplicando ambos miembros por log q :

Cambiando de base tenemos:

ING. CARLOS EGAS

TEORIA DE LA INFORMACION Y CODIFICACION

De la expresin anterior se puede concluir que la cantidad mxima

Para una fuente de informacin de memoria nula binaria S = (s1,s2)

La funcin anterior de la conoce como funcin entropa y se la

ING. CARLOS EGAS

TEORIA DE LA INFORMACION Y CODIFICACION

El valor mximo de H w se da cuando w 0.5 , por lo tanto igual

La extensin de orden n de S representada por S n , es una fuente

P i es la probabilidad de que se genere el smbolo i de la

P 1 psi1 . ps si 2 . psin pi1 . pi 2 . piq