A ENTROPIA COMO MEDIDA DE

INFORMAO NA MODELAO
ECONMICA
Andreia Dionsio*, Rui Menezes** e Diana Mendes
In Temas em Mtodos Quantitativos 3, ed. Elizabeth Reis e Manuela Magalhes
Hill; Edies Slabo, Lisboa, Fevereiro de 2003

RESUMO:
Neste artigo, analisada a entropia como medida de informao e incerteza na
modelao econmica. Tal aplicao justificada pelas limitaes apresentadas
pelos tradicionais modelos econmico-financeiros, nomeadamente quanto forma
como medida a incerteza, e pelas similaridades existentes entre a fsica, a teoria
da informao e a teoria econmico-financeira. A forma como a entropia adoptada
pela teoria da informao, assumindo-se como a incerteza patente numa
determinada distribuio de probabilidade utilizada no seio da teoria econmica,
que a encara como medida de disperso global, de incerteza e, acima de tudo,
como medida de informao, revelando-se eficaz na avaliao de activos
financeiros e de mercados. So dados alguns exemplos de aplicao, sendo de
realar as similitudes existentes entre a entropia e informao mtua e a regresso
linear.

PALAVRAS-CHAVE:
Entropia, informao mtua, incerteza, distribuio de probabilidade

* Departamento de Gesto, Universidade de vora, 7000 vora, Portugal

e-mail:andreia@uevora.pt
**

Professor Auxiliar do Departamento de Mtodos Quantitativos, ISCTE,

e-mail: rui.menezes@iscte.pt

Assistente do Departamento de Mtodos Quantitativos do ISCTE

e-mail: diana.mendes@iscte.pt

TEMAS EM MTODOS QUANTITATIVOS

XXX(NOME DA PARTE)XXXXXX

1 Introduo
A afectao eficiente dos recursos definida em termos do total de informao
fornecida, transmitida e recebida. A partir do momento que esta afectao ocorre
em ambientes cada vez mais competitivos e volteis, a adopo da entropia como
medida de disperso global, informao e incerteza na anlise dos dados torna-se
ferramenta de crescente importncia. O conceito de entropia surge em 1865,
introduzido por Clausius, como caracterizao da Segunda Lei da Termodinmica:
A energia do universo constante e a sua entropia est a aumentar
continuamente. Segundo a Primeira Lei da Termodinmica, no h destruio da
energia global, h sim, de acordo com a Segunda Lei, uma diminuio do nvel da
sua qualidade, logo uma diminuio daquela que disponvel ou utilizvel.
A entropia cada vez mais utilizada na teoria econmico-financeira como medida
de informao e de incerteza na avaliao de ttulos, carteiras e mercado, dado que
ultrapassa as principais limitaes inerentes aos modelos vulgarmente utilizados
que pressupem a utilizao da distribuio normal de probabilidade.
Por exemplo, Finkelstein e Friedberg em 1967, assim como Horowitz e Horowitz em
1968 utilizam a entropia como medida da concentrao industrial e competitividade
do mercado (Philippatos et al, 1972).
Fama (1965) e Philippatos (1973) propem a utilizao de medidas especficas da
teoria da informao para testar a eficincia da Bolsa de Nova Iorque (N.Y.S.E.).
Para alm destes estudos existem tambm trabalhos direccionados para a
economia e processo econmico, onde a entropia parte integrante da anlise
realizada como exemplo o trabalho desenvolvido por Georgescu-Roegen (1971).
Zellner (1996) cita no seu trabalho a investigao realizada por Good e Savage,
cuja minimizao da entropia relativa aplicada definio da funo utilidade do
investidor avesso ao risco conduzindo maximizao da utilidade do indivduo.
Fernholz, (1999) analisa a entropia como medida de diversificao nos mercados
financeiros. Segundo Philippatos e Wilson (1972), a entropia apresenta diversas
vantagens face aos modelos tradicionais de gesto e seleco de carteiras. Buchen
e Kelly (1996), aps analisarem o mercado bolsista de derivados concluram que a
pouca informao existente neste mercado pe em causa a correcta seleco da
funo de distribuio de probabilidade subjacente realidade. Os autores
consideram que a nica forma de seleccionar a funo de distribuio correcta ser
seguir o Princpio da Mxima Entropia (PME). Gulko (1998) desenvolve um trabalho
similar ao desenvolvido por Nawrocky em 1976, simplesmente, o objectivo
encontrar o equilbrio de mercado. Neste sentido, o autor constri um modelo onde
a entropia maximizada sujeita a determinadas restries. defendida a Entropy
Pricing Theory como principal caracterstica da eficincia do mercado. Samperi
(1999) desenvolve um modelo de seleco e avaliao de derivados com base na
maximizao da entropia, concluindo que desta forma a gesto do risco muito
mais eficiente que a realizada pelos tradicionais modelos de gesto de carteiras.

A Entropia como Medida de Informao na Modelao Econmica

Andreia Dionsio, Rui Menezes e Diana Mendes

2 Background em Teoria da Informao

A utilizao de probabilidades para descrever uma determinada situao implica a
existncia de incerteza. Todas as distribuies de probabilidade so diferentes,
denotando-se que algumas apresentam nveis de incerteza mais elevados que
outras. A questo que se pe se possvel quantificar esta incerteza, e se sim, de
que forma?

2.1. Entropia como medida de incerteza

Neste contexto surge a entropia, como medida da incerteza associada a uma
determinada distribuio, cujas propriedades matemticas possibilitam a sua
aplicabilidade para o efeito.
Considere-se um conjunto de acontecimentos possveis cujas probabilidades de
ocorrncia so dadas por p1, p2,..., pn. A entropia H=H(p1,...,pn) surge como uma
medida de incerteza, assumindo as seguintes propriedades [Shannon 1948,
Shannon et al 1964 e Fieldman 1998]:
1 A entropia contnua em pi, i=1,...,n;
2 Se pi = 1/n, ento a entropia uma funo montona crescente em n, pois
quanto maior for o nmero de acontecimentos possveis, maior a incerteza e a
possibilidade de escolha;
3 A entropia maximizada numa distribuio uniforme (incerteza completa);
4 A entropia de um conjunto aditiva, i. e., igual soma da entropia dos vrios
subconjuntos que o compem e,
5 A entropia funo da distribuio em si e no depende da forma como so
agrupados os eventos, isto , a entropia uma funo de estado, tal como
demonstrado na seguinte figura:

FIGURA 1 ILUSTRAO DA ENTROPIA COMO FUNO DE ESTADO.

1/2

1/3

1/2

2/3
1/2

1/6

1/3

D
Fonte: (Shannon at al, 1948)

TEMAS EM MTODOS QUANTITATIVOS

XXX(NOME DA PARTE)XXXXXX

Se se procurar caracterizar o estado final atravs de uma medida ou funo de

estado H(p1,...,pn), essa funo dever ser independente do caminho percorrido
para atingir esse estado. Neste caso concreto:

1 1 1
1 1 1 2 1
H , , =H , + H , .
2 3 6
2 2 2 3 3

Supondo um determinado conjunto de dados X, com h classes C, a probabilidade

de cada classe ser distinguida :

ph =

freq (C , N )
X

(1)

onde freq a frequncia absoluta do evento. De acordo com a teoria de informao,

a informao contida em C ser dada por:

freq(C , N )
,
X

log2

sendo a informao esperada ou entropia do grupo N dada pela expresso:

K

H (X)

=1

freq (C , N )
X

freq (C , N )
.log2

(2)

Se a entropia satisfaz as cinco condies atrs enunciadas, ento pode ser dada
pela seguinte expresso:
n

H = - K pi log pi ,

(3)

i =1

onde: K uma constante arbitrria , pi a probabilidade de ocorrncia do

2

acontecimento i e, log o logaritmo na base escolhida .

O valor desta constante igual unidade quando a base do logaritmo 2, mas em

23
determinadas aplicaes da termodinmica assume o valor de 1,372 * 10

Nota: A escolha da base do logaritmo irrelevante, convm distinguir o resultado obtido

consoante a base utilizada, assim:
log 2 entropia medida em bits;
log 10 entropia medida em dits;
log e = ln entropia medida em nats.

A Entropia como Medida de Informao na Modelao Econmica

Andreia Dionsio, Rui Menezes e Diana Mendes

H que ter em considerao que a entropia H(X) no funo de X, mas sim da

distribuio de probabilidade da varivel aleatria X. O valor de H(X) no depende
dos valores que X assume, mas das suas probabilidades.
A definio axiomtica da entropia justifica a seguinte afirmao: H(X) a medida
quantitativa do total de incerteza associada a uma distribuio de probabilidade do
evento X (Fieldman, 1998).
A utilizao do logaritmo explicada por Shannon e Weaver (1964). Note-se que,
desde que pi 1, o logaritmo de uma fraco negativo, logo a entropia assume
valor positivo. Se o sistema gerar apenas um acontecimento, no h incerteza e a
entropia nula. No mesmo sentido, medida que o nmero de acontecimentos
igualmente possveis duplica, a entropia aumenta uma unidade. A entropia assume
o valor mximo quando todos os acontecimentos possveis tiverem a mesma
probabilidade de ocorrncia. Por fim a utilizao do logaritmo faz com que seja
dada uma maior ponderao a eventos de pequena probabilidade, sendo dada
maior ateno probabilidade de ocorrncia de crashes ou outros eventos
extremos.
Se existirem dois acontecimentos independentes, num determinado universo, cujas
probabilidades de ocorrncia so respectivamente p e q, onde p = 1 - q, a entropia
pode ser definida por H = - ( p log2 p + q log2 q ) , assumindo o grfico
representado na Figura 2:

FIGURA 2 ENTROPIA DOS ACONTECIMENTOS X E Y

1,2

Entropia (bits)

1
0,8
0,6
0,4
0,2
0
0

0,1

0,2

0,3

0,4

0,5

0,6

Probabilidade

Fonte: (Shannon at al, 1948)

0,7

0,8

0,9

TEMAS EM MTODOS QUANTITATIVOS

XXX(NOME DA PARTE)XXXXXX

A entropia H tem algumas propriedades interessantes que salientam a sua escolha

certa como uma medida de informao. Vejamos algumas delas:

1. H =0 se e s se todas as probabilidades pi so nulas excepto uma que

igual unidade. Verifica-se que existe uma situao de certeza quanto
possibilidade de ocorrncia de determinado acontecimento, sendo o nvel
de entropia mnimo e o nvel de informao mximo;
2. Para n dado, a entropia assume o valor mximo H=log(n) se todos os pi
assumirem igual valor (isto 1/n), implicando um aumento de incerteza
quanto ocorrncia de determinado acontecimento;
3. Sejam dois acontecimentos X e Y, em que o primeiro apresenta m
possibilidades de ocorrncia e o segundo n possibilidades e seja p(i,j) a
probabilidade conjunta de ocorrncia do primeiro e do segundo
acontecimento. A entropia do acontecimento conjunto dada por:
N

H ( X , Y ) = - p ( i , j ) log p ( i , j ) ,

(4)

i, j

enquanto que:

H ( X ) = - p ( i , j ) log
i, j

H (Y

p ( i, j )

= - p ( i , j ) log p ( i , j ) .
i, j

(5)

(6)

Verifica-se que

H ( X , Y ) H ( X ) + H (Y ) ,

(7)

sendo a igualdade assumida apenas no caso em qual os acontecimentos X e Y so

independentes.

2.2. Entropia conjunta e entropia condicional

Sejam X e Y dois acontecimentos no necessariamente independentes para cada
valor particular de i que X pode assumir. Ento existe uma probabilidade condicional

p (i | j )

onde Y assume o valor j, sendo a sua equao dada por:

p( j | i) =

p(i , j )
p ( i, j )
j

Dado X, a entropia condicional de Y definida por:

(8)

A Entropia como Medida de Informao na Modelao Econmica

Andreia Dionsio, Rui Menezes e Diana Mendes

H (Y | X ) = - p ( i , j ) log p ( j | i ) .

(9)

i, j

Esta medida quantifica a incerteza de Y quando X conhecido. Substituindo o valor

de p ( j | i ) , obtm-se:

H (Y | X ) = - p ( i , j ) log p( i , j ) + p ( i , j ) log p( i , j )
i, j

i, j

(10)

= H( X, Y ) - H( X )

ou seja:

H ( X ,Y ) = H( X ) + H (Y | X ) .

(11)

A incerteza resultante da conjuno dos acontecimentos X e Y ser igual

incerteza de X mais a incerteza de Y quando X conhecido, isto

H ( X ) + H (Y ) H ( X , Y ) = H ( X ) + H (Y | X )
Logo

H (Y ) H (Y | X )

(12)

o que se justifica pelo facto de a entropia no aumentar pelo conhecimento de uma

varivel, pelo contrrio, o conhecimento de X tende a diminuir a incerteza que existe
relativamente ao Y. No caso de X e Y serem independentes, verifica-se uma
igualdade entre os valores de entropia.
Se H (Y | X ) = 0 , ento a incerteza nula, isto , para cada resultado de X a
experincia de Y fica totalmente determinada. Se H (Y | X ) = H (Y ) , ento o nvel
de incerteza mximo, demonstrando que as estatsticas X e Y so independentes,
logo qualquer informao acerca de X, no diminui a incerteza acerca de Y.

2.3. Entropia e informao mtua

Como j foi focado, o conhecimento de um determinado acontecimento pode
contribuir para a diminuio da entropia conjunta de vrios acontecimentos,
significando que h uma injeco de informao no sistema:

0 H (Y | X ) H (Y ) .

(13)

Nestas condies a realizao da experincia X s pode diminuir o grau de

incerteza ou risco de Y. No caso de existir tal diminuio de entropia, poder

TEMAS EM MTODOS QUANTITATIVOS

XXX(NOME DA PARTE)XXXXXX

considerar-se que por si s tal diminuio constitui um ganho de informao

representado pela informao mtua I(Y;X), onde

I (Y ; X ) = H (Y ) - H (Y | X ) ,

(14)

e tal como demonstrado na Figura 3:

FIGURA 3 INFORMAO MTUA VERSUS ENTROPIA

H (Y)
H|I
I (X, Y)

H (Y | X)
p
Deste modo, poder afirmar-se que existe uma relao entre ganho de informao
e nvel de entropia, como est descrito no quadro abaixo apresentado

QUADRO 1.COMPARAO ENTRE INFORMAO MTUA E ENTROPIA

Se

I (Y , X ) = 0

H (Y ) = H (Y | X ) ;

Se

I (Y , X ) = H (Y )
H (Y | X ) = 0 ;

Nvel de rudo mximo; e,

Nvel de rudo nulo; e,

X e Y so estatisticamente independentes.

Y fica totalmente determinado por X.

Na anlise de vrios acontecimentos em simultneo, a entropia tender a atingir o

ponto mximo quando todos os resultados possveis forem equiprovveis,
significando que o nvel de informao disponvel mnimo. Neste contexto a
informao adquire um valor muito elevado, pois se uma determinada situao
assume elevados nveis de entropia, a necessidade de informao, como forma de

A Entropia como Medida de Informao na Modelao Econmica

Andreia Dionsio, Rui Menezes e Diana Mendes

a minimizar ou seja como negentropia, bastante elevada, aumentando

consequentemente o seu valor.
A entropia de um sistema constitui um ndice da ignorncia sobre a microestrutura
desse mesmo sistema (Georgescu-Roegen, 1971). Existe uma relao muito
peculiar entre informao e entropia, uma vez que a criao, transmisso e
obteno de informao implicam por si s gastos de energia, ou seja, aumentos de
entropia, que num sistema fechado tender para o mximo. Contudo a informao
constitui uma das mais potentes formas de negentropia, de tal forma que se o valor
da informao por si s no superar o dispndio de energia, os aumentos de
entropia sero mais significativos, a informao torna-se portanto cada vez mais
valiosa. Confirma-se assim que entropia e informao so entidades equivalentes
(Mayumi, 1997).
De acordo com o Princpio da Negentropia da Informao, a informao poder ser
responsvel por decrscimos de entropia de um estado para outro (GeorgescuRoegen, 1971).

2.4. Entropia e variveis contnuas

A diferenciao da entropia como medida para distribuies discretas e
distribuies contnuas, e sua comparao, pode ser extremamente til uma vez
que podem-se utilizar medidas tpicas de distribuies contnuas a variveis
discretas, com o objectivo de retirar vantagens do melhor ajustamento de uma
distribuio, alm disso se se tiver uma varivel contnua e no se conhecer
perfeitamente a funo distribuio de probabilidade por ela seguida, esta pode ser
estudada atravs de uma aproximao ao caso discreto.
As distribuies discretas podem referir-se a variveis quantitativas e a atributos
(no quantitativas), enquanto que as distribuies contnuas apenas dizem respeito
a variveis quantitativas. Esta diferena torna-se mais importante quando se altera
a unidade de medida das variveis. Tal transformao no provoca quaisquer
variaes na entropia referente a distribuies discretas, contudo para distribuies
contnuas, a entropia ir sofrer variaes.
Outra caracterstica importante da entropia para distribuies discretas a sua total
independncia face aos valores da varivel em causa. Deste modo quaisquer
alteraes em X que no alterem a distribuio de probabilidade no provocaro
transformaes no valor da entropia.
Como foi visto anteriormente, a entropia de um conjunto de probabilidades discretas
definida por:
n

H = - pi log2 pi .
i =1

De forma homloga, a entropia de uma distribuio contnua definida pela funo

de densidade de p(x) [Shannon 1948 e Fieldman 1998]:

H = - p ( x ) log p( x )dx
-

(15)

TEMAS EM MTODOS QUANTITATIVOS

XXX(NOME DA PARTE)XXXXXX

onde p(x) a probabilidade de ocorrncia do acontecimento x. Para n dimenses de

distribuio p (x1, x2, ......, xn) obtm-se:
+

H = - ..... p ( x1, x2 , ...xn )log p ( x1, x2 , ...xn )dx1dx2 ...dxn .

(16)

A entropia das distribuies contnuas assume quase todas as propriedades da

entropia das distribuies discretas, sendo de realar:

Se x limitado a um certo volume v no espao, ento H (x) assume o valor

mximo (igual a log v) quando p(x) uma constante (1/v) em todo o volume;

Assumindo a existncia de duas variveis contnuas X e Y, ento:

H ( X , Y ) H ( X ) + H (Y ) , verificando-se igualdade apenas no caso de X e Y

serem independentes, isto , quando p(X, Y) = p(X)p(Y)
H ( X ) + H (Y ) H ( X ,Y ) = H ( X ) + H (Y | X )

(17)

H (Y ) H (Y | X )

Logo

A entropia de uma distribuio normal, cujo desvio-padro , dada por:

p (x) =

- ln p ( x ) = ln
H (x) = -

- ( x x )
2

x
x

2 +
2
2

p (x)

ln p ( x ) dx
2

x
x

dx
2 dx + p ( x )
2
2

= p ( x ) ln
= ln 2 +

2 2
2

= ln 2 + ln e
= ln

2 e

(18)

A Entropia como Medida de Informao na Modelao Econmica

Andreia Dionsio, Rui Menezes e Diana Mendes

Caso se utilizem bits como unidade para a entropia, a base do logaritmo ser 2,
sofrendo a equao a seguinte alterao:

H ( X ) = log2 + log2 2 +
= log2

2 e

log2 e
2 .

(19)

Existe uma importante diferena entre a entropia para distribuies discretas e para
distribuies contnuas, uma vez que em distribuies discretas a entropia mede a
aleatoriedade absoluta, enquanto que no caso contnuo esta medida relativa face
ao sistema de coordenadas. Se houver uma alterao das coordenadas a entropia
sofre alteraes.
Considerando X uma varivel aleatria com distribuio de probabilidade contnua
p(x), pode-se dividir a extenso de X em blocos com amplitude xi , onde
xi = xi +1 xi (i = 1, 2, ..., n ) . Surge ento, uma nova varivel U que pode ser
descrita por:

U = ui se xi X xi +1 .

U uma varivel discreta. Os valores de

(20)

ui

obedecem a seguinte relao:

P (U = ui ) = P ( xi X xi +1 ) . Como X uma varivel contnua, a funo de

probabilidade de U pode ser obtida pela simples integrao da funo densidade

probabilidade de X no intervalo apropriado:

P (U = ui ) = pi =

xi +1

p ( x )dx .

(21)

xi

De acordo com o teorema do limite central, para cada bloco de amplitude

existe um

ui ( xi ui xi +1 ) , tal que:

p ( ui ) xi =

xi +1

p ( x )dx .

(22)

xi

Combinando as equaes (21) e (22), obtm-se:

pi = p ( ui ) xi
Utilizando a forma de clculo discreta para a entropia:

(23)

xi ,

TEMAS EM MTODOS QUANTITATIVOS

XXX(NOME DA PARTE)XXXXXX

H (U ) = pi log2 pi =

= p (ui ) xi log2 p ( ui ) xi

= p ( ui ) xi log2 p ( ui ) p (ui ) xi log2 xi

(24)

= p (ui ) xi log2 p ( ui ) log2 xi

De modo a simplificar o estudo, se se assumir que xi uma constante em X,

sendo xi = ( i = 1, 2, ..., n ) , pode-se rescrever a eq. (24) da seguinte forma
H (U ) = p ( ui ) log2 p ( ui ) log2

(25)

Como uma constante, o limite de H(U) quando n + ser:

lim H (U ) =

n +

p ( x ) log p ( x ) dx log
2

(26)

Logo, lim H (U ) H ( X ) log2 . Quando a entropia para variveis contnuas

n

assim definida, log2 diverge medida que diminui, ou tende para zero.
Verifica-se que a entropia de uma varivel contnua no igual entropia de uma
varivel discreta. A diferena surge quando, no limite, o nmero de variveis tende
para infinito e respectiva entropia tambm infinita.
A entropia de uma varivel contnua pode ser negativa. Por exemplo, considerando
uma varivel distribuda uniformemente no intervalo (0,b), a funo densidade
probabilidade 1/b e a entropia log2 b. Claramente se b<0, obtm-se uma
entropia negativa (Fieldman, 1998).
Nas distribuies discretas a entropia mede o valor absoluto da aleatoriedade
existente nas variveis. No caso contnuo, a entropia mede a aleatoriedade relativa
face a um sistema. Deste modo, a entropia de uma distribuio contnua pode
assumir valores negativos, caso a escala escolhida, por exemplo, para uma
distribuio uniforme seja de entropia nula, qualquer distribuio que apresente um
maior nvel de concentrao ter entropia negativa (Verdugo et al, 1978).
A entropia no se altera pela soma de uma constante varivel:

H [X + l] = H [X] ,

(27)

mas, a multiplicao da varivel por uma constante provoca alteraes no valor da

entropia (Fieldman, 1998):

H [ bX ] = H [ X ] + log2 b

(28)

A Entropia como Medida de Informao na Modelao Econmica

Andreia Dionsio, Rui Menezes e Diana Mendes

Se

for um vector e A uma matriz, ento:

H A X = H X + log2 A ,

(29)

representa uma generalizao da equao (28).

Quaisquer alteraes ao nvel da unidade de medida provocaro aumentos ou
diminuies da entropia referente s distribuies contnuas, cuja constante
multiplicativa incorporada na arbitrariedade do logaritmo. Alm disso a entropia
das distribuies contnuas sensvel a quaisquer outras alteraes que possam
ocorrer na varivel, por isso se adequa mais para o estudo das taxas de
rendibilidade do ttulos.
Se se trabalhar com duas distribuies de probabilidade, cujos valores esto numa
determinada dimenso, uma mudana em ambas as unidades de medida no
provocar quaisquer alteraes na diferena relativa de entropia entre elas
(Philippatos et al, 1972).

2.5. Exemplos da aplicao da entropia

2.5.1. ENTROPIA E REGRESSO LINEAR PRINCIPAIS SIMILARIDADES

De acordo com Philippatos e Wilson (Philippatos et al, 1972), Garner e McGill

(Garner et al, 1956) existe uma equivalncia formal entre certas medidas da teoria
de informao e os mtodos estatsticos utilizados na anlise de regresso. Por
exemplo, se se considerar a relao linear entre as taxas de rendibilidade de um
ttulo e as taxas de rendibilidade do mercado (representadas pelas taxas de
rendibilidade de um ndice), sendo Yi a varivel dependente e Xi a varivel
independente, ento o valor de H (Yi) corresponde ao valor da varincia da varivel
dependente na regresso. Similarmente, a entropia condicional H (Yi | X i ) assume
o valor correspondente ao erro residual de Y, quando os efeitos de Xi so
considerados constantes. No mesmo sentido, a informao mtua dada por
H (Yi ) - H (Yi | X i ) corresponde soma de quadrados da regresso, pois evidencia
a
dependncia
existente
entre
as
variveis.
Finalmente
H (Yi ) - H (Yi | X i ) / H ( X i ) entendido de forma anloga ao coeficiente de
determinao R2, na anlise de regresso, ou seja, percentagem de variao de
Yi explicada pela variao de Xi. Como natural, tais correspondncias s se
verificam de forma significativa quando todas as premissas da regresso linear se
verificam, nomeadamente a normalidade das distribuies de probabilidade dos
resduos, a linearidade, a homocedasticidade e a ausncia de autocorrelao. Caso
contrrio, natural que as medidas no assumam uma correspondncia
perfeitamente proporcional.
A equivalncia entre as medidas da teoria de informao utilizadas e a anlise de
regresso (ao nvel das Somas de Quadrados), tal como demonstrado por

TEMAS EM MTODOS QUANTITATIVOS

XXX(NOME DA PARTE)XXXXXX

Philippatos e Wilson (Philippatos et al, 1972), Garner e McGill (Garner et al, 1956)
evidenciada no seguinte quadro

QUADRO 2 EQUIVALNCIA ENTE A ANLISE DE REGRESSO E MEDISDAS

DA TEORIA DE INFORMAO
Anlise de regresso

Teoria da informao

Soma de Quadrados da
Regresso
SQR =

- X

Informao Mtua

I (Yi , X i ) = H (Yi ) - H (Yi | X i )

Soma de Quadrados do Erro

Entropia Condicional

SQE =

_
_

- Y - 2 Xi - X

Soma de Quadrados Totais

_

SQT = Yi - Y

H(Yi | Xi ) = H(Yi , Xi ) - H (Xi )

Entropia Total de ri

H (Yi )

Similaridades
Ambas as medidas reflectem a
variao da varivel dependente
que explicada pela varivel
independente.

A variao da varivel
dependente que no explicada
pela varivel independente,
evidenciada pelo SQE e pela
entropia condicional.

As medidas reflectem a
disperso total existente na
varivel dependente.

Esta equivalncia s d azo a resultados semelhantes quando as sries em estudo

obedecem a todos os pressupostos necessrios para a utilizao da regresso
linear simples, pois s desta forma a recta de regresso consegue captar
verdadeiramente a relao existente entre as variveis. Doutro modo, natural que
as medidas exibam conflitos entre si, pois enquanto que as medidas da anlise de
regresso medem as variaes na varivel dependente que possam ser ou no
explicadas pela recta de regresso (que representa a relao entre as variveis), as
medidas da teoria da informao concentram-se na maior ou menor independncia
entre as variveis, encarando a relao entre elas como um todo, e no apenas
como uma recta.
O quociente entre a entropia condicional de Y e a sua respectiva entropia individual
no mais do que a percentagem de variao de Y no explicada por X. Assim
sendo, tal quociente dever relacionar-se de forma perfeitamente negativa com o
coeficiente de determinao (R2) referente regresso linear em causa, uma vez
que o seu valor exemplifica a percentagem de variao em Yi explicada por Xi. Tal
correspondncia pode ser demonstrada matematicamente:
Se H (Yi | X i ) Incerteza ou independncia de Y relativamente a X, ento
H (Yi | X i )
H (Yi )

de X.

Percentagem de variao em Y no explicada (ou independente)

A Entropia como Medida de Informao na Modelao Econmica

Andreia Dionsio, Rui Menezes e Diana Mendes

Como j foi referido nesta seco, a entropia condicional pode ter como valor
mximo H (Yi ) , constatando-se que Y e X so perfeitamente independentes. Se
existir total independncia, ento o ajustamento da recta de regresso ser nulo, ou
seja R 2 = 0 .
H (Yi | X i )

H (Yi | X i ) = H (Yi )

H (Yi )

= 1

(30)

Na situao oposta, obtm-se:

H (Yi | X i ) = 0

H (Yi | X i )
H (Yi )

= 0 , logo R 2 = 1

(31)

Se se subtrair o valor do quociente entre entropia condicional e entropia total

unidade, obtm-se o seguinte rcio:
H (Yi ) - H (Yi | X i )
H (Yi )

I (Yi , X i )

(32)

H (Yi )

A ltima expresso anloga ao coeficiente de determinao R , variando de

forma perfeitamente proporcional se as sries em estudo seguirem uma distribuio
normal e respeitarem os pressupostos necessrios para serem representadas
eficientemente por uma recta de regresso.

2.5.2. A ENTROPIA DE SHANNON COMO ENTROPIA TERMODINMICA

A entropia (como medida de incerteza) equivalente entropia da termodinmica:

S ( E ) = log N ( E ) , sendo N(E) o nmero dos possveis microestados como funo

da energia (E). Desde que os microestados de igual energia sejam iguais, a

1
probabilidade de ocorrncia do i-simo estado : Pi =
, i .
N (E )
Substituindo esta ltima equao na forma de clculo da entropia, obtm-se:

TEMAS EM MTODOS QUANTITATIVOS

XXX(NOME DA PARTE)XXXXXX

H ( X ) =
=

1
1
log2

N (E )
N ( E )

1
(log2 1 Log 2N ( E ) )
N (E )

(33)

= log2 N ( E ) = S ( E )

2.5.3. A ENTROPIA DE SHANNON COMO SURPRESA MDIA

A quantidade log2 pi muitas vezes definida como a surpresa associada ao

resultado i. Se pi pequena, haver uma maior surpresa se o resultado for
realmente i. Em conformidade, log2 pi assume valores mais elevados, quanto
menores forem as probabilidades. Se pi grande, ento a surpresa associada ser
menor. Neste contexto, parece perfeitamente razovel chamar a - log2 pi a surpresa
(Fieldman, 1998). Logo, a equao (34) pode ser encarada como o valor esperado
da surpresa:

H ( X ) = ( log2 P ( x )) P ( x ) = log2 P ( x )

(34)

A entropia fornece a mdia do quanto se ficaria surpreso com a ocorrncia do

evento X. Esta afirmao fortalece a assuno de que a entropia uma medida de
incerteza associada distribuio de probabilidades P. Quanto maior a incerteza
face ao resultado, maior a surpresa (em termos mdios) acerca do mesmo.
Nesta linha de pensamento tambm possvel verificar o quanto a entropia est
conectada com a informao. Quanto maior o estado de incerteza, mais importncia
ganha a informao acerca do evento X, por este motivo a entropia pode, em certas
circunstncias, ser encarada como o valor ordinal da informao na perspectiva do
decisor (Dionsio, 2001).
A entropia pode ainda ser aplicada a questes sim/no
codificao (Fieldman, 1998).

e a processos de

3 Densidade da entropia e excesso de

entropia
A densidade da entropia uma quantidade estandardizada, muito utilizada na teoria
da informao e no estudo de sistemas dinmicos.

A Entropia como Medida de Informao na Modelao Econmica

Andreia Dionsio, Rui Menezes e Diana Mendes

Seja S = ........S1, S0 , S1........ uma sequncia bi-infinita. E seja L uma conjunto de

variveis consecutivas, tal que:

( )

S L = S1, S2 ,...., SL e seja P ( Si , Si +1,....., Si + L 1 ) = P S L

a probabilidade conjunta dos

consecutivos smbolos L. Assumindo invarincia transversal:

P ( Si , Si +1,....., Si + L 1 ) = P ( S1, S2 ,....., SL ) i , L

(36)

Os smbolos so vistos como sendo gerados por um processo estocstico

estacionrio.
A entropia ser dada por:

H ( L ) = ..... p ( S1......SL ) log2 p ( S1......SL )

S1

(37)

SL

Para determinar a entropia de todo o sistema S , h que considerar que L,

nesse contexto a entropia ir divergir quanto mais L divergir para infinito. Caso a
entropia tendesse para infinito seria complicado proceder a comparaes entre
grupos, por isso surge a medida: Densidade da Entropia ( h ):

h lim

H (L )

(38)

Se

for um sistema unidimensional, ento h definido como a densidade da

entropia. Se S for uma sequncia temporal ou um sinal discreto, transmitido

atravs de uma linha de telgrafo (por exemplo), ento h encarada como taxa
de entropia. Em sistemas dinmicos h definida como entropia mtrica.

A densidade da entropia pode ser escrita em termos de entropia condicional:

h = lim H SL S0S1 .....SL 1

L

(39)

ou:

h = lim H ( L + 1) H ( L )
L

(40)

TEMAS EM MTODOS QUANTITATIVOS

XXX(NOME DA PARTE)XXXXXX

H que evidenciar que h a taxa de crescimento da entropia medida que

aumenta o nmero de blocos de variveis (L) considerados. Estas formas
equivalentes de clculo da densidade da entropia no necessitam ser processos em
desequilbrio ou no estacionrios. Para sistemas fsicos em equilbrio, h
equivalente densidade dinmica da entropia elevada a uma constante
multiplicativa.
O excesso de entropia entendido como informao armazenada, conceito
introduzido por Shaw em 1984 (Fieldman, 1998) e consequente medida da
complexidade [Grassberger, 1986 in Fieldman, 1998].
A quantidade simplesmente chamada de complexidade quando aplicada a um
sistema estocstico simples. A aplicao do excesso de entropia na anlise da
complexidade tem sofrido uma forte evoluo desde a dcada de 80.

4 Concluses
A aplicao de modelos oriundos da fsica e da teoria da informao teoria
econmico-financeira poder ser explicada pelas similaridades que a economia
financeira e a fsica tm apresentado, sendo enumerados estudos e investigaes
que contam com a parceria destas cincias. A entropia uma medida oriunda da
fsica que mede a desordem inerente a um sistema. Este conceito surge no seio da
fsica como caracterizao da Segunda Lei da Termodinmica, sendo entendida
como desordem. Mais tarde foi adoptado por vrias reas da cincia,
nomeadamente pela teoria da informao e pela teoria econmico-financeira.
A forma como a entropia adoptada pela teoria da informao, assumindo-se como
a incerteza patente numa determinada distribuio de probabilidade tambm
utilizada no seio da teoria econmica, que encara a entropia como medida de
disperso global, de incerteza e, acima de tudo, como medida de informao,
revelando-se eficaz na avaliao de activos financeiros e de mercados.

Bibliografia
Buchen, P. W. e Kelly, M. 1996. The Maximum Entropy Distribution of an Asset
Inferred from Option Prices, Journal of Financial and Quantitative Analysis,
31, 1.
Dionsio, A. 2001. Anlise da entropia como medida de incerteza e valor ordinal da
informao no mercado bolsista de aces portugus, Tese de Mestrado no
publicada, Universidade de vora

A Entropia como Medida de Informao na Modelao Econmica

Andreia Dionsio, Rui Menezes e Diana Mendes

Fernholz, R. 1999. On the Diversity of Equity Markets, Journal of Mathematical

Economics, 31, 3, 393-417.
Fieldman, D. 1998. A Brief Introduction to: Information Theory, Excess Entropy and
Computational Mechanics; University of California.
Finkelstein, M. D. e Frieberg, R. M. 1967. The Application of an Entropy Theory of
Concentration to the Clayton Act, The Yale Law Journal, 677-717.
Garner, W. e Mcgill, W. 1956. The Relation Between Information and Variance
Analysis, Psychometrica, 219-228.
Georgescu-Roegen, N. 1971. Entropy Law and the Economic Process, Harvard
University Press, Cambridge, Massachusets.
Gulko, B. 1998. The Entropy Pricing Theory Market Beliefs, Valuation, Incomplete
Markets, Asset Pricing; PhD dissertation, UMI Dissertations Services.
Horowitz, A. e Horowitz, H. 1968. Entropy, Markov Processes and Competition in
the Brewing Industry, Journal of Industrial Economics, 196-211.
Mayumi, K. 1997. Information, Pseudo Measures and Entropy: An Elaboration on
Nicholas Georgescu-Roegens Critique, Ecological Economics, 22, 3, 249259.
Nawrocky, D. 1976. Stock Market Equilibrium, Conditional Entropy and Adaptative
Trading Rules; PhD Dissertation; UMI Dissertations Services.
Philippatos, G. C. e Wilson, C. 1972. Entropy, Market Risk and the Selection of
Efficient Portfolios, Applied Economics, 4, 209-220.
Philippatos, G. e Nawrocky, D. 1973. The Information Inaccuracy of Stock Market
Forecasts: Some New evidence of Dependence on the N.Y.S.E., The Journal
of Financial and Quantitative Analysis.
Samperi, D. 1999. Entropy and Statistical Model Selection for Asset Pricing and
Risk Management; in http://papers.ssrn.com
Shannon, C. E. 1948. A Mathematical Theory of Communication, Bell Systems
Tech., 27: 379-423, 623-656.
Shannon, C. E. and Weaver, W. 1964. The Mathematical
Communication, The University of Illinois Press, Urbana.

Theory

of

Verdugo Lazo, A e Rathie, P. 1978. On the Entropy of Continuos Probability

Distributions; IEEE Transactions on Information Theory; 120-122.
Zellner, A. 1996. Models, Prior Information and Bayesian Analysis; Journal of
Econometrics, 75, 51-68.