Вы находитесь на странице: 1из 161

UNIVERSIDADE DE LISBOA

FACULDADE DE CINCIAS
Departamento de Estatstica e Investigao Operacional

MODELAO ESTATSTICA COM MISTURAS E PSEUDO-MISTURAS


Miguel Martins Felgueiras

Doutoramento em Estatstica e Investigao Operacional (Especialidade de Probabilidades e Estatstica)

2009

UNIVERSIDADE DE LISBOA
FACULDADE DE CINCIAS
Departamento de Estatstica e Investigao Operacional

MODELAO ESTATSTICA COM MISTURAS E PSEUDO-MISTURAS


Miguel Martins Felgueiras
Tese orientada pelo Professor Doutor Dinis D. F. Pestana

Doutoramento em Estatstica e Investigao Operacional (Especialidade de Probabilidades e Estatstica)

2009

Dissertao apresentada Faculdade de Cincias da Universidade de Lisboa, para a obteno do grau de Doutor em Probabilidades e Estatstica.

Resumo
Quando um determinado atributo observado numa populao com vrias subpopulaes a amostra obtida pode ser modelada recorrendo a mistura de distribuies, que por permitirem acomodar multimodalidade e diferentes densidades so muito ecazes no ajustamento a dados. No mbito deste trabalho estudmos as misturas nitas e convexas mais habituais, apresentando para misturas unimodais alguns resultados assintticos que podero ser teis em situaes prticas. Em misturas de gaussianas, as aproximaes obtidas permitem testar a igualdade das mdias e a igualdade das varincias. Para distribuies fechadas para extremos um novo tipo de misturas nitas mas no convexas foi introduzido, permitindo pesos negativos e pesos superiores a 1. Devido sua exibilidade, acreditamos que estas misturas podero ser uma sria alternativa na modelao de dados. Finalmente, analismos misturas innitas com parmetro de escala Pareto. Ao aleatorizarmos o parmetro de escala conseguimos modelos baseados no original mas de caudas mais pesadas. Devido densidade polinomial da distribuio Pareto, foram obtidas diversas densidades explcitas destas misturas.

Palavras Chave: Misturas Convexas, Misturas Pseudo-Convexas, Misturas


de Escala.

AMS Subject Classication: 60E05.

Abstract
Mixture distributions play a relevant role in modelling pooled data from various distinct subpopulations from some composite population. They can of course quite easily model unsmooth characteristics, such as multimodality, and a very wide range of shapes. This works starts with the discussion of nite and convex mixtures, namely of gaussian and of exponential distributions, the more widely used in applications. As a side result, we develop statistical tests to investigate the null hypothesis of common mean value and of common variance. We then analyse with some detail mixtures of location-scale-shape classes of distributions closed for extremes. This leads us to dene pseudo-convex mixtures, with weights adding up to 1 but not necessarily all positive. Scale mixtures, namely with Pareto-distributed scale parameter, are also investigated, in the aim of building up new models for heavy-tailed data.

Keywords: Convex Mixtures, Non-Convex Mixtures, Scale Mixtures. AMS Subject Classication: 60E05.

Agradecimentos
Ao Professor Dinis Pestana, no s pela orientao ecaz - expectvel devido ao seu curriculum e condio de orientador - mas essencialmente pela contnua amizade pessoal e extraordinria disponibilidade de horrios que me dedicou ao longo de todo o processo, extravasando claramente o exigvel num trabalho deste tipo, e por aceitar ser meu orientador numa altura em que tinha j vrios outros compromissos. Ao Instituto Politcnico de Leiria e ao Centro de Estatstica e Aplicaes da Universidade de Lisboa, pelas facilidades de diversa ordem que me ofereceram e que em muito contriburam para que esta dissertao fosse possvel. Fundao para a Cincia e Tecnologia, pelo apoio nanceiro prestado atravs de uma bolsa de doutoramento. Aos meus colegas e amigos do Instituto Politcnico de Leiria, pela amizade sempre demonstrada. A todos os meus amigos e familiares pela preocupao e carinho sempre presentes. Aos meus pais e minha av pela conana inesgotvel nas minhas capacidades, em diversas ocasies muito superior minha. Mariana e ao Diogo, a quem tanto custa aceitar os extensos perodos de trabalho do pai. Ana, companheira e amiga em todas as ocasies, suportando com enormes doses de pacincia e amor os sacrifcios inerentes a um trabalho deste tipo.

Mariana, ao Diogo e Ana.

Ao meu av.

ndice
Captulo I. Introduo Captulo II. Organizao de Modelos 1. Introduo 2. Algumas Notaes 3. A Importncia dos Cumulantes 4. O Sistema de Pearson 5. O Sistema de Katz 6. A Famlia NEF-QVF 7. Distribuies Log-Cncavas e Log-Convexas Captulo III. Generalidades Sobre Misturas 1. Introduo 2. Misturas Finitas 3. Misturas de Escala Captulo IV. Misturas Convexas de Gaussianas 1. Introduo 2. Denio, Momentos e Cumulantes 3. A Estimao dos Parmetros 3.1. Mtodo dos Momentos 3.2. Mtodo da Mxima Verosimilhana 3.3. Caso Prtico 3.3.1. Algoritmo EM vs Mtodo dos Momentos 3.3.2. O EQM no Algoritmo EM
iii

1 5 5 6 7 9 12 13 14 17 17 18 19 23 23 24 25 25 28 31 31 34

iv

NDICE

3.4. Concluso 4. Algumas Propriedades das Misturas de Duas Gaussianas 5. A Situao 1 = 2 = ... = N = Desconhecido 5.1. O Teste 1 = 2 = ... = N = 5.2. Caso Prtico 5.3. Concluso 6. A Situao 1 = 2 = ... = N = Desconhecido 6.1. A Mistura Como Soma de Variveis Aleatrias Independentes 6.2. Aplicaes e Casos Particulares 6.2.1. Distribuio Binomial 6.2.2. Distribuio Poisson 6.3. Duas Populaes com Iguais Varincias 6.3.1. Clculo dos Cumulantes e Estimao 6.3.2. A Aproximao a Um Membro do Sistema de Pearson 6.3.3. O Teste 1 = 2 = 6.3.4. Caso Prtico 6.4. Concluso Captulo V. Misturas Convexas de Outras Densidades 1. Introduo 2. A Taxa de Falha Instantnea 3. Misturas Convexas de Exponenciais 3.1. Consideraes Sobre a Distribuio Exponencial 3.2. Funo Densidade, Funo de Distribuio e Momentos da Mistura 3.3. Identicabilidade e Moda da Mistura 3.4. Estimao dos Parmetros e Exemplo de Aplicao 3.5. O Tempo de Vida Residual e a Taxa de Falha Instantnea 3.6. Duas Populaes 4. Misturas Convexas de Paretos 4.1. Consideraes Sobre a Distribuio Pareto

35 36 37 41 41 46 46 46 51 52 54 56 57 58 60 63 64 65 65 66 68 68 69 70 71 74 75 76 76

NDICE

4.2. Funo Densidade, Funo de Distribuio e Momentos da Mistura 4.3. Identicabilidade e Moda da Mistura 4.4. O Tempo de Vida Residual e a Taxa de Falha Instantnea 5. Misturas Convexas de Diferentes Densidades 5.1. Consideraes Sobre a Mistura 5.2. Misturas de Distribuies Denidas em Diferentes Suportes 5.3. Mistura Entre as Distribuies Gaussiana e Weibull Captulo VI. Misturas Pseudo-Convexas 1. Introduo 2. Distribuies Fechadas para Extremos 2.1. Distribuies Fechadas para o Mnimo 2.2. Distribuies Fechadas para o Mximo 3. Misturas Pseudo-Convexas para Distribuies Fechadas para Extremos 4. Momentos 5. Moda e Taxa de Falha Instantnea 6. Gerao de Amostras 7. Misturas Pseudo-Convexas de Exponenciais 8. Misturas Pseudo-Convexas de Gumbels 9. Misturas Convexas de Misturas Pseudo-Convexas 10. Relaxamento da Condio 1 < w < 1 Captulo VII. Misturas com Parmetro de Escala Pareto 1. Introduo 2. Densidade e Caractersticas da Mistura Y = W X 3. Densidade e Caractersticas da Mistura Y = X 4. Distribuio Gaussiana 4.1. A Situao = 1 5. Distribuio Cauchy 5.1. A Situao = 1

81 82 83 86 86 87 88 91 91 92 93 95 97 99 102 105 107 112 114 116 121 121 122 125 127 128 130 130

vi

NDICE

6. Distribuio Gama 6.1. A Situao p = 1 7. Distribuio Pareto 8. Extenses e Concluso Bibliograa ndice Remissivo

131 132 133 133 137 141

CAPTULO I

Introduo
Ao permitirem uma mirade de combinaes de achatamento, assimetria e multimodalidade, as misturas de distribuies so extremamente ecazes na anlise de dados. Um dos exemplos mais antigos que se conhece sobre o uso de misturas (ainda anterior ao famoso problema dos caranguejos estudado por Pearson, 1894) foi apresentado pelo francs Alphonse Bertillon1 em 1887. As alturas dos recrutas militares em Frana seguiam uma estrutura bimodal, posteriormente explicada pela juno (mistura) de duas subpopulaes de mancebos, uma proveniente das terras altas e outra das terras baixas. Como a provenincia geogrca dos jovens no tinha sido registada, no era evidente a subpopulao de provenincia de cada um. Alguns aspectos fundamentais da teoria associada a misturas de distribuies so relativamente antigos. Os trabalhos iniciais nesta rea, como os de Bartholomew (1969), Behboodian (1970), Eisenberger (1964) e Teicher (1961, 1963) centram-se principalmente na identicabilidade das misturas e/ou na estimao de parmetros, tal como sucede em Pearson (1895) e Hasselblad (1966, 1969), entre outros. A maioria das aplicaes bem mais recente. As primeiras aplicaes foram, como referido, Biologia. No nal do sculo passado, e mesmo no incio deste, a aplicao de misturas de distribuies surgiu em diversas reas, tais como a Medicina, Economia, Informtica ou Astronomia. Associado a este crescente interesse pelas misturas de distribuies est o avano da computao, fundamental para questes de estimao e simulao (Frhwirth, 2006). Em processamento de imagem, muitas vezes necessrio extrair um determinado objecto de interesse (como por exemplo a matrcula de um automvel, captada via
1

Considerado por muitos como o pai da investigao criminal, introduziu a anlise das impresses

digitais.
1

I. INTRODUO

satlite), em que os pixeis deste se encontram misturados com os dos objectos adjacentes (impedindo a sua correcta visualizao), tendo de se decompor a imagem nal como uma mistura de vrias subimagens, das quais s uma relevante. O lbio humano fornece mais informao que qualquer outra caracterstica da face, por isso a anlise das suas expresses (recorrendo habitualmente a misturas de gaussianas) usada em reconhecimento lingustico, conjuntamente com o sinal acstico produzido. Outra aplicao relevante das misturas (habitualmente de exponenciais, ou outras distribuies assimtricas) na modelao do trfego da internet, e previso dos seus picos e falhas. Em abilidade, intuitivo considerar que as falhas das entidades em anlise se devem a uma conjugao de diferentes factores, e no apenas a um. Em Everitt e Hand (1981), Frhwirth (2006) e McLachlan e Peel (2000) possvel encontrar vrias aplicaes, descritas num contexto abrangente, e uma smula dos principais resultados. Para aplicaes especcas, podemos consultar, por exemplo, os artigos de Jang et al (2006), Murtagh et al (1995) e Xu et al (2003). ainda de destacar, ao nvel terico, o excelente trabalho de Medgyessy (1977). Por tudo o que foi referido anteriormente, modelar com misturas parece intuitivo e apelativo. no entanto necessrio ressalvar que a deciso de modelar um conjunto de dados atravs de uma mistura deve ser apoiada num conjunto de razes prvio (conhecimento do fenmeno em anlise), pois as misturas tendem a ter um elevado nmero de parmetros. Devido grande exibilidade das misturas de distribuies, qualquer conjunto de dados poder ser modelado por uma mistura, mais ou menos complexa. Isto sem dvida uma vantagem, mas que deve ser usada com alguma cautela, visto tender a privilegiar o ajustamento em detrimento da generalidade e da parcimnia que a regra de Occam aconselha. Pode-se introduzir o contexto de mistura considerando que temos uma populao X com N tipos de subpopulaes X1 , ..., XN e determinadas caractersticas distintas entre estas (por exemplo, os pesos so tendencialmente diferentes entre homens e mulheres). Uma forma de lidar com a diferena de mdias entre grupos ser considerarmos que (0.1) Xi N (i , ) ,

I. INTRODUO

sendo particularmente simples assumir que (0.2) i = 0 + i .

Desta forma, cada subpopulao tem uma mdia i que difere da mdia comum atravs de uma certa varivel categrica i , com N categorias, que funciona como um parmetro que explica as diferenas entre grupos. Podemos reescrever a distribuio de Xi como (0.3) ou ainda (0.4) Xi = 0 + i + i , i N (0, ) , Xi N ( 0 + i , ) ,

expresso usual em modelos de regresso linear. Os problemas surgem quando os parmetros i no so observados (temos uma amostra de pesos, mas ignoramos quais as observaes que so de homens/mulheres), podendo nesta situao i ser denido como 1 , S = 1 i = onde (0.6) , N ... S=N

(0.5)

P (S = i) = wi ,

i = 1, ..., N.

A funo densidade conjunta de X e S ser (0.7) f(X,S ) (x, i) = fX (x|i) P (S = i) = ( 2 ) 1 1 x i = wi , exp 2 2

> 0, 0 < wi < 1

obtendo-se nalmente a densidade marginal de X ( 2 ) N 1 X 1 x i (0.8) fX (x) = , wi exp 2 2 i=1

> 0, 0 < wi < 1.

dos tipos de misturas estudados neste texto. Assim, o objectivo do presente trabalho

A funo densidade acima representa uma mistura nita (assumindo que o nmero N X wi = 1) de gaussianas, um de subpopulaes, N, nito) e convexa (0 < wi < 1 e
i=1

I. INTRODUO

tratar misturas de distribuies, dando especial enfoque s misturas nitas, mas no necessariamente convexas, de distribuies contnuas. Nos Captulos II e III so referidos alguns resultados e metodologias bem estabelecidos em estatstica, apresentando-se uma smula das principais formas de organizar modelos e dos diversos tipos de misturas habituais. Os Captulos IV e V abordam misturas nitas e convexas. No Captulo IV so tratadas misturas de gaussianas, que pelo seu variado leque de aplicaes merecem um lugar de destaque. Neste contexto, para misturas unimodais (onde mais difcil encontrar boas estimativas dos parmetros), aproximaes a um membro do sistema de Pearson so estabelecidas e testadas. Estas aproximaes, ao permitirem reduzir de forma substancial o nmero de parmetros a estimar, fornecem uma forma simples de modelar dados e permitem trabalhar com distribuies bem conhecidas da literatura. No Captulo V estudamos inicialmente misturas de exponenciais, apresentando alguns resultados ao nvel dos momentos, da taxa de falha instantnea e das aproximaes ao sistema de Pearson. Ainda neste Captulo, estudamos em detalhe misturas de Paretos, que tm merecido menos ateno no desenvolvimento da teoria estatstica, mas que pensamos poderem vir a ter um papel de relevo em anlise de extremos, e misturas de diferentes densidades e suas aplicaes. O Captulo VI dedicado a misturas nitas onde a restrio de convexidade 0 < wi < 1, i = 1, ..., N relaxada. Este novo tipo de misturas (designadas por misturas pseudo-convexas) desenvolvido em detalhe, sendo introduzidas condies de aplicao e procedendo-se ao estudo das suas principais caractersticas, mormente a densidade, os momentos e a gerao de nmeros aleatrios. Finalmente, destinamos o Captulo VII a misturas innitas de escala, especicamente a misturas onde o parmetro de escala segue uma distribuio Pareto. Estas misturas tm a vantagem de poder gerar variveis aleatrias com funo densidade explcita, teis quando pretendemos modelos baseados numa determinada distribuio mas com momentos incrementados ou mesmo inexistentes, relevantes na modelao de caudas pesadas.

CAPTULO II

Organizao de Modelos
1. Introduo Conforme referimos no captulo anterior, a modelao de misturas de distribuies necessria na anlise de vrios conjuntos de dados. Devido sua complexidade (essencialmente devido a conterem, por vezes, muitos parmetros desconhecidos) o ajustamento destas misturas nem sempre fcil, principalmente em amostras de pequena dimenso. As aproximaes de misturas a outras distribuies surgem por isso como uma alternativa a considerar em diversos problemas prticos. Existem diversas formas de organizar e classicar distribuies, sendo algumas delas explicadas de forma sucinta no presente captulo. Destas, a mais conhecida ser porventura o sistema de Pearson, para distribuies contnuas (Andreev et al, 2005; Johnson et al, 1994). O trabalho inicial de Pearson sobre classicao de distribuies remonta a 1895, mas a sua forma nal (com a incluso dos subtipos IX-XII) apenas foi apresentada em 1916. O sistema de Pearson procurou suprir a ausncia de modelos ajustveis a dados assimtricos (como os relativos a anlise de sobrevivncia). Muitos outros fenmenos no podem ser caracterizados exclusivamente pela mdia e pela varincia. Por exemplo, Andreev et al (2005) refere que na modelao do preo de bens, ou de variveis macroeconmicas, deve ser tida em conta a assimetria e o achatamento. Ao conter quatro parmetros, derivados a partir dos quatro primeiros momentos, a famlia de Pearson bastante exvel na modelao de curvas, permitindo acomodar a assimetria e o achatamento. Aparentemente, Pearson no aplicou os seus resultados no caso discreto, trabalho que acabou por ser realizado por Katz (Johnson et al, 2005). Mais recentemente, Morris criou a famlia exponencial natural (NEF) com varincia como funo quadrtica do
5

II. ORGANIZAO DE MODELOS

valor mdio (NEF-QVF), que verica um interessante conjunto de propriedades (Morris, 1982 e 1983). Existem ainda vrias outras formas de organizar modelos, como as curvas de Burr e a classe de Panjer (similar ao sistema de Katz). As obras de Johnson et al (1994, 1995, 2005) contm variadssima informao sobre estes assuntos.

2. Algumas Notaes Seja X uma varivel aleatria. Denota-se ao longo deste texto, sem perigo de confuso, a sua funo densidade ou funo massa de probabilidade (genericamente designadas como densidades) por f, sendo a correspondente funo de distribuio F. Tambm podemos utilizar a notao mais geral de Stieltjes, dF, mais prxima dos teoremas de representao (Riesz, Radon-Nikodym) da Teoria da Medida. Por sua vez, os momentos no centrados sero denotados por (2.1) sendo os momentos centrados (2.2) i h k k = E (X 01 ) . 0k = E X k

ainda habitual considerar para a mdia = 01 , e para a varincia 2 = 2 . Quando estamos perante vrias variveis aleatrias a notao acima ligeiramente alterada, sendo por exemplo os momentos centrados da varivel Xj (2.3) j,k = E h k i . Xj 0j,1

De igual modo, e se necessrio, X,k e Y,k representam os k-simos momentos centrados das variveis X e Y, respectivamente. Atravs dos momentos so calculados os coecientes de assimetria (2.4) 1 = 3 (2 ) 2
3

3. A IMPORTNCIA DOS CUMULANTES

e de achatamento1 (2.5) bem como o coeciente de variao (2.6) e o coeciente de disperso (2.7) CD = 2 = CV. CV = 2 = 4 , (2 )2

A funo geradora de momentos, fundamental para o clculo dos cumulantes, denida por (2.8) sendo a funo caracterstica (2.9) MX (t) = E etX , X (t) = E eitX ,

que por estar denida para todo o t real existe sempre, qualquer que seja a distribuio considerada. Para variveis aleatrias discretas com suporte em N0 ainda habitual a utilizao da funo geradora de probabilidades, (2.10) GX (z ) = X fX (j ) z j .

j N0

3. A Importncia dos Cumulantes A funo geradora de cumulantes denida como a expanso em srie de Taylor do logaritmo da funo geradora de momentos, ou seja
X di ti X ti ln[X (it)] = ln[MX (t)] = [ln MX (t)] (0) = i it d i ! i! i=1 i=1 1

Apesar de actualmente se denir o coeciente de achatamento como 2 = 2 3 (sendo zero

o achatamento da gaussiana), essa no foi a opo considerada neste trabalho, pois a maioria do software continua a utilizar 2 .

II. ORGANIZAO DE MODELOS

onde i o i-simo cumulante. Os cumulantes, que esto intimamente relacionados com os momentos da populao, 1 = 01 2 = 2 (3.1) 3 = 3 4 = 4 3 (2 )2 5 = 5 102 3 ... so muito importantes pela simplicidade da expresso dos cumulantes de uma soma de variveis aleatrias independentes, como adiante explicitamos. possvel escrever os coecientes de assimetria e achatamento em funo dos cumulantes, j que 1 = e 2 = 4 4 + 3. 2 = (2 ) (2 )2 3 (2 )
3 2

3 (2 ) 2
3

Assim, consoante o valor do 3o e 4o cumulantes, conclui-se: a assimetria da distribuio: se 3 > 0 1 > 0 a distribuio assimtrica positiva e se 3 < 0 1 < 0 a distribuio assimtrica negativa; o achatamento da distribuio: se 4 > 0 2 > 3

4. O SISTEMA DE PEARSON

a distribuio mais achatada (tem caudas mais pesadas) do que a gaussiana padro e se 4 < 0 2 < 3 a distribuio menos achatada do que a gaussiana padro. Quando temos uma soma de variveis aleatrias independentes, Z=
n X i=1

Xi ,

a funo geradora dos cumulantes de Z " n # n X Y X di ti MXj (t) = (0)]] [ln[ M = ln[MZ (t)] = ln Xj di t i! j =1 j =1 i=1 =
i X n X t i=1

i!

i (Xj ) ,

j =1

logo o i-simo cumulante da soma no mais que a soma dos i-simos cumulantes das parcelas, (3.2) i (Z ) = i
n P

Xi

i=1

n X j =1

i (Xj ) .

4. O Sistema de Pearson Uma funo densidade f pertence famlia de Pearson quando f 0 (x) x+a . = f (x) b0 + b1 x + b2 x2 Fixando as constantes a, b0 , b1 e b2 , denidas por 2 1 ( 2 + 3) a = b1 = (4.1) 10 2 18 12 2 1 2 2 4 2 3 1 b0 = 10 2 18 12 2 1 b2 = 2 2 3 2 16 , 10 2 18 12 2 1

sendo o quadrado do coeciente de assimetria

10

II. ORGANIZAO DE MODELOS

2 1 =

3 (2 ) 2
3

!2

(3 )2 , (2 )3

encontram-se como solues sete famlias de distribuies2, denominadas Pearson tipo I - VII. Estas famlias de distribuies pressupem a existncia de uma nica moda ou antimoda no interior do suporte, excluindo-se por isso as distribuies com duas ou mais modas. Os momentos e coecientes populacionais podem, como habitualmente, ser estimados pelos respectivos momentos e coecientes amostrais. Num sistema de Pearson as distribuies so classicadas em funo do quadrado do coeciente de assimetria e do coeciente de achatamento. Note-se desde j que em qualquer distribuio (4.2) 2 2 1 1.

a que correspondem diversos tipos de Pearson.

A gura abaixo reproduzida (Andreev et al, 2005) divide o plano 2 1 , 2 em regies

Figura 1 : tipos de Pearson em funo de 1 e 2


2

Na sua forma mais completa, o sistema de Pearson contempla os tipos I-XII, sendo que os tipos

VIII-XII so subtipos dos restantes.

4. O SISTEMA DE PEARSON

11

Estas distribuies so classicadas no sistema de Pearson essencialmente atravs do clculo de (4.3) =


2 2 1 ( 2 + 3) , 4 4 2 3 2 2 2 3 2 2 2 3 2 1 1 16

na forma abaixo indicada (Johnson et al, 1994). Tipo I (famlia das betas) se <0

(4.4)

Tipo II (beta simtrica) se (4.5)

Uma expresso simples obtm-se notando que < 0 se e s se > 1.5 2 2 3 2 > 0 2 2 1 1 2 1.5 2 1 < 2 < 1.5 1 + 3. < 1.5 2 + 3 2 3 2 6 < 0
2 1 2 1

2 1 = 0 e 2 < 3. Tipo III (famlia das gamas) se

(4.6)

2 2 3 2 1 6 = 0. Tipo IV (no contm distribuies de uso comum) se

(4.7)

0 < < 1. Tipo V (inclui a gaussiana inversa) se

(4.8)

= 1. Tipo VI (inclui a beta inversa) se

(4.9)

> 1. Tipo VII (inclui a t de Student) se

(4.10)

2 1 = 0 e 2 > 3.

12

II. ORGANIZAO DE MODELOS

5. O Sistema de Katz Uma funo massa de probabilidade f pertence famlia de Katz quando (5.1) f (x + 1) + x = , f (x) 1+x x N0 , > 0, < 1.

Se + x < 0, ento f (x + j ) = 0 para j > 0. A expresso (5.1) pode ser reescrita, multiplicando ambos os membros por (x + 1)k , como (x + 1)k+1 f (x + 1) = (x + 1)k ( + x) f (x) . Somando em ordem a x, vem 0k+1 obtendo-se aps alguns clculos = (5.2) 2 3 4 logo 1 = (5.3) 2 CV 1+ 1+ = 1/2 (1 ) 1 = (1 )2 1+ 2 = 1 2 + 4 + 1 4 2 , = 3 + (1 )2
k X k 0 = j + 0j +1 j j =0

= 1/2

2 + 4 + 1 2 + 4 + 1 = 3+ =3+ 2 (1 )2

CD = (1 )1 . Em funo do parmetro , Katz mostrou que podem ser obtidas trs distribuies nesta famlia.

6. A FAMLIA NEF-QVF

13

Quando = 0 obtemos a distribuio Poisson, X P () , que equidispersa pois CD = 1. Quando 0 < < 1 obtemos a distribuio binomial negativa, X BN que sobredispersa pois CD > 1.
,

Quando < 0 obtemos a distribuio binomial, X B , que , 1 subdispersa pois CD < 1. assim possvel testar se um determinado conjunto de dados pode ser modelado por uma distribuio Poisson (H0 : = 0) contra uma distribuio binomial (Ha : < 0) ou em alternativa por uma distribuio binomial negativa (Ha : > 0) , o que interessante em anlise de dados (Johnson et al, 2005).

6. A Famlia NEF-QVF Uma funo de distribuio F pertence famlia exponencial3 quando dF (x) = exp [ () T (x) ()] dG (x) , onde , T, e G so funes conhecidas, sendo que e no dependem de x, T no depende de e G uma funo de distribuio independente de . Quando e T so ambas a funo identidade obtemos a famlia exponencial natural (NEF), dF (x) = exp [x ()] dG (x) , sendo designado por parmetro natural. Uma das grandes vantagens da famlia NEF os cumulantes (ver seco 3 na pgina 7) serem simplesmente (Morris, 1982) i = (i) () , onde (i) a i-sima derivada da funo .
3

A famlia exponencial, que no ser tratada em profundidade neste texto, de extrema im-

portncia em estatstica (Azzalini, 1996; Casella e Berger, 1990).

14

II. ORGANIZAO DE MODELOS

Por outro lado, se X1 , ..., Xn forem variveis aleatrias independentes e identicamente distribudas pertencentes famlia NEF, a sua soma tambm o ser (ou seja, as distribuies desta famlia so fechadas para a soma). Para algumas distribuies pertencentes famlia NEF, a varincia uma funo quadrtica da mdia (NEF-QVF), 2 = + + 2 . Morris mostrou que existem somente seis distribuies pertencentes famlia NEFQVF (Malva et al, 2007) Tabela 1: distribuies da famlia NEF-QVF Distribuio N (, ) P () B (n, p) BN (r, p) Gama (, ) GHS (, ) 0 0
1 r 1 1

2 0 0 0 0 0 1

1 1 n

1 0 0

onde GHS (, ) a distribuio secante hiperblica generalizada (Morris, 1982). A famlia NEF-QVF , tal como a famlia NEF, fechada para somas, mas ainda fechada para transformaes lineares e tem propriedades de divisibilidade ( excepo da binomial, que divisvel somente um nmero nito de vezes, todas as outras distribuies NEF-QVF so innitamente divisveis4). 7. Distribuies Log-Cncavas e Log-Convexas Uma funo densidade f diz-se log-cncava se (7.1)
4

Ver seco seguinte.

[ln f ]00 (x) 0 f f 00 f 02 (x) 0

7. DISTRIBUIES LOG-CNCAVAS E LOG-CONVEXAS

15

e log-convexa se (7.2) [ln f ]00 (x) 0 ff 00 f 02 (x) 0. f (x 1) f (x + 1) f 2 (x) 0

De forma similar, uma funo massa de probabilidade diz-se log-cncava se (7.3) e log-convexa se (7.4) f (x 1) f (x + 1) f 2 (x) 0.

O estudo das concavidades do logaritmo da funo densidade e da funo massa de probabilidade importante em estatstica, pois este permite inferir sobre unimodalidade e divisibilidade innita. A seguinte denio de unimodalidade forte deve-se a Ibragimov, bem como o teorema que se lhe segue (Medgyessy, 1977). Definio 7.1. Uma distribuio contnua (discreta) fortemente unimodal se a sua convoluo com qualquer distribuio unimodal contnua (discreta) unimodal. Teorema 7.1. Uma distribuio fortemente unimodal se e s se a sua funo densidade ou funo massa de probabilidade log-cncava. Naturalmente que a unimodalidade forte implica a unimodalidade, sem que o recproco seja verdadeiro. Quanto divisibilidade innita, esta ser denida seguidamente. Definio 7.2. Uma varivel aleatria X innitamente divisvel se para cada n N existem variveis aleatrias independentes e identicamente distribudas tais que (7.5) X = X1 + ... + Xn .
d

16

II. ORGANIZAO DE MODELOS

Existem inmeras formas de provar que uma distribuio innitamente divisvel, mas talvez a mais simples (embora s indique condies sucientes) seja a exposta no teorema seguinte (Steutel, 1970). Teorema 7.2. Se X uma varivel aleatria com funo densidade ou funo massa de probabilidade log-convexa, ento X innitamente divisvel. Distribuies log-cncavas tambm podem ser innitamente divisveis, mas esta condio j no suciente. A divisibilidade innita uma questo importante em estatstica. A sua denio implica que para cada n N existem X1 (t) , ..., Xn (t) tais que (7.6) X (t) = X1 (t) ...Xn (t) .

Assim, a funo caracterstica de uma varivel innitamente divisvel ocupa, no estudo das distribuies, um papel similar ao do nmero 1 na factorizao de inteiros. Assim, qualquer varivel aleatria pode ser decomposta na soma de variveis aleatrias irredutveis e innitamente divisveis, conforme demonstrado por Khinchine (Pestana e Velosa, 2008). Por outro lado, a qualquer varivel aleatria innitamente divisvel pode ser associado um processo estocstico com incrementos independentes (processo de Lvy).

CAPTULO III

Generalidades Sobre Misturas


1. Introduo As misturas nitas, em que o nmero de componentes ou subpopulaes xo, so as mais estudadas na literatura, quer a nvel terico, quer a nvel prtico. Por exemplo, os manuais dedicados ao estudo de misturas (Everitt e Hand, 1981; Frhwirth, 2006; McLachlan e Peel, 2000) referem-se sobretudo a misturas nitas, no havendo (ou pelo menos no encontrmos) qualquer manual dedicado ao estudo de misturas innitas. As misturas nitas ou innitas numerveis tm diversas aplicaes, directas ou indirectas. As aplicaes directas surgem quando cada observao pertence a uma subpopulao ou categoria, apesar de raramente se saber a qual. Neste tipo de mistura, cada subpopulao descrita pela sua densidade, e os pesos da mistura so as probabilidades de cada observao pertencer a essa subpopulao (Luca e Zuccolotto, 2003; Pearson, 1894). As aplicaes indirectas surgem quando no existe a diviso dos dados em subpopulaes, sendo o ajustamento da mistura feito por permitir uma grande exibilidade, como multimodalidade (Abd-Almagged e Davis, 2006; Jang et al, 2006). As misturas innitas tm tambm algumas aplicaes que vale a pena realar. Um modelo hierrquico do tipo X |P B (n, P ) onde fP (p) = p1 , 0<p<1

pode ser muito til para analisar dados binomiais em que a probabilidade de sucesso no seja constante (Johnson et al, 2005). Tambm uma transformao de escala (ou de forma mais geral uma transformao linear) de uma varivel aleatria, em que este
17

18

III. GENERALIDADES SOBRE MISTURAS

parmetro de escala no xo, tendo uma funo densidade positiva, dever ser vista como uma mistura (Kelker, 1971). Neste captulo feita uma smula de alguns resultados gerais sobre misturas nitas e sobre misturas innitas de escala. Os teoremas apresentados no so demonstrados, pois encontram-se em diversos manuais da rea (Everitt e Hand, 1981; Frhwirth, 2006; McLachlan e Peel, 2000). 2. Misturas Finitas Definio 2.1. Uma varivel aleatria X uma mistura nita1 de variveis aleatrias independentes X1 , ..., XN se a correspondente funo de distribuio for da forma (2.1)
N X j =1

FX (x) =

N X j =1

wj FXj (x)

onde wj > 0,

wj = 1.

Como wj > 0 e FXj crescente, FX sempre crescente, vericando-se naturalmente lim FX (x) =
N X j =1

wj lim FXj (x) =


x

N X j =1

wj 1 = 1.

Assim, a densidade de X, se existir, no mais que uma soma ponderada (combinao linear convexa) de outras densidades. Os pesos wj so determinsticos, podendo ser encarados como parmetros (desconhecidos ou no). Note-se ainda que a condio wj > 0 pode ser relaxada, desde que dFX > 0. Este tipo de misturas nitas no convexas sero estudadas posteriormente neste trabalho, mas salvo referncia em contrrio quando falamos em misturas nitas assumimos implicitamente combinaes convexas de funes de distribuio. Os momentos da mistura, bem como a sua funo caracterstica e funo geradora de momentos, podem ser facilmente deduzidos recorrendo a (2.1).
1

Quando N obtm-se uma mistura innita numervel.

3. MISTURAS DE ESCALA

19

Teorema 2.1. Seja X uma mistura nita de variveis aleatrias independentes X1 , ..., XN . Se existirem, os k-simos momentos populacionais sero
N X j =1

(2.2)

0k =

wj 0j,k

e
N X j =1

(2.3)

k =

wj j,k .

Teorema 2.2. Seja X uma mistura nita de variveis aleatrias independentes X1 , ..., XN . A funo caracterstica e a funo geradora de momentos (quando existe) so
N X j =1

(2.4)

X (t) =

wj Xj (t)

e
N X j =1

(2.5)

MX (t) =

wj MXj (t) .

3. Misturas de Escala Definio 3.1. Uma varivel aleatria X uma mistura innita se
+ Z h () FY (x|) d FX (x) =

(3.1)

onde F representa uma funo de distribuio e h uma funo densidade.

20

III. GENERALIDADES SOBRE MISTURAS

Como h > 0 e FY crescente, FX sempre crescente. Podemos ainda vericar que


x

lim FX (x) = 1, pois + + + + Z + Z Z Z Z h () dFY (x|) d = dFY (x|) h () d = dFX (x) =


+ Z h () d = 1. =

A varivel aleatria X pode ter vrias interpretaes, de acordo com a funo h considerada. Atravs da densidade (3.1) possvel calcular expresses para os momentos e para a funo caracterstica. No entanto, sem mais informao sobre as funes h e F , estas expresses no tero grande interesse. Neste trabalho sero estudadas de forma mais aprofundada misturas de escala de variveis absolutamente contnuas, um caso particular de misturas innitas. Definio 3.2. Uma varivel aleatria absolutamente contnua Y uma mistura de escala se (3.2) Y = X,

onde e X so variveis aleatrias absolutamente contnuas e independentes e o suporte de um subconjunto de R+ 0. Note-se que Y = X pode ser visto quer como um produto de variveis aleatrias quer como uma mistura de uma varivel X com um parmetro de disperso , cujo suporte ser obrigatoriamente positivo. Naturalmente que a sua funo densidade a resultante do produto de duas variveis aleatrias independentes (Pestana e Velosa, 2008), tendo como expresso (3.3)
+ Z f () y fY (y ) = fX d. 0

Os momentos da mistura, bem como a sua funo caracterstica e funo geradora de momentos, podem ser deduzidos recorrendo a (3.3), caso esta tenha uma expresso

3. MISTURAS DE ESCALA

21

explcita. Na maioria das situaes, talvez seja no entanto mais simples recorrer s propriedades do produto de variveis independentes. Teorema 3.1. Seja Y uma mistura de escala denida em (3.2). Ento o valor esperado e a varincia da mistura sero (3.4) e (3.5) 2 Y,2 = 0X,1 ,2 + X,2 0,2 , 0Y,1 = 0,1 0X,1

se todos os momentos envolvidos existirem.

Momentos de ordens superiores, quando existem, podem ser calculados de igual forma. As expresses envolvidas tendero, obviamente, a ser bastante mais complexas. Quanto funo caracterstica e funo geradora de momentos, atente-se ao teorema seguinte. Teorema 3.2. Seja Y uma mistura de escala denida em (3.2). A funo caracterstica e a funo geradora de momentos (quando existe) sero (3.6) e (3.7) MY (t) = E (MX (t)) . Y (t) = E (X (t))

Atendendo funo densidade da mistura de escala (ver expresso 3.3), poderemos utilizar a notao de Gurland na sua representao (Johnson et al, 2005; Gurland, 1957). Assim, a varivel Y ser representada por (3.8) FX x, 1 F () ,

22

III. GENERALIDADES SOBRE MISTURAS

no sendo no entanto possvel exprimir a funo de distribuio de Y como uma generalizao das de e X, que seria o principal interesse deste procedimento. Existem outras formas de tratar produtos de variveis aleatrias independentes.
0 Pestana e Velosa (2008) refere a transformada de Mellin, MX (t) = E (X t ) , que apre-

senta solues simples caso ambas as variveis a multiplicar sejam positivas. Para a mistura em anlise, como o parmetro de escala cumpre esta condio, basta apenas que a varivel X tambm a cumpra. Se isso suceder, (3.9) 0 0 0 MY (t) = E Y t = E t X t = E t )E (X t = M (t) MX (t) . ln Y = ln (X ) = ln + ln X,

Caso X seja positiva, h ainda a possibilidade de trabalhar com (3.10)

permitindo usufruir das propriedades da adio de variveis aleatrias independentes. Nesta situao, Mln Y (t) = E et ln Y = E Y t = = E t E X t ,

(3.11)

que poder ser til no clculo de momentos.

CAPTULO IV

Misturas Convexas de Gaussianas


1. Introduo Desde o trabalho pioneiro de Pearson (1894) que as misturas nitas de gaussianas ocupam um lugar de relevo no estudo de misturas, consequncia natural da reconhecida importncia desta distribuio em estatstica. Actualmente, as misturas nitas de gaussianas tm aplicaes nas mais diversas reas, desde a Biologia Economia, passando pela Informtica e pela Astronomia (Frhwirth, 2006). Foi no entanto necessrio percorrer um longo caminho at se conseguir estimadores razoavelmente ecientes para os parmetros da mistura. A questo da estimao dos parmetros prolongou-se por todo o sculo XX, pois o mtodo da mxima verosimilhana no apresenta solues explcitas, obrigando utilizao de mtodos numricos computacionalmente exigentes (Dempster et al, 1977; Hasselblad, 1966). Note-se ainda que apesar das misturas nitas de gaussianas serem identicveis (Teicher, 1961, 1963), as estimativas obtidas so por vezes mximos locais consideravelmente afastados dos parmetros. Quanto ao mtodo dos momentos, a sua eccia est severamente limitada pelo elevado nmero de parmetros que preciso estimar, obrigando ao clculo de momentos amostrais de ordens elevadas. Embora o problema supra citado seja extremamente interessante, igualmente pertinente a anlise de situaes particulares, especialmente para duas hipteses sobejamente conhecidas em estatstica: a igualdade de mdias e a igualdade de varincias. Assim, e embora a questo da estimao de parmetros no caso geral seja abordada neste captulo, dado especial enfoque anlise das situaes particulares referidas e suas aproximaes ao sistema de Pearson. Estas aproximaes, quando vlidas, tm

23

24

IV. MISTURAS CONVEXAS DE GAUSSIANAS

a vantagem de permitir trabalhar com um mximo de quatro parmetros, o que pode ser importante no clculo de estimativas.

2. Denio, Momentos e Cumulantes Quando uma varivel aleatria X tem distribuio gaussiana, X N (, ) , a sua funo densidade ( 2 ) 1 1 x fX (x) = , exp 2 2 > 0.

Por sua vez, o valor esperado, a varincia, a assimetria e o achatamento so 01 = 2 = 2 1 = 0 2 = 3. Ento, quando as variveis aleatrias a misturar tm distribuio gaussiana, isto , Xj N j , j

obtemos por aplicao directa da denio de mistura a funo densidade ( 2 ) N X x 1 1 j (2.1) fX (x) = , j > 0. wj exp 2 j 2 j j =1 O valor esperado e a funo caracterstica desta mistura so obtidos facilmente, pois (2.2) e (2.3) t2 2 j wj Xj (t) = wj exp itj X (t) = . 2 j =1 j =1
N X N X

01

N X j =1

wj E (Xj ) =

N X j =1

wj j

3. A ESTIMAO DOS PARMETROS

25

Para obtermos os momentos centrados, vamos recorrer funo geradora de cumulantes. A funo geradora de momentos denida por N N X X t2 2 j , wj MXj (t) = wj exp tj + (2.4) MX (t) = 2 j =1 j =1 sendo a funo geradora de cumulantes (2.5) ln[MX (t)] = 1 t + 2 t2 t3 t4 + 3 + 4 + O t5 . 2! 3! 4!

Aps alguns clculos, temos que os cumulantes so iguais a (2.6) 1 = 2 =


N X j =1 N X j =1 N X j =1

2 2 wj 2 j + j

3 =

N X 3 2 3 2 wj j + 3j j + 2 3 wj 2 j + j j =1

4 =

N X 4 2 2 4 2 wj j + 6j j + 3 j 4 wj 3 j + 3j j + j =1 N X j =1

+122

Das expresses anteriores obtm-se 1 e 2 (ver seco 3 na pgina 7), mas no possvel extrair concluses gerais quanto ao comportamento da assimetria (pode ser positiva ou negativa) e do achatamento (pode ser leptocrtica ou platicrtica) da mistura1. 3. A Estimao dos Parmetros 3.1. Mtodo dos Momentos. O mtodo dos momentos provavelmente o mais antigo mtodo de estimao, introduzido por Pearson no nal do sculo XIX (Pearson, 1894). Por ser bastante simples de utilizar, ainda hoje uma opo a ter em conta, pois permite encontrar estimativas dos parmetros em situaes onde outros mtodos de estimao mais complexos
1

2 wj 2 + j j 3

N X
j =1

!2 2 wj j + 2 64 . j

Como veremos posteriormente, quando as mdias so iguais (misturas de escala) possvel

mostrar que 2 > 3.

26

IV. MISTURAS CONVEXAS DE GAUSSIANAS

no conseguem. O mtodo dos momentos consiste em, para uma determinada funo Hk (.) , igualar os momentos tericos (ver expresso (2.2) e seguintes na pgina 19) E (Hk (X )) = aos momentos amostrais Hk =
n X Hk (Xi ) i=1 N X j =1

wj E (Hk (Xj ))

Diversas funes Hk (.) podem ser consideradas. habitual considerar Hk (X ) = X k ou Hk (X ) = [X E (X )]k . No entanto, nada nos impede de, por exemplo, denir Hk (X ) = ekX e utilizar a funo geradora de momentos (Frhwirth, 2006). Parece no entanto prefervel, em termos computacionais, recorrer a k ou 0k , pois estes momentos populacionais originam equaes polinomiais, de tratamento mais simples que as equaes transcendentes, as quais necessitam habitualmente de uma boa soluo inicial. Considerando o valor esperado e os restantes momentos populacionais centrados, o estimador pelo mtodo dos momentos ser denido seguidamente. Definio 3.1. Seja X uma varivel aleatria caracterizada custa de um vector de parmetros de dimenso p, expresso atravs da relao = (h1 (, 2 , ..., k ) , ..., hp (, 2 , ..., k )) . b de obtido pelo mtodo dos momentos O estimador (3.1)

b = (h1 (m0 , m2 , ..., mk ) , ..., hp (m0 , m2 , ..., mk )) , 1 1

3. A ESTIMAO DOS PARMETROS

27

onde

(3.2)

m01 = X

representa a mdia amostral e

(3.3)

k n X Xi X mk = n i=1

o k-simo momento amostral centrado.

Quando a distribuio em anlise uma mistura nita de gaussianas, temos um mximo de 3N 1 parmetros a estimar; j , 2 j e wj em cada varivel Xj a mistuN X wj = 1. rar, menos um parmetro que univocamente determinado notando que
j =1

Precisamos evidentemente de calcular os 3N 1 primeiros momentos (cada momento origina uma equao linearmente independente das restantes). Mesmo para um nmero reduzido de subpopulaes, necessrio calcular muitos momentos, ou impor restries aos parmetros (como por exemplo a igualdade das varincias). No caso mais simples, em que temos somente duas subpopulaes, necessrio calcular 5 momentos. Porque 1 = 0, para k = 1 considerado o momento no centrado, ou seja, a mdia. Note-se ainda que a variabilidade das estimativas obtidas poder ser bastante elevada, pois esta aumenta signicativamente com o nmero de momentos a calcular. 0 As equaes explcitas de w, b b1 , b2 , b2 b2 1, 2 como funes de (m1 , m2 , m3 , m4 , m5 )

so demasiado extensas para aqui serem reproduzidas, mas para w2 = 1 w1 os estimadores dos momentos sero obtidos resolvendo

28

IV. MISTURAS CONVEXAS DE GAUSSIANAS

m01

01

2 X i=1 2 X i=1 2 X i=1 2 X i=1 2 X i=1

wi i h i 2 wi (i 01 ) + 2 i

m2 = 2 = m3 = 3 = m4 = 4 = m5 = 5 =

h i 3 wi (i 01 ) + 3 (i 01 ) 2 i

h i 0 4 0 2 2 4 wi (i 1 ) + 6 (i 1 ) i + 3 i

h i 5 3 0 4 wi (i 01 ) + 10 (i 01 ) 2 + 15 ( ) i i 1 i .

3.2. Mtodo da Mxima Verosimilhana.

O mtodo da mxima verosimilhana talvez o mais popular dos mtodos de estimao em estatstica (para mais detalhes consultar, por exemplo, Azzalini, 1996; Casella e Berger, 1990). Este mtodo foi desenvolvido por Fisher e consiste em procurar o vector de parmetros com maior probabilidade de ter produzido a amostra observada x. Definio 3.2. Seja L (|x) =
n Y i=1

f (xi )

uma funo de verosimilhana. A estimativa de mxima verosimilhana para o vector b tal que de parmetros o ponto Tendo em conta as caractersticas da funo de verosimilhana, sob determinadas condies de regularidade (pertencer famlia exponencial uma condio suciente b |x , maxL (|x) = L

3. A ESTIMAO DOS PARMETROS

29

mas no necessria), bastar determinar os zeros da derivada do logaritmo da funo de verosimilhana. Definio 3.3. Seja L (|x) uma funo de verosimilhana. Para cada parmetro j , j = 1, ..., p, as equaes de verosimilhana so denidas por ln L (|x) = 0. j Quando a distribuio em anlise uma mistura nita de gaussianas, temos ento um mximo de 3N 1 parmetros a estimar. A funo de mxima verosimilhana , xada uma amostra de dimenso n, "N ( 2 )# n Y X 1 1 xi j , wj exp L ( |x) = 2 j 2 j i=1 j =1 sendo o seu logaritmo ln L (|x) =
n X i=1

( 2 )# 1 1 xi j ln wj exp 2 j 2 j j =1 "N X

2 com = (w1 , ..., wN , 1 , ..., N , 2 1 , ..., N ). No possvel obter uma expresso explcita

para os estimadores de mxima verosimilhana, pois as equaes de verosimilhana no podem ser resolvidas analiticamente. Os trabalhos iniciais sobre este assunto consideravam apenas a situao de igualdade das varincias, e procuravam os estimadores atravs de mtodos directos, como o de Newton-Raphson (Hasselblad, 1966). Com a acessibilidade a computadores mais potentes, surgiram algoritmos mais evoludos, mas de convergncia lenta. Modernamente habitual utilizar-se uma variao do mtodo da mxima verosimilhana, designada por expectation-maximization algorithm2 (Dempster et al, 1977). A ideia do algoritmo EM considerarmos novamente (ver Captulo I) que temos uma varivel aleatria que indica a que subpopulao que cada elemento da amostra
2

Designado neste texto por algoritmo EM.

30

IV. MISTURAS CONVEXAS DE GAUSSIANAS

pertence, Si 1 ... N wN

P (Si = j ) w1 e uma varivel aleatria auxiliar 1, Dij = 0,

se Si = j se Si 6= j

sendo agora a funo de mxima verosimilhana (ver expresso (0.7) da pgina 3) " ( 2 )#Dij N n Y Y 1 xi j 1 wj exp , L (|x, s) = 2 j 2 j i=1 j =1 e consequentemente o seu logaritmo ln L (|x, s) =
n X N X i=1

( 2 )# 1 1 xi j . Dij ln wj exp 2 j 2 j j =1 "

O algoritmo EM consiste em dois passos distintos: o passo E, onde computado o valor esperado de ln [L ( ; x, s)] , em funo da amostra e da estimativa actual do vector de parmetros, originando ! (m1) 2 bj 1 xi 1 (m1) w bj exp (m1) ( m 1) 2 2 bj bj ( m ) b Dij = ! , m 1; N (m1) 2 X 1 xi 1 bk (m1) w exp bk (m1) ( m 1) 2 2 b b
k=1 k k (m) bj n 1 X b (m) = D xi nj i=1 ij i=1

o passo M, onde maximizado

n h i2 X 2 (m) (m1) b (m) xi D = b bj ij j n X i=1

com nj =

b (m) . D ij

w bj

(m)

nj n

3. A ESTIMAO DOS PARMETROS

31

exemplo, recorrendo ao mtodo dos momentos. Uma escolha acertada da soluo inicial pode ser importante na obteno de uma boa soluo nal, pois no se consegue encontrar um maximizante absoluto ( possvel que a funo de verosimilhana seja b(0) = , ilimitada e que existam vrias modas). No entanto, mesmo comeando com 3.3. Caso Prtico. 3.3.1. Algoritmo EM vs Mtodo dos Momentos. Para averiguar o comportamento do algoritmo EM e do mtodo dos momentos na estimao de parmetros em misturas de gaussianas, foram geradas dez amostras3 de dimenso 1000 de misturas de duas gaussianas, para dois diferentes vectores de
2 parmetros = (w, 1 , 2 , 2 1 , 2 ) . As amostras foram geradas pelo software Mat-

b(0) , que pode ser obtida, por necessria uma estimativa inicial dos parmetros,

no se garante que o maximizante local encontrado seja o melhor (Frhwirth, 2006).

lab 7.5, que foi igualmente utilizado para implementar o algoritmo EM. Quanto ao mtodo dos momentos, este foi aplicado no software Mathematica 6.0. Conforme referimos anteriormente, precisamos de calcular 3N 1 momentos, em que N o nmero de subpopulaes. Para evitar a utilizao de momentos de ordens muito elevadas, que poderiam conduzir facilmente a estimativas errneas, limitou-se este estudo comparativo a duas subpopulaes. O Erro Quadrtico Mdio (EQM) foi a medida utilizada na aferio da qualidade das estimativas obtidas, (3.4) 2 b b EQM = E .

Procurou-se vericar se o erro quadrtico mdio da estimativa obtida pelo mtodo dos momentos (EQMM) era superior ao erro quadrtico mdio da estimativa obtida pelo mtodo do algoritmo EM (EQME).
3

No se pretende fazer um verdadeiro trabalho de simulao sobre estimao de parmetros em

misturas nitas de gaussianas (a literatura frtil neles), mas somente exemplicar o uso dos mtodos de estimao referidos.

32

IV. MISTURAS CONVEXAS DE GAUSSIANAS

Cada um dos vectores de parmetros foi tratado considerando todas as componentes desconhecidas, implicando que (3.5) 5 X 2 b b EQM = . E i i
i=1

2 Para o primeiro vector de parmetros, = (w, 1 , 2 , 2 1 , 2 ) = (0.5, 5, 7, 1, 9) ,

utilizou-se para soluo inicial do mtodo do algoritmo EM b(0) = 0.5, X, Me, S 2 , S 2

onde X, Me e S 2 so, respectivamente, a mdia, a mediana e a varincia amostral4. A tabela abaixo expe os resultados obtidos.
2 Tabela 2: = w, 1 , 2 , 2 1 , 2 = (0.5, 5, 7, 1, 9) e todos os parmetros desconhecidos Mtodo do Algoritmo EM EQMM 0.325 0.127 0.757 4.168 0.971 2.265 0.401 b = (0.486, 4.858, 7.143, 0.906, 8.416) b = (0.547, 5.028, 7.187, 0.979, 8.275) b = (0.521, 5.040, 7.131, 0.896, 9.812) b = (0.470, 4.932, 6.958, 0.907, 8.765) b = (0.503, 5.065, 6.908, 1.002, 9.895) b = (0.434, 4.841, 6.770, 0.808, 7.329) b = (0.489, 5.054, 7.122, 1.042, 9.349) b = (0.401, 4.896, 6.706, 0.714, 8.164) b = (0.504, 5.087, 7.016, 1.074, 8.789) b = (0.473, 4.968, 6.966, 0.960, 9.184)

Mtodo dos Momentos

EQME 0.391 0.564 0.698 0.071 0.813 2.911 0.142 0.888

b = (0.503, 4.918, 7.190, 1.171, 8.497) b = (0.549, 5.181, 7.012, 0.812, 9.236) b = (0.535, 5.048, 7.185, 1.018, 9.847) b = (0.525, 5.070, 6.988, 1.182, 9.966) b = (0.542, 4.969, 7.076, 1.538, 7.598) b = (0.419, 4.984, 6.921, 0.383, 9.078) soluo no admissvel b = (0.555, 5.158, 7.146, 1.430, 9.114) soluo no admissvel b = (0.699, 5.249, 7.762, 2.415, 10.214)

0.247

0.058 0.038

Os resultados para esta situao mostram que nem sempre o algoritmo EM superior ao mtodo dos momentos. No entanto, o mtodo dos momentos no apresentou qualquer soluo admissvel em duas amostras, e em outras trs a soluo obtida no
4

O mtodo dos momentos nem sempre originou uma soluo admissvel, pelo que no foi uti-

lizado para soluo inicial. A soluo inicial com b1 = b2 tambm no foi adoptada porque diversas diferentes. vezes originou uma soluo nal com b1 = b2 , mesmo quando estes parmetros eram razoavelmente

3. A ESTIMAO DOS PARMETROS

33

foi nica5, optando-se nessa situao por escolher a melhor soluo (assume-se que, numa situao prtica, o utilizador teria a capacidade de escolher a melhor soluo para o seu caso).
2 Para o segundo vector de parmetros, = (w, 1 , 2 , 2 1 , 2 ) = (0.1, 2, 4, 4, 2),

utilizou-se para soluo inicial do mtodo do algoritmo EM6 b(0) = 0.2, X, Me, S 2 , S 2 .

A tabela abaixo expe os resultados obtidos.

Mtodo dos Momentos soluo no admissvel

2 Tabela 3: = w, 1 , 2 , 2 1 , 2 = (0.1, 2, 4, 4, 2) e todos os parmetros desconhecidos Mtodo do Algoritmo EM EQMM b = (0.409, 3.167, 4.255, 3.265, 1.672) b = (0.380, 3.200, 4.110, 3.840, 1.505) b = (0.089, 2.116, 3.895, 5.522, 2.136) b = (0.086, 1.670, 4.051, 4.542, 1.874) b = (0.441, 3.199, 4.127, 3.306, 1.441) b = (0.140, 2.371, 4.073, 4.399, 1.917) b = (0.137, 2.494, 3.969, 4.745, 1.998) b = (0.065, 1.772, 3.944, 5.081, 1.993) b = (0.266, 3.057, 4.093, 4.564, 1.783) b = (0.279, 2.989, 4.057, 3.796, 1.931) 1.284

EQME 2.170

b = (0.397, 3.176, 4.151, 3.685, 1.488) soluo no admissvel soluo no admissvel soluo no admissvel soluo no admissvel soluo no admissvel soluo no admissvel b = (0.265, 2.993, 4.114, 4.456, 1.778) soluo no admissvel

1.856

1.800 2.360 0.421 2.364 0.310 0.801 1.226 1.518 1.059

Note-se que agora o mtodo dos momentos s apresenta uma soluo admissvel em duas amostras (e mesmo nessas a soluo no nica). Apesar de apresentar resultados muito superiores ao mtodo dos momentos, o algoritmo EM tambm apresenta piores resultados nesta situao, o que no deixa de ser natural, j que agora os pesos so desproporcionados e as varincias prximas.

escandaloso admitir que, partida, o utilizador teria uma noo das propores de cada subpopulao.

(1 w, b b2 , b1 , b2 , b1 ) . 6 O algoritmo parece ser especialmente sensvel a uma m escolha de w. No entanto, no parece

No nos referimos a situaes de identicabilidade estrita, em que se assume (w, b b1 , b2 , b1 , b2 ) 6=

34

IV. MISTURAS CONVEXAS DE GAUSSIANAS

3.3.2. O EQM no Algoritmo EM.

Vimos que o algoritmo EM parece comportar-se melhor que o mtodo dos momentos em misturas de duas gaussianas, pelo que se procedeu a um trabalho de simulao mais detalhado deste mtodo, considerando agora misturas de duas, trs e quatro gaussianas. Para cada vector de parmetros desconhecido foram simuladas 1000 amostras de dimenso 10000, calculando-se a mdia do EQM. Desta feita as estimativas iniciais dos parmetros foram encontradas do seguinte modo: atravs da congurao padro do Matlab 7.57 para densidades unimodais; atravs da congurao padro do Matlab 7.5, excepto para as mdias, que foram estimadas pelas modas (ou pelos pontos de inexo), para densidades multimodais. Os resultados obtidos encontram-se na tabela seguinte. Tabela 4: EQM obtido na estimao pelo algoritmo EM
Vector de parmetros 2 (1) w, 1 , 2 , 2 1 , 2 = (0.5, 3, 8, 1, 9) 2 (2) w, 1 , 2 , 2 1 , 2 = (0.3, 8, 4, 3, 3) 2 (3) w, 1 , 2 , 2 1 , 2 = (0.1, 2, 4, 4, 2) 2 2 (4) w1 , w2 , 1 , 2 , 3 , 2 1 , 2 , 3 = (0.1, 0.4, 1, 3, 6, 1, 1, 4) 2 2 (5) w1 , w2 , 1 , 2 , 3 , 2 1 , 2 , 3 = (0.2, 0.3, 1, 4, 7, 9, 4, 1) 2 2 (6) w1 , w2 , 1 , 2 , 3 , 2 1 , 2 , 3 = (0.3, 0.4, 1, 2, 3, 1, 4, 9) 2 2 2 (7) w1 , w2 , w3 , 1 , 2 , 3 , 4 , 2 1 , 2 , 3 , 4 = (0.25, 0.25, 0.25, 1, 3, 6, 10, 3, 1, 2, 4) 2 2 2 (8) w1 , w2 , w3 , 1 , 2 , 3 , 4 , 2 1 , 2 , 3 , 4 = (0.1, 0.2, 0.3, 7, 0, 1, 4, 1.5, 2, 1.5, 2) 2 2 2 (9) w1 , w2 , w3 , 1 , 2 , 3 , 4 , 2 1 , 2 , 3 , 4 = (0.4, 0.4, 0.1, 1, 0, 0, 2, 4, 1, 4, 6) EQM 0.087 0.574 1.079 0.081 1.866 2.157 1.820 17.270 17.677

O algoritmo bem comportado na maioria das situaes, piorando quando temos 4 populaes. As misturas com densidades claramente multimodais (ver gura seguinte)
7

Escolhe aleatoriamente k observaes, onde cada uma delas a estimativa inicial da mdia de

cada uma das k subpopulaes, considera os pesos e as varincias iguais, sendo estas estimadas pela varincia amostral.

3. A ESTIMAO DOS PARMETROS

35

originaram os menores EQM, resultado expectvel j que nestas condies fcil encontrar boas estimativas iniciais para as mdias das subpopulaes.

(1)

(2)

(3)

(4)

(5)

(6)

(7)

(8)

(9)

Figura 2: densidades tericas da tabela 4

3.4. Concluso. O problema da estimao de parmetros em misturas de gaussianas parece complexo, principalmente quando a funo densidade da mistura unimodal e mesmo considerando somente a mistura de duas populaes. O mtodo dos momentos, muito em voga no sculo passado, parece perder claramente para o algoritmo EM, baseado na mxima verosimilhana. Outros mtodos de estimao poderiam ser considerados. Por exemplo, o recurso aos quantis amostrais poderia fornecer estimadores robustos dos parmetros. No entanto, a escolha dos quantis a utilizar no parece trivial. Outra alternativa seria considerar a abordagem Bayesiana do problema (Frhwirth, 2006), que

36

IV. MISTURAS CONVEXAS DE GAUSSIANAS

parece acarretar algumas vantagens, especialmente quando o nmero de subpopulaes desconhecido (situao no estudada neste trabalho). Em misturas unimodais, pode igualmente ser relevante procurar uma soluo aproximada para o problema, atravs do sistema de Pearson. Note-se que qualquer densidade unimodal pode ser aproximada a uma distribuio do sistema de Pearson, que tem no mximo quatro parmetros a estimar. Atendendo a que uma mistura de gaussianas tem no mximo 3N 1 parmetros desconhecidos, poder haver uma importante poupana do nmero destes. Em funo dos coecientes de assimetria e achatamento calculados a partir dos cumulantes (ver expresso 2.6 na pgina 25), no no entanto possvel aproximar a mistura, de forma geral, a um tipo especco do sistema de Pearson (o que seria o ideal). As aproximaes tero de ser analisadas caso a caso, em funo dos coecientes de assimetria e achatamento de cada situao.

4. Algumas Propriedades das Misturas de Duas Gaussianas Se existirem somente duas subpopulaes, possvel extrair algumas concluses quanto simetria e unimodalidade ou bimodalidade da mistura. Esta simplicao no deve ser menosprezada, j que em diversas situaes estamos efectivamente restringidos a duas subpopulaes (por exemplo quando estudamos diferenas entre sexos). A mistura ser simtrica se ocorrer uma das seguintes situaes:
2 w = 0.5 e 2 1 = 2;

1 = 2 . As condies acima so imediatas, e um maior interesse habitualmente dedicado a condies sucientes para a mistura ser unimodal. A unimodalidade sempre pos2 svel, para algum w, independentemente dos valores de (1 , 2 , 2 1 , 2 ) . Uma condio

suciente para uma mistura ser unimodal, independentemente de w, ser dada por Behboodian (1970) |1 2 | 2 min ( 1 , 2 )

5. A SITUAO 1 = 2 = ... = N = DESCONHECIDO

37

podendo esta condio ser mais acutilante se 1 = 2 = . Nesta situao, |1 2 | 2 r 1+ |ln w ln (1 w)| 2

ser uma condio suciente de unimodalidade. Um caso bvio de unimodalidade (tal como de simetria) surge quando 1 = 2 . Tambm a bimodalidade sempre possvel, para algum w, se (Eisenberger, 1964) (1 2 )2 >
2 8 2 12 . 2 2 1 + 2

ainda importante mencionar que por vezes difcil, em situaes prticas, decidir se a unimodalidade ou bimodalidade de um conjunto de dados resulta do problema em si, ou de uma utuao aleatria da amostra (Everitt e Hand, 1981).

5. A Situao 1 = 2 = ... = N = Desconhecido Quando existe igualdade de mdias a distribuio sempre unimodal, e se houver pouco conhecimento sobre o fenmeno em questo poder ser difcil detectar se os dados provem de uma mistura. Quando 1 = 2 = ... = N = estamos perante uma mistura de escalas, sendo a funo densidade da mistura ( 2 ) 1 1 x fX (x) = . wj exp 2 j 2 j j =1
N X

(5.1)

Conforme indicado na pgina 19, 01 = e k =


N X j =1 N X j =1

wj E (Xj ) =

h i k wj E (Xj ) .

38

IV. MISTURAS CONVEXAS DE GAUSSIANAS

Assim, os quatro primeiros momentos sero dados por (tambm se poderia recorrer expresso (2.6) da pgina 25) 01 = 2 =
N X j =1

wj 2 j

3 = 0 4 = 3

N X j =1

wj 4 j

sendo os coecientes de assimetria e achatamento 1 = 0 3


N X j =1

wj 4 j !2 .

2 = N X
j =1

wj 2 j

Com base nos valores de 1 e 2 agora possvel aproximar a mistura a uma distribuio do sistema de Pearson, mais concretamente distribuio t de Student. Teorema 5.1. Seja X uma mistura nita de gaussianas com igual mdia. Ento (5.2) onde (5.3) e8 (5.4) = 1 b2 , b2 = (X ) t( ) , r 1 b2 b0

sendo as constantes b0 e b2 as do sistema de Pearson (ver expresso (4.1) da pgina 9).


8

Note-se que ser, na maioria dos casos, um valor fraccionrio, sem que tal seja problemtico.

5. A SITUAO 1 = 2 = ... = N = DESCONHECIDO

39

Demonstrao. Como a mistura simtrica ( 1 = 0) pode ser aproximada por uma distribuio de Pearson do tipo VII (ver expresso (4.10) na pgina 11) se 2 > 3, ou seja 3
N X j =1

wj 4 j !2 > 3

N X
j =1

wj 2 j

N X j =1

wj 4 j >

N X
j =1

wj 2 j

!2

A desigualdade de Cauchy-Schwarz, ! N ! N !2 N X X X 2 x2 yj xj yj , j
j =1 j =1 j =1

pode ser aplicada considerando xj = N X


j =1

wj 2 wj , originando j e yj = N X
j =1 N X j =1

wj 4 j

! N X
j =1

wj

wj 2 j

!2

wj 2 j !2 .

wj 4 j

N X
j =1

Verica-se assim que a mistura pode ser aproximada por uma distribuio de Pearson de tipo VII. Subtraindo o valor esperado de X, a funo densidade da varivel ser 1 1 b2 2 2b2 2 2b2 = K2 1 + x fX (x) = K1 b0 + b2 x b0 = K2 1 + x2 b0 ( + 1) +1 2 ,

1 b2 = +1

+ Z onde K1 , K2 so constantes escolhidas de modo a que fX (x) dx = 1. A aproxi-

mao pela distribuio t de Student pode ser obtida fazendo r (X ) Y = b0 ( + 1) o que origina como funo densidade aproximada de Y +1 2 y2 fY (y ) = K3 1 + ,

40

IV. MISTURAS CONVEXAS DE GAUSSIANAS

funo densidade da t de Student para +1 2 , K3 = 2 permitindo assim concluir que r como pretendido. A subtraco da constante e a multiplicao por dizar a distribuio, j que se X t(n) ento E (X ) = 0 e V (X ) = n . n2 r 1 b2 (X ) t 1b2  , b2 b0 1 b2 servem para estandarb0

Os parmetros b0 e b2 so os descritos na equao (4.1) da pgina 9, considerando que 1 = 0. Assim, a = b1 = 0 2 b0 = 5


N X j =1 N X j =1 N X j =1

wj 4 j

wj 4 j 3 wj 4 j

(5.5)

b2 = 5

N X j =1

N X
j =1

N X
j =1

N X j =1

wj 2 j wj 2 j !2

wj 2 j

wj 4 j 3

N X
j =1

!2

wj 2 j

!2 .

5. A SITUAO 1 = 2 = ... = N = DESCONHECIDO

41

5.1. O Teste 1 = 2 = ... = N = . O teorema 5.1 permite testar a igualdade de mdias em misturas nitas de gaussianas, (5.6) pois sob H0 (5.7) r 1 b2 (X ) t 1b2  . b2 b0 H0 : 1 = 2 = ... = N

no entanto necessrio algum cuidado quando N 3. possvel (embora bastante difcil) que uma determinada mistura origine uma densidade unimodal com 1 = 0 e 2 > 3, sem que no entanto 1 = 2 = ... = N . Portanto, a no rejeio de H0 pode no signicar que as mdias sejam iguais, mesmo a nvel terico. Para N = 2, o problema no se coloca, pois conforme referimos na seco anterior
2 1 = 0 somente se 1 = 2 (situao de interesse) ou w = 0.5 e 2 1 = 2 (situao per-

turbadora). Nesta ltima situao o 4o cumulante ser, aps simplicao da expresso (2.6) da pgina 25, 4 = 0.125 (1 2 )4 , implicando que 2 < 3 e que a mistura no possa ser aproximada t de Student. Por outro lado, independentemente de N, a rejeio de H0 implica que pelo menos uma das mdias diferente das restantes. Como habitualmente, teremos que estimar os parmetros desconhecidos, neste caso b0 , b2 e . Substituindo na equao (4.1) da pgina 9 os momentos populacionais pelos amostrais estimamos b0 e b2 , considerando que 1 = 0. Por sua vez, a mdia populacional ser estimada pela amostral. 5.2. Caso Prtico.

A qualidade da aproximao descrita no teorema 5.1 foi avaliada atravs de um pequeno trabalho de simulao, considerando misturas de duas, trs e quatro gaussianas.

42

IV. MISTURAS CONVEXAS DE GAUSSIANAS

A hiptese (5.6) foi testada com base no teste de Kolmogorov-Smirnov9, ao nvel de signicncia de 5%. Para cada vector de parmetros foram simuladas 1000 amostras de dimenso 1000, sendo P (Rej.H0 ) o quociente entre o nmero de simulaes em que a igualdade de mdias foi rejeitada ou cujo nmero de graus de liberdade estimado foi negativo, e o total de simulaes. O software utilizado foi novamente o Matlab 7.5, e os parmetros b0 , b2 e foram estimados atravs da amostra. Os resultados obtidos para duas subpopulaes encontram-se na tabela seguinte. Tabela 5: misturas de gaussianas com duas subpopulaes
P (Rej.H0 )   2 (1) w, 1 , 2 , 2 1 , 2 = (0.1; 0; 0; 0.2; 1)   2 (2) w, 1 , 2 , 2 1 , 2 = (0.1; 1; 0; 0.2; 1)   2 (3) w, 1 , 2 , 2 1 , 2 = (0.1; 2; 0; 0.2; 1)   2 (4) w, 1 , 2 , 2 1 , 2 = (0.3; 0; 0; 0.2; 1)   2 (5) w, 1 , 2 , 2 1 , 2 = (0.3; 1; 0; 0.2; 1)   2 (6) w, 1 , 2 , 2 1 , 2 = (0.3; 2; 0; 0.2; 1)   2 (7) w, 1 , 2 , 2 1 , 2 = (0.5; 0; 0; 0.2; 1)   2 (8) w, 1 , 2 , 2 1 , 2 = (0.5; 1; 0; 0.2; 1)   2 (9) w, 1 , 2 , 2 1 , 2 = (0.5; 2; 0; 0.2; 1)   2 (10) w, 1 , 2 , 2 1 , 2 = (0.7; 0; 0; 0.2; 1)   2 (11) w, 1 , 2 , 2 1 , 2 = (0.7; 1; 0; 0.2; 1)   2 (12) w, 1 , 2 , 2 1 , 2 = (0.7; 2; 0; 0.2; 1)   2 (13) w, 1 , 2 , 2 1 , 2 = (0.9; 0; 0; 0.2; 1)   2 (14) w, 1 , 2 , 2 1 , 2 = (0.9; 1; 0; 0.2; 1)   2 (15) w, 1 , 2 , 2 1 , 2 = (0.9; 2; 0; 0.2; 1) 0.001 0.840 0.998 0.002 0.999 1 0.020 1 1 0.003 1 1 0 0.914 1 (16) (17) (18) (19) (20) (21) (22) (23) (24) (25) (26) (27) (28) (29) (30)   2 w, 1 , 2 , 2 1 , 2 = (0.1; 0; 0; 5; 1)   2 w, 1 , 2 , 2 1 , 2 = (0.1; 1; 0; 5; 1)   2 w, 1 , 2 , 2 1 , 2 = (0.1; 2; 0; 5; 1)   2 w, 1 , 2 , 2 1 , 2 = (0.3; 0; 0; 5; 1)   2 w, 1 , 2 , 2 1 , 2 = (0.3; 1; 0; 5; 1)   2 w, 1 , 2 , 2 1 , 2 = (0.3; 2; 0; 5; 1)   2 w, 1 , 2 , 2 1 , 2 = (0.5; 0; 0; 5; 1)   2 w, 1 , 2 , 2 1 , 2 = (0.5; 1; 0; 5; 1)   2 w, 1 , 2 , 2 1 , 2 = (0.5; 2; 0; 5; 1)   2 w, 1 , 2 , 2 1 , 2 = (0.7; 0; 0; 5; 1)   2 w, 1 , 2 , 2 1 , 2 = (0.7; 1; 0; 5; 1)   2 w, 1 , 2 , 2 1 , 2 = (0.7; 2; 0; 5; 1)   2 w, 1 , 2 , 2 1 , 2 = (0.9; 0; 0; 5; 1)   2 w, 1 , 2 , 2 1 , 2 = (0.9; 1; 0; 5; 1)   2 w, 1 , 2 , 2 1 , 2 = (0.9; 2; 0; 5; 1) P (Rej.H0 ) 0 0.059 0.754 0.011 0.905 1 0.028 0.958 1 0.005 0.572 0.994 0.108 0.259 0.744

A aproximao parece funcionar bastante bem, pois P (Rej.H0 |H0 verd) quase sempre reduzida e P (Rej.H0 |H0 falsa) quase sempre elevada. O teste mostra-se bastante sensvel violao de H0 , independentemente das varincias serem ou no elevadas. A multimodalidade e a assimetria parecem contribuir decisivamente para uma boa potncia do teste, conforme ilustrado na gura seguinte. Algumas situaes foram um pouco mais problemticas, como a situao (17) e a situao (28) , em que os pesos muito diferentes das subpopulaes podero ter condicionado um melhor resultado.
9

Designado por teste K-S ao longo deste trabalho.

5. A SITUAO 1 = 2 = ... = N = DESCONHECIDO

43

As guras seguintes descrevem algumas das funes densidade analisadas para duas subpopulaes

(1)

(2)

(3)

(7)

(8)

(9)

(16)

(17)

(18)

(28)

(29)

(30)

Figura 3: densidades tericas para algumas misturas denidas na tabela 5

Para trs e quatro subpopulaes seria extremamente difcil examinar com rigor todas as diferentes combinaes de parmetros, pelo que a opo recaiu em misturas claramente unimodais e no demasiado assimtricas.

44

IV. MISTURAS CONVEXAS DE GAUSSIANAS

Tabela 6: misturas de gaussianas com trs ou quatro subpopulaes


  2 2 (1) w1 , w2 , 1 , 2 , 3 , 2 1 , 2 , 3 = (0.1; 0.1; 0; 0; 0; 0.2; 0.6; 1)   2 2 (2) w1 , w2 , 1 , 2 , 3 , 2 1 , 2 , 3 = (0.1; 0.1; 1; 0; 0; 0.2; 0.6; 1)   2 2 (3) w1 , w2 , 1 , 2 , 3 , 2 1 , 2 , 3 = (0.1; 0.1; 1; 0; 1; 0.2; 0.6; 1)   2 2 (4) w1 , w2 , 1 , 2 , 3 , 2 1 , 2 , 3 = (0.1; 0.4; 0; 0; 0; 0.2; 0.6; 1)   2 2 (5) w1 , w2 , 1 , 2 , 3 , 2 1 , 2 , 3 = (0.1; 0.4; 1; 0; 0; 0.2; 0.6; 1)   2 2 (6) w1 , w2 , 1 , 2 , 3 , 2 1 , 2 , 3 = (0.1; 0.4; 1; 0.5; 0; 0.2; 0.6; 1)   2 2 (7) w1 , w2 , 1 , 2 , 3 , 2 1 , 2 , 3 = (0.3; 0.4; 0; 0; 0; 0.2; 0.6; 1)   2 2 (8) w1 , w2 , 1 , 2 , 3 , 2 1 , 2 , 3 = (0.3; 0.4; 0.5; 0.5; 0; 0.2; 0.6; 1)   2 2 (9) w1 , w2 , 1 , 2 , 3 , 2 1 , 2 , 3 = (0.3; 0.4; 0; 1; 0; 0.2; 0.6; 1)   2 2 (10) w1 , w2 , 1 , 2 , 3 , 2 1 , 2 , 3 = (0.1; 0.1; 0; 0; 0; 6; 3; 1)   2 2 (11) w1 , w2 , 1 , 2 , 3 , 2 1 , 2 , 3 = (0.1; 0.1; 1; 0; 0; 6; 3; 1)   2 2 (12) w1 , w2 , 1 , 2 , 3 , 2 1 , 2 , 3 = (0.1; 0.1; 1.5; 0; 0; 6; 3; 1)   2 2 (13) w1 , w2 , 1 , 2 , 3 , 2 1 , 2 , 3 = (0.1; 0.4; 0; 0; 0; 6; 3; 1)   2 2 (14) w1 , w2 , 1 , 2 , 3 , 2 1 , 2 , 3 = (0.1; 0.4; 1; 0; 0; 6; 3; 1)   2 2 (15) w1 , w2 , 1 , 2 , 3 , 2 1 , 2 , 3 = (0.1; 0.4; 2; 0; 0; 6; 3; 1)   2 2 (16) w1 , w2 , 1 , 2 , 3 , 2 1 , 2 , 3 = (0.3; 0.4; 0; 0; 0; 6; 3; 1)   2 2 (17) w1 , w2 , 1 , 2 , 3 , 2 1 , 2 , 3 = (0.3; 0.4; 1; 0; 0; 6; 3; 1)   2 2 (18) w1 , w2 , 1 , 2 , 3 , 2 1 , 2 , 3 = (0.3; 0.4; 2; 0; 0; 6; 3; 1)   2 2 2 (19) w1 , w2 , w3 , 1 , 2 , 3 , 4 , 2 1 , 2 , 3 , 4 = (0.1; 0.1; 0.1; 0; 0; 0; 0; 0.2; 0.5; 0.8; 1)   2 2 2 (20) w1 , w2 , w3 , 1 , 2 , 3 , 4 , 2 1 , 2 , 3 , 4 = (0.1; 0.1; 0.1; 0.5; 0; 0; 0; 0.2; 0.5; 0.8; 1)   2 2 2 (21) w1 , w2 , w3 , 1 , 2 , 3 , 4 , 2 1 , 2 , 3 , 4 = (0.1; 0.1; 0.1; 1; 0; 0; 0; 0.2; 0.5; 0.8; 1)   2 2 2 (22) w1 , w2 , w3 , 1 , 2 , 3 , 4 , 2 1 , 2 , 3 , 4 = (0.1; 0.2; 0.3; 0; 0; 0; 0; 0.2; 0.5; 0.8; 1)   2 2 2 (23) w1 , w2 , w3 , 1 , 2 , 3 , 4 , 2 1 , 2 , 3 , 4 = (0.1; 0.2; 0.3; 0; 1; 0; 0; 0.2; 0.5; 0.8; 1)   2 2 2 (24) w1 , w2 , w3 , 1 , 2 , 3 , 4 , 2 1 , 2 , 3 , 4 = (0.1; 0.2; 0.3; 0.5; 1; 0; 0; 0.2; 0.5; 0.8; 1)   2 2 2 (25) w1 , w2 , w3 , 1 , 2 , 3 , 4 , 2 1 , 2 , 3 , 4 = (1/4; 1/4; 1/4; 0; 0; 0; 0; 0.2; 0.5; 0.8; 1)   2 2 2 (26) w1 , w2 , w3 , 1 , 2 , 3 , 4 , 2 1 , 2 , 3 , 4 = (1/4; 1/4; 1/4; 0; 1; 0; 0.5; 0.2; 0.5; 0.8; 1)   2 2 2 (27) w1 , w2 , w3 , 1 , 2 , 3 , 4 , 2 1 , 2 , 3 , 4 = (1/4; 1/4; 1/4; 0; 1; 0; 0; 0.2; 0.5; 0.8; 1)   2 2 2 (28) w1 , w2 , w3 , 1 , 2 , 3 , 4 , 2 1 , 2 , 3 , 4 = (0.1; 0.1; 0.1; 0; 0; 0; 0; 6; 4; 2; 1)   2 2 2 (29) w1 , w2 , w3 , 1 , 2 , 3 , 4 , 2 1 , 2 , 3 , 4 = (0.1; 0.1; 0.1; 1; 0; 0; 0; 6; 4; 2; 1)   2 2 2 (30) w1 , w2 , w3 , 1 , 2 , 3 , 4 , 2 1 , 2 , 3 , 4 = (0.1; 0.1; 0.1; 1; 0.6; 0.3; 0; 6; 4; 2; 1)   2 2 2 (31) w1 , w2 , w3 , 1 , 2 , 3 , 4 , 2 1 , 2 , 3 , 4 = (0.1; 0.2; 0.3; 0; 0; 0; 0; 6; 4; 2; 1)   2 2 2 (32) w1 , w2 , w3 , 1 , 2 , 3 , 4 , 2 1 , 2 , 3 , 4 = (0.1; 0.2; 0.3; 0; 1; 0; 0; 6; 4; 2; 1)   2 2 2 (33) w1 , w2 , w3 , 1 , 2 , 3 , 4 , 2 1 , 2 , 3 , 4 = (0.1; 0.2; 0.3; 1; 0.6; 0.3; 0; 6; 4; 2; 1)   2 2 2 (34) w1 , w2 , w3 , 1 , 2 , 3 , 4 , 2 1 , 2 , 3 , 4 = (0.25; 0.25; 0.25; 0; 0; 0; 0; 6; 4; 2; 1)   2 2 2 (35) w1 , w2 , w3 , 1 , 2 , 3 , 4 , 2 1 , 2 , 3 , 4 = (0.25; 0.25; 0.25; 0; 1; 0; 0; 6; 4; 2; 1)   2 2 2 (36) w1 , w2 , w3 , 1 , 2 , 3 , 4 , 2 1 , 2 , 3 , 4 = (0.25; 0.25; 0.25; 0; 2; 0; 0; 6; 4; 2; 1) 1 0 -0.138 0.013 0 -0.122 -0.295 0 -0.361 0.062 0 0.568 0.830 0 0.320 0.644 0 0.382 0.657 0 -0.108 -0.134 0 -0.068 -0.186 0 0.000 0.115 0 0.464 0.587 0 0.258 0.397 0 0.103 0.234 2 3.254 2.906 3.110 3.366 2.978 3.117 3.800 3.838 3.258 5.501 5.914 6.338 4.367 4.584 5.119 4.050 4.081 4.070 3.248 3.179 2.933 3.241 3.028 3.043 3.418 3.240 3.186 5.038 5.545 5.421 4.209 4.385 4.402 4.766 3.982 3.809 P (Rej.H0 ) 0.064 0.764 0.266 0.026 0.602 0.371 0.005 0.270 0.188 0.001 0.071 0.353 0.000 0.028 0.408 0.000 0.313 0.993 0.051 0.183 0.682 0.029 0.469 0.443 0.000 0.201 0.105 0.001 0.065 0.306 0.000 0.085 0.185 0.002 0.029 0.485

5. A SITUAO 1 = 2 = ... = N = DESCONHECIDO

45

(4)

(5)

(6)

(10)

(11)

(12)

(25)

(26)

(27)

(31)

(32)

(33)

Figura 4: densidades tericas para algumas misturas denidas na tabela 6

Os resultados so similares aos obtidos para duas subpopulaes. Atendendo aos valores tericos da assimetria e do achatamento das misturas analisadas, nota-se que quanto mais distante de zero estiver a assimetria mais fcil rejeitar H0 , e que quando o achatamento muito prximo de 310 (ou mesmo inferior, como nas situaes (2) e (5)) aumenta naturalmente a probabilidade de rejeitar H0 , parecendo o teste razoavelmente
10

Recorde-se que se X t( ) ento 2 = 3 +

6 4 ,

> 4, pelo que 2 > 3.

46

IV. MISTURAS CONVEXAS DE GAUSSIANAS

potente. Por outro lado, a probabilidade de rejeitar H0 quando esta hiptese verdadeira foi sempre bastante reduzida, pois somente as situaes (1) e (19), em que o achatamento pequeno, apresentaram P (Rej.H0 ) um pouco acima de 0.05. 5.3. Concluso. Mesmo em misturas em que a igualdade de mdias existe, o nmero de parmetros desconhecidos poder ser elevado quando existem vrias subpopulaes (2N parmetros) . Quando a mistura unimodal e as mdias das subpopulaes iguais, a aproximao distribuio t de Student parece funcionar bastante bem e poder ser uma sria alternativa de ajustamento aos dados. Por outro lado, se suspeitarmos que a amostra em anlise proveniente de uma mistura em que as subpopulaes tm a mesma mdia, a estatstica de teste induzida pelo teorema 5.1 parece apropriada para testar (5.6), j que o teste revela ser bastante potente (especialmente quando as varincias das subpopulaes no so demasiado grandes, implicando que pequenas diferenas de mdias originem alteraes signicativas no coeciente de assimetria), ressalvando no entanto mais uma vez que para N 3 existem algumas raras situaes em que a aproximao distribuio t de Student teoricamente boa mesmo se a hiptese (5.6) for violada.

6. A Situao 1 = 2 = ... = N = Desconhecido 6.1. A Mistura Como Soma de Variveis Aleatrias Independentes. A homogeneidade das varincias uma questo bastante importante em estatstica, sendo normalmente assumida em anlise de varincia. Se houver algum conhecimento prvio das subpopulaes, poder ser possvel supor que as varincias destas so similares, recorrendo a algum tipo de teste para a igualdade das varincias. Em misturas nitas de gaussianas, quando 1 = 2 = ... = N = estamos perante uma mistura de localizaes, sendo a funo densidade (2.1) da pgina 24 "N ( 2 )# X 1 1 x j fX (x) = , wj exp 2 2 j =1

6. A SITUAO 1 = 2 = ... = N = DESCONHECIDO

47

e a sua funo caracterstica (ver expresso (2.3) da pgina 24) N X t2 2 , wj exp itj 2 j =1 implicando que X possa ser vista como uma soma de variveis aleatrias independentes. Teorema 6.1. Seja X uma mistura nita de gaussianas com a mesma varincia. Ento (6.1) onde W N (0, ) e Y 1 ... N P Y = j w1 ... wN X =W +Y
d

so variveis aleatrias independentes, supondo sem perda de generalidade que 1 < 2 < ... < N . Demonstrao. A funo caracterstica da varivel aleatria W + Y, com W e Y independentes e denidas anteriormente ser W +Y # 2 2 "X N t (t) = W (t) Y (t) = exp wj exp itj = 2 j =1 t2 2 wj exp itj = X (t) , = 2 j =1
N X

logo pela unicidade da funo caracterstica X = W + Y, como pretendido.


d

Conclui-se assim que a varivel aleatria X no mais do que uma varivel aleatria discreta com massa em n pontos distintos adicionada de um rudo gaussiano.

48

IV. MISTURAS CONVEXAS DE GAUSSIANAS

Os cumulantes apresentados na expresso (2.6) da pgina 25 no permitem, mesmo para este caso particular, retirar ilaes gerais sobre o comportamento dos coecientes de assimetria e achatamento ou classicar a mistura, de forma aproximada, a uma distribuio do sistema de Pearson. No entanto, em funo da distribuio de Y, j poderemos extrair algumas concluses. Atendendo ao teorema 6.1 e ao exposto nas pginas 8 e 9, X,1 = Y,1 X,2 = Y,2 + 2 X,3 = Y,3 (6.2) X,4 = Y,4 .

Note-se que a igualdade X,2 = Y,2 + 2 importante, pois bastar conhecer Y,2 ou 2 para se estimar de forma simples todos os parmetros da mistura, pelo mtodo dos momentos. Nesta situao poder ainda ser possvel escolher uma distribuio de Y (pertencendo por exemplo ao sistema de Katz) que se ajuste componente discreta dos dados. Por outro lado, a simetria da distribuio s depende de Y,3 . Apesar do exposto acima ser teoricamente interessante, na prtica poderemos no ter qualquer informao sobre Y,2 ou 2 . Mesmo assim, atendendo a que 0Y,1 = 0X,1 Y,3 = X,3 4 X,3 3 Y,4 = X,2 3 , X,1

(6.3)

estas equaes permitem extrair bastante informao sobre Y a partir da amostra, que poder ser suciente para encontrar uma distribuio discreta aproximada para Y. Exemplo 6.1. Seja X uma mistura de gaussianas com funo densidade " ( 2 )# + 1 X 4i 1 xi fX (x) = exp 4 2 3 3 2 i=0 i!

6. A SITUAO 1 = 2 = ... = N = DESCONHECIDO

49

(a soma das variveis W N (0, 3) e Y P (4)). Em 1000 amostras de dimenso 10000 geradas pelo Matlab 7.5, obteve-se bX,1 = 0.0855; bX,2 = 3.0232, m0X,1 = 3.9980; mX,2 = 13.0004; mX,3 = 4.0099; bY,1 = 3.9980; bY,3 = 4.0099; bY,4 = 3.9096. 0Y,1 = Y,2 = Y,3 = Y,4 = , b=4e logo b2 = 13.0004 4 = 9.0004, valores consentneos com os tericos.
0

originando as estimativas

Recorde-se que a distribuio Poisson , das distribuies discretas habituais, a nica onde

Se a mistura for unimodal, a sua funo densidade poder ser, em algumas situaes,

aproximada densidade da distribuio beta11 (ver expresso (4.4) da pgina 11). Teorema 6.2. Seja X = W + Y uma mistura nita e unimodal de gaussianas com igual varincia, de acordo com o teorema 6.1. Se (6.4) Y,2 ou (6.5) s 1.5 2 1.5 2 Y,1 Y,2 + 3 Y,1 Y,2 2 Y,2 < < Y,2 3 Y,2 3 s 1.5 2 Y,1 Y,2 + 3 Y,2 3
d

quando

Y,4 > 0

2 > Y,2

quando

Y,4 < 0

a mistura pode ser aproximada a uma distribuio beta. Demonstrao. A mistura pode ser aproximada a uma distribuio beta se <
2 0 1.5 2 1 < 2 < 1.5 1 + 3

11

Outras aproximaes ao sistema de Pearson devero ser analisadas caso a caso.

1.52 1.52 Y,4 Y,3 Y,3 < + 3 < 3 2 3 + 3. 2 2 Y,2 + Y,2 + Y,2 + 2

50

IV. MISTURAS CONVEXAS DE GAUSSIANAS

Resolvendo a 2a inequao,12 Y,2 + 2 Y,4 2 + 3 < 1.52 Y,4 Y,3 + 3 < 3 2 3 2 2 Y,2 + Y,2 + Y,2 + 2
1.52 Y,3 Y,2 3 Y,2 Y,4 2 Y,2

1.52 Y,3

1.52 Y,3 2 2 2 Y,2 Y,2 + Y,4 < 1.5Y,3 < Y,4 <
2

Y,2

1.5 2 Y,1 Y,2 Y,2 . < Y,2 3


2

Quanto 1a inequao, 3 Y,2 + 2 1.52 Y,3 < Y,4 2 + 3 Y,2 + 2

sendo uma condio suciente13 1.52 Y,3 Y,2 <

1.52 Y,3 2 2 < + 3 + Y, 4 Y, 2 Y,2 + 2

2 2 1.52 Y,3 Y,4 Y,2 Y,4 + 3 Y,2 + 2 < Y,2 + 2 3Y,2 v u 1.52 s Y,4 Y,2 u Y,3 2 3 1 . 5 u Y, 4 Y,2 Y,3 Y,2 2 > Y,2 2 > t Y,2 3Y,2 3Y,2 3 2 > s
Y,2

2 2 + 3 1 . 5 Y, 2 Y,1 Y,2 Y,2 . 3

Assim, uma condio suciente para a mistura ser classicada como Pearson tipo I ser s 1.5 2 1.5 2 Y,1 Y,2 + 3 Y,1 Y,2 Y,2 < 2 < Y,2 Y,2 3 Y,2 3 quando Y,4 > 0 e 2 > Y,2 quando Y,4 < 0.
12 13

1.5 2 Y,1 Y,2 + 3 Y,2 3

Quando Y,4 < 0 a inequao universal, pelo que assumimos nesta demonstrao Y,4 > 0. A soluo exacta consiste em resolver uma equao cbica em ordem a 2 , o que sendo teori-

camente exequvel no parece muito apelativo na prtica, devido complexidade das solues.

6. A SITUAO 1 = 2 = ... = N = DESCONHECIDO

51

6.2. Aplicaes e Casos Particulares. Trabalhos sobre o sistema nervoso dos anfbios (Grantyn et al, 1984; Shapovalov e Shiriaev, 1980) mostram que o resultado da estimulao directa de segmentos da espinal medula apresenta efeitos qumicos, modelados habitualmente por uma distribuio binomial, ou em alternativa por uma distribuio Poisson, e elctricos, modelados habitualmente por uma gaussiana de mdia nula (rudo branco). A juno de dois neurnios assim uma sinapse cuja transmisso do impulso nervoso pode ser modelada pela adio dos impulsos qumico e elctrico. Shapovalov e Shiriaev (1980) sugerem as densidades " ( 2 )# n 1 X n i 1 x vi fX (x) = p (1 p)ni exp 2 i 2 i=0 e " ( 2 )# + 1 x vi 1 X i fX (x) = exp 2 2 i=0 i!

para modelar a transmisso do impulso nervoso. Ambas as densidades podem ser vistas como misturas de gaussianas com a mesma varincia, e concomitantemente como a soma de variveis aleatrias independentes, da forma especicada anteriormente. Em ambos os casos X = W + vY onde W N (0, ) , sendo que no primeiro caso Y Bi (n, p) , e no segundo caso Y P () . Existem outras aplicaes relevantes. Em processamento de imagem (ou de forma similar em processamento de sinal) tambm so utilizadas somas de variveis aleatrias independentes, tendo uma delas distribuio gaussiana e a outra distribuio Poisson ou binomial. Murtagh et al (1995) refere que o restauro de imagens astronmicas, bem como a deteco de objectos, feito atravs da supresso de um rudo, que
d

52

IV. MISTURAS CONVEXAS DE GAUSSIANAS

considerado como a soma de uma gaussiana com uma Poisson. A chegada de fotes modelada por uma distribuio Poisson, contribuindo as lentes fotogrcas com um rudo gaussiano adicional. Em outro artigo, Murtagh et al (1995) referencia a mesma forma de tratamento em imagens fotogrcas digitais. O tratamento de rudos que so, teoricamente, o resultado das convolues referidas pode assim ser feito recorrendo a misturas, permitindo por exemplo estimar todos os parmetros desconhecidos de uma s vez, atravs do algoritmo EM, evitando a decomposio do rudo. Parece assim relevante estudar as propriedades destas misturas e vericar em que condies que estas podem ser aproximadas a um membro do sistema de Pearson. Apesar de, como referimos, estas aproximaes dependerem dos parmetros da mistura, algumas condies podem restringir as aproximaes ao mesmo tipo de Pearson. 6.2.1. Distribuio Binomial. Se Y Bi (n, p) , ento 01 = np 2 = np (1 p) + 2 1 = 2 =

[1 6p (1 p)] np (1 p) . [np (1 p) + 2 ]2

np (1 p) (1 2p) [np (1 p) + 2 ]1.5

Os coecientes de assimetria e de achatamento da mistura podem ser escritos em funo de p, conforme indica a tabela abaixo.

Tabela 7: 1 e 2 em funo de p 1 0<p< 1 3 2 6 1 1 3 < p < 0.5 2 6 0.5 < p < 1 +1 3 2 6 1 +1 3<p<1 2 6 1 > 0 e 2 > 3 1 > 0 e 2 < 3 1 < 0 e 2 < 3 1 < 0 e 2 > 3

6. A SITUAO 1 = 2 = ... = N = DESCONHECIDO

53

Quanto funo densidade da mistura, esta ser " ( 2 )# n 1 X n i 1 xi ni fX (x) = p (1 p) exp . i 2 2 i=0 A classicao aproximada a um elemento do sistema de Pearson depender dos valores de n, p e 2 , no sendo possvel realiz-la de forma geral. Com base no teorema 6.2, a aproximao distribuio beta possvel quando " # 1 np (1 p) 3 1 n> 2 < (6.6) p / 2 6 6p (1 p) 2 (1 6p + 6p2 ) ou (6.7) No caso particular p = 0.5, ento 1 = 0 e 2 = 3 0.125n < 3, [0.25n + 2 ]2 # 1 3 p [0.21; 0.79]. 2 6 "

logo a mistura pode ser aproximada a uma distribuio de Pearson tipo II, ou seja, uma beta simtrica. Note-se que mesmo nesta situao a unimodalidade no garantida. Quer a distribuio gaussiana quer a distribuio binomial so fortemente unimodais, e a soma de distribuies fortemente unimodais do mesmo tipo (ambas discretas ou ambas contnuas) sempre unimodal (ver denio 7.1 na pgina 15). Alguns autores denem unimodalidade forte sem indicar que as variveis tm de ser do mesmo tipo. No entanto, esta restrio fundamental, pois nada se pode concluir quanto unimodalidade da soma de variveis aleatrias fortemente unimodais de diferentes tipos, conforme atesta o exemplo abaixo.

54

IV. MISTURAS CONVEXAS DE GAUSSIANAS

Exemplo 6.2. Se ( 2 , n, p) = (0.04, 8, 0.5) ento 1 = 0 2 = 2.759. Atendendo aos valores dos coecientes de assimetria e achatamento, a distribuio aproximadamente Pearson tipo II, mas esta aproximao falha devido multimodalidade, conforme atesta o grco da funo densidade.
0.5

0.4

0.3

0.2

0.1

X 1 Figura 5 : grco de 0.2 2 i=0


8

" ( 2 )# 8 x i 1 0.5n exp i 2 0.2

6.2.2. Distribuio Poisson. Se Y P () , ento 01 = 2 = + 2 1 = [ + 2 ]1.5 2 = + 3, [ + 2 ]2 obtendo-se para quaisquer e 2 1 > 0 e 2 > 3.

6. A SITUAO 1 = 2 = ... = N = DESCONHECIDO

55

Nesta situao j no temos uma mistura nita, sem que isso impea a existncia de uma funo densidade bem denida e momentos de todas as ordens. A convoluo entre a funo de probabilidade de uma varivel aleatria Poisson e a densidade de uma varivel aleatria gaussiana origina a densidade de uma distribuio innitamente divisvel, e conforme mostrmos pode ser vista como uma mistura. A aproximao a uma distribuio do sistema de Pearson no ser universal. Como 1 6= 0, esta classicao depende essencialmente de , cuja expresso simplicada ser = (+62 +122 +64 ) , 4(2 2 )(2 (61)+2(9+1)2 +184 +66 )(2 (1+12)+4(9+1)2 +364 +126 )
(+2 )
2 2

Quanto funo densidade da mistura, " ( 2 )# + 1 xi 1 X i . exp fX (x) = 2 2 i=0 i!

para 6= 2 2 . Quando = 2 2 , ento 2 2 3 2 16 = = 4 2 12 4 + 6 6= [2 2 + 2 ]2 [2 2 + 2 ]3 4 2 12 4 =0 9 4 27 6

e a distribuio aproximadamente Pearson tipo III, ou seja, uma gama com localizao diferente de zero e escala diferente de um. Por outro lado, quando 6= 2 2 podemos aplicar o teorema 6.2, sendo a aproximao distribuio beta possvel se r 2 < 2 < > 27 6 2 que contm a condio > 1 2 < . 6 2

56

IV. MISTURAS CONVEXAS DE GAUSSIANAS

Exemplo 6.3. Se ( 2 , ) = (0.36, 5) ento 1 = 0.403 2 = 3.174 = 0.156 e a distribuio aproximadamente Pearson tipo I. Gracamente, a funo densidade da forma

0.15

0.10

0.05

-2

10

12

Figura 6 : grco de

1 0.6 2

" + X 5i
i=0

i!

exp 5

1 2

xi 0.6

2 )#

6.3. Duas Populaes com Iguais Varincias. Quando consideramos apenas duas populaes com iguais varincias o problema torna-se mais simples, pois precisamos de estimar apenas quatro parmetros (w, , 1 e 2 ). Esta condio torna os nossos estimadores mais regulares e permite trabalhar, no caso dos estimadores dos momentos, com os quatro primeiros momentos amostrais, que originam as caractersticas de localizao, escala, assimetria e achatamento habitualmente calculadas em estatstica. Nesta situao, consegue-se aproximar a mistura a um membro do sistema de Pearson para uma larga variedade de w. A utilidade da aproximao no entanto questionvel, pois a maioria das distribuies pertencentes ao sistema de Pearson tem quatro parmetros, e a aproximao obtida pode no implicar uma

6. A SITUAO 1 = 2 = ... = N = DESCONHECIDO

57

parcimnia de parmetros. Neste caso, a vantagem da aproximao existe somente quando a famlia obtida bastante conhecida, permitindo usufruir, por exemplo, de caracterizaes. 6.3.1. Clculo dos Cumulantes e Estimao. Os cumulantes apresentam agora expresses bastante mais simples, pois

1 = w1 + (1 w) 2 2 = 2 + (1 w) w (1 2 )2 3 = (1 w) w (2w 1) (1 2 )3 4 = (1 w) w (1 6 (1 w) w) (1 2 )4 . Assumindo sem perda de generalidade que 1 > 2 , o coeciente de assimetria ser sempre positivo se

>

0 (1 w) w (2w 1) > 0

0.5 < w < 1. Quanto ao achatamento, a distribuio ter caudas mais pesadas que a gaussiana se

0 (1 w) w (1 6 (1 w) w) > 0 1 1 1 1 3 + 3 < w < 1, 0 < w < 2 6 2 6 >

ou seja w ]0; 0.211] [0.789; 1[. Em resumo, a assimetria e o achatamento da mistura podem ser classicados em funo de w conforme o exposto no quadro seguinte.

58

IV. MISTURAS CONVEXAS DE GAUSSIANAS

Tabela 8: 1 e 2 em funo de w 1 0<w< 1 3 2 6 1 1 3 < w < 0.5 2 6 1 0.5 < w < 1 + 3 2 6 1 +1 3<w<1 2 6 1 < 0 e 2 > 3 1 < 0 e 2 < 3 1 > 0 e 2 < 3 1 > 0 e 2 > 3

6.3.2. A Aproximao a Um Membro do Sistema de Pearson. O quadrado do coeciente de assimetria dado por 2 1 3 (2 ) 2
3

!2

sendo o coeciente de achatamento 2 =

2 (1 w) w (2w 1) (1 2 )3 (3 )2 = = 3 , (2 )3 2 + (1 w) w (1 2 )2

agora possvel, para uma larga faixa de w, aproximar a mistura distribuio beta. Teorema 6.3. Seja X uma mistura nita e unimodal de duas gaussianas com igual varincia. Se # 3 1 w 2 6 a mistura pode ser aproximada distribuio beta. Demonstrao. A aproximao da mistura distribuio beta possvel (ver expresso (4.4) na pgina 11) se
2 1.5 2 1 < 2 < 3 + 1.5 1 .

4 (1 w) w (1 6 (1 w) w) (1 2 )4 + 3 = + 3. 2 (2 )2 2 + (1 w) w (1 2 )2

"

6. A SITUAO 1 = 2 = ... = N = DESCONHECIDO

59

Para a segunda inequao, 2 < 3 + 1.5 2 1 , ento 2 1.5 (1 w) w (2w 1) (1 2 )3 (1 w) w (1 6 (1 w) w) (1 2 )4 < 2 3 2 + (1 w) w (1 2 )2 2 + (1 w) w (1 2 )2 1.5 (1 2 )2 1 6 (1 w) w < , (1 w) w (2w 1)2 2 + (1 w) w (1 2 )2 sendo a soluo exacta, em funo de w, obtida aps alguns clculos s s 4 2 + (1 2 )2 4 2 + (1 2 )2 0.5 0.5 w 0 . 5 + 0 . 5 , 12 2 + (1 2 )2 12 2 + (1 2 )2 que contm sempre a soluo # 1 3 w [0.2113; 0.7887] . 2 6 Quanto primeira inequao, 2 > 1.5 2 1, 2 1.5 (1 w) w (2w 1) (1 2 )3 (1 w) w (1 6 (1 w) w) (1 2 )4 +3> 2 3 2 + (1 w) w (1 2 )2 2 + (1 w) w (1 2 )2 3 4 + (1 w) w[6 2 + (1 3 (1 w) w) (1 2 )2 ] (1 2 )2 > 2 1.5 (1 w) w (2w 1) (1 2 )3 , > 2 + (1 w) w (1 2 )2 "

sendo uma condio suciente14 (1 w) w[(1 3 (1 w) w) (1 2 )2 ] (1 2 )2 > > 1.5 (1 w) w (2w 1)2 (1 2 )4 1 3 (1 w) w > 1.5 (2w 1)2 3w2 + 3w 0.5 > 0 ou seja # 3 1 [0.2113; 0.7887] . w 2 6 "

14

A soluo exacta de 2 > 1.5 2 1 no aqui referida, pois de tal forma complexa que seria

inexequvel na prtica.

60

IV. MISTURAS CONVEXAS DE GAUSSIANAS

Ambas as inequaes originam a condio suciente acima exposta, concluindo-se assim h i 3 que para w 1 a mistura pode ser sempre aproximada distribuio beta, caso 2 6 seja unimodal. h Se w / 1 2
i 3 , 6

a mistura ainda pode ser aproximada distribuio beta, em

funo dos valores dos parmetros 1 , 2 e . Parece assim razovel, quando os pesos das componentes da mistura no so muito desequilibrados, aproxim-la a uma distribuio de Pearson do tipo I, ou seja, uma beta. Esta aproximao tem a vantagem de permitir usufruir do imenso trabalho j realizado sobre a distribuio beta, mormente a nvel inferencial. Tem no entanto a desvantagem de condicionar a mistura a um suporte nito e de no permitir a reduo do nmero de parmetros a estimar. 6.3.3. O Teste 1 = 2 = . Se a mistura for aproximada a uma distribuio beta, conforme observmos anteriormente, ento X beta(a, b, p, q ). Nestas circunstncias, Y = e Z= X a beta(p, q) ba

Y betaprime(p, q ). 1Y A vantagem destas transformaes permitir obter uma distribuio sobejamente conhecida, a F de Fisher-Snedcor15, a partir da qual ser possvel fazer inferncia. Assim16 , q W = Z F (2p, 2q ). p Note-se que a varivel W pode ser escrita directamente custa de X, pois qX a q ba q = , W = Z= X a p p 1 ba pbX
15
16

X a

Designada simplesmente por F ao longo deste trabalho. Os graus de liberdade no tm que ser inteiros, sem que isso implique qualquer tipo de problema.

6. A SITUAO 1 = 2 = ... = N = DESCONHECIDO

61

logo (6.8) qX a F (2p, 2q ). pbX

Tal como para a igualdade de mdias vista na seco anterior, necessrio algum cuidado quando testamos a igualdade das varincias. A aproximao distribuio
2 beta vlida para qualquer mistura unimodal onde 1.5 2 1 < 2 < 3 + 1.5 1 . Mesmo se

2 2 (w; 1 ; 2 ; 2 1 ; 2 ) = (0.35; 0; 2; 1.2; 2), que originam 1 = 0.016, 2 = 2.682 e o grco.

1 6= 2 , estas condies so exequveis; basta por exemplo considerar os parmetros

2 2 2 Generalizando o vector de parmetros acima, para (w; 1 ; 2 ; 2 1 ; 2 ) = (0.35; 0; 2; 1 ; 2 ), 2 podemos obter a regio onde 1.5 2 1 < 2 < 3 + 1.5 1 , para 1 > 1 e 2 > 1

2 Figura 7 : densidade da mistura para w, 1 , 2 , 2 1 , 2 = (0.35; 0; 2; 1.2; 2)

2 Figura 8: regio onde 1.5 2 1 < 2 < 3 + 1.5 1 para 1 > 1 e 2 > 1

62

IV. MISTURAS CONVEXAS DE GAUSSIANAS

Assim, se a rejeio de H0 implica 1 6= 2 , j a no rejeio de H0 no implica 1 = 2 , mesmo a nvel terico. Note-se ainda que a potncia do teste parece melhorar com o aumento das varincias. O vector de parmetros (a, b, p, q ) habitualmente estimado atravs do mtodo dos momentos17, sendo obtido atravs da resoluo do sistema q 1 r 2 p, q = 1 (r + 2) 1 (r + 2) 1 + 16 (r + 1) 2 p1 Moda(X ) a = q1 b Moda(X ) q 1 ba = 2 (r + 2)2 2 + 16 (r + 1) 2

onde 6 ( 2 1 1) 6 2 2 + 3 1 p < q se 1 > 0 (b a) (p 1) . Moda(X ) = a + p+q2 r = Esta forma de estimao tem a desvantagem de conduzir muitas vezes (e comprovmolo com explorao computacional) a resultados inadmissveis. Uma forma de encontrar estimadores que sejam sempre possveis estimar primeiramente os extremos a e b por a = min (Xi ) max (Xi ) min (Xi ) n+1 max (Xi ) min (Xi ) b = max (Xi ) + n+1 2 1
m2 (ba)2

e depois p e q por p =
m0 1 a ba m0 1 a ba

q =
17

m0 1 a ba

m2 (ba)2

m0 1 a ba

m01 a ba

1 p.

Tambm se poderia recorrer ao mtodo da mxima verosimilhana, mas essa no uma forma

habitual de estimao neste caso (Johnson et al, 1995).

6. A SITUAO 1 = 2 = ... = N = DESCONHECIDO

63

Ento, se pretendermos estudar a hiptese (6.9) H0 : 1 = 2

podemos testar com a estatstica K-S o ajustamento (6.10) qX a F (2p, 2q ) pbX

onde X uma amostra aleatria e (a, b, p, q ) um vector de parmetros desconhecidos a estimar da forma acima indicada. 6.3.4. Caso Prtico. Usando o software Matlab 7.5, realizmos algumas simulaes com amostras de dimenso 1000, utilizando a 2a forma de estimao mencionada. Os resultados encontram-se na tabela abaixo
Tabela 9: igualdade de varincias em misturas de gaussianas com duas subpopulaes
P (Rej.H0 )   2 (1) w, 1 , 2 , 2 1 , 2 = (0.2; 0; 0.5; 0.2; 0.2)   2 (2) w, 1 , 2 , 2 1 , 2 = (0.2; 0; 0.5; 0.2; 0.8)   2 (3) w, 1 , 2 , 2 1 , 2 = (0.2; 0; 0.5; 0.2; 1.2)   2 (4) w, 1 , 2 , 2 1 , 2 = (0.35; 0; 0.5; 0.2; 0.2)   2 (5) w, 1 , 2 , 2 1 , 2 = (0.35; 0; 0.5; 0.2; 0.8)   2 (6) w, 1 , 2 , 2 1 , 2 = (0.35; 0; 0.5; 0.2; 1.2)   2 (7) w, 1 , 2 , 2 1 , 2 = (0.5; 0; 0.5; 0.2; 0.2)   2 (8) w, 1 , 2 , 2 1 , 2 = (0.5; 0; 0.5; 0.2; 0.5)   2 (9) w, 1 , 2 , 2 1 , 2 = (0.5; 0; 0.5; 0.2; 0.8)   2 (10) w, 1 , 2 , 2 1 , 2 = (0.2; 0; 1; 0.5; 0.5)   2 (11) w, 1 , 2 , 2 1 , 2 = (0.2; 0; 1; 0.5; 1.2)   2 (12) w, 1 , 2 , 2 1 , 2 = (0.2; 0; 1; 0.5; 2.0)   2 (13) w, 1 , 2 , 2 1 , 2 = (0.35; 0; 1; 0.5; 0.5)   2 (14) w, 1 , 2 , 2 1 , 2 = (0.35; 0; 1; 0.5; 1.2)   2 (15) w, 1 , 2 , 2 1 , 2 = (0.35; 0; 1; 0.5; 2)   2 (16) w, 1 , 2 , 2 1 , 2 = (0.5; 0; 1; 0.5; 0.5)   2 (17) w, 1 , 2 , 2 1 , 2 = (0.5; 0; 1; 0.5; 1.2)   2 (18) w, 1 , 2 , 2 1 , 2 = (0.5; 0; 1; 0.5; 2) 0.006 0.160 0.436 0.003 0.700 0.977 0.000 0.359 0.966 0.019 0.014 0.122 0.004 0.090 0.681 0.000 0.330 0.972   2 (19) w, 1 , 2 , 2 1 , 2 = (0.2; 0; 2; 4; 4)   2 (20) w, 1 , 2 , 2 1 , 2 = (0.2; 0; 2; 1.4; 3)   2 (21) w, 1 , 2 , 2 1 , 2 = (0.2; 0; 2; 0.4; 2)   2 (22) w, 1 , 2 , 2 1 , 2 = (0.35; 0; 2; 4; 4)   2 (23) w, 1 , 2 , 2 1 , 2 = (0.35; 0; 2; 4; 3)   2 (24) w, 1 , 2 , 2 1 , 2 = (0.35; 0; 2; 4; 2)   2 (25) w, 1 , 2 , 2 1 , 2 = (0.5; 0; 2; 4; 4)   2 (26) w, 1 , 2 , 2 1 , 2 = (0.5; 0; 2; 4; 3)   2 (27) w, 1 , 2 , 2 1 , 2 = (0.5; 0; 2; 4; 2)   2 (28) w, 1 , 2 , 2 1 , 2 = (0.2; 0; 3; 5; 5)   2 (29) w, 1 , 2 , 2 1 , 2 = (0.2; 0; 3; 5; 3.5)   2 (30) w, 1 , 2 , 2 1 , 2 = (0.2; 0; 3; 5; 2.5)   2 (31) w, 1 , 2 , 2 1 , 2 = (0.35; 0; 3; 5; 5)   2 (32) w, 1 , 2 , 2 1 , 2 = (0.35; 0; 3; 5; 3.5)   2 (33) w, 1 , 2 , 2 1 , 2 = (0.35; 0; 3; 5; 2.5)   2 (34) w, 1 , 2 , 2 1 , 2 = (0.5; 0; 3; 5; 5)   2 (35) w, 1 , 2 , 2 1 , 2 = (0.5; 0; 3; 5; 3.5)   2 (36) w, 1 , 2 , 2 1 , 2 = (0.5; 0; 3; 5; 2.5) P (Rej.H0 ) 0.005 0.022 0.300 0.001 0.015 0.307 0.000 0.005 0.124 0.008 0.152 0.759 0.001 0.089 0.591 0.000 0.005 0.139

64

IV. MISTURAS CONVEXAS DE GAUSSIANAS

O objectivo destas simulaes foi vericar se de facto a aproximao funciona bem, para diferentes valores dos parmetros, sendo a hiptese acima testada com base no teste K-S, ao nvel de signicncia de 5%. Para cada vector de parmetros foram geradas aleatoriamente 1000 amostras. Os resultados obtidos so bastante razoveis. A probabilidade de cometer um erro de tipo I foi sempre muito reduzida (P (Rej.H0 |H0 verd) 0), mas a probabilidade de cometer um erro de tipo II nem sempre foi to elevada como o desejvel (veja-se por exemplo as situaes (26) e (27)). Como referido, a aproximao distribuio beta por vezes possvel sem que a igualdade 1 = 2 seja verdadeira. 6.4. Concluso. Misturas de gaussianas com a mesma varincia podem ser escritas como a soma entre uma varivel aleatria discreta e uma varivel aleatria gaussiana com mdia 0 e varincia 2 . Se um determinado conjunto de dados for proveniente de uma populao deste tipo, pode ser possvel decompor a mistura na soma descrita, caso a varivel aleatria discreta seja conhecida (mesmo que os parmetros desta sejam desconhecidos). Em misturas unimodais, o teorema 6.2 permite aproximar a densidade da mistura da beta, caso os parmetros das variveis a adicionar sejam conhecidos. Seria extremamente interessante encontrar um bom teste para a igualdade de varincias, o que s foi parcialmente atingido (o teste apresentado nem sempre sucientemente potente e s funciona para duas subpopulaes).

CAPTULO V

Misturas Convexas de Outras Densidades


1. Introduo A seguir s misturas nitas de gaussianas, claramente as mais estudadas no contexto das misturas nitas de densidades, surgem de forma igualmente destacada as misturas nitas de exponenciais. A distribuio exponencial habitualmente utilizada para modelar tempos entre falhas, quando estas surgem atravs de processos de Poisson. Naturalmente que quando uma determinada mquina falha, tal no se deve, na maioria das situaes, exclusivamente a uma razo. Por exemplo, Everitt e Hand (1981) refere que as causas da falha de vlvulas electrnicas so agrupadas em trs categorias distintas e independentes: defeitos gasosos, defeitos mecnicos e deteriorao do ctodo, sendo que cada uma destas falhas tem uma probabilidade diferente de suceder. Parece assim sensato modelar o tempo entre falhas de uma vlvula electrnica por uma mistura nita e convexa de trs exponenciais distintas. Em nanas, Luca e Zuccolotto (2003) dene os tempos entre duas transaces bolsistas consecutivas como uma mistura de exponenciais, em que cada tipo de especulador (divididos em grupos consoante o seu nvel de informao sobre o mercado) uma subpopulao distinta e independente das restantes. Alm das misturas nitas de gaussianas e de exponenciais, outras misturas de densidades podero ser interessantes, apesar de muito menos estudadas. Misturas nitas de gamas e de Weibulls parecem intuitivas por generalizarem as misturas nitas de exponenciais, conforme referido em Everitt e Hand (1981). Por outro lado, devido ao crescente interesse que a distribuio Pareto tem suscitado nos ltimos anos, misturas

65

66

V. MISTURAS CONVEXAS DE OUTRAS DENSIDADES

desta distribuio tambm parecem apelativas. Por ter caudas muito pesadas, a distribuio Pareto adequada para modelar acontecimentos raros, como a dimenso de fortunas e cidades, trfego na internet e cataclismos diversos. Parte das distribuies supra citadas, bem como as suas misturas, tm ainda propriedades interessantes ao nvel da taxa de falha instantnea, conceito importante em vrias reas e que ser desenvolvido neste captulo. Finalmente, em algumas aplicaes podem ser consideradas misturas de diferentes densidades. Karlis e Xekalaki (2003) refere a sua utilidade no estudo de outliers, considerando que uma populao modelada por uma funo densidade f se encontra "contaminada" por outra populao minoritria modelada por uma funo densidade g. Guo et al (2006) utiliza uma mistura de duas densidades, Weibull e gaussiana, para descrever os ciclos menstruais. A maioria das mulheres ter o seu ciclo menstrual modelado por uma gaussiana, mas algumas tero um ciclo maior e mais irregular, modelado por uma Weibull. 2. A Taxa de Falha Instantnea Definio 2.1. Designa-se por taxa de falha instantnea ou funo hazard de uma varivel aleatria X a funo r tal que (2.1) r (t) = fX (t) , F X (t)

em que F X (t) = 1 FX (t) e t > 0 um instante de tempo1. A taxa de falha instantnea tem aplicaes em diversas reas. Por exemplo, em abilidade habitual considerar-se uma taxa de falha instantnea inicialmente decrescente, sendo posteriormente crescente medida que o material se aproxima do seu termo de vida2 (Barlow e Proschan, 1975). Por sua vez, lvarez et al (2005) refere que
1
2

A F X chama-se habitualmente funo de sobrevivncia. O mesmo princpio pode ser aplicado em anlise de sobrevivncia, apesar de alguns autores

considerarem que em indivduos muito idosos a taxa de falha instantnea deixa de ser crescente.

2. A TAXA DE FALHA INSTANTNEA

67

as alteraes de preo dos produtos de consumo tm uma taxa de falha instantnea decrescente, logo quando mais tempo leva o preo de um produto a ser alterado mais improvvel este ser alterado. Finalmente, Chechille (2003) indica o uso da taxa de falha instantnea na durao de tarefas cognitivas e na perda de memrias. Teorema 2.1. Se X uma varivel aleatria contnua com funo densidade crescente, ento a sua taxa de falha instantnea tambm crescente. Demonstrao. A taxa de falha instantnea crescente se r0 (t) > 0. Como
2 (t) f 0 (t) F X (t) + fX f 0 (t) F X (t) F X (t) fX (t) r (t) = X = X , 2 2 F X (t) F X (t) 0 0 (t) > 0 ento r0 (t) > 0 e o teorema ca demonstrado. se fX 0

No contexto das misturas, Barlow e Proschan (1975), tal como Chechille (2003) indicam o seguinte teorema3. Teorema 2.2. Seja X uma mistura convexa de variveis aleatrias contnuas e independentes, com fX (x) =
N X j =1 N X j =1

wj fXj (x)

onde wj > 0,

wj = 1 e f representa uma funo densidade. Se todas as variveis

Xj tiverem uma taxa de falha instantnea no crescente, a mistura tem uma taxa de falha instantnea decrescente4.

3 4

A demonstrao no complexa mas extensa. Ver Barlow (1975), 102-103. Para misturas cujas componentes tm uma taxa de falha instantnea crescente no se conhece

qualquer resultado anlogo.

68

V. MISTURAS CONVEXAS DE OUTRAS DENSIDADES

3. Misturas Convexas de Exponenciais 3.1. Consideraes Sobre a Distribuio Exponencial.

Quando uma varivel aleatria X tem distribuio exponencial, X Exp () , a sua funo densidade e funo de distribuio so dadas respectivamente por fX (x) = exp (x) , e FX (x) = 1 exp (x) , Os momentos de ordem k so da forma 0k = logo 01 = 1 2 = 1 1 = 2 2 = 9. A distribuio exponencial observa algumas propriedades interessantes. Uma exponencial truncada esquerda de a > 0 contnua a ser exponencial, pois (3.1) FX |X>a (x) = exp (a) exp (x) FX (x) FX (a) = = exp (a) F X (a) k! , k > 0 e x > 0. >0ex>0

= 1 exp [ (x a)] = FX (x a)

com x > a > 0. Assim, nas populaes exponenciais uma truncatura esquerda corresponde apenas a uma translao. Mais relevante a falta de memria da exponencial, atendendo a que a funo de distribuio do tempo de vida residual, denida por (3.2) FX |X>a (a + t) , a > 0, t > 0

3. MISTURAS CONVEXAS DE EXPONENCIAIS

69

da forma FX |X>a (a + t) = 1 exp [ (a + t a)] = 1 exp (t) = FX (t) . Em abilidade, esta propriedade signica que uma pea usada to boa como uma nova, pelo que a substituio atempada de material intil. Outra caracterizao da distribuio exponencial a taxa de falha instantnea constante, r (t) = exp (t) = . exp (t)

Existem ainda diversas outras caractersticas da exponencial, como por exemplo a independncia dos spacings. Adler et al (1998), entre outros, contm muita informao sobre esta distribuio. 3.2. Funo Densidade, Funo de Distribuio e Momentos da Mistura. Quando as variveis aleatrias a misturar tm distribuio exponencial, isto , Xj Exp (j ) obtemos como funo densidade da mistura (3.3) fX (x) =
N X j =1

wj j exp (j x) ,

j > 0 e x > 0.

A partir da expresso acima podemos calcular a funo de distribuio, # Zx "X Zx N N X wj j exp (j t) dt = wj j exp (j t) dt = (3.4) FX (x) =
0 j =1 j =1 0

N X j =1

[wj (1 exp (j x))] =


N X j =1

= 1

wj exp (j x) ,

j > 0 e x > 0.

70

V. MISTURAS CONVEXAS DE OUTRAS DENSIDADES

Os momentos no centrados de ordem k so da forma (3.5) sendo o valor esperado 01 =


N X wj j =1

0k

N X j =1

wj

k! k j

Por sua vez, a funo caracterstica denida por (3.6)


N X wj j wj Xj (t) = , X (t) = it j =1 j =1 j N X

sendo a funo geradora de cumulantes ln[X (it)] = 1 t + 2 t2 t3 t4 + 3 + 4 + O t5 . 2! 3! 4!

Aps alguns cculos podemos concluir que (3.7) 1 =


N X wj j =1

2 = 2

N X wj

2 j =1 j 3 j

012 + 2013 601


N X wj j =1

3 = 6

N X wj j =1

2 j

4 = 24

N X wj j =1

4 j

2401

N X wj j =1

3 j

12

!2 N X wj
j =1

2 j

24012

N X wj j =1

2 j

6014 .

Pela anlise das expresses obtidas, no possvel extrair concluses quanto ao comportamento da assimetria e do achatamento da mistura, obtidos atravs dos cumulantes acima. 3.3. Identicabilidade e Moda da Mistura. Tal como as misturas convexas de gaussianas estudadas no captulo anterior, as misturas convexas de exponenciais tambm so identicveis (Teicher, 1963). Mas ao

3. MISTURAS CONVEXAS DE EXPONENCIAIS

71

contrrio das misturas de gaussianas, as misturas de exponenciais no podem ser multimodais, tendo sempre a moda igual a zero (Frhwirth, 2006). Basta notar que o suporte da mistura R+ 0 e que a funo densidade (3.3) sempre decrescente, pois f (x) =
0 N X j =1

wj 2 j exp (j x) < 0.

Esta propriedade til se pretendermos aproximar a mistura a uma distribuio do sistema de Pearson, que s contempla distribuies unimodais. No entanto, atendendo s expresses obtidas para 1 e 2 , no possvel aproximar a mistura, genericamente, a um nico tipo de Pearson. Quando desejvel, a aproximao deve ser estudada caso a caso. Note-se que a situao altera-se quando introduzimos parmetros de localizao distintos para cada uma das variveis Xj . Apesar da expresso habitual da exponencial no os contemplar (e por isso no foram aqui considerados) esta extenso poder ser vantajosa ao permitir misturas multimodais de exponenciais. No entanto, alm do aumento do nmero de parmetros, surgem novos problemas relacionados com o suporte da mistura (ver subseco 5.2 deste captulo). 3.4. Estimao dos Parmetros e Exemplo de Aplicao. Vimos no captulo anterior diferentes formas de estimao de parmetros, salientando a importncia do algoritmo EM no contexto das misturas de gaussianas. Em misturas de outras densidades, exponenciais ou no, os procedimentos so similares, pelo que no sero abordados neste texto. Uma mistura convexa de exponenciais tem no mximo 2N 1 parmetros desconhecidos; wj e j para cada subpopulao, menos um parmetro que univocamente N X wj = 1. A aproximao a um tipo do sistema de Pearson determinado notando que
j =1

quase sempre vantajosa do ponto de vista da parcimnia dos parmetros. O sistema de Pearson obriga normalmente a estimar quatro parmetros, mas o facto do suporte da mistura ser S = [0, +[ leva a que s tenhamos de estimar um mximo de trs (basta

pensar, por exemplo, na aproximao X beta(a, b, p, q ) vista na subseco 6.3.3 da

72

V. MISTURAS CONVEXAS DE OUTRAS DENSIDADES

pgina 60, que se reduz agora a X beta(0, b, p, q )). Assim, se N 3 a aproximao compensatria ao nvel da parcimnia5. O principal problema surge quando 0 < < 1 e a mistura tem ser aproximada a uma distribuio de Pearson tipo IV (ver pgina 11) pouco trabalhada em estatstica. Exemplo 3.1. Seja X uma mistura convexa de exponenciais com parmetros 1 1 1 ( 1 , 2 , 3 , 1 , 2 , 3 , 4 ) = 0.25; 0.25; 0.25; ; ; ; 1 . 4 3 2 Ento 01 = 2.5; e = 3.78, podendo a mistura ser aproximada distribuio beta. Gracamente,
0.5

2 = 8.75;

1 = 2.6562;

2 = 10.6527

0.4

0.3

0.2

0.1

Figura 9: densidade para (w1 , w2 , w3 , 1 , 2 , 3 , 4 ) = 0.25; 0.25; 0.25; 1 ; 1; 1; 1 4 3 2

Aps transformao dos dados, as funes distribuio empricas abaixo expostas (a azul a real e a vermelho a da aproximao) mostram que a aproximao distribuio beta funciona quase sempre bem excepto para as observaes de topo, o que pode ser
5

preciso no entanto notar que ao aproximarmos uma densidade com caudas razoavelmente

longas e sem suporte nito por uma densidade com suporte nito podemos cometer erros elevados.

3. MISTURAS CONVEXAS DE EXPONENCIAIS

73

corroborado pelo papel de probabilidade para a distribuio beta.

Empirical CDF 1 0.9 0.8 0.7 0.9999 0.9995 0.999 0.995 0.99 0.95 0.9 0.75 0.5 0.25 0.1 0.05 0.01 0.005 0.001 0.0005 0.0001 0 0.1 0.2 0.3 0.4 0.5 Data 0.6 0.7 0.8 0.9 1 0.6 F(x) 0.5 0.4 0.3 0.2 0.1 0

Probability

0.1

0.2

0.3

0.4

0.5 x

0.6

0.7

0.8

0.9

Figura 10: p-plot para a distribuio beta

Figura 11: funes distribuio empricas

Apesar da aproximao no ser perfeita, os parmetros a estimar diminuram de sete para trs, o que um ganho substancial. Para vericar se esse ganho compensatrio recorremos s estatsticas AIC e BIC baseadas no teste de ajustamento do qui-quadrado, equivalente ao teste de razo de verosimilhanas. Assim, 2 m X P i Xi AIC = + 2p Xi i=1

(3.8)

e 2 m X P i Xi BIC = + p ln n i=1 Xi

(3.9)

onde Xi representa o nmero de frequncias observadas em cada uma das m classes, p o nmero de parmetros e Xi as frequncias esperadas em cada classe. Considerando n = 1000, a regra de Sturges aconselha a utilizao de 10 classes distintas, que em funo da populao em estudo originaram C1 = [0; 1.5[, ..., C9 = [12; 13.5[, C10 = [13.5, [, divididas por b b no modelo beta. Em 10000 simulaes realizadas obtiveram-

74

V. MISTURAS CONVEXAS DE OUTRAS DENSIDADES

-se os seguintes resultados:


Tabela 10: ajustamento a misturas de exponenciais

Modelo mistura de exponenciais AICME = 22.86 BICME = 57.22

Modelo beta AICB = 42.07 BICB = 56.80

# [AICME > AICB ] = 492 # [BICME > BICB ] = 5902 Em relao estatstica AIC, que penaliza menos severamente o nmero de parmetros, os resultados para o modelo original foram substancialmente melhores que para o modelo aproximado. Quanto estatstica BIC, os resultados foram mais equilibrados, sendo agora o modelo aproximado o que apresenta melhores resultados. Neste exemplo no conclusivo se prefervel utilizar a mistura de exponenciais ou a aproximao distribuio beta, devendo a deciso nal ser tomada pelo utilizador em funo da situao em estudo. 3.5. O Tempo de Vida Residual e a Taxa de Falha Instantnea.

Vimos que a distribuio exponencial no tem memria, e ainda que a taxa de falha instantnea constante para esta distribuio. Importa agora perceber o que sucede para as misturas nitas de exponenciais. A mistura truncada esquerda de a > 0 tem como funo de distribuio (ver expresso (3.4) na pgina 69) ! N N X X 1 wj exp (j x) 1 wj exp (j a) FX |X>a (x) =
j =1 j =1 N X j =1

(3.10)

wj exp (j a)

= 1

N X j =1

wj exp (j x) , wj exp (j a)

N X j =1

3. MISTURAS CONVEXAS DE EXPONENCIAIS

75

sendo a funo de distribuio do tempo de vida residual


N X j =1

wj exp (j a) exp (j t)
N X j =1

FX |X>a (a + t) = 1

a > 0, t > 0. wj exp (j a)

Esta funo, como esperado6, depende agora do ponto de truncatura a. Quanto taxa de falha instantnea,
N X

(3.11)

r (t) =

fX (t) j =1 = N X F X (t)
j =1

wj j exp (j t) , wj exp (j t)

que ser sempre decrescente, atendendo ao teorema 2.2 da pgina 67. Em termos de abilidade, a concluso estranha, pois em misturas nitas de exponenciais a substituio atempada de material prejudicial, ou seja, as peas usadas so melhores que as novas. Por outro lado, apropriado para modelar as alteraes do preo de produtos, conforme referido na introduo deste captulo. 3.6. Duas Populaes. Mesmo nesta situao mais simples, as expresses quer dos momentos quer dos coecientes de assimetria e achatamento so extensas. No entanto, assumindo sem perda de generalidade que 1 > 2 possvel concluir que as inequaes 1 > 2 2 > 9 so universais, implicando que os coecientes de assimetria e achatamento da mistura sejam superiores aos originais. A aproximao a um elemento do sistema de Pearson ainda complexa, pois no se conseguem extrair condies simples que permitam
6

A falta de memria caracteriza a distribuio exponencial, logo misturas de exponenciais no

poderiam ter esta propriedade.

76

V. MISTURAS CONVEXAS DE OUTRAS DENSIDADES

classicar a mistura, mesmo impondo restries aos parmetros (como por exemplo 1 > 2 > 1). 4. Misturas Convexas de Paretos 4.1. Consideraes Sobre a Distribuio Pareto. Quando uma varivel aleatria tem distribuio Pareto7, X P areto () , a sua funo densidade e funo de distribuio so dadas respectivamente por f (x) = x1 , e F (x) = 1 x , x 1, > 0. x 1, > 0

Os momentos no centrados de ordem k so da forma8 0k = logo 01 = 2 = 1 2 , 1 >1 , k > k,

, >2 ( 1)2 ( 2) p 2 (1 + ) ( 2) = , >3 ( 3) 3 ( 2)2 (2 + + 32 ) , = (24 + 26 92 + 3 ) > 4.

interessante notar que a funo de sobrevivncia para a distribuio Pareto tem um comportamento singular, pois uma funo homognea ou auto-semelhante.
7 8

A distribuio Pareto aqui considerada habitualmente designada por Pareto de tipo I. No lugar do valor mdio, que nem sempre existe, podem ser calculadas outras mdias, como a ge-

omtrica. Medidas de desigualdade, como o ndice de Gini, so tambm importantes nesta distribuio (ver Johnson et al, 1994).

4. MISTURAS CONVEXAS DE PARETOS

77

Definio 4.1 (Funo Homognea). A funo f : Df Rn R homognea de grau quando (4.1) f (kx1 , ..., kxn ) = k f (x1 , ..., xn )

para qualquer k R tal que (kx1 , ..., kxn ) Df . Para a cauda da distribuio Pareto, (4.2) F (kx) = k F (x) .

Embora vrias outras distribuies veriquem esta propriedade ao nvel assinttico, a Pareto a nica entre as contnuas que a verica a um nvel exacto, sendo por isso a sua cauda uma funo homognea de grau . Teorema 4.1. Se X uma varivel aleatria contnua com F (kx) = k F (x) , ento X P areto () . Demonstrao.
9

Seja X uma varivel aleatria contnua com F (kx) = k F (x) . Ento, se k = x1 , F (1) = x F (x) F (x) = x F (1) , logo F (1) 6= 0. Calculando agora P (X x|X 1) , vem que P (X x|X 1) = Como
9

F (1) F (x) F (x) F (1) = = 1 x . F (1) F (1) 0 1 x 1,

O teorema bem conhecido da literatura, mas pensamos que demonstrao apresentada

original.

78

V. MISTURAS CONVEXAS DE OUTRAS DENSIDADES

ento 0 x 1 > 0, x 1.
F (1)6=0

Assim, F (x) = P (X x) = P (X x|X 1) = 1 x , logo X P areto () . A propriedade 4.2, que como se viu nica para a distribuio Pareto, origina todo um conjunto de resultados. Recorde-se o teorema de Euler para funes homogneas (ver mais detalhes em Ross, 1984). Teorema 4.2. Se a funo f : Df Rn R homognea de grau com derivadas parciais contnuas, ento (4.3)
n X i=1

xi

f (x1 , ..., xn ) = f (x1 , ..., xn ) xi

e as derivadas parciais de f so funes homogneas de grau 1. O teorema de Euler implica que (4.4) e (4.5) F (x) = xf (x) f (kx) = k1 f (x)

logo a funo densidade Pareto uma funo homognea de grau 1 e pode-se obter uma expresso alternativa para o clculo do valor mdio, pois Z Z E (X ) = xf (x) dx = F (x) dx.
1 1

4. MISTURAS CONVEXAS DE PARETOS

79

O quantil de probabilidade , q , tambm ser obtido de forma imediata: P (X q ) =


F (q ) = 1 q =1
1

q = (1 )

Bem mais interessantes sero as implicaes de (4.2) ao nvel das probabilidades e momentos condicionais. Para x a 1, P (X x|X a) = F (x) F (a) F (a) F (x) = = F (a) F (a) x x a x = , =1 =F a a a x a

ou seja (4.6) FX |X a (x) = FX .

Deste modo a funo de distribuio truncada esquerda de a simplesmente a funo x de distribuio original no ponto , implicando que uma Pareto truncada esquerda a de a > 0 continue a ser uma Pareto. Note-se que na Pareto a truncatura origina uma mudana de escala, enquanto na exponencial originava uma mudana de localizao. Existe uma relao estas duas distribuies, pois (4.7) X P areto () ln X Exp () .

A tranformao logartmica que permite passar da distribuio Pareto para a distribuio exponencial implica naturalmente que, ao nvel da truncatura, se passe de uma mudana de escala para uma mudana de localizao. Se X representar a durao de um certo projecto (outros bons exemplos so dimenses de cidades e fortunas), como um doutoramento, a probabilidade de um aluno levar menos de 3 anos para o concluir igual probabilidade de levar menos de 6 anos, se j estiver inscrito h 2 anos, ou menos de 12 anos se j estiver inscrito h 4 anos. Note-se que, na distribuio Pareto, quanto mais tempo passa, mais tempo parece faltar. A funo de distribuio do tempo de vida residual, denida pela expresso (3.2)

80

V. MISTURAS CONVEXAS DE OUTRAS DENSIDADES

da pgina 68, pode-se calcular imediatamente atravs da expresso acima, a+t a+t t =1 =1 1+ . FX |X a (a + t) = FX a a a Assim, o tempo de vida residual de uma Pareto contnua a ser Pareto, mas agora uma Pareto de tipo II10, com parmetro de escala a. ainda bvio que t P (X a + t|X a) = 1 + a montona crescente, em funo de a, conrmando as concluses apresentadas. Por sua vez a taxa de falha instantnea, denida pela expresso (2.1) da pgina 66, agora r (t) = t1 = t t

que uma funo montona decrescente. De (4.6) tambm se pode calcular a funo densidade truncada esquerda de a, 1 x fX |X a (x) = fX , a a

Da expresso acima obtm-se o valor esperado e a varincia da varivel truncada esquerda de a, E (X |X a ) = aE (X ) e V ar (X |X a ) = a2 V ar (X ) , funes linear e quadrtica das originais. Finalmente, a funo densidade da distribuio Pareto log-convexa (ver seco 7 na pgina 14), pois [ff 00 f 0 ] (x) = x24 2 ( + 1) > 0,
10

o que implica que o valor esperado de X k condicional a X a seja, para > k Z Z k k x x (ay )k fX (y ) dy = ak E X k . E X |X a = fX dx = a a a 1

Habitualmente, se X P areto II (, ) ento x , x > 0, > 0, > 0. FX (x) = 1 1 +

4. MISTURAS CONVEXAS DE PARETOS

81

sendo por isso innitamente divisvel. Apesar de no muito estudada a distribuio Pareto tem recebido uma crescente ateno, no somente por estatsticos, nos ltimos anos, pois como expusemos nesta seco tem um manancial de propriedades relevantes. Sobre esta distribuio, destacamos ainda o excelente trabalho de Arnold (1983), mas Johnson et al (1994) e Rachev e Mittnik (2000) tambm merecem uma leitura cuidada. 4.2. Funo Densidade, Funo de Distribuio e Momentos da Mistura. Quando as variveis aleatrias a misturar tm distribuio Pareto, isto , Xj P areto (j ) , x 1, j > 0, j = 1, ..., N
N X j =1

obtemos como funo densidade da mistura (4.8) fX (x) = wj j xj 1 .

A partir da expresso acima podemos calcular a funo de distribuio, # x Zx "X Z N N X wj j tj 1 dt = wj j tj 1 dt = FX (x) = (4.9)
1 j =1 j =1 1

N X j =1

Os momentos no centrados de ordem k so da forma (4.10) sendo o valor esperado 01


N X wj j = , 1 j =1 j

wj 1 xj = 1 0k =
N X j =1

N X j =1

wj xj .

wj

j , j k

j > k,

j > 1.

Por sua vez, os momentos centrados e a funo caracterstica so denidos pelas expresses (4.11) k = E (X h
k 01 )

N X j =1

h i 0 k wj E (Xj 1 ) ,

j > k.

82

V. MISTURAS CONVEXAS DE OUTRAS DENSIDADES

e (4.12) X (t) =
N X j =1

wj Xj (t) =

N X j =1

wj j (it)j (j , it) .

Nesta situao complicado trabalhar com a funo caracterstica. O clculo dos momentos centrados da mistura ser feito recorrendo expresso (4.11), e no como habitualmente atravs dos cumulantes. Aps alguns clculos obtm-se como expresses para os momentos centrados N !2 N X X wi i wi i = i 2 i 1 i=1 i=1

(4.13)

2 3

N N X X wi i wi i 0 = 31 + 2013 i 3 i 2 i=1 i=1

4 =

No conseguimos simplicar as expresses acima de forma a extrair concluses quanto ao comportamento da assimetria e do achatamento da mistura, ou permitir aproxim-la, de forma geral, a um elemento do sistema de Pearson. 4.3. Identicabilidade e Moda da Mistura. Vimos que misturas convexas de gaussianas e misturas convexas de exponenciais so identicveis, resultado h muito conhecido dos trabalhos de Teicher (1961, 1963). S bastante mais tarde, Ahmad (1988) mostrou a identicabilidade das misturas convexas de Paretos. A unimodalidade, outra caracterstica relevante no estudo de misturas, est presente nas misturas convexas de Paretos, pois11
0 fX

N N N X X X wi i wi i wi i 401 + 6012 3014 . 4 3 2 i i i i=1 i=1 i=1

(x) =

N X j =1

(j + 1) wj j xj 2 < 0

11

Tal como indicmos para misturas de exponenciais, possvel introduzir parmetros de loca-

lizao (e agora tambm de escala) distintos para cada varivel Xj que impliquem multimodalidade, com as vantagens e as desvantagens referidas anteriormente.

4. MISTURAS CONVEXAS DE PARETOS

83

implicando que fX seja uma funo montona decrescente com moda no extremo inferior do suporte, x = 1. Atendendo complexidade das expresses para 1 e 2 , denidas atravs dos momentos calculados na subseco anterior, o resultado til ao permitir a aproximao da mistura a um membro da famlia de Pearson. O tipo de Pearson a escolher depender sempre dos valores obtidos para 1 e 2 . no entanto de realar que a aproximao pode ser problemtica, pois a distribuio Pareto tem caudas muito longas, levando a que a aproximao a tipos de Pearson com suporte nito (como o tipo I) seja sempre muito limitada por este.

4.4. O Tempo de Vida Residual e a Taxa de Falha Instantnea. Vericmos anteriormente que a distribuio Pareto tem uma taxa de falha instantnea decrescente, e que a distribuio do tempo de vida residual continua a ser Pareto. Importa agora perceber o que sucede para as misturas nitas de Paretos. A mistura truncada esquerda de a > 0 tem como funo de distribuio (ver expresso 4.9 na pgina 81) 1 (4.14) FX |X>a (x) =
N X j =1

wj xj 1
N X j =1

N X j =1

wj aj

wj aj

= 1

N X j =1

wj xj , wj aj

N X j =1

sendo a funo de distribuio do tempo de vida residual


N X j =1

wj (a + t)j , a > 1, t > 0, wj aj

FX |X>a (a + t) = 1

N X j =1

84

V. MISTURAS CONVEXAS DE OUTRAS DENSIDADES

no permitindo tirar grandes ilaes. Atendendo ao teorema 2.2 da pgina 67, a taxa de falha instantnea
N X j =1

wj j tj 1 wj tj

(4.15)

r (t) =

N X j =1

ser sempre decrescente, originando concluses similares s vericadas anteriormente para as misturas convexas de exponenciais. possvel generalizar o estudo do comportamento da taxa de falha instantnea, considerando a distribuio Pareto generalizada, X GP (, , ) , cuja funo de sobrevivncia ser 1 (x ) F (x) = 1 +
(x)

para x > , > 0 e 1 +

> 0. Note-se que:

se = = 1 e = 1 obtemos F (x) = x , a funo de sobrevivncia da Pareto de tipo I; se = 0, = 1 e 0+ obtemos 1 x 1 + 1 = ex , lim F (x) = lim 0+ 0+

a funo de sobrevivncia da exponencial.

A funo densidade da Pareto generalizada ser 1 1 (x ) 1+ = f (x) = F (x) = 1 1 (x ) 1 , 1+ =


0 1

4. MISTURAS CONVEXAS DE PARETOS

85

sendo a taxa de falha instantnea h i1 1 (t) 1 1+ (t ) 1 = r (t) = h i1 = 1 + (t) 1+ 1 1 + (t ) = [ + (t )]1 . =


1

Como r0 (t) = [ + (t )]2 = , [ + (t )]2

a taxa de falha instantnea sempre decrescente, se > 0, e crescente, se < 0. O caso > 0 contm as j citadas Pareto tipo I e exponencial, e pelo teorema 2.2 da pgina 67 misturas convexas destas densidades j > 0, j = 1, ..., N tero sempre Para < 0, a situao complica-se (recorde-se que no existe um teorema anlogo ao teorema 2.2 para densidades com taxa de falha instantnea crescente). A funo densidade da mistura ser fX (x) = sendo a sua derivada
1 " 1 # j 2 + 1 x j j j j 0 fX 1+ (x) = wj = j j j j =1 1 " # j 2 j x j 1 + j 1+ wj . = 2 j j j =1

uma taxa de falha instantnea decrescente.

N X j =1

wj

1 j

"

1 # j 1 j x j 1+ , j

N X N X

0 (x) > 0 e o teorema 2.1 da pgina 67 garante que a Se j < 1, j = 1, ..., N, ento fX

taxa de falha instantnea da mistura sempre crescente. Outras situaes (isto , misturas em que existam simultaneamente componentes com j > 0 e j < 0 e misturas onde j : 1 < j < 0) devero ser analisadas caso a caso.

86

V. MISTURAS CONVEXAS DE OUTRAS DENSIDADES

5. Misturas Convexas de Diferentes Densidades 5.1. Consideraes Sobre a Mistura. Genericamente, podemos considerar que estamos perante uma mistura convexa de diferentes densidades quando (5.1) fX (x) =
N X j =1

wj fXj (x) ,

onde wj > 0,

as densidades fXj so diferentes, mas no apenas ao nvel paramtrico, tal como at aqui foi estudado. Claro que estas misturas sero ainda mais exveis que as habituais, e inmeras combinaes de densidades poderiam ser feitas. Para N = 2, a expresso acima ser (5.2) fX (x) = wfX1 (x) + (1 w) fX2 (x) .

N X j =1

wj = 1 e fXj representa uma funo densidade. Vamos assumir que

No estudo de outliers, habitual considerar fX1 como a verdadeira funo densidade de X, encontrando-se esta contaminada por uma proporo (1 w) de indivduos provenientes de uma populao com funo densidade fX2 . Neste tipo de trabalhos, alm da estimao dos parmetros ainda relevante a classicao dos elementos da amostra em cada uma das subpopulaes. A expresso (5.2) tambm utilizada para modelar alguns fenmenos. Guo et al (2006), no seguimento do trabalho de Harlow et al (2000), sugere uma mistura entre uma distribuio gaussiana e uma distribuio Weibull (Weibull de mnimos com um parmetro de localizao positivo) para modelar os ciclos menstruais humanos. A maioria dos ciclos menstruais parece ser bem modelado por uma distribuio gaussiana, mas alguns destes tm uma durao demasiado elevada, sendo de considerar uma distribuio de caudas mais longas. Estes autores observam ainda que a proporo de mulheres com ciclos longos aumenta em funo da idade, pelo que no estamos perante um estudo de outliers (pelo menos para as mulheres mais velhas).

5. MISTURAS CONVEXAS DE DIFERENTES DENSIDADES

87

5.2. Misturas de Distribuies Denidas em Diferentes Suportes. Motivados pelo exemplo da durao dos ciclos menstruais visto na subseco anterior, vamos estudar funes densidade em que o suporte das subpopulaes envolvidas diferente, implicando que a funo densidade da mistura contemple pelo menos dois ramos. Nestas situaes, e considerando como habitualmente que as densidades fX1 e fX2 so derivveis e unimodais, importante vericar o que sucede nos pontos em que a funo densidade da mistura muda de ramo. Teorema 5.1. Sejam X1 , X2 duas subpopulaes com suporte SX1 = R, SX2 = [, [ e funes densidade derivveis e unimodais. Ento a funo densidade da mistura wf (x) , X1 fX (x) = wfX (x) + (1 w) fX (x) , 1 2 x< x

(5.3)

0 (+ ) = 0. derivvel em x = se e s se fX2 () = fX 2

Demonstrao. Para a funo fX ser contnua em x = necessrio garantir que lim fX (x) = lim fX (x) (1 w) fX2 () = 0

x+

fX2 () = 0. Se fX2 () = 0 ento fX derivvel em x = se 0 fX + fX (x) fX () fX (x) fX () 0 = lim+ fX lim x x x x wfX1 (x) wfX1 () wf (x)+(1w)fX2 (x)wfX1 () lim = lim+ X1 x x x x + (1 w) fX2 (x) 0 = 0 fX = 0. lim+ 2 x x =

88

V. MISTURAS CONVEXAS DE OUTRAS DENSIDADES

Naturalmente que outras densidades similares do teorema 5.1 sero tratadas de forma anloga. Desde que a funo densidade da mistura tenha pelo menos dois ramos distintos onde num deles coexistam elementos de ambas as subpopulaes, o teorema pode ser aplicado. ainda de referir que densidades do tipo wf (x) , X1 fX (x) = (1 w) fX (x) , 2

x< x

no fazem grande sentido no contexto das misturas, visto que as subpopulaes no esto misturadas, mas sim separadas por x = (uma subpopulao ter sempre observaes inferiores a e a outra observaes superiores a ).

5.3. Mistura Entre as Distribuies Gaussiana e Weibull.

Seja X1 a subpopulao gaussiana, X1 N (1 , ) com > 0 e X2 a subpopulao Weibull, X2 W eibull (2 , , ) com x > 2 , > 0 e > 0. A funo densidade da mistura tem como expresso (5.4)  2 1 x1 w , e 2 2   fX (x) = 2 1  x2  1 x1 w x (1 w ) 2 + e , e 2 2

x < 2 , x 2

sendo os momentos da distribuio calculados, de forma mais simples, com recurso expresso (2.2) da pgina 19 e no atravs da funo acima. Gracamente, eis algumas densidades possveis:

5. MISTURAS CONVEXAS DE DIFERENTES DENSIDADES

89

0.06 0.05 0.04 0.03


0.04 0.08

0.06

0.02 0.01
0.02

(1)
0.08

20 30 40 50   (w, 1 , , 2 , , ) = 0.85, 28, 6, 28, 72, 2

10

20

30

40

50

60

(2)

(w, 1 , , 2 , , ) = (0.85, 28, 4, 25, 20, 1)

0.067 0.066

0.06

0.065
0.04

0.064
0.02

0.063

10

20

30

40

50

60

24.9

25.0

25.1

25

(3)

(w, 1 , , 2 , , ) = (0.85, 28, 4, 25, 20, 1.5)

(4)

(w, 1 , , 2 , , ) = (0.85, 28, 4, 25, 20, 1.5)

Figura 12: densidades para misturas entre as distribuies Weibull e gaussiana

A densidade da primeira gura a mais simples em termos de estimao (como veremos posteriormente) e corresponde mistura de uma distribuio gaussiana com uma distribuio Rayleigh. A densidade da segunda gura tem a desvantagem de no ser contnua, j que corresponde mistura de uma distribuio gaussiana com uma distribuio exponencial onde fX2 (25) 6= 0. A densidade da terceira gura de longe a mais apropriada para modelar a durao dos ciclos menstruais, mas tem a desvantagem de depender de seis parmetros distintos. A quarta gura representa o comportamento da funo densidade da terceira gura em torno de x = 25, tornando claro que apesar do aspecto liso desta existe na realidade um ponto de inexo. Atendendo expresso (5.4), a estimao dos parmetros pelo mtodo da mxima verosimilhana ser um problema bastante complexo. No caso mais simples, = 2, 1 = 2 = e = 2 (mistura de uma distribuio gaussiana com uma distribuio Rayleigh) temos apenas trs parmetros para estimar, sendo o ramo de

90

V. MISTURAS CONVEXAS DE OUTRAS DENSIDADES

baixo da funo densidade indicada em (5.4) w 1 fX (x) = e 2 2 w 1 e 2 = 2


  x 2 2

2 (1 w) + 2

 x 2 x 2 e = 2
 x 2

(1 w) (x ) 2 + e = 2 #   " x 2 2 (1 w ) ( x ) w 1 1+ , = e 2 w 2

implicando que a funo densidade da mistura possa ser escrita da forma #I[,+[ (x)   " x 2 2 (1 w ) ( x ) w 1 (5.5) fX (x) = 1+ , e 2 w 2 onde 1, I[,+[ (x) = 0, se x se x <

sendo o seu logaritmo (5.6)

Por sua vez, a funo de mxima verosimilhana (ver subseco 3.2 na pgina 28)   " #I[,+[ (xi ) n n 1 S n xi 2 Y 2 (1 w ) ( x ) w i L (w, , |x) = 1+ e 2 i=1 w 2 i=1 h n n P 1P xi 2 + I[,+[ (xi ) ln 1 + 2 i=1 i=1 i 2(1w)(xi ) . w

ln L (w, , |x) = n ln

w 2

Como habitualmente, as equaes de verosimilhana no conduzem a estimadores explcitos, dependendo estas do valor de . Quanto ao mtodo dos momentos, note-se que para este caso particular 01 (5.7) = + r

(1 w) 2

2 = 1

sendo possvel encontrar estimadores por este mtodo.

2 4 2w (1 w)2 2 2 ( (1 w) 3) (1 w)2 = 3 4 (1 w)2 2w 2

CAPTULO VI

Misturas Pseudo-Convexas
1. Introduo Vimos nos captulos anteriores misturas convexas, em que os parmetros mistuN P radores se encontram sujeitos s restries wj = 1 e 0 < wj < 1 para j = 1, ..., N.
j =1 j =1

(designada neste texto por mistura pseudo-convexa). Esta exibilizao acarreta van-

possvel relaxar a condio 0 < wj < 1, permitindo pesos fora deste intervalo e manN P tendo somente a condio wj = 1. A mistura obtida assim nita mas no convexa

tagens evidentes ao nvel da modelao de fenmenos, sem que no entanto implique um aumento de parmetros. Bartholomew (1969) desenvolveu um trabalho inicial sobre este assunto em relao distribuio exponencial, sendo que estas misturas (designadas habitualmente por hiperexponenciais) parecem adequadas para modelar alguns fenmenos, como tempos de espera e trfego na internet (Mendona e Pestana, 2002). Zhang e Zhang (2005) usa misturas de gaussianas com pesos negativos em anlise de clusters, mas de um modo geral misturas pseudo-convexas de outras distribuies que no a exponencial esto relativamente pouco estudadas na literatura. Neste captulo, o ponto de partida para a construo de misturas pseudo-convexas um resultado de Mendona e Pestana (2002), derivado a partir de um trabalho de Gumbel (1958). Comecemos por apresentar o seguinte teorema. Teorema 1.1. Seja F uma funo de distribuio e f uma funo densidade. Se w [1, 1] , (1.1) f (x) = (1 w) f (x) + 2wf (x) F (x)

sempre uma funo densidade.


91

92

VI. MISTURAS PSEUDO-CONVEXAS

Aplicando o teorema supra, Mendona e Pestana (2002) mostra que se X Exp () obtm-se como funo densidade (1.2) f (x) = (1 w) ex + 2wex 1 ex = = ex + wex 2we2x = = (1 + w) f (x) 2wf (2x) onde f a funo densidade da distribuio exponencial com parmetro . f assim a funo densidade de uma varivel aleatria X , que no mais que uma mistura pseudo-convexa entre duas subpopulaes X1 e X2 independentes com densidades f (x) e 2f (2x) . 2. Distribuies Fechadas para Extremos Definio 2.1. Sejam X1 , ..., XN variveis aleatrias contnuas independentes e identicamente distribudas a X F (x) com N > 0 e N , N constantes reais. Diz-se que a distribuio F fechada para o mnimo (X1:N ) se (2.1) X1:N F N (N x + N )

e fechada para o mximo (XN :N ) se (2.2) XN :N F N (N x + N ) .

Quando N = 1 temos as distribuies consideradas na teoria clssica de extremos, que permite apenas transformaes de localizao e escala do tipo N x + N . Quando N 6= 1 temos uma extenso teoria clssica de extremos, permitindo transformaes do parmetro de forma1 N , alm das j referidas transformaes de localizao e escala. Note-se que as distribuies para o mnimo e para o mximo consideradas na denio acima so exactas, no se pretendendo de forma alguma contestar os domnios de atraco estabelecidos na teoria clssica.
1

Parmetro que no de localizao, escala ou funo destes.

2. DISTRIBUIES FECHADAS PARA EXTREMOS

93

As distribuies fechadas para extremos tm interessantes propriedades, pois somente em distribuies fechadas para o mnimo (2.3) e (2.4) N f N N F N (N x + N ) = P [X1:N > x] = F (x) h N i0 N 1 (N x + N ) = F (x) = Nf (x) F (x) . F N (N x + N ) = P [XN :N < x] = [F (x)]N

Do mesmo modo, somente em distribuies fechadas para o mximo (2.5) e (2.6) N f N (N x + N ) = [F (x)] h
N

2.1. Distribuies Fechadas para o Mnimo. As distribuies fechadas para o mnimo contemplam:2 W eibull (, ) , onde3 h x i F (x) = 1 exp

i0

= Nf (x) [F (x)]N 1 .

para x > 0, > 0 e > 0, pois

com N = N , N = 0 e N = 1; F re chet (, ) , onde

" 1 ! # h x i N N x = = exp F (x) = exp N 1 = F N x = F N (N x + N ) ,


1

x F (x) = 1 exp

Sem perda de generalidade vamos considerar, ao longo deste captulo, que o parmetro de

localizao das distribuies em anlise sempre = 0, salvo indicao em contrrio. 3 A distribuio exponencial e a distribuio Rayleigh so casos particulares da Weibull de mni mos, para = 1, = 1 e = 2, = 2 respectivamente.

94

VI. MISTURAS PSEUDO-CONVEXAS

para x < 0, > 0 e > 0, pois " ! # 1 x N N x = = exp F (x) = exp N 1 = F N x = F N (N x + N ) ,


1

com N = N , N = 0 e N = 1; Gumbel () , onde

h x i F (x) = 1 exp exp

para > 0, pois h x i N x + ln N F (x) = exp N exp = exp exp = = F (x + ln N ) = F N (N x + N ) , com N = 1, N = ln N e N = 1; logstica generalizada de tipo II, GL2 (, ) , onde " x # exp x F (x) = 1 1 + exp

com N = 1, N = 0 e N = N;

para > 0 e > 0, pois " x #N N exp x F (x) = = F N (x) = F N (N x + N ) 1 + exp

Pareto generalizada, GP (, ) , onde x1 F (x) = 1 1 + para x > 1 e 1 + N F (x) x1 > 0, pois para 1 6= N N x1 Nx + 1 N 1 = 1+ = 1+ = N = F N (Nx + 1 N ) = F N (N x + N ) ,

2. DISTRIBUIES FECHADAS PARA EXTREMOS

95

com N = N , N = 1 N e N = N. Quando 1 = e > 0 ento

F (x) = 1 x , funo de distribuio da Pareto de tipo I estudada na subseco 4.1 do Captulo V (ver pgina 76). Neste caso concreto, N F (x) = xN = F N (x) = F N (N x + N )

com N = 1, N = 0 e N = N.

2.2. Distribuies Fechadas para o Mximo. As distribuies fechadas para o mximo contemplam: W eibull (, ) , onde

h x i F (x) = exp

para x < 0, > 0 e > 0, pois [F (x)]N ! # " 1 h x i N x = = exp = exp N 1 = F N x = F N (N x + N ) ,

com N = N , N = 0 e N = 1; F re chet (, ) , onde

x F (x) = exp

para x > 0, > 0 e > 0, pois [F (x)]N " ! # 1 x N x = = exp = exp N 1 = F N x = F N (N x + N ) ,


1

com N = N , N = 0 e N = 1;

96

VI. MISTURAS PSEUDO-CONVEXAS

Gumbel () , onde

h x i F (x) = exp exp

para > 0, pois [F (x)]


N

= F (x ln N ) = F N (N x + N ) , com N = 1, N = ln N e N = 1; 4 P owerf unction () , onde F (x) = x para 0 < x < 1 e > 0, pois

h x i x ln N = exp exp = = exp N exp

[F (x)]N = xN = FN (x) = F N (N x + N ) , com N = 1, N = 0 e N = N; logstica generalizada de tipo I, GL1 (, ) , onde h x i F (x) = 1 + exp

para > 0 e > 0, pois h x iN = FN (x) = F N (N x + N ) [F (x)]N = 1 + exp com N = 1, N = 0 e N = N. Para concluir, rera-se que os mnimos e os mximos de distribuies esto intimamente relacionados, pois em qualquer distribuio [FX (x)]N = P [max(X1 , ..., XN ) < x] = P [min(X1 , ..., XN ) > x] = N = F X (x)

As distribuies Weibull, Gumbel e Frchet podem ser agrupadas numa nica, designada por

geral de valores extremos (Coles, 2001).

3. MISTURAS PSEUDO-CONVEXAS PARA DISTRIBUIES FECHADAS PARA EXTREMOS 97

logo (2.7) FX (x) = F X (x) ,

que a relao que obtemos entre as distribuies Frchet, Weibull, Gumbel e logstica de mnimos e mximos. A relao anterior permitiria ainda denir uma distribuio Pareto generalizada fechada para mximos e uma distribuio powerfunction fechada para mnimos, que no so apresentadas por serem menos usuais. 3. Misturas Pseudo-Convexas para Distribuies Fechadas para Extremos Como referido, a distribuio exponencial um caso particular da Weibull de mnimos, pelo que ser apelativo generalizar o resultado (1.2) da pgina 92 para as restantes distribuies fechadas para extremos. Teorema 3.1. X uma mistura pseudo-convexa com funo densidade (3.1) f (x) = (1 + w) f (x) wN f N (N x + N ) ,

para w [1, 1] e N , N e N convenientes, se e s se X F (x) uma distribuio fechada para mnimos. Demonstrao. Igualando as expresses (1.1) e (3.1) das pginas 91 e 97, (1 + w) f (x) wN f N (N x + N ) = (1 w) f (x) + 2wf (x) F (x) [2w 2wF (x)] f (x) = wN f N (N x + N ) 2F (x) f (x) = N f N (N x + N ) . Primitivando, 2 = F N (N x + N ) + c F (x) 2 F (x) = F N (N x + N ) + c0 .

98

VI. MISTURAS PSEUDO-CONVEXAS

Se c0 6= 0,
x+

lim F N (N x + N ) + c0 = c0 6= 0

e F no pode ser uma funo de distribuio. Para c0 = 0, 2 F (x) = F N (N x + N )

e X uma distribuio fechada para mnimos, considerando N = 2.

As distribuies com N 6= 0 so aquelas em que o suporte de X poderia ser diferente do de X. Para as distribuies Gumbel e logstica, a modicao de localizao irrelevante pois SX = R. Em relao Pareto generalizada, note-se que x1 [FX (x)] = 1 + N N
N

"

#N

pelo que o suporte se mantm inalterado. Assim, independentemente do valor de w verica-se que SX = SX . No entanto, este parmetro tem como efeito: se w < 0, estamos a somar duas densidades, sendo a primeira contrada por 0 < 1 + w < 1 e a segunda contrada por 0 < w < 1 (mistura convexa habitual); Se w > 0, estamos a subtrair duas densidades, sendo a primeira expandida por 1 < 1 + w < 2 e a segunda contrada por 0 < w < 1 (mistura no convexa). Em distribuies fechadas para o mximo vamos obter um teorema similar ao anterior. Teorema 3.2. X uma mistura pseudo-convexa com funo densidade (3.2) f (x) = (1 w) f (x) + wN f N (N x + N ) ,

para w [1, 1] e N , N e N convenientes, se e s se X F (x) uma distribuio fechada para mximos.

4. MOMENTOS

99

Demonstrao. Igualando as expresses (1.1) e (3.2) das pginas 91 e 98, (1 w) f (x) + wN f N (N x + N ) = (1 w) f (x) + 2wf (x) F (x) N f N (N x + N ) = 2F (x) f (x) . Primitivando, F N (N x + N ) = [F (x)]2 + c. Se c 6= 0,

lim [F (x)]2 + c = c 6= 0

e F no pode ser uma funo de distribuio. Para c = 0, F N (N x + N ) = [F (x)]2 e X uma distribuio fechada para mximos, considerando N = 2.

Tal como para as misturas pseudo-convexas fechadas para mnimos, o suporte de X igual ao de X , independentemente do valor de w. O efeito deste parmetro ser: se w < 0, estamos a subtrair duas densidades, sendo a primeira expandida por 1 < 1 w < 2 e a segunda contrada por 0 < w < 1 (mistura no convexa); Se w > 0, estamos a somar duas densidades, sendo a primeira contrada por 0 < 1 w < 1 e a segunda contrada por 0 < w < 1 (mistura convexa). Assim, as distribuies vistas na seco anterior podem ser utilizadas na construo de misturas pseudo-convexas, considerando sempre N = 2. 4. Momentos Vimos na seco anterior que em distribuies fechadas para o mnimo f (x) = (1 + w) f (x) wN f N (N x + N ) , e em distribuies fechadas para o mximo f (x) = (1 w) f (x) + wN f N (N x + N )

100

VI. MISTURAS PSEUDO-CONVEXAS

so funes densidade para 1 < w < 1.

Se existir o k-simo momento de X, denotado por 0X ;k para a distribuio original

e 0X + ;k para a distribuio transformada, o k-simo momento de X ser (4.1) 0X ;k = (1 + w) 0X ;k w0X + ;k

se X tiver uma distribuio fechada para o mnimo e (4.2) 0X ;k = (1 w) 0X ;k + w0X + ;k

se X tiver uma distribuio fechada para o mximo. possvel, em funo de w, estabelecer uma ordem de grandeza entre os k-simos momentos de X e os k-simos momentos de X. Teorema 4.1. Seja X uma mistura pseudo-convexa para mnimos (Mm), nas condies do teorema 3.1 da pgina 97, ou para mximos (MM), nas condies do teorema 3.2 da pgina 98. Quando N = 0, SX R+ e o k-simo momento existe, 0X ;k > 0X ;k se w > 0 e 0X ;k < 0X ;k se w < 0. Demonstrao. Para uma mistura Mm, 0X ;k 0X ;k (1 + w) 0X ;k w0X + ;k > 0X ;k w 0X ;k 0X + ;k > 0 w > 0, >

pois o k-simo momento do mnimo de uma distribuio com suporte positivo sempre menor que o k-simo momento original. Para uma mistura MM, 0X ;k 0X ;k (1 w) 0X ;k + w0X + ;k > 0X ;k w 0X + ;k 0X ;k > 0 w > 0 >

4. MOMENTOS

101

pois o k-simo momento do mximo de uma distribuio com suporte positivo sempre maior que o k-simo momento original.

Conclumos assim que as misturas pseudo-convexas de distribuies fechadas para extremos tm sempre momentos superiores ou inferiores aos das distribuies originais consoante o ponderador w seja ou no positivo. Quando N = 0 mas SX R , o teorema acima vlido para Y = X pois nestas circunstncias SY R+ , e como

vimos na seco anterior a igualdade Y = X permite trabalhar indistintamente com mnimos ou mximos. Das distribuies apresentadas, somente a Gumbel (tratada posteriormente neste captulo), a logstica generalizada e a Pareto generalizada so excludas pelo teorema supra. Para os momentos centrados (e principalmente para a assimetria e o achatamento, derivados a partir destes), as concluses so mais complicadas que as anteriores, devido complexidade das expresses. Os momentos centrados da mistura sero superiores aos da distribuio original se X ;k > X ;k . Recordando que (4.3) 2 = 02 (01 )
2 3 2 4

3 = 03 301 02 + 2 (01 )

4 = 04 401 03 + 6 (01 ) 2 3 (01 ) , podem ser encontradas expresses para as desigualdades acima em funo dos momentos no centrados. Apesar destas expresses serem, nos casos gerais, bastante extensas, atente-se para que, quer tenhamos distribuies fechadas para o mnimo ou para o mximo, (4.4) X ;k > X ;k whk (0X , 0X + ) > 0, k = 1, ..., 3

em que estas funes hk 0X , 0X + esto denidas para qualquer w [1; 1], (ou seja w no posto em evidncia de forma articial, impedindo que as funes hk 0X , 0X + directamente os clculos para cada distribuio em anlise. existissem para w = 0) o que mais uma vez reala a importncia do peso w. As funes genricas hk 0X , 0X + no so aqui descritas. Na prtica, ser prefervel efectuar

102

VI. MISTURAS PSEUDO-CONVEXAS

Exemplo 4.1. No clculo de h1 0X , 0X + para distribuies fechadas para o mnimo, a varincia da mistura superior da distribuio original se
X ;2 > X ;2 2   0 2 0 0 0 (1 + w) 0 > 0 X ;2 wX + ;2 (1 + w) X ;1 wX + ;1 X ;2 X ;1

 0   0  0 0 wX + ;1 (2 + w) 0 > 0, w 0 X ;2 X + ;2 + X ;1 X + ;1 X ;1

sendo h1 (0X , 0X + ) = 0X ;2 0X + ;2 + 0X ;1 0X + ;1 w0X + ;1 (2 + w) 0X ;1 . 5. Moda e Taxa de Falha Instantnea Tal como j referido vrias vezes neste texto, a unimodalidade uma questo premente em misturas de distribuies. Para estudar a moda da distribuio vamos analisar o comportamento de f 0 , que ser igual quer estejamos perante misturas Mm ou misturas MM, j que em ambos os casos a funo densidade da mistura pode ser reescrita na forma (ver as demonstraes dos teoremas 3.1 e 3.2 nas pginas 97 e 98) f (x) = (1 w) f (x) + 2wf (x) F (x) = (5.1) Assim, (5.2)

= f (x) [1 w + 2wF (x)] = f (x) 1 + w 2wF (x) .

De forma geral, no possvel extrair ilaes sobre o comportamento da derivada ou garantir a unimodalidade da mistura, pelo que as aproximaes a um membro do sistema de Pearson devero ser estudadas caso a caso. Alm dos extremos nitos do suporte, outros candidatos a moda sero os pontos onde f 0 (x) = 0. Teorema 5.1. Seja X uma mistura pseudo-convexa para extremos. Se existirem, as modas de X no

f 0 (x) = f 0 (x) 1 + w 2wF (x) + 2w [f (x)]2 .

5. MODA E TAXA DE FALHA INSTANTNEA

103

interior do seu suporte sero as solues da equao (5.3) Demonstrao. Como f 0 (x) = f 0 (x) (1 + w) 2wF (x) + 2w [f (x)]2 [f (x)]2 1+w = F (x) , 0 f (x) 2w com f 0 (x) 6= 0.

independentemente de termos misturas Mm ou MM, as modas no interior do suporte satisfazem, para f 0 (x) 6= 0 f 0 (x) = 0 f 0 (x) (1 + w) 2wF (x) + 2w [f (x)]2 = 0 [f (x)]2 1+w = . F ( x ) f 0 (x) 2w Note-se ainda que a expresso (5.2) pode escrita na forma (5.4) f 0 (x) = F 00 (x) [1 w + 2wF (x)] + 2w [F 0 (x)] ,
2

mas a soluo da equao diferencial f 0 (x) = 0 conduz, aps alguns clculos, soluo q w 1 (w 1)2 + 4wc1 (x + c2 ) (5.5) F (x) = 2w com c1 , c2 R, sem grande interesse prtico no clculo de solues. Quanto taxa de falha instantnea, esta ser a mesma para misturas Mm e MM, pois f (x) tem uma expresso comum em ambos os casos. ainda possvel relacionar, em funo de w, a taxa de falha instantnea de X com a taxa de falha instantnea de X . Teorema 5.2. Seja X uma mistura pseudo-convexa para extremos. A sua taxa de falha instantnea dada por (5.6) r (t) = r (t) 1 + w 2wF (t) , 1 + w wF (t)

104

VI. MISTURAS PSEUDO-CONVEXAS

vericando-se para qualquer X r (t) > r (t) se w < 0 e r (t) < r (t) se w > 0. Demonstrao. A funo de sobrevivncia da mistura pode ser reescrita como F (t) = 1 F (t) = 1 (1 w) F (t) + w [F (t)]2 = h 2 i = = 1 (1 w) 1 F (t) + w 1 F (t) i h 2 = 1 1 w F (t) + wF (t) + w + w F (t) 2wF (t) = h 2 i = 1 1 F (t) (w + 1) + w F (t) = 2 = (1 + w) F (t) w F (t) = F (t) 1 + w wF (t) , ( t ) f ( t ) 1 + w 2 wF ( t ) f = r (t) = = F (t) 1 + w wF (t) F (t) = r (t) 1 + w 2wF (t) . 1 + w wF (t)

sendo a taxa de falha instantnea

Comparando r (t) e r (t), r (t) >

r (t)

2wF (t) > wF (t) 2w < w que uma condio verdadeira se w < 0 e falsa se w > 0. Note-se ainda que
t

1 + w 2wF (t) > 1 1 + w wF (t)

lim r (t) = r (t) ,

pelo que no limite a funo de sobrevivncia da mistura ser a funo de sobrevivncia da varivel aleatria X.

6. GERAO DE AMOSTRAS

105

6. Gerao de Amostras Quando temos misturas convexas (0 < w < 1) fcil gerar amostras aleatrias de dimenso n, pois existem vrios programas para gerar nmeros aleatrios das distribuies mais comuns. Por exemplo, numa mistura com funo densidade f (x) = wex + (1 w)2e2x com x > 0, > 0 e 0 < w < 1, basta gerar nw nmeros aleatrios de uma Exp () e n (1 w) nmeros aleatrios de uma Exp (2) . A situao complica-se nas misturas pseudo-convexas (1 < w < 1). Em distribuies Mm, onde a mistura tem como funo densidade f (x) = (1 + w) f (x) wN f N (N x + N ) , possvel gerar facilmente amostras se w < 0, da forma descrita acima, mas tal j no sucede se w > 0 (n (1 + w) > n e nw < 0). Nesta situao, a soluo ser utilizar o teorema da transformao uniformizante. Teorema 6.1. Seja X uma mistura pseudo-convexa para mnimos (ver teorema 3.1 da pgina 97), X F (x) a varivel com distribuio fechada para mnimos e Y U (0, 1) . Ento q 2 (1 w ) + 4 wY 1 + w 1 d . (6.1) X = F 2w

Demonstrao. Como F (x) = Zx

(1 + w) f (t) wN f N (N t + N ) dt =

= (1 + w) F (x) wF N (N x + N ) = = (1 + w) 1 F (x) w 1 F N (N x + N ) = 2 2 = 1 + w (1 + w) F (x) w + w F (x) = 1 (1 + w) F (x) + w F (x)

106

VI. MISTURAS PSEUDO-CONVEXAS

ento y = 2 1 (1 + w) F (x) + w F (x) 1 y (1 + w) t + wt2 = 0 q 1 + w (1 + w)2 4w (1 y )


F (x)=t

t =

= 2w 0F (x)1 q 1 + w (1 + w)2 4w (1 y ) = F (x) = 2w q 2 (1 w ) + 4 wy 1 + w 1 x = F 2w

Deste modo, uma amostra aleatria desta mistura pode ser obtida gerando nmeros aleatrios Y U (0, 1) e transformando-os atravs da expresso
1

x=F

1+w

q (1 w)2 + 4wy . 2w

Em distribuies MM, onde a mistura tem como funo densidade f (x) = (1 w) f (x) + wN f N (N x + N ) , o procedimento similar ao estudado para misturas Mm. Agora possvel gerar facilmente amostras se w > 0, mas tal j no sucede se w < 0 (n (1 w) > n e nw < 0), pelo que vamos novamente recorrer ao teorema da transformao uniformizante. Teorema 6.2. Seja X uma mistura pseudo-convexa para mximos (ver teorema 3.2 da pgina 98), X F (x) a varivel com distribuio fechada para mximos e Y U (0, 1) . Ento (6.2) q 2 w 1 + (1 w) + 4wY d . X = F 1 2w

7. MISTURAS PSEUDO-CONVEXAS DE EXPONENCIAIS

107

Demonstrao. Como F (x) =

= (1 w) F (x) + wF N (N x + N ) = (1 w) F (x) + w [F (x)]2 ento y = (1 w) F (x) + w [F (x)]2 y + (1 w) t + wt2 = 0 q w 1 (1 w)2 4w (y )


F (x)=t

Zx

(1 w) f (t) + wN f N (N t + N ) dt =

t =

= 0F (x)1 2w q w 1 + (1 w)2 + 4wy = F (x) = 2w q 2 (1 w ) + 4 wy w 1 + . x = F 1 2w

Deste modo, uma amostra aleatria desta mistura pode ser obtido gerando nmeros aleatrios Y U (0, 1) e transformando-os atravs da expresso q 2 (1 w ) + 4 wy w 1 + . x = F 1 2w 7. Misturas Pseudo-Convexas de Exponenciais Vamos agora exemplicar a teoria desenvolvida neste captulo, considerando que X Exp () . Esta situao sem dvida das mais simples, mas tambm das mais interessantes em termos de aplicaes, conforme referimos anteriormente. A funo densidade da mistura denida por (7.1) f (x) = (1 + w) ex 2we2x .

108

VI. MISTURAS PSEUDO-CONVEXAS

De acordo com o parmetro e o peso w, obtm-se diferentes funes densidade, como por exemplo
0.5

1.5
0.4

0.3

1.0

0.2

0.5
0.1

0.5

1.0

1.5

2.0

2.5

3.0

= 1 e w = 0.8

= 1 e w = 0.7

Figura 13: densidades de misturas pseudo-convexas de exponenciais Os momentos no centrados sero, recorrendo expresso (4.1) da pgina 100 (7.2) 0X ;k = (1 + w) k! k! w k (2)k

e os momentos centrados, aps alguns clculos simples X ,2 = X ,3 (7.3) X ,4 1 2 2 w + 2w + 4 4 1 3 2 = 3 w + 3 w + 8 w 43 3 4 3 2 = 4 w + 4w 16w + 24w + 48 . 16

Quanto ao coeciente de assimetria, (7.4) 1 =


1 43

que sempre positivo, pois 16 + 6w 6w2 + 2w3 > 0. Finalmente, o coeciente de achatamento da forma 2 = (7.5)
3 164

(w3 3w2 + 3w + 8) 16 + 6w 6w2 + 2w3 = , 3 3 1 2 + 2w + 4) 2 2 + 2w + 4) 2 ( w ( w 42

= 3

logo a mistura mais achatada que a gaussiana, pois 2 > 3.

w4 + 4w3 16w2 + 24w + 48 , (w2 + 2w + 4)2

(w4 + 4w3 16w2 + 24w + 48) = 2 1 2 2 (w + 2w + 4) 4

7. MISTURAS PSEUDO-CONVEXAS DE EXPONENCIAIS

109

Comparando agora varincia, assimetria e achatamento da distribuio exponencial com as correspondentes caractersticas da mistura pseudo-convexa obtm-se:

para a varincia X ,2

1 2 1 2 w + 2w + 4 > 2 4 2 w + 2w > 0 w > 0 > X,2

sendo esta superior da exponencial se w > 0 e inferior caso contrrio; para a assimetria 1 2 > 0 3 (w2 + 2w + 4) 2 3 16 + 6w 6w2 + 2w3 2 w2 + 2w + 4 2 > 0 > w < 0 1 16 + 6w 6w2 + 2w3

sendo esta superior da exponencial se w < 0 e inferior caso contrrio; para o achatamento 2 > 2 3 w4 + 4w3 16w2 + 24w + 48 9 > 0 (w2 + 2w + 4)2

12

w4 + 4w3 w2 6w > 0 w < 0 (w2 + 2w + 4)2

sendo este superior da exponencial se w < 0 e inferior caso contrrio. Em relao moda da distribuio, pelo teorema 5.1 da pgina 102 as modas no interior do suporte satisfazem x 2 e 1+w 1+w ex = ex = ex 2 x 2w 2w e 1 1+w 1+w x w > 0 x = ln (7.6) . e = 4w 4w No entanto, como a moda tem de ser encontrada para x > 0 ento 1+w 1+w 1 1 > 0 < 1 w > ln 4w 4w 3

110

VI. MISTURAS PSEUDO-CONVEXAS

Quando w < 0 estamos perante uma mistura convexa unimodal com moda x = 0 (ver subseco 3.3 na pgina 70). Quando 0 < w
1 3

estamos perante uma mistura pseudo-convexa unimodal


1 3

com moda x = 0. Note-se que para 0 < w <

f 0 0+ = (1 + w) 2 ex + 4w2 e2x x=0 = Se w = 1/3, 4 f 0 (x) = ex ex 1 < 0. 3 f 0 0+ = 2 (3w 1) > 0,


w>1/3

= (1 + w) 2 + 4w2 = 2 (3w 1) < 0.


w<1/3

Quando w >

1 3

implicando que x = 0 no possa ser moda, pelo que estamos perante uma 1 1+w mistura pseudo-convexa unimodal com moda x = ln . 4w A taxa de falha instantnea particularmente interessante nestas misturas, pois variando somente w (ver teorema 5.2 na pgina 103) obtemos distribuies com taxa de falha instantnea crescente (w < 0) , decrescente (w > 0) ou constante (w = 0) , o que poder ser til em abilidade (ver seco 2 na pgina 66). Finalmente, para o estudo das concavidades de ln f (x) (ver seco 7 na pgina 14), como f 0 (x) = 2 ex (1 + w) + 4wex f 00 (x) = 3 ex (1 + w) 8wex h i 00 0 2 f f (f ) (x) = 2w (1 + w) 4 e3x ,

ento (7.7) concluindo-se que:

7. MISTURAS PSEUDO-CONVEXAS DE EXPONENCIAIS

111

se w < 0 a expresso (7.7) sempre positiva e a mistura innitamente divisvel;5 se w > 0 a expresso (7.7) sempre negativa e a mistura fortemente unimodal. Em resumo, o ponderador w inuencia decisivamente as relaes entre as caractersticas da mistura e as da distribuio exponencial. O quadro abaixo sintetiza os principais resultados obtidos.
Tabela 11: misturas pseudo-convexas de exponenciais
distribuio mistura k! (1 + w) 2k w (2) w2 + 2w + 4 42 >0 >3 0 se 1 < w
1 3 k

Comparao entre a mistura e a distribuio 1 < w < 0


0 0 X ,k < X,k

0<w<1
0 0 X ,k > X,k

momentos varincia assimetria achatamento moda

k! k 1 2 2 9 0

X ,2 < X,2 1 > 1 2 > 2 e


1

X ,2 > X,2 1 < 1 1+w


4w

2 < 2 se
1 3

ln

<w<1

fortemente unimodal para 1 < w < 0

Para gerar nmeros aleatrios, de acordo com o teorema 6.1 da pgina 105, basta calcular a inversa da funo de sobrevivncia y = ex x = ln y 1 x = ln y ,

sendo cada elemento da amostra q 1 2 1 + w (1 w) + 4wYi (7.8) Xi = ln 2w para i = 1, ..., n e Yi U (0, 1) .


5

Os resultados de Steutel (1967) implicam a divisibilidade innita de todas as misturas nitas

(mas no necessariamente convexas) de duas exponenciais.

112

VI. MISTURAS PSEUDO-CONVEXAS

8. Misturas Pseudo-Convexas de Gumbels Como referimos anteriormente, a distribuio Gumbel uma das distribuies fechadas para extremos apresentadas onde N 6= 0, sendo que neste caso (N = 2) teremos 2 = ln 2 e 2 = 1. Considerando a Gumbel de mximos (o raciocnio ser de todo similar para a Gumbel de mnimos) a funo densidade da mistura denida por (8.1)

De acordo com o parmetro e o peso w, obtm-se diferentes funes densidade, como por exemplo.
0.7

h x x i 1 x ln 2 x ln 2 1 f (x) = (1 w) exp exp +w exp exp .

0.07
0.6

0.06
0.5

0.05 0.04 0.03 0.02 0.01


-10 -5
-2 -1

0.4 0.3 0.2 0.1

10

15

20

= 5 e w = 0.1 Quanto aos momentos,

= 0.5 e w = 0.5

Figura 14: densidades de misturas pseudo-convexas de Gumbels

(8.2)

0X ,k = (1 w) 0X ,k + w 0X ,k + ln 2 = = 0X ,k + w ln 2

e o k-simo momento da mistura maior (menor) que o k-simo momento original quando w > 0 (w < 0) , tal como sucedia para todas as outras distribuies fechadas para mximos com N = 0. Procedendo de forma anloga, para uma mistura pseudo-convexa de Gumbels de mnimos o k-simo momento da mistura maior (menor) que o k-simo momento original quando w > 0 (w < 0) , sendo os resultados similares aos vericados para todas as outras distribuies fechadas para mnimos com N = 0.

8. MISTURAS PSEUDO-CONVEXAS DE GUMBELS

113

A mdia e a varincia da mistura tm como expresses (8.3) e X ,2 = 0X,2 + w ln 2 ( ( + w ln 2))2 = 2 2 + 6 (1 w) w ln2 2 = , 6 0X ,1 = ( + w ln 2)

(8.4)

sendo a varincia da mistura superior da Gumbel de mximos quando 2 2 + 6 (1 w) w ln2 2 2 2 > 6 6 (1 w) w ln2 2 > 0 w > 0 e inferior para w < 0. Os coecientes de assimetria e achatamento tm expresses muito complexas, que no sero aqui indicadas. Quanto moda, o teorema 5.1 da pgina 102 garante que esta ser dada pela soluo da equao x x exp exp exp 2 w1 x (8.5) , = 2w exp 1

no sendo possvel encontrar uma soluo explcita em funo de x. Finalmente, para gerar nmeros aleatrios basta calcular a inversa da funo de distribuio, de acordo com o teorema 6.2 da pgina 106, h x i x x y = exp exp ln y = exp ln ln y 1 = 1 x = ln ln y , sendo cada elemento da amostra q 1 2 w 1 + (1 w) + 4wYi (8.6) Xi = ln ln 2w

para i = 1, ..., n e Yi U (0, 1).

114

VI. MISTURAS PSEUDO-CONVEXAS

9. Misturas Convexas de Misturas Pseudo-Convexas Nas seces anteriores analismos misturas pseudo-convexas de distribuies fechadas para extremos, mas considerando somente duas subpopulaes, uma com densidade f (x) e outra com densidade N f N (N x + N ) . Apesar destas misturas serem em si mesmo interessantes, talvez a sua principal vantagem resida em poderem servir de base para outros modelos mais complexos. A forma mais bvia de extenso considerar uma mistura convexa de misturas pseudo-convexas, o que apesar de aumentar em muito a exibilidade do modelo tambm aumenta grandemente o nmero de parmetros. Tendo presente que conhecendo a distribuio fechada para extremos a misturar conhecemos imediatamente N , N e N , ento o nmero de parmetros do modelo ser 2N 1 + Np, onde p o nmero de parmetros da distribuio fechada para extremos e N o nmero de subpopulaes. Em distribuies fechadas para o mnimo, a funo densidade ser (9.1) f (x) =
N X i=1

pi (1 + wi ) fi (x) wi N fi, N (N x + N )

e em distribuies fechadas para o mximo (9.2) f (x) =


N X i=1

pi (1 wi ) fi (x) + wi N fi, N (N x + N )
N X i=1

com 1 < wi < 1, 0 < pi < 1 e sero dados, quando N = 0, por (9.3) 0X ,k =
N X i=1

pi = 1. Se existirem, os momentos de ordem k

pi (1 +

wi ) 0Xi ,k

N X i=1

pi wi 0X + ,k
i

em distribuies fechadas para o mnimo e (9.4) 0X ,k =


N X i=1

pi (1 wi ) 0Xi ,k +

N X i=1

pi wi 0X + ,k
i

em distribuies fechadas para o mximo.

9. MISTURAS CONVEXAS DE MISTURAS PSEUDO-CONVEXAS

115

Exemplo 9.1. Se Xi P areto (i ) , ento a funo densidade da mistura ser (9.5) f (x) =
N X i=1

pi (1 + wi ) i xi 1 2wi i xi 1 .

De acordo com os parmetros i , wi e pi obtm-se diferentes funes densidade, como por exemplo
0.08

1.5
0.06

1.0
0.04

0.5
0.02

0.5

1.0

1.5

2.0

2.5

3.0

10

(p, w1 , w2 , 1 , 2 ) = (0.2, 0.1, 0.8, 2, 4)


0.20

(p, w1 , w2 , 1 , 2 ) = (0.5, 0.9, 0.8, 0.5, 0.2)


0.7 0.6

0.15
0.5 0.4 0.3

0.10

0.05

0.2 0.1

10

(p, w1 , w2 , 1 , 2 ) = (0.5, 0.5, 0.2, 0.5, 0.2)

(p, w1 , w2 , 1 , 2 ) = (0.5, 0.5, 0.3, 2, 5)

Figura 15: densidades de misturas convexas de misturas pseudo-convexas de paretos

Quanto aos momentos, o k-simo momento da mistura ser X i 2i = pi wi k 2 k i i i=1 i=1 N X pi i (2i k + kwi ) = k2 3ki + 22 i i=1
N N X

0X ,k =

pi (1 + wi )

116

VI. MISTURAS PSEUDO-CONVEXAS

para i > k, i = 1, ..., N. Devido complexidade da densidade em anlise, concluses sobre a unimodalidade e comportamento dos momentos centrados no foram encontradas. 10. Relaxamento da Condio 1 < w < 1 Distribuies fechadas para mnimos vericam a condio N 1 N f N (N x + N ) = Nf (x) F (x) (ver expresso 2.4 na pgina 93) para diversos valores de N . Com base nesta expresso, o teorema 3.1 da pgina 97 introduz funes densidade do tipo f (x) = (1 + w) f (x) wN f N (N x + N ) , mas considera sempre N = 2 e 1 < w < 1, o que no deixa de ser restritivo. Desde que os suportes da distribuio e dos parmetros desta sejam respeitados, a nica condio realmente necessria N > 0 (ou seja N R+ ). Podemos assim generalizar o teorema 3.1 do seguinte modo. Teorema 10.1. Seja X F (x) uma distribuio fechada para mnimos. Ento X uma mistura pseudo-convexa com funo densidade (10.1) f (x) = (1 + w) f (x) wN f N (N x + N ) ,

para w 1, (N 1)1 , N > 1 e N , N e N convenientes. Demonstrao. A funo densidade f pode ser reescrita como N 1 , f (x) = (1 + w) f (x) wNf (x) F (x)

10. RELAXAMENTO DA CONDIO 1 < w < 1

117

sujeita s condies genricas universal, R

f (x) dx = 1 e f (x) 0. A primeira condio

N 1 i Rh (1 + w) f (x) wNf (x) F (x) dx = f (x) dx =


R

= (1 + w) w = 1.

Para a segunda condio, f (x) N 1 0 (1 + w) f (x) wNf (x) F (x) 0 i h N 1 f (x) wf (x) 1 N F (x) h i N 1 w N F (x) 1 1. N 1 N 1 N F (x) 1
N>1

Quando w > 0, a inequao acima origina a condio suciente w1

w (N 1)1 e quando w < 0 w1

w 1, conduzindo soluo nal

N 1 1 N F (x) 1

1 w (N 1)1 . De forma anloga, o teorema 3.2 da pgina 98 que trabalha funes densidade denidas por f (x) = (1 w) f (x) + wN f N (N x + N ) , tambm pode ser generalizado.

118

VI. MISTURAS PSEUDO-CONVEXAS

Teorema 10.2. Seja X F (x) uma distribuio fechada para mximos. Ento X uma mistura pseudo-convexa com funo densidade (10.2) f (x) = (1 w) f (x) + wN f N (N x + N ) ,

para w (1 N )1 , 1 , N > 1 e N , N e N convenientes. Demonstrao.

Tendo em conta a expresso (2.6) da pgina 93, a funo densidade f pode ser reescrita como f (x) = (1 w) f (x) + wNf (x) [F (x)]N 1 , R sujeita s condies genricas f (x) dx = 1 e f (x) 0. A primeira condio
R

universal,

f (x) dx =

= (1 w) + w = 1.

i Rh (1 w) f (x) + wNf (x) [F (x)]N 1 dx =

Para a segunda condio, f (x) 0 (1 w) f (x) + wNf (x) [F (x)]N 1 0 i h N 1 1 f (x) wf (x) N [F (x)] h i w 1 N [F (x)]N 1 1. w1 1 1 N [F (x)]N 1

Quando w > 0, a inequao anterior origina a condio suciente

w 1 e quando w < 0 w1 1 N 1 N [F (x)]N 1


N>1

w (1 N )1 ,

10. RELAXAMENTO DA CONDIO 1 < w < 1

119

conduzindo soluo nal (1 N )1 w 1. Quando 0 < N < 1 obtemos condies bastante complexas que no sero indicadas. Por outro lado, imediato vericar que N = 2 conduz soluo 1 w 1, trabalhada inicialmente neste captulo, e que 1 < N < 2 conduz a um alargamento do intervalo de variao de w. Alguns resultados sobre momentos, moda, taxa de falha instantnea e gerao de nmeros aleatrios poderiam ser deduzidos, decalcando os procedimentos realizados previamente. Tambm as generalizaes vistas nas seces anteriores poderiam ser realizadas de forma similar, considerando agora N 6= 2. Finalmente, atente-se a que temos agora um total de p + 2 parmetros no modelo, onde p o nmero de parmetros da distribuio fechada para extremos considerada. Exemplo 10.1. Se X W eibull (, ) (de mximos) a funo densidade da mistura pseudo-convexa ser
  x x 1 (1 w) x 1 ( x ) w 1 N f (x) = e + e = N 1 N 1 x (1 w) x 1 ( x ) wN x 1 N ( ) , (10.3) = e + e

para x < 0, > 0, > 0, N > 1 e (1 N )1 w 1. Quanto aos momentos, 0X ,k (10.4) = (1 = w) 0X,k + w0X + ,k

Em funo das expresses envolvidas, agora complicado inferir sobre a moda da distribuio e garantir a unimodalidade. De acordo com os parmetros , , w e N obtm-se diferentes funes densidade, como por exemplo

wN k + 1 w 0X + ,k .

k+ k = wN k + 1 w () =

120

VI. MISTURAS PSEUDO-CONVEXAS

0.20

0.20

0.15

0.15

0.10

0.10

0.05

0.05

-10

-8

-6

-4

-2

-10

-8

-6

-4

-2

(w, , , N ) = (4, 2, 0.5, 1.25)


0.20

(w, , , N ) = (2, 2.5, 1, 1.25)


0.5 0.4

0.15
0.3

0.10
0.2

0.05

0.1

-10

-8

-6

-4

-2

-10

-8

-6

-4

-2

(w, , , N ) = (2, 2.5, 1.5, 1.25)


0.4

(w, , , N ) = (2, 2.5, 3.4, 1.25)


0.25 0.20

0.3

0.15

0.2
0.10

0.1
0.05

-10

-8

-6

-4

-2

-10

-8

-6

-4

-2

(w, , , N ) = (4, 7, 6, 1.25)

(w, , , N ) = (1, 7, 5, 1.25)

Figura 16: densidades de misturas pseudo-convexas de Weibulls de mximos

CAPTULO VII

Misturas com Parmetro de Escala Pareto


1. Introduo Na seco 3 da pgina 19 referimos algumas propriedades das misturas de escala, quando as variveis em causa so absolutamente contnuas. Diversas referncias a estas misturas podem ser encontradas, por exemplo nas obras de Johnson et al (1994, 1995). ainda de salientar um excelente trabalho de Kelker (1971) sobre misturas de escala de gaussianas. A distribuio Pareto, conforme denida na subseco 4.1 da pgina 76, tem suporte positivo, pelo que pode ser utilizada como um parmetro de escala aleatrio. Devido sua densidade polinomial, estas misturas tero quase sempre uma densidade explcita, o que obviamente uma vantagem. Como S = [1, [, a multiplicao de por X implica um aumento na disperso dos valores de X, o que pode ser importante quando se procura um modelo baseado em X mas com maior variabilidade e caudas mais pesadas. De uma forma mais geral, podemos considerar W = 11 e realizar misturas do tipo Y = W X, com W e X independentes, onde o parmetro de escala j pode assumir qualquer valor positivo, pois SW = [0, [. Quando 0 < w < 1, a varivel X agora contrada pelo parmetro de escala. Apesar de mais rica, esta mistura tem a desvantagem de no ser possvel, na maioria dos casos, explicitar a sua funo densidade. Ao longo deste texto, representa sempre a distribuio Pareto com suporte [1, [ e W a distribuio Pareto com suporte [0, [.

W tem uma distribuio Pareto de tipo II (ver pgina 80).


121

122

VII. MISTURAS COM PARMETRO DE ESCALA PARETO

2. Densidade e Caractersticas da Mistura Y = W X Seja W P aretoII () com (2.1) fW (w) = (w + 1)1 , w > 0, > 0.

Uma mistura de escala do tipo Y = W X, onde W P aretoII () e W, X independentes ter como funo densidade (ver expresso (3.3) na pgina 20) Z + (w + 1)1 y (2.2) fY (y ) = fX dw. w w 0 Os teoremas seguintes relacionam os momentos da mistura com os momentos de X. Teorema 2.1. Seja Y = W X uma mistura com parmetro de escala pareto onde 0X,1 , X,2 nitos. Ento (2.3) e (2.4) Y,2 # " 2 0X,1 1 + 2X,2 , = ( 2) ( 1) 1 0 0 Y,1 X,1 0 0 Y,1 < X,1 0 0 Y,1 < X,1 e e Y,2 X,2 0 2 X,2 . 2 4 + 3 > 2, 0Y,1 = 0X,1 , 1 >1

logo se 1 < 2 (2.5) se 2 < 3 (2.6) e se > 3 (2.7)

Y,2 X,2

se

X,2

2. DENSIDADE E CARACTERSTICAS DA MISTURA Y = W X

123

Demonstrao. Se Y = W X , pelo teorema 3.1 da pgina 21, 0Y,1 = 0W,1 0X,1 = e Y,2 = 0 2 X,1 W,2 + X,2 0W,2 = 2 2 = = 0X,1 + X,2 2 ( 1) ( 2) ( 1) ( 2) # " 2 0X,1 1 = + 2X,2 , > 2. ( 1) ( 2) 1 0 0 Y,1 X,1 , 0 0 Y,1 < X,1 Y,2 Finalmente, quando > 3 0 0 Y,1 < X,1 Y,2 # " 2 0X,1 1 + 2X,2 X,2 X,2 ( 1) ( 2) 1 2 0X,1 (0X,1 )2 ( 1) ( 2) X,2 2X,2 X,2 2 . 1 4 + 3 Para os coecientes de assimetria e achatamento, as expresses envolvidas tendem a ser bastante mais complexas. No entanto, quando consideramos 0X,1 = 0, o 2X,2 X,2 . ( 1) ( 2) 0X,1 , 1 >1

Para 1 < 2

e para 2 < 3

124

VII. MISTURAS COM PARMETRO DE ESCALA PARETO

processo simplica-se e j possvel extrair concluses gerais. Se 0X,1 6= 0, as congenericamente podemos assumir que 0X,1 = 0. Teorema 2.2. Seja Y = W X uma mistura com parmetro de escala Pareto onde 0X,1 = 0 e X,2 , X,3 , X,4 nitos. Ento (2.8) e (2.9) logo (2.10) e (2.11) Demonstrao. Nas condies do teorema anterior, Y,1 0Y,3 0W,3 0X,3 Y,3 = = 3 = 0 3 3 3 = Y,2 2 Y,2 2 0W,2 2 0X,2 2 3 22 6 + 4 = X,1 , >3 2 ( 3) Y,2 Y,1 3 22 6 + 4 = X,1 , 2 ( 3) >3

cluses mantm-se realizando a transformao de localizao Z = X 0X,1 , pelo que

36 12 , = X,2 6 + 4 3 Y,1 X,1 , Y,2 > X,2 , >3

> 4,

> 4.

Para > 3 temos que 3 22 6 + 4 9 (22 6 + 4) > 1 > 3 > 1 2 ( 3) 4 ( 3)2

0Y,4 0W,4 0X,4 Y,4 = = Y,2 = 2 0 2 0 2 0 2 = Y,2 Y,2 W,2 X,2 36 12 , > 4. = X,2 6 + 4 3

3. DENSIDADE E CARACTERSTICAS DA MISTURA Y = X

125

ento Y,1 X,1 . 36 12 >1 4 3 Y,2 > X,2 . Podemos assim concluir que o parmetro de escala W tem como efeito o aumento do achatamento e do valor absoluto da assimetria, em relao distribuio original de X, dependendo de as concluses para a varincia e para o valor absoluto da mdia. Como referimos anteriormente, densidades explcitas destas misturas no foram encontradas, pelo menos para as distribuies mais usuais para X. 3. Densidade e Caractersticas da Mistura Y = X Seja P areto () com f () = 1 , 1, > 0.

De forma similar, para > 4 temos que 6+ logo

Uma mistura de escala do tipo Y = X, onde P areto () e , X independentes ter como funo densidade (3.1) fY (y ) = Z
+

2 fX

Note-se desde j que a mistura pode igualmente ser vista como um quociente de variveis aleatrias, pois podemos considerar Y = X = onde (3.2) f1 () = f 1 2 = 1 , 0 < 1, > 0, X 1

d.

126

VII. MISTURAS COM PARMETRO DE ESCALA PARETO

ou seja 1 P owerfunction () , conforme visto na subseco 2.2 da pgina 95 e seguintes. Quando = 1 as expresses acima simplicam-se e temos uma situao j estudada na literatura (para algumas distribuies de X ), correspondendo ao quociente de uma varivel aleatria contnua por uma varivel com distribuio uniforme padro. Para misturas do tipo Y = X, seria fcil realizar clculos similares aos realizados na seco anterior, que levariam a concluir que o parmetro de escala implica um aumento do achatamento e da variabilidade, bem como do valor absoluto da mdia e da assimetria. Como a distribuio Pareto s tem valor mdio para > 1, ainda bvio concluir que o quociente entre qualquer varivel aleatria contnua e uma varivel aleatria com distribuio uniforme padro no tem valor mdio, assumindo a independncia entre as variveis envolvidas. No entanto, nestas misturas a relao entre Y e X mais forte, existindo uma ordenao estocstica entre as variveis, pois assumindo SX R+ 0 (caso contrrio podemos trabalhar com o valor absoluto das variveis) (3.3) P (Y > t) > P (X > t) t > 0.

F Y (t) > F X (t) ,

Esta ordenao estocstica conhecida habitualmente por dominncia estocstica de 1a ordem, e um conceito til em Economia. Por exemplo, se X e Y forem funes utilidade, os consumidores preferiro Y, pois a sua utilidade sempre superior de X. A dominncia estocstica tem implicaes no clculo de momentos, pois como Z Z Z 0 Y,1 = yfY (y ) dy = yF Y (y ) 0 + F Y (y ) dy = F Y (y ) dy
0 0 0

0X,1

a expresso (3.3) implica que (3.4)

xfX (x) dx = xF X (x) 0 +

F X (x) dx =

F X (x) dx,

0Y,1 > 0X,1 .

Para qualquer funo h crescente e t > 0,

4. DISTRIBUIO GAUSSIANA

127

logo (3.5)

P (h (Y ) t) = P Y h1 (t) P X h1 (t) = P (h (X ) t) P (h (Y ) t) P (h (X ) t)

e pelas expresses (3.3) e (3.4) podemos concluir que (3.6) E (h (Y )) E (h (X )) .

Nas seces seguintes estudamos algumas misturas do tipo Y = X. Os clculos detalhados so apresentados para a distribuio gaussiana, mas no para as restantes, de forma a evitar a repetio de clculos idnticos. 4. Distribuio Gaussiana Se X N (0, 1) , a funo densidade da mistura ser, pela expresso (3.1) da pgina 125, (4.1) fY (y ) = Z

1 2 e 2

y 2

d.

possvel encontrar uma expresso explcita para fY , pois 2 y = z = |y | (2z )0.5 = d = |y | (2z )1.5 dz, 2 logo para y 6= 0 fY (y ) = 2 1 z e |y | (2z )1.5 dz |y | (2z )0.5 2 0 Z 0.5y2 = 20.51 |y |1 0.5 z 0.50.5 ez dz 0 + 1 y2 1 0.5 0.51 = 2 |y | , 2 2 Z
y

0.5y 2

onde (4.2) (a, y ) = ta1 et dt

representa a funo gama incompleta. Quando y = 0,

128

VII. MISTURAS COM PARMETRO DE ESCALA PARETO

fY (0) =

obtendo-se nalmente a funo densidade da mistura 2 + 1 y 1 0 . 5 1 0 . 5 2 |y | , , 2 2 (4.3) fY (y ) = , y=0 2 ( + 1) que contnua em todo o seu domnio.

1 2 d = , 2 2 ( + 1)

y 6= 0

Podemos desde j armar Y innitamente divisvel, pois qualquer mistura de escala de gaussianas onde o parmetro de escala tenha uma distribuio innitamente divisvel innitamente divisvel (Kelker, 1971). Quanto aos momentos, assimetria e achatamento temos que 0Y,1 = 0 Y,2 = Y,1 (4.4) , >2 2 = 0, > 3 3 ( 2)2 , ( 4) > 4.

Y,2 =

4.1. A Situao = 1. Nestas circunstncias a funo densidade da mistura ser y2 1e 2 , y 6= 0 , (4.5) fY (y ) = 2y 2 1 , y=0 2 2

sendo esta distribuio conhecida habitualmente por gaussiana dividida (slash distribution ), muito usada em estudos de robustez na investigao do comportamento de estatsticas usuais perante amostras pequenas (Pestana e Velosa, 2008). Tem a vantagem de exibir um comportamento similar ao da gaussiana em torno de zero, mas com caudas mais pesadas. Quanto sua funo de distribuio,

4. DISTRIBUIO GAUSSIANA

129

(4.6) onde (4.7)

FY (y ) =

x2 y2 y erf 1e 2 1 e 2 1 2 dx = + + , 2 2 2x2 2y

2 erf (y ) =
0.20

et dt

representa a funo erro. Gracamente,

0.8
0.15

0.6
0.10

0.4
0.05

0.2

-10

-5

10 -10

-5

10

fY quando = 1

FY quando = 1

Figura 17: funes densidade e distribuio da gaussiana dividida Esta distribuio no tem momentos, pelo que apresentamos na tabela seguinte alguns quantis q , onde FY (q ) = .
Tabela 12: quantis de probabilidade para a gaussiana dividida

0.001

0.01

0.25 0.5 0.75 0

0.99

0.999

q -398.94 -39.89 -1.47

1.47 39.89 398.94

Note-se que a gaussiana dividida tem elevada disperso e caudas bastante pesadas, mesmo na sua forma padro (parmetro de localizao = 0 e de escala = 1). Caso desejvel, estes parmetros podem ser introduzidos, trabalhando com uma nova varivel W = + Y, > 0. Para terminar, podemos ainda concentrar a funo densidade de Y em R+ ou R , aproveitando a sua simetria. Assim, ainda uma funo densidade w 2 (4.8) 2 1e fW (w) = 2 w 2 , 2

w > 0, > 0

130
0.4

VII. MISTURAS COM PARMETRO DE ESCALA PARETO


0.10

0.3

0.08

0.06
0.2

0.04
0.1

0.02

10

10

12

14

16

18

fW quando = 0 e = 1

fW quando = 5 e = 4

Figura 18: funes densidade da gaussiana dividida com suporte positivo 5. Distribuio Cauchy Seja X Cauchy (0, 1), com fX (x) = 1 1 . 1 + x2

que contnua em todo o seu domnio. 5.1. A Situao = 1.

Ento, se Y = X com e X independentes, a funo densidade de Y ser2 Z y 1 y z dz, y 6= 0 2 0 1+z (5.1) fY (y ) = , y=0 ( + 1)

Quando = 1 a funo densidade da mistura ser 2 ln (y + 1) , y 6= 0 2y 2 , (5.2) fY (y ) = 1 , y=0 2

originando como funo de distribuio de Y Z y ln (x2 + 1) 1 ln (y 2 + 1) + 2 (arctan y ) y + y (5.3) FY (y ) = . dx = 2x2 2 y


2

Tambm pode ser apresentada, de forma mais complicada, recorrendo funo hipergeomtrica.

6. DISTRIBUIO GAMA

131

Este tipo de distribuio dividida muito menos conhecida que a obtida na seco anterior, mas poder igualmente ser utilizada em situaes em que sejam necessrias caudas pesadas. Gracamente,
0.15

0.8

0.10

0.6

0.4
0.05

0.2

-10

-5

10 -10

-5

10

fY quando = 1

FY quando = 1

Figura 19: funes densidade e distribuio para = 1 Como esta distribuio no tem momentos apresentamos na tabela seguinte alguns quantis q ,
Tabela 13: quantis de probabilidade para a distribuio cauchy dividida

0.001

0.01

0.25 0.5 0.75 0

0.99

0.999

q -2850.55 -200.57 -2.45

2.45 200.57 2850.55

Esta distribuio apresenta ainda maior disperso que a obtida de forma similar na seco anterior, tendo igualmente moda igual a zero. Da mesma forma, parmetros de localizao e escala podem ser introduzidos, e a densidade da mistura pode ser concentrada em R+ ou R . 6. Distribuio Gama Seja X Gama(p, 1), com fX (x) = 1 p1 x x e , (p) p > 0, x > 0.

132

VII. MISTURAS COM PARMETRO DE ESCALA PARETO

Ento, se Y = X com e X independentes, a funo densidade de Y ser (6.1) fY (y ) = y 1 ( + p, y ) , (p) y > 0,

sendo a correspondente funo de distribuio (6.2) (p, y ) y ( + p, y ) , FY (y ) = (p) y > 0.

Quanto aos momentos, estes podem ser calculados recorrendo aos procedimentos vistos na seco 3 da pgina 125 e seguintes. 6.1. A Situao p = 1. Quando p = 1, X ter uma distribuio exponencial. Nesta situao a funo densidade da mistura ser (6.3) Gracamente,
0.5

fY (y ) =

( + 1, y ) , y +1

y > 0.

0.8
0.4

0.6
0.3

0.4
0.2

0.1

0.2

fY quando = 1 e p = 1

fY quando = 5 e p = 1

Figura 20: funes densidade para p = 1 Steutel (1970) mostrou a divisibilidade innita de misturas convexas de exponenciais, independentemente da mistura ser ou no nita, pelo que as densidades obtidas desta forma so de distribuies innitamente divisveis. Para p 6= 1, a divisibilidade innita ter de ser estudada caso a caso. Por exemplo, quando p = 2 a mistura no log-convexa, apesar de tal facto no ser conclusivo quanto divisibilidade innita da mistura.

8. EXTENSES E CONCLUSO

133

7. Distribuio Pareto

Seja X P areto ( ) , com

fX (x) = x 1 .

Ento, se Y = X com e X independentes, vir 2 ln y , se = e y > 1 y +1 (7.1) fY (y ) = y 1 y 1 , se 6= e y > 1. e 1 + ln y 1 , se = e y > 1 y (7.2) FY (y ) = ) 1 y (1 y , se 6= e y > 1. Eis algumas representaes grcas da densidade de Y :
1.4

0.20
1.2 1.0 0.8 0.6 0.4

0.15

0.10

0.05
0.2

1.5

2.0

2.5

3.0

10

fY quando = = 5

fY quando = 4 e = 0.5

Figura 22: funes densidade para diferentes valores de e 8. Extenses e Concluso Misturas do tipo Y = X permitem, quando tem distribuio Pareto, obter densidades explcitas, com as vantagens que da advm. A tabela abaixo apresenta algumas das funes densidade obtidas,

134

VII. MISTURAS COM PARMETRO DE ESCALA PARETO

Tabela 14: misturas com parmetro de escala Pareto


Distribuio Funo Densidade x2 1 fX (x) = e 2 2 Funo Densidade da Mistura y2 20.51 +1 2 , 2 fY (y ) = , y 6= 0 |y |+1
2 +1 1+ (1+ ) 2 (+1),0.5|y| 2

X N (0, 1)

3+ 2

exp 0.5 |x| 3+ 2

2 1+

1< 1

fY (y ) =

+1 2 4

3+ 2

|y|+1

, y 6= 0

X Cauchy (0, 1)

fX (x) =

1 1 1 + x2

fY (y ) =

y 1

z dz, y 6= 0 1 + z2

X Gama(, 1)

fX (x) =

1 1 x e x ( )

fY (y ) =

y 1 ( + , y ) , y > 0 ( )

X Beta(p, q )

fX (x) =

(1 x) x1p B (p, q )

q 1

fY (y ) =

B (p + , q, y ) , +1 B (p, q ) y B (p + , q ) , +1 y B (p, q )

0<y<1

y>1

X W eibull (, 1) fX (x) = x 1 ex

fY (y ) =

1 + 1, y , y>0 y +1

X P areto ( )

fX (x) = x 1

2 y 1 ln y, = , y > 0 fY (y ) = y 1 y 1 , 6= , y > 0

8. EXTENSES E CONCLUSO

135

onde B (p, q, y ) = representa a funo beta incompleta . Alm das misturas apresentadas nas seces anteriores, vrias outras misturas deste tipo poderiam ser feitas. As densidades obtidas tm, como visto, interessantes propriedades e podero ser teis na modelao de fenmenos. Como as misturas do tipo Y = X obrigam a que o parmetro de escala seja sempre superior a 1, podemos realizar misturas do tipo Y = W X, onde o parmetro de escala j pode observar qualquer valor positivo. Apesar de poder ser vantajoso considerar o parmetro de escala como qualquer valor positivo, j no possvel, na maioria dos casos, explicitar a funo densidade da mistura. Quando X uma varivel aleatria discreta, misturas do tipo Y = X j no fazem grande sentido. Nestas circunstncias, o mais indicado aleatorizar um dos parmetros da varivel X, conforme indicado em Johnson et al (2005). Como estes parmetros obedecem normalmente a restries severas (por exemplo se X B (n, p) ento n N e 0 < p < 1) a sua modelao por uma distribuio Pareto muitas vezes invivel. Quando possvel, (8.1) Exemplo 8.1. Se X P () , a funo massa de probabilidade da mistura ser, para y N0 , e y 1 d = P (Y = y ) = y! y! 1 (y , 1) = y!
+

tp1 (1 p)q1 dt

P (Y = y ) =

fX |= (y ) 1 d.

e y1 d =

(8.2) onde (8.3)

(a, y ) =

ta1 et dt

136

VII. MISTURAS COM PARMETRO DE ESCALA PARETO

representa a funo gama incompleta . Gracamente,

P (Y = y ) para = 0.5

P (Y = y ) para = 3

Figura 23: funes massa de probabilidade para diferentes valores de Quando o objectivo modelar uma probabilidade de sucesso p, com 0 < p < 1, possvel utilizar a distribuio inversa da Pareto, P = 1 , que como vimos a powerfunction, caso particular da distribuio beta. Para terminar, misturas de escala do tipo Y = X, com e X independentes, podiam recorrer a uma distribuio de que no a Pareto. No entanto, densidades explcitas no seriam obtidas na maioria dos casos.

Bibliograa
[1] Abd-Almagged, W., Davis, L. (2006). Density Estimation Using Mixtures of Mixtures of Gaussians. ECCV 3954, 410-422. [2] Adler, R., Feldman, R., Taqqu, M. (1998). A Pratical Guide to Heavy Tails. Boston: Birkhuser. [3] Ahmad, K. (1988). Identiability of nite mixtures using a new transform. Annals of the Institute of Statistical Mathematics, 40, 2, 261-265. [4] lvarez, L., Burriel, P., Hernando, I. (2005). No decreasing hazard functions for price changes make any sense? ECBWPS 461. [5] Andreev, A., Kanto, A., Malo, P. (2005). Simple Approach for Distribution Selection in the Pearson System. Helsinki School of Economics Working Papers W-388. [6] Arnold, B. (1983). Pareto Distributions. Maryland: International. [7] Azzalini, A. (1996). Statistical Inference. London: Chapman & Hall. [8] Bartholomew, D. (1969). Sucient Conditions for a Mixture of Exponentials to be a Probability Density Function. The Annals of Mathematical Statistics 40, 21892194. [9] Barlow, R., Proschan, F. (1975). Statistical Theory of Reliability and Life Testing. New York: Holt, Rinehart and Winston [10] Behboodian, J. (1970). On the modes of a mixture of two normal distributions. Technometrics 12, 131139. [11] Casella, G., Berger, R. (1990). Statistical Inference. Belmont, CA: Wadsworth Group. [12] Chechille, R. (2003). Mathematical tools for hazard function analisys. Journal of Mathematical Psychology 47, 478-494. [13] Coles, S. (2001). An Introduction to Statistical Modeling of Extreme Values. London: Springer. [14] Dempster, A., Laird, N., Rubin, D. (1977). Maximum likelihood from incomplete data via the EM algorithm. Journal of the Royal Statistical Society, Ser. B 39, 137. [15] Eisenberger, I. (1964). Genesis of Bimodal Distributions. Technometrics 6, 357363. [16] Everitt, B., Hand D. (1981). Finite Mixture Distributions. London: Chapman & Hall. [17] Frhwirth, S. (2006). Finite Mixture and Markov Switching Models. New York: Springer. [18] Grantyn, R., Shapovalov, A., Shiriaev, B. (1984). Relation between structural and release parameters at frog sensory-motor synapse.. The Journal of Physiology 349, 459-474.
137

138

BIBLIOGRAFIA

[19] Gumbel, E. (1958). Distributions Plusieurs Variables dont les Marges Sont Donns. Comptes Rendus Academie Sciences Paris, 246, 1717-2720. [20] Guo, Y., Manatunga, A., Chen, S., Marcus, M. (2006). Modeling mestrual cycle lenght using a mixture distribution. Biostatistics, 7, 1, 100-114. [21] Gurland, J. (1957). Some interrelations among compound and generalized distributions. Biometrika, 44, 265-268. [22] Harlow, S., Xihong, L., Ho, M. (2000). Analysis of menstrual diary data across the reproductive life span. Applicability of the bipartite model approach and the importance of within-woman variance. Journal of Clinical Epidemiology, 53, 7, 722 - 733. [23] Hasselblad, V. (1966). Estimation of parameters for a mixture of normal distributions. Technometrics 8, 431444. [24] Hasselblad, V. (1969). Estimation of nite mixtures of distributions from the exponential family. Journal of the American Statistical Association 64, 14591471. [25] Jang, K., Han, S., Lee, I., Woo, Y. (2006). Lip Localization Based on Active Shape Model and Gaussian Mixture Model. PSIVT 4319, 1049-1058. [26] Johnson, N., Kotz, S., Balakrishnan, N. (1994). Continuous Univariate Distributions. Volume I. New York: Wiley. [27] Johnson, N., Kotz, S., Balakrishnan, N. (1995). Continuous Univariate Distributions. Volume II. New York: Wiley. [28] Johnson, N., Kotz, S., Kemp, A. (2005). Univariate Discrete Distributions. New York: Wiley. [29] Karlis, D., Xekalaki, E. (2003). Mixtures Everywhere. Stochastic Musings: Perspectives from the Pioneers of the Late 20th Century, 78-95. London: Lawrence. [30] Kelker, D. (1971). Innite Divisibility and Variance Mixtures of the Normal Distribution. The Annals of Mathematical Statistics 42, 802808. [31] Luca, G., Zuccolotto, P. (2003). Finite and innite mixtures for nancial durations. International Journal of Statistics, 51, 3, 431-455. [32] Malva, M., Mendona, S., Pestana, D., Sequeira, S. (2007). The Variance of Sums of Non-Identical Random Variables. Bulletin of the International Statistical Institute. Proceedings of 56th Session (electronic publication). [33] Medgyessy, P. (1977). Decomposition of Superpositions of Density Functions and Discrete Distributions. Budapest: Adam Hilger. [34] McLachlan, G., Peel, D. (2000). Finite Mixture Models. New York: Wiley. [35] Mendona, S., Pestana, D. (2002). Misturas Generalizadas e Hiperexponenciais. Actas do X Congresso Anual da SPE.

BIBLIOGRAFIA

139

[36] Morris, C. (1982). Natural Exponential Families With Quadratic Variance Functions. The Annals of Statistics, 10, 1, 65-80. [37] Morris, C. (1983). Natural Exponential Families With Quadratic Variance Functions: Statistical Theory. The Annals of Statistics, 11, 2, 515-529. [38] Murtagh, F., Starck, J., Bijaoui, A. (1995). Image restoration with noise suppression using a multiresolution support. Astronomy and Astrophysics, Supplement Series, 112, 179-189. [39] Murtagh, F., Starck, J., Bijaoui, A. (1995). Multiresolution in astronomical image processing: a general framework. International Journal of Imaging Systems and Technology, 6, 332-338. [40] Pearson, K. (1894). Contributions to the mathematical theory of evolution. Philosophical Transactions of the Royal Society of London A 185, 71-110. [41] Pearson, K. (1895). Contributions to the mathematical theory of evolution. II. Skew variations in homogeneous material. Philosophical Transactions of the Royal Society of London A 186, 343414. [42] Pestana, D., Velosa, S. (2008). Introduo Probabilidade e Estatstica. Volume I. Lisboa: Fundao Calouste Gulbenkian. [43] Rachev, S., Mittnik, S. (2000). Stable Paretian Models in Finance. New York: Wiley. [44] Ross, S. (1984). Dierential Equations. New York: Wiley. [45] Shapovalov, A., Shiriaev, B. (1980). Dual mode of junctional transmission at synapses between single primary aerent bres and motoneurones in the amphibian. The Journal of Physiology 306, 1-15. [46] Steutel, F. (1967). Note on the innite divisibility of exponential mixtures. The Annals of Mathematical Statistics 38, 13031305. [47] Steutel, F. (1970). Preservation of innite divisibility under mixing and related topics. Mathematical Center Tracts 38. Amsterdam, Mathematisch Centrum. [48] Teicher, H. (1961). Identiability of mixtures. The Annals of Mathematical Statistics 32, 244248. [49] Teicher, H. (1963). Identiability of nite mixtures. The Annals of Mathematical Statistics 34, 12651269. [50] Xu, T., Desrochers, A., Graves, R. (2003). Hyperexponential-based Network Trac Model for Distributed Manufacturing. IEEE 4, 3452-3457. [51] Zhang, B., Zhang, C. (2005). Finite Mixture Models With Negative Components. MLDM 2005, 31-41.

ndice Remissivo

AIC e BIC, 73, 74

em misturas convexas de exponenciais, 132 em misturas convexas de gaussianas, 55

Distribuio beta, 60, 135 binomial, 13, 51, 52, 54 Cauchy, 130, 135 Cauchy dividida, 130 exponencial, 68, 92, 107, 111, 132 F, 60 Frchet de mnimos, 93 Frchet de mximos, 95 gama, 131, 135 gaussiana, 24, 127, 135 gaussiana dividida, 128 Gumbel de mnimos, 94 Gumbel de mximos, 96, 112 logstica generalizada tipo I, 96 logstica generalizada tipo II, 94 Pareto generalizada, 84, 94 Pareto tipo I, 76, 95, 125, 133, 135 Pareto tipo II, 80, 122 Poisson, 13, 49, 51, 54, 135 powerfunction, 96, 97, 126, 136 Weibull de mnimos, 88, 93, 135 Weibull de mximos, 95, 119 Divisibilidade innita, 1416
141

em misturas de escala de gaussianas, 128 em misturas pseudo-convexas de exponenciais, 111 para a distribuio Pareto, 81 Erro Quadrtico Mdio, 31, 34, 35 Estimador de mxima verosimilhana, 23, 28, 29 para misturas convexas de gaussianas, 2931, 35 para misturas convexas de outras densidades, 89, 90 do algoritmo EM, 2935, 52, 71 dos momentos, 23, 2527 para a distribuio beta, 62 para misturas convexas de gaussianas, 28, 31, 35, 41, 48 para misturas convexas de outras densidades, 90 Funo beta incompleta, 135 caracterstica, 7, 16, 1821 para misturas convexas de exponenciais, 70

142

NDICE REMISSIVO

para misturas convexas de gaussianas, 24, 47 para misturas convexas de Paretos, 81 gama incompleta, 127, 136 geradora de cumulantes, 7, 9 para misturas convexas de exponenciais, 70 para misturas convexas de gaussianas, 25 geradora de momentos, 7, 1821, 26 para misturas convexas de gaussianas, 25 homognea, 7678 Log-concavidade e log-convexidade, 1416 para a distribuio Pareto, 80 para misturas com parmetro de escala Pareto, 132 para misturas pseudo-convexas de exponenciais, 110

de misturas com parmetro de escala Pareto, 122126 de misturas convexas de exponenciais, 70 de misturas convexas de gaussianas, 24, 25, 38, 57 de misturas convexas de misturas pseudo-convexas, 114 de misturas convexas de outras densidades, 88 de misturas convexas de Paretos, 81, 82 de misturas pseudo-convexas, 100102 de misturas pseudo-convexas de exponenciais, 108, 109 de misturas pseudo-convexas de Gumbels, 112, 113 de misturas pseudo-convexas de Weibulls, 119 Nmeros aleatrios

Moda da distribuio beta, 62 de misturas convexas de exponenciais, 71 de misturas convexas de gaussianas, 31, 3437, 43, 46 de misturas convexas de Paretos, 82, 83 de misturas pseudo-convexas, 102, 103 de misturas pseudo-convexas de exponenciais, 109, 110 de misturas pseudo-convexas de Gumbels, 113 Momentos, 6, 19, 21 da distribuio exponencial, 68 da distribuio Pareto, 76 da gaussiana com parmetro de escala Pareto, 128

de misturas pseudo-convexas, 105107, 119 de misturas pseudo-convexas de exponenciais, 111 de misturas pseudo-convexas de Gumbels, 113 Ordenao estocstica, 126, 127 Quantis de probabilidade para a Cauchy dividida, 131 para a gaussiana dividida, 129 Sistema Pearson, 5, 9, 10 aproximao de misturas convexas de exponenciais, 71, 72, 75, 83

NDICE REMISSIVO

143

de misturas convexas de gaussianas, 36, 38, 39, 4850, 5256, 58, 60 de misturas convexas de Paretos, 82 de misturas pseudo-convexas, 102 Taxa de falha instantnea, 66, 67 da distribuio exponencial, 69 da distribuio Pareto, 80 de misturas convexas de exponenciais, 75 de misturas convexas de Paretos, 84, 85 de misturas pseudo-convexas, 103, 104 de misturas pseudo-convexas de exponenciais, 110 Teste da igualdade das varincias, 46 da igualdade de mdias em misturas convexas de gaussianas, 41 da igualdade de varincias em misturas convexas de gaussianas, 61 de Kolmogorov-Smirnov, 42, 64 de razo de verosimilhanas, 73 Unimodalidade forte, 15 em misturas convexas de gaussianas, 53 em misturas pseudo-convexas de exponenciais, 111

Вам также может понравиться