Aula2 Print

Distribuio de Probabilidades .......................
Esperana Matemtica ...
Verossimilhana ..............
Referncias
Referncias
Contedo
.
LGN5830 - Biometria de Marcadores Genticos

. Tpico 2: Verossimilhana
. 1
Distribuio de Probabilidades
Regras Bsicas Modelos Grficos Distribuio Binomial Distribuio Normal
Antonio Augusto Franco Garcia

http://about.me/augusto.garcia augusto.garcia@usp.br
Departamento de Gentica ESALQ/USP 2013
. 2 . 3
Esperana Matemtica
Alguns Fundamentos
Verossimilhana
Introduo Definio Estimador de Mxima Verossimilhana
. 4 . .
Referncias
Distribuio de Probabilidades ....................... Regras Bsicas
Referncias
Referncias
Definies
Regras
Adio P (A ou B ) = P (A) + P (B ) P (A e B ) P (A ou B ) = P (A) + P (B ) Subtrao Multiplicao P (A) = 1 P (no A) P (A e B ) = P (A) P (B |A) P (A e B ) = P (A) P (B )
Adio (eventos mutuamente exclusivos)
Multiplicao (A e B independentes)
Notao: P (A e B ) = P (A B ) = P (A, B )
Referncias
Referncias
Probabilidade Condicional
. Dois dados com cores diferentes . Se eu jogar os dois dados simultaneamente, qual a probabilidade de obter soma 3?
# resultados possveis: 6 6 = 36 # resultados com soma 3: 2 ({1, 2}, {2, 1}) Resp: P (soma 3) = 2/36
. Dois dados com cores diferentes . Suponha agora que um dos dois dados foi jogado antes, e o resultado foi 1 Qual a probabilidade de obter soma 3?
# resultados possveis: 6 # resultados com soma 3: 1 ({1, 2}) Resp: P (soma 3|valor 1 em um dos dados) = 1/6
Referncias
Referncias
. P (A|B ) . P (A, B ) P (A|B ) = P (B ) . . Ateno . Note a relao entre probab. condicional e a regra da multiplicao O que significam P (A|B ) = 1 e P (A|B ) = 0? Eventos independentes: P (A, B ) = P (A) P (B ) . . Exemplo anterior . 1 P (A, B ) 1 P (A|B ) = = 36 1 = 6 P (B ) 6 .
Eventos independentes
. Moeda honesta . Qual a probabilidade de obter uma sequncia de 4 caras? ( )4 Resp: 1 2 .
Referncias
Referncias
. Moeda honesta .
Referncias
Referncias
Um caso simples
. Doena, Gentipo . R S mm 0.10 0.05 0.15 Mm 0.21 0.09 0.30 MM 0.47 0.08 0.55 0.78 0.22 1
Teorema de Bayes
. Thomas Bayes, 17011761 . P (A|B ) = P (A): priori P (A|B ): posteriori
P (A) P (B |A) P (B )
P (D = R) = 0.78 P (G = M m) = 0.30 P (D = R|G = M M ) =

P (D=R,G=M M ) P (G=M M )
0.47 0.55
= 0.85
P (D = R, G = M M ) = P (D = R) P (G = M M |D = R) = 0.47 0.78 0 .78 = 0.47 . . Note que P (D = R).P (G = M M ) = 0.78 0.55 = 0.429 .
P (B |A)/P (B ): suporte que B fornece para A
Distribuio de Probabilidades ....................... Modelos Grficos
Referncias
Distribuio de Probabilidades ....................... Modelos Grficos
Referncias
Um exemplo mais completo

. Doena, Gentipo, Temperatura, Umidade . Temperatura T : A, B (alta, baixa) Umidade U : S, U (seco, mido) Gentipo G: mm, M m, M M Doena D: R, Su (resistente, suscetvel) relevante calcular P (T, U, G, D) = P (T ) P (U |T ) P (G|T, U ) P (D|T, U, G) (Regra da cadeia) . . 23 parmetros .
Modelo Grfico Probabilstico

Rede bayesiana
D
P (T, U, G, D) = P (T ) P (U ) P (G) P (D|T, U, G) 16 parmetros Posso calcular o valor mais provvel de um dado parmetro, dadas as evidncias (realizaes de variveis aleatrias) Como ficaria o modelo se inclussemos Irrigao (S/N)? (Aguarde: Cadeia de Markov, independncia condicional)
Distribuio de Probabilidades ....................... Distribuio Binomial
Referncias
Referncias
Varivel Discreta
. Exemplo - Distribuio Binomial . Seja a proporo de indivduos Aa numa populao grande e homognea, proveniente de um retrocruzamento. Neste caso, temos teoricamente 50% dos indivduos com este gentipo ( = 1/2) Qual a probabilidade de observarmos x gentipos Aa numa amostra de 4 indivduos (n = 4)?
( P (x) = n x ) (1 )
x (nx)
Distribuio Binomial
. Exemplo .
Theta=1/2
0.3
Probabilidade
0.2
0.1
. .
Note que estamos assumindo que os eventos so independentes! . .
0.0 0 1 2 3 4
Referncias
Referncias
Distribuio Binomial
. Exemplo . Qual a probabilidade de observarmos 3 gentipos Aa (x = 3) numa amostra de 4 indivduos (n = 4)?
( P (3) = 4 3 ) (1/2)3 [1 (1/2)]
(43)
Distribuio Binomial
. Outras distribuies . E se tiver outros valores?
Diferentes valores de theta
Theta=1/2 1.0 0.8 0.6 0.4 0.2 Theta=1/3 Theta=3/4
= 1/4
Probabilidade
0.0 Theta=5/6 1.0 0.8 0.6 0.4 0.2 0.0 Theta=1 Theta=0
Theta=1/2
.
Probabilidade
0.3
0.2
0.1
0.0
Distribuio de Probabilidades ....................... Distribuio Normal

x
Referncias
Referncias
Distribuio Normal
Grande parte das variveis (caracteres) estudados na Gentica
(x)2 1 f (x) = e 22 2 2
Densidade de Probabilidades
. Qual a probab. de selecionar ind. com Brix acima de 22? .
. Exemplo: teor de acar numa populao de cana-de-acar .

Probabilidade
0.15
0.10
0.05
0.00
.
0.15
10
15
20
25
Brix
Probabilidade
0.10
0.05
0.00
Referncias
Referncias
Modelo vs dados reais

bvio que dados reais no esto classificados Vrias tcnicas so empregadas (histogramas, boxplots, ramo-e-folhas, etc
Exerccio
. Qual(is) conj. foram amostrado(s) em pop. com dist. normal? .
6
Contagem
Contagem
10 0 2 1 0 1 6 4 2 0 2 4
. Brix, 200 valores .
20
7.5
10
Contagem
Contagem
5 0 3 2 1 0 1 2
5.0
2.5
0.20
0.0 2 1 0 1 2
0.15
Contagem
Densidade
0 0.10 50 100 150
0.05

0.00
Referncias
Referncias
. Exerccio . Todos eles! (n = 50) .
10
15
20
25
Brix
Exerccio
. Tamanho da amostra .
Tamanho das classes: 2
25 50 20 10 40
Tamanho das classes: Amplitude/50
Amostra A: n=40
60
Amostra B: n=300
Contagem
Contagem
Contagem
15
Contagem
5 0 4 2 0 2 4
30
10 2 5
20
10
0 2 1 0 1
0 6 4 2 0 2 4
0 2 0 2
Tamanho das classes: 0.5
Tamanho das classes: 0.25
100
Amostra C: n=500
0.4
Comparao
8 80 0.3 10 6 60
Contagem
Contagem
Densidade
Contagem
amostra 0.2 A B C
40
5 0.1 2 20
0 3 2 1 0 1 2
0 2 1 0 1 2
0 2 0 2 4
0.0 4 2 0 2 4
Referncias
Distribuio de Probabilidades ....................... Alguns Fundamentos
Referncias
Histria - Tycho Brahe

. Movimento de corpos celestiais .
Varivel Discreta
. Retrocruzamento, com interesse em Aa . Imagine um exp. hipottico no realizado, com 4 indivduos 1, 1, . . . , 1, 0, 0, . . . , 0
x n-x
Resultados possveis: Aa Probabilidade . Mdia esperada: E (X ) = 0 P (0) 1 P (1) 2 P (2) 3 P (3) 4 P (4)
xP (x)
Na distribuio binomial, demonstra-se que E (X ) = np . . . No caso, E (X ) = 4(1/2), ou seja, 2 indivduos com gentipo Aa
Referncias
Referncias
Varivel Contnua
. Brix de 200 indivduos, cana-de-acar .
0.20
Varivel Contnua
Qual a mdia esperada para uma varivel contnua?

0.15
Esperana Matemtica:
Contagem 0 50 100 150
Densidade
0.10
E (X ) =
xf (x) dx
0.05
Demonstra-se que, no caso da distribuio normal, E (X ) =

0.00
10
15
20
25
Brix
Qual a mdia desse experimento, com base no histograma? . .
Distribuio de Probabilidades ....................... Introduo
Referncias
Referncias
Alguns conceitos
. Experimento . Conjunto de dados . Informaes sobre como esses dados foram coletados
Mtodo da Verossimilhana
Suponha que um modelo probabilstico tenha sido formulado para um experimento Imagine que esse modelo envolva um parmetro Desejamos usar os dados para estimar Formalmente, desejamos determinar quais so os possveis valores de mais plausveis (provveis, verossmeis), luz das observaes
. Inferncia estatstica . Desejamos explicitar o modelo que deu origem aos dados Usualmente, o modelo envolve um ou mais parmetros desconhecidos . . Os parmetros devem ser estimados a partir dos dados
Referncias
Referncias
. Exemplo . Seja a proporo de indivduos Aa numa populao grande e homognea, com 2 alelos para esse loco. Desejamos estimar essa proporo. Para tanto, selecionamos aleatoriamente n indivduos e verificamos seu gentipo. Aps o experimento, notamos que x deles so Aa A probabilidade de observarmos esse evento E P (E ; ) = probab. de x, de um total de n indivduos, possurem o gentipo Aa ( ) n P (E ; ) = x (1 )(nx) x . . .
. Exemplo . Suponha que x = 3 e n = 4 Note que, nesta situao, no conhecido ( ) 4 P (E ; ) = 3 (1 )(43) 3
Se Se Se Se Se = 1/2, P (E ; ) = 0.25 = 1/3, P (E ; ) = 0.10 = 3/4, P (E ; ) = 0.42 = 5/6, P (E ; ) = 0.39 = 1, P (E ; ) = 0
Qual valor de mais plausvel?
Referncias
Distribuio de Probabilidades ....................... Definio
Referncias
Verossimilhana
. Distribuies . De qual distribuio os dados foram amostrados?
Diferentes valores de theta
Theta=1/2 1.0 0.8 0.6 0.4 0.2 Theta=1/3 Theta=3/4
. Definio . A funo de verossimilhana de definida como L() = c P (E ; ) Funo de Verossimilhana: funo densidade de probabilidade das observaes, interpretada como uma funo dos parmetros que determinam a distribuio (Siegmund e Yakir, 2007)
Theta=5/6 1.0 0.8 0.6 0.4 0.2 0.0 Theta=1 Theta=0
Probabilidade
0.0
.
0 1 2 3 4 0 1 2 3 4 0 1 2 3 4
Edwards (1992): The likelihood L(H |R), of the hypothesis H given data R, and a specific model, is proportional to P (R|H ), the constant of proportionality being arbitrary.
. .
Referncias
Referncias
. Definio . Likelihood is the hypothetical probability that an event that has already occurred would yield a specific outcome. The concept differs from that of a probability in that a probability refers to the occurrence of future events, while a likelihood refers to past events with known outcomes. (http://mathworld.wolfram.com/Likelihood.html) L() P (E ; ) L() x (1 )(nx) (no caso da dist. binomial) . . A constante c, por no depender dos parmetros, normalmente desconsiderada .
Verossimilhana
. Definio . Sorensen e Gianola (2002): Sejam y os dados observados, resultado de um processo estocstico caracterizado por um modelo com distribuio (densidade) p(y|) A distribuio (densidade) das observaes portanto p(y|) A verossimilhana L() ou L(|y) obtida com base em uma inverso deste conceito . Por definio: L(|y) p(y|)
Referncias
Referncias
. Exemplo - gentipos Aa .
Dados: yi (i = 1, . . . , n; n = 4) 1, 1, . . . , 1, 0, 0, . . . , 0
x n-x
. Peso de indivduos amostrados numa pop. F2 . Um modelo possvel: yi N (, 2 ), sendo = (, 2 ) Verossimilhana: L(|y) = .
n i=1
(yi )2 1 e 22 2 2
p(yi |) =
i=1 p(yi | )
, , . . . , , (1 ), (1 ), . . . , (1 )
x n-x
) n x (1 )nx x Verossimilhana: L(|y) x (1 )nx p(yi |) = . . .
Qual seria um modelo para estudar a variao do peso dos alunos da sala de aula?
Distribuio de Probabilidades ....................... Estimador de Mxima Verossimilhana
Referncias
Referncias
Estimador de Mxima Verossimilhana
Para simplificar, usual trabalharmos com o log de L() Qual a razo? Ateno Os pontos de mximo e mnimo no se alteram aps o uso do logaritmo (funo montona) Notao: l() = loge L() = log L()
d l ( ) d
. Exerccio . . Qual a funo de verossimilhana do exemplo anterior (binomial)? 1 . Qual a funo score? 2 .
3
. Qual o ponto de mximo de l(), dito ?
dita funo score

2
l ( ) I () = dd dita funo de informao de Fisher 2
Referncias
Referncias
Estimador de Mxima Verossimilhana

. Exerccio . . L() x (1 )(nx) 1 . l() = x log() + (n x) log(1 ) 2 . = x 3
n
0.100 5 0.075
MLE
. Distribuio Normal . . L(|y) = n 1 i=1
2 3
. =
1 e 2 2
(yi )2 2 2
i=1
yi
3log(x) + (4 3)log(1 x)
x3(1 x)(43)
10
0.050
. 2 =
n n
=y
)2 i=1 (yi y n
15 0.025
. . MLE . . .
20 0.000 0.00 0.25 0.50 0.75 1.00 0.00 0.25 0.50 0.75 1.00
. MLE e Quadrados Mnimos . Sob normalidade, os MLEs tambm so estimadores de quadrados mnimos . .
= 3/4 o MLE de
Referncias
Referncias
Principais Referncias
Principais Referncias
Gonick, L; Smith, W. The Cartoon Guide to Statistics Editora Harper Perennial, 1993 Kalbfleisch, J.G. Probability and Statistical Inference Editora Springer-Verlag, 1985 Volume 1 Edwards, A.W.F. Likelihood (expanded edition) The John Hopkins University, 1992
Sorensen, D.; Gianola, D. Likelihood, Bayesian, and MCMC Methods in Quantitative Genetics Editora Springer-Verlag, 2002 Koller, D.; Friedman, N. Probabilistic Graphical Models: Principles and Techniques MIT Press, 2009

Aula2 Print

Загружено:

Сведения о документе

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

Aula2 Print

Загружено:

Авторское право:

Доступные форматы

Distribuio de Probabilidades .......................

Esperana Matemtica ...

Distribuio de Probabilidades .......................

Esperana Matemtica ...

LGN5830 - Biometria de Marcadores Genticos

Antonio Augusto Franco Garcia

Introduo Definio Estimador de Mxima Verossimilhana

Distribuio de Probabilidades ....................... Regras Bsicas

Esperana Matemtica ...

Distribuio de Probabilidades ....................... Regras Bsicas

Esperana Matemtica ...

Adio (eventos mutuamente exclusivos)

Distribuio de Probabilidades ....................... Regras Bsicas

Esperana Matemtica ...

Distribuio de Probabilidades ....................... Regras Bsicas

Esperana Matemtica ...

Distribuio de Probabilidades ....................... Regras Bsicas

Esperana Matemtica ...

Distribuio de Probabilidades ....................... Regras Bsicas

Esperana Matemtica ...

. Moeda honesta . Qual a probabilidade de obter uma sequncia de 4 caras? ( )4 Resp: 1 2 .

Distribuio de Probabilidades ....................... Regras Bsicas

Esperana Matemtica ...

Distribuio de Probabilidades ....................... Regras Bsicas

Esperana Matemtica ...

Distribuio de Probabilidades ....................... Regras Bsicas

Esperana Matemtica ...

Distribuio de Probabilidades ....................... Regras Bsicas

Esperana Matemtica ...

. Thomas Bayes, 17011761 . P (A|B ) = P (A): priori P (A|B ): posteriori

P (D = R) = 0.78 P (G = M m) = 0.30 P (D = R|G = M M ) =

P (B |A)/P (B ): suporte que B fornece para A

Distribuio de Probabilidades ....................... Modelos Grficos

Esperana Matemtica ...

Distribuio de Probabilidades ....................... Modelos Grficos

Esperana Matemtica ...

Um exemplo mais completo

Modelo Grfico Probabilstico

Distribuio de Probabilidades ....................... Distribuio Binomial

Esperana Matemtica ...

Distribuio de Probabilidades ....................... Distribuio Binomial

Esperana Matemtica ...

Note que estamos assumindo que os eventos so independentes! . .

Distribuio de Probabilidades ....................... Distribuio Binomial

Esperana Matemtica ...

Distribuio de Probabilidades ....................... Distribuio Binomial

Esperana Matemtica ...

Distribuio de Probabilidades ....................... Distribuio Normal

Esperana Matemtica ...

Distribuio de Probabilidades ....................... Distribuio Normal

Esperana Matemtica ...

. Exemplo: teor de acar numa populao de cana-de-acar .

Distribuio de Probabilidades ....................... Distribuio Normal

Esperana Matemtica ...

Distribuio de Probabilidades ....................... Distribuio Normal

Esperana Matemtica ...

Modelo vs dados reais

. Brix, 200 valores .

0 0.10 50 100 150

Distribuio de Probabilidades ....................... Distribuio Normal

Esperana Matemtica ...

Distribuio de Probabilidades ....................... Distribuio Normal

Esperana Matemtica ...

. Exerccio . Todos eles! (n = 50) .