10/22/2015

rvores de Deciso

Uma das formas de algoritmo de aprendizado mais

simples e de maior sucesso.

Uma rvore de deciso tem como entrada um

objeto ou situao descritos por um conjunto de
atributos e como sada uma deciso (previso do
valor de sada dada a entrada).

Uma rvore de deciso toma as suas decises

atravs de uma sequncia de testes.

Cada n interno da rvore

Raiz
corresponde a um teste do valor
de uma propriedade.
Ramo Ramo

Os ramos dos ns so rotulados

com os resultados possveis do N N

teste.
Ramo
Ramo Ramo
Cada n folha da rvore
especfica o valor a ser N
Folha Folha
retornado se aquela folha for
alcanada. Ramo Ramo

A representao de uma rvore

de deciso bem natural para
os seres humanos.

1
 10/22/2015

Problema: Esperar por uma mesa em um

restaurante.

O objetivo aprender uma definio para o

predicado vai esperar.

Primeiramente necessrio definir quais atributos

esto disponveis para descrever alguns exemplos
nesse domnio.

Atributos:
Alternativa: Verdadeiro se existe um restaurante alternativo
adequado nas proximidades.
Bar: Verdadeiro se o restaurante tem uma rea de bar confortvel
para ficar esperando.
Sex/Sab: Verdadeiro se o dia da semana for sexta ou sbado.
Faminto: Verdadeiro se estamos com fome.
Pessoas: Quantas pessoas esto no restaurante (os valores so
Nenhuma, Algumas e Cheio).
Preo: Preo do restaurante de ($, $ $, $$$).
Chuva: Verdadeiro se est chovendo l fora.
Reserva: Verdadeiro se ns fizemos uma reserva.
Tipo: Tipo de restaurante (Francs, Italiano, Tailands,
Hambrguer).
EstimativaEspera: Tempo de espera estimado (00-10, 10-30, 30-
60, > 60 minutos).

Pessoas?
Nenhuma Algumas Cheio

No Sim EstimativaEspera?

>60 30-60 10-30 0-10

No Alternativa? Faminto? Sim

No Sim No Sim

Reserva? Sex/Sab? Sim Alternativa?

No Sim No Sim No Sim

Bar? Sim No Sim Sim Chovendo?

No Sim No Sim

No Sim No Sim

2
 10/22/2015

possvel gerar uma rvore de deciso a partir de

um conjunto de exemplos.

Exemplos positivos so aqueles que levam a uma

resposta positiva.
Exemplo: vai esperar = Sim.

Exemplos negativos so aqueles que levam a uma

resposta negativa.
Exemplo: vai esperar = No.

Atributos Obj.

Exemplo Alt. Bar S/S Fam. Pes. Pre. Chov. Res. Tipo Est. Esp.
Alguma
X1 Sim No No Sim
s
$$$ No Sim Fran. 0-10 Sim
30-
X2 Sim No No Sim Cheio $ No No Tai.
60
No
Alguma
X3 No Sim No No
s
$ No No Ham. 0-10 Sim
10-
X4 Sim No Sim Sim Cheio $ Sim No Tai.
30
Sim

X5 Sim No Sim No Cheio $$$ No Sim Fran. >60 No

Alguma
X6 No Sim No Sim
s
$$ Sim Sim Ital. 0-10 Sim
Nenhum
X7 No Sim No No
a
$ Sim No Ham. 0-10 No
Alguma
X8 No No No Sim
s
$$ Sim Sim Tai. 0-10 Sim

X9 No Sim Sim No Cheio $ Sim No Ham. >60 No

10-
X 10 Sim Sim Sim Sim Cheio $$$ No Sim Ital.
30
No
Nenhum
X 11 No No No No
a
$ No No Tai. 0-10 No
30-
X 12 Sim Sim Sim Sim Cheio $ No No Ham.
60
Sim

Seguindo o principio de Ockham, devemos encontrar a menor

rvore de deciso que seja consistente com os exemplos de
treinamento.

Qualquer fenmeno deve assumir apenas as premissas estritamente

necessrias explicao do fenmeno e eliminar todas as que no
causariam qualquer diferena aparente nas predies da hiptese ou
teoria.

A ideia bsica do algoritmo testar os atributos mais

importantes primeiro.

O atributo mais importante aquele que faz mais diferena para a

classificao de um exemplo.

Dessa forma, esperamos conseguir a classificao correta

com um pequeno nmero de testes.

3
 10/22/2015

Conjunto de Treinamento

1 3 4 6 8 12

2 5 7 9 10 11

Tipo? Pessoas?

Francs Italiano Tailands Hamburger Nenhuma Algumas Cheio

1 6 4 8 3 12 1 3 6 8 4 12

5 10 2 11 7 9 7 11 2 5 9 10

Tipo um atributo ruim, pois ele deixa 4 No Sim Faminto?

resultados sem nenhuma concluso.
Pessoas um atributo bom, pois 2 resultados
dele levam a concluses diretas.

Algoritmo:
(1) Enquanto existirem exemplos positivos e negativos, deve-se
escolher o melhor atributo para dividi-los.

(2) Se todos os exemplos restantes forem positivos (ou todos

negativos), ento podemos responder Sim ou No.

(3) Se no existirem exemplos restantes, retorna um valor padro

calculado a partir da classificao da maioria dos atributos do n
pai.

(4) Se no existirem atributo restantes, mas ainda existirem

exemplos positivos e negativos temos um problema.

Quando no existem atributos restantes,

mas ainda existem exemplos positivos e
negativos significa que:
Esses exemplos tm exatamente a mesma descrio, mas
classificaes diferentes. Isso acontece quando alguns dos
dados esto incorretos, ou seja h rudo nos dados.

Tambm acontece quando os atributos no do informao

suficiente para descrever a situao completamente, ou
quando o domnio realmente no-determinstico.

Uma sada simples do problema a utilizao de uma

votao majoritria.

4
 10/22/2015

Pessoas?

Nenhuma Algumas Cheio

No Sim Faminto?

No Sim

No Tipo?

Francs Italiano Hambrguer Tailands

Sim No Sim Sex/Sab?

No Sim

No Sim

Qual o melhor atributo?

[29+, 35-]

[21+, 5-] [8+, 30-]

Entropia
Caracteriza a (im)pureza de uma coleo arbitrria de
exemplos.

Dado uma coleo S contendo exemplos positivos (+) e

negativos () de algum conceito alvo, a entropia de S
relativa a esta classificao booleana :

Entropia(S) = - p + log 2 p + - p - log 2 p -

p+ a proporo de exemplos positivos em S.

p a proporo de exemplos negativos em S.

5
 10/22/2015

Exemplo: Sendo S uma coleo de 14 exemplos de

treinamento de algum conceito boleano, incluindo
9 exemplos positivos e 5 negativos [9+, 5-].

A entropia de S relativa a classificao :

9 9 5 5
Entropia([9+, 5-]) = - log 2 - log 2 = 0.940
14 14 14 14

A funo entropia relativa a uma classificao varia

entre 0 e 1.

Generalizando para o caso de um atributo alvo

aceitar n diferentes valores, a entropia de S relativa
a esta classificao de nclasses definida como:

n
Entropia(S) = pi log 2 pi
i =1

Um algoritmo de aprendizado bom se ele produz

hipteses que conseguem prever a classificao de
exemplos no vistos.

A maneira mais simples de se medir o desempenho

de um mtodo de aprendizado realizando a
classificao de um conjunto de exemplos de teste.

6
 10/22/2015

Processo de avaliao:
(1) Divide-se o conjunto total de exemplos conhecidos em dois
conjuntos:
Conjunto de Treinamento.
Conjunto de Teste.
(2) Gera-se uma hiptese h (rvore de deciso) com base no
Conjunto de Treinamento.
(3) Para cada exemplo do Conjunto de Teste, classifica-se o
exemplo utilizando a rvore de deciso criada a partir do conjunto
de treinamento.
(4) Verifica-se a quantidade de exemplos de teste classificados
corretamente e calcula-se a porcentagem de acertos.
(5) Escolhe-se aleatoriamente um novo conjunto de exemplos de
treinamento (normalmente com um numero maior de exemplos) e
repete-se novamente o processo.
Porcentagem de reconhecimento

Tamanho do Conjunto de Treinamento

Russell, S. and Norvig, P. Artificial

Intelligence: a Modern Approach, 3nd
Edition, Prentice-Hall, 2009.

Captulo 18: Learning from

Observations