Universidade de Pernambuco Caruaru Sistemas de Informao Inteligncia Artificial Prof Paulemir G.

Campos

Relatrio de Sistemas Classificadores

Erton W. Vieira 5 Periodo

SUMARIO
Caruaru, 2008

1.Resumo ......................................................................................... .................... 3 2.Objetivo ......................................................................................... ................... 3 3.A base de dados ........................................................................................... ..... 4 3.1 Informaes importantes ......................................................................... 4 3.2 Dados ........................................................................................... ............. 5 4. Modelos escolhidos .................................................................................... ...... 7 4.1 J48 (C4.5) ........................................................................................... ....... 7 4.2 RNAs MLP (Multilayer Perceptron) ........................................................ 7 5. Ferramentas ................................................................................ ...................... 8 6. Experimentos ............................................................................... ................. 9 7.1 Como foram realizados ......................................................................... 9 7.2 Critrios de particionamento ................................................................ 9 7.3 J48 (C4.5) ........................................................................................... .... 9 IA Pgina 2

7.4 RNAs MLP (Multilayer Perceptron) .......................................................... 11 7. Comparao ..................................................................................................... 12 8. Concluso .................................................................................... ..................... 13

1.RESUMO Este relatrio apresenta descries e resultados obtidos em experimentos relacionados a sistemas classificadores de padres. Durante o documento, ser explicado como foram utilizadas algumas ferramentas, quais parmetros de treinamento e testes foram usados e, por final, uma comparao entre os resultados coletados em ambos os modelos de classificao escolhidos.

2.OBJETIVO Analisar e tirar concluses vlidas sobre os mtodos de IA Pgina 3

classificao utilizados, sabendo, claro, que esses resultados no servem como parmetros gerais para avaliao dos classificadores, e sim, apenas para casos onde a base de dados a ser avaliada tenha caractersticas relativamente semelhantes a escolhida para o projeto.

3.BASE DE DADOS 1. Title: Chess Endgame Database for White King and Rook against Black King (KRK) Black-to-move Positions Drawn or Lost in N Moves. 2. Source Information: -- Criador: Database generated by Michael Bain and Arthur van Hoff at the Turing Institute, Glasgow, UK. -- Doador: Michael Bain (mike@cse.unsw.edu.au), AI Lab, Computer Science, University of New South Wales, Sydney 2052, Australia. -- Data: Junho, 1994. 3. Utilizao Anterior: IA Pgina 4

Chess endgames are complex domains which are enumerable. Endgame databases are tables of stored game-theoretic values for the enumerated elements (legal positions) of the domain. The game-theoretic values stored denote whether or not positions are won for either side, or include also the depth of win (number of moves) assuming minimax-optimal play. From the point of view of experiments on computer induction such databases provide not only a source of examples but also an oracle (Roycroft, 1986) for testing induced rules. However a chess endgame database differs from, say, a relational database containing details of parts and suppliers in the following important respect. The combinatorics of computing the required game-theoretic values for individual position entries independently would be prohibitive. Therefore all the database entries are generated in a single iterative process using the ``standard backup'' algorithm (Thompson, 1986). A KRK database was described by Clarke (1977). The current database was described and used for machine learning experiments in Bain (1992; 1994). It should be noted that our database is not guaranteed correct, but the class distribution is the same as Clarke's database. In (Bain 1992; 1994) the task was classification of positions in the database as won for white in a fixed number of moves, assuming optimal play by both sides. The problem was structured into separate sub-problems by depth-of-win ordered draw, zero, one, ..., sixteen. When learning depth d all examples at depths > d are used as negatives. Quinlan (1994) applied Foil to learn a complete and correct solution for this task. The typical complexity of induced classifiers in this domain suggest IA Pgina 5

that the task is demanding when background knowledge is restricted. 4. Informaes Relevantes: An Inductive Logic Programming (ILP) or relational learning framework is assumed (Muggleton, 1992). The learning system is provided with examples of chess positions described only by the coordinates of the pieces on the board. Background knowledge in the form of row and column differences is also supplied. The relations necessary to form a correct and concise classifier for the target concept must be discovered by the learning system (the examples already provide a complete extensional definition). The task is closely related to Quinlan's (1983) application of ID3 to classify White King and Rook against Black King and Knight (KRKN) positions as lost 2-ply or lost 3-ply. The framework is similar in that the example positions supply only low-grade data. An important difference is that additional background predicates of the kind supplied in the KRKN study via hand-crafted attributes are not provided for this KRK domain. 3.1.DADOS Numero de Instncias: 28056 Nmero de Atributos: 06 (Seis) atributos variveis e 1 (uma) classe varivel. Informao dos Atributos: 1. 2. 3. 4. 5. 6. 7. White King file (column) White King rank (row) White Rook file White Rook rank Black King file Black King rank optimal depth-of-win for White in 0 to 16 moves, otherwise drawn {draw, zero, one, two, ..., sixteen}.

Atributo faltando: No Distribuio da Classe: draw zero IA Pgina 6 2796 27

one 78 two 246 three 81 four 198 five 471 six 592 seven 683 eight 1433 nine 1712 ten 1985 eleven 2854 twelve 3597 thirteen 4194 fourteen 4553 fifteen 2166 sixteen 390 Total 28056

IA Pgina 7

4.MODELOS ESCOLHIDOS Para o seguinte projeto foram escolhidos os seguintes modelos MLP (pr-determinado pelo orientador da disciplina) e o J48.

4.1. J48(C4.5) O algoritmo J48 uma implementao do algoritmo C4.5 release 8 que gera rvore de deciso. O J48 constri um modelo de rvore de deciso baseado num conjunto de dados de treinamento, e usa esse modelo para classificar outras instncias num conjunto de teste. Esse algoritmo no era obrigatrio no trabalho, mas optamos por ele, por ser um algoritmo baseado em rvores de deciso e isso traria uma abordagem totalmente diferente do problema se o compararmos com o outro algoritmo escolhido.

4.2. RNAs MLP (Multilayer Perceptron) O multilayer perceptron foi criado para resolver que no poderiam ser resolvidos por um modelo de neurnio bsico, ou seja, problemas mais complexos. Um nico perceptron ou uma combinao das sadas de alguns perceptrons seria incapaz de aprender uma operao XOR, para isto so necessrias mais conexes, os quais s existem em uma rede de perceptrons dispostos em camadas (Multilayer Perceptron). Os neurnios internos tm enorme importncia na rede neural, pois se provou que com estes torna-se possvel a resoluo de problemas linearmente no separveis. Esse Segundo modelo foi fixado como obrigatrio neste trabalho e por ser um modelo que geralmente apresenta resultados muito satisfatrios em relao classificao de IA Pgina 8

padres.

5. FERRAMENTAS Foi utilizado a ferramenta WEKA 3.5.6 (Waikato Environment for Knowledge Analysis), tanto para o algoritmo MLP (Multilayer Perceptron) para construo da RNA, quanto para o C4.5 (J48) para construo de uma rvore de deciso. A ferramenta possui alguns bugs, porm, apesar desse fato, obteve-se resultados suficientemente claros para a realizao desse trabalho. Esse sistema tambm muito lento na construo e execuo de RNAs do tipo MLP.

IA Pgina 9

6. EXPERIMENTOS 6.1. Processo de Realizao Com o algoritmo J48 realizamos 8 experimentos alterando os valores dos parmetros binarySplits e confidenceFactor para avaliar a variao de resultados no algoritmo J48. Os testes com RNA foram feitos com a ferramenta WEKA o que dificultou a realizao de vrios testes envolvendo o modelo MLP, pois o software possui vrios bugs. Adicionamos o tempo como critrio na tabela de resultados tambm, para poder fazer uma comparao tambm nesse fator. Sendo essa medida de avaliao muito emprica e influenciada por diversos fatores devemos informar que os testes foram feitos em mquinas com processador Pentium Core 2 Duo, 2,4GHz e memria de 512Mb DDR2, sem nenhum aplicativo de usurio interferindo no seu desempenho

6.2. Critrios de Particionamento Mesmo a base de dados sendo de um tamanho relativamente grande, foi usado o mtodo Cross-validation, o qual divide o conjunto de dados em partes ,10 no caso, e permuta entre eles sempre usando 1 para teste e o restante para treinamento

6.3. J48

Execu o IA

binar ySpli ts

confiden ceFactor

Tamanho da rvore

N de folhas

Percentual de Classifica

Tempo de execu Pgina 10

o 1 2 3 4 False False False False 0.10 0.25 0.50 1.0 6813 9151 9761 10627 3869 5170 5528 5997 75.449 % 74.2233% 74.4208% 74.6859%

o 9.77 s 9.34 s 9.38 s 17.11 s

5 6 7 8

True True True True

0.10 0.25 0.50 1.0

5731 7071 7597 8113

2866 3536 3799 4057

60.9467% 59.562% 59.6519% 59.6278%

6.47 s 6.59 s 5.95 s 18.11 s

Como pode-se observar na tabela acima o atributo binarySplits influenciou na eficincia do algoritmo, flutuando entre 15% a diferena de classificao do algoritmo. E percebe-se tambm que os resultados obtidos com o algoritmo so relativamente satisfatrios Agora, detalharemos as informaes, procedimentos e resultados obtidos com um dos nossos classificadores, o nmero 8.

IA Pgina 11

Tela de Configurao do Algoritmo 8

Numero de Folhas : Tamanho da Arvore :

4057 8113 22227 5828 79.2265 % 20.7735 %

Instncias classificadas corretamente Instncias classificadas incorretamente Erro absoluto principal Erro absoluto relativo Nmero total de instncias

0.0242 24.3542 % 28055

6.4. REDES NEURAIS MLP (Multilayer Perceptron)

IA Pgina 12

Tela de Configurao do Algoritmo MLP

No problema, a MLP obteve cerca de 85% de acerto e levou aproximadamente 19 (dezenove) minutos para executar usando o critrio de particionamento Cross-validation. Abaixo, ns descrevemos mais detalhadamente os resultados obtidos, mostrando o resultado gerado pelo WEKA: Instncias classificadas corretamente 14884 Instncias classificadas incorretamente 13171 % Erro absoluto principal 0.0637 Erro absoluto relativo 64.0528 % Nmero total de instncias 28055 53.0529 % 46.9471

7. COMPARAO Baseando-se nos resultados dos experimentos envolvendo RNAs MLP e rvores de deciso J48 podemos observar o comportamento dos classificadores gerados para cada tipo de algoritmo. IA Pgina 13

Podemos ento gerar uma tabela de comparao entre os resultados obtidos:

Acertos % J48 (WEKA) MLP (WEKA) 75.449 % 85.4885 %

Tempo de execuo 9.77 s 18m 56 s

O algoritmo J48 mais rpido mas no to eficiente como a rede neural MLP.

8. CONCLUSO A eficincia de RNAs (MLP) na grande maioria dos problemas de classificaofoi comprovada tendo um numero de acertos expressiva comparado que coletamos com a abordagem de rvores de deciso IA Pgina 14

J48(C4.5), no projeto. Apesar da base de dados ser grande, o tempo despendido para a realizao dos experimentos foi considerado relativamente pequeno e vlido se analisarmos o fator custo x benefcio ao se usar mtodo de particionamento Cross-validation.

IA Pgina 15