Experimento 3 - Reconhecimento de Dados em Imagens

de Letras
Objetivo Principal do Projeto

Analisar o resultado obtido com o uso de redes neurais na solução de um

problema de classificação.

O Problema - Letter Image Recognition Data (Reconhecimento de Dados em

Imagem de Letras)

Consiste em identificar cada uma das 26 letras maiúsculas do alfabeto

usando um grande número de pixels retangulares preto e branco. As imagens se
baseiam em 20 fontes diferentes e cada letra dentro dessas 20 fontes foi distorcida
aleatoriamente para produzir um arquivo com 20.000 estímulos únicos.

Base de Dados​.

Cada estímulo foi convertido em 16 atributos numéricos primitivos (momentos

estatísticos e contagem de bordas) que foram agrupados para se enquadrarem em
uma gama de valores inteiros de 0 a 15. Normalmente treinamos nos primeiros
16.000 itens e usamos o modelo resultante para prever a Letra nos 4.000 restantes.
A base de dados está disponível ​aqui​.

Software

WEKA (Waikaito Environment for Knowledge Analysis). Download: clique

aqui​.

Apresentação

● Experimento
○ Explicar o comportamento dos parâmetros estudados,
dificuldades encontradas e limitações das técnicas.
○ Mostrar os resultados dos algoritmos.
● Análise comparativa dos resultados obtidos com as três técnicas.
● Referências.
Descrição Geral do Experimento

1. Serão feitos treinamentos de redes MLP usando Backpropagation padrão

(com o termo momentum fixo de 0.8), variando os seguintes parâmetros:

a. Quantidade máxima de iterações (ou ciclos)

b. Quantidade de neurônios intermediários (ou escondidos) da rede, pois

serão usadas redes com apenas uma camada intermediária.

c. Taxa de aprendizado.

2. Para cada um destes 3 parâmetros, devem ser usados 3 valores. Sendo

assim, você deve escolher 3 quantidades máximas de iterações (épocas), 3
quantidades de neurônios escondidos e 3 taxas de aprendizado.

a. Exemplo: poderiam ser usados 100, 1.000 e 10.000 iterações; 4, 8 e

12 neurônios escondidos; e taxas de aprendizado de 0.1, 0.01 e 0.001.

b. Obs.: isto é apenas um exemplo; você é quem vai escolher os valores

a serem usados. Vale lembrar, que não existem valores ideais que
podem ser usados para qualquer problema, de modo que uma taxa de
aprendizado de, por exemplo, 0.01 pode ser pequena demais para um
dado problema, sendo grande demais para outro problema. O mesmo
vale para a quantidade de iterações e de nodos escondidos.

Tabela 1 - Valores Base para o experimento

HIDDEN LAYERS LEARNING RATE TRAINING TIME

10 0.01 100

50 0.05 225

100 0.1 500

3. Deve ser feito 1 treinamento para cada combinação destes 3 parâmetros,

sendo anotados os respectivos resultados. Devem ser feitos 3 x 3 x 3 = 27
treinamentos preliminares.

4. Deve ser escolhida a melhor rede obtida (ou seja, a melhor combinação
destes 3 parâmetros), sendo que a “melhor rede” é a rede que proporcionou
os melhores resultados. Uma boa escolha pode ser baseada no erro do
conjunto de treinamento e no tamanho da rede.
 a. Exemplo: se o menor erro de treinamento foi obtido usando 1.000
iterações, 8 nodos escondidos e taxa de aprendizado 0.001, então
este pode ser considerado o melhor conjunto de parâmetros (ou seja,
a melhor rede).

b. Obs.: para um bom projeto de redes neurais, não é suficiente fazer

apenas uma execução para cada conjunto de parâmetros, pois
sabemos que, variando a inicialização de pesos, podemos obter
resultados finais diferentes. Dessa forma, seriam necessárias várias
inicializações de pesos para cada conjunto de parâmetros para
escolhermos a melhor rede. Entretanto, o objetivo nesta prática é
apenas dar uma noção de como se fazem experimentos com redes
neurais. É por isso que só é exigido 1 treinamento para cada um dos
27 conjuntos de parâmetros.

Tabela 2 - Valores dos treinamentos preliminares com split 66%

EXPERIMENTO HIDDEN LEARNING TRAINING COEFICIENTE
LAYERS RATE TIME CORRELAÇÃO

#1 10 0.01 100

#2 10 0.01 225

#3 10 0.01 500

#4 10 0.05 100

#5 10 0.05 225

#6 10 0.05 500

#7 10 0.1 100

#8 10 0.1 225

#9 10 0.1 500

#10 50 0.01 100

#11 50 0.01 225

#12 50 0.01 500

#13 50 0.05 100

#14 50 0.05 225

#15 50 0.05 500

 #16 50 0.1 100

#17 50 0.1 225

#18 50 0.1 500

#19 100 0.01 100

#20 100 0.01 225

#21 100 0.01 500

#22 100 0.05 100

#23 100 0.05 225

#24 100 0.05 500

#25 100 0.1 100

#26 100 0.1 225

#27 100 0.1 500

Tabela 3 - Cross-Validation do experimento

Kappa Statistic

Mean absolute error

Root mean squared error

Relative absolute error

Root relative squared error

Total Number of Instances