Prof. Fernando J.

Von Zuben
DCA/FEEC/Unicamp

IA353 Exerccios de Fixao de Conceitos

EFC 1 1s2016
Questo 1) (1,0 pontos) Data de entrega: 30/03/2016
Apresente todos os passos at a obteno das derivadas parciais da funo J() em
relao aos pesos v ji e wkj , com i, j e k quaisquer, na rede neural MLP apresentada
abaixo, a qual tem mltiplas sadas, num total de r sadas. O vetor contm todos os
pesos sinpticos da rede neural, ordenados de forma arbitrria, mas fixa.
n

m

1 N r
1 N r
2
J slk slk slk wkj f v ji xli wk 0
2 l 1 k 1
2 l 1 k 1
j 1
i 0

Obter

J
J
, com j=1,,n e i=0,,m, e obter
, com k=1,,r e j=0,,n.
wkj
v ji

Nota: Est sendo considerado que xl0 = 1, l=1,...,N.

v10
v11
+

yl1
1

1
xl1

v1m

w11

v20

w12

^s
l1

^s
lr

yl2

v21
+

w1n

v2m

xlm

w10

wr0
wr1

wr2

vn0
yln

vn1
+

wrn

vnm

Questo 2) (2,0 pontos) Data de entrega: 08/04/2016

Aplicao de redes neurais MLP a um problema de classificao de padres
multirtulo denominado [Emotions], fornecido pelo professor e com dados extrados
de [http://mulan.sourceforge.net/datasets-mlc.html]. (1) Explicar o que um problema
de classificao de padres multirtulo (multilabel classification) e apontar quais so
as principais abordagens da literatura. (2) Descrever as principais caractersticas do
conjunto de dados [Emotions]. (3) Explicar os critrios de desempenho Hamming loss,
Accuracy per label, Precision, Recall, F-measure, F1-example, F1-macro e F1-micro.

Prof. Fernando J. Von Zuben

DCA/FEEC/Unicamp

Para os casos especficos de Precision e Recall e supondo um problema de

classificao binria, use a figura a seguir para explicar graficamente esses critrios
de desempenho. (4) Rodar o programa [calc-corr.m], fornecido pelo professor, para
calcular a mdia do valor absoluto da correlao entre cada uma das 72 entradas e as 6
sadas desejadas. Reportar e comentar os resultados obtidos. Comentrio 1: Nos dados
fornecidos pelo professor, as 25 entradas com menor correlao mdia foram
eliminadas dos conjuntos de treinamento e validao a serem utilizados. Comentrio
2: O toolbox fornecido pelo professor separa o conjunto de dados em Treinamento e
Validao e estabelece o critrio de parada com base no erro de classificao
(Hamming loss) na validao. (5) Usar algum critrio para definir um valor adequado
para o nmero n de neurnios na camada intermediria. (6) Comparar o desempenho
de um nico classificador com outras propostas da literatura (usar ao menos Hamming
loss e Accuracy per label) e com o desempenho dos 6 classificadores independentes
(usar ao menos Accuracy per label) (o programa [analysis.m] do toolbox fornecido
pelo professor fornece alguns ndices).

Material sugerido para consulta:

LUACES, O.; DEZ, J.; BARRANQUERO, J.; DEL COZ, J.J.; BAHAMONDE, A. Binary
relevance efficacy for multilabel classification, Progress in Artificial
Intelligence, vol. 1, no. 4, pp. 303-313, 2012. (Comentrio: Contm conceitos
pertinentes s atividades da Questo 2)
MADJAROV, G.; KOCEV, D.; GJORGJEVIKJ, D.; DZEROSKI, S. An extensive
experimental comparison of methods for multi-label learning, Pattern
Recognition, vol. 45, no. 9, pp. 3084-3104, 2012. (Comentrio: Leitura
introdutria aos principais mtodos)
READ, J.; PFAHRINGER, B.; HOLMES, G.; FRANK, E. Classifier chains for multi-label
classification, Machine learning, vol. 85, no. 3, pp. 333-359, 2011.
(Comentrio: Leitura mais avanada)
TROHIDIS, K.; TSOUMAKAS, G.; KALLIRIS, G.; VLAHAVAS, I. Multi-label classification
of music into emotions, Proceedings of the International Society for Music
Information Retrieval Conference (ISMIR2008). (Comentrio: Contm
resultados pertinentes s atividades da Questo 2)
WANG, S.; WANG, J.; WANG, Z.; JI, Q. Enhancing multi-label classification by
modeling dependencies among labels, Pattern Recognition, vol. 47, no. 10, pp.
3405-3413, 2014. (Comentrio: Leitura mais avanada)
Observao 1: Os dados de treinamento e validao para a Questo 2 esto sendo
fornecidos com e sem pr-processamento. Com pr-processamento, todas as entradas
excursionam no intervalo [1,+1]. Sem pr-processamento, as entradas excursionam
em
intervalos
arbitrrios,
conforme
o
original
encontrado
em
[http://mulan.sourceforge.net/datasets-mlc.html].
2

Prof. Fernando J. Von Zuben

DCA/FEEC/Unicamp

Observao 2: Os programas para treinamento de redes MLP so fornecidos

juntamente com este roteiro. Eles requerem o ambiente Matlab para a sua execuo.
Questo 3) (3,0 pontos) Data de entrega: 20/04/2016
Comparao entre preditores lineares e no-lineares para a srie temporal de casos
confirmados de dengue, a cada semana, na cidade de So Paulo, no perodo de 2000 a
2014, sendo que esses dados foram disponibilizados pelo SUS (Sistema nico de
Sade). O preditor linear deve ser um modelo auto-regressivo e o preditor no-linear
deve ser uma rede neural MLP com 10 neurnios na camada intermediria. Use o
programa [calc_cor.m] para obter a correlao entre o valor a ser predito e 20 valores
passados da srie temporal e constate que utilizar os 5 valores consecutivos mais
recentes uma escolha aceitvel. Divida o conjunto de dados em 10 pastas e
considere 9 delas para treinamento e a que sobrou para validao. Faa isso 10 vezes,
de modo que todas as pastas sejam empregadas ao menos uma vez para validao.
Apresente o desempenho mdio obtido pelas 10 MLPs treinadas. Em seguida,
componha as 10 MLPs num ensemble. Trabalhe com (1) a mdia, (2) OLS (ordinary
least square) e (3) LASSO (http://www.di.ens.fr/~mschmidt/Software/lasso.html)
para combinar as sadas das 10 redes neurais. Apresente os resultados comparativos.
Faa o mesmo para uma rede neural extreme learning machine (ELM) e para o
preditor linear auto-regressivo, sendo que para esses dois casos empregue ridge
regression para obter cada preditor, obtendo o parmetro de regularizao no conjunto
de valores candidatos {0,224,223,...,2+24,2+25}.
Tabela 1 Reorganizao dos valores da srie temporal para produzir os dados de entrada-sada.

sk p

s k p 1

sk 1

xk

s1

s2

sp

s p 1

s2

s3

s p 1

s p2

sN p

s N p 1

sN 1

sN

ap

a p 1

a1

Parte desses dados disponveis para treinamento sero separados para validao e
teste.
Formulao para o preditor linear: xk b1sk 1 b2 sk 2 ... bp sk p bp 1 .

Coeficientes do preditor linear: b b1 b2 b p b p 1 T .

Problema regularizado a ser resolvido para o preditor linear:

2
2
b arg minp1 Ab y c b

onde A a1 a p

1 . A soluo assume a forma:

b AT A cI AT y .