TELEVISO DIGITAL 2004/2005

Deteco de Cortes de Cena

http://paginas.fe.up.pt/~ee00136/td.htm

Bruno Pombal bruno.pombal@iol.pt Paulo Bluemel paulocpb@sapo.pt

Testes Efectuados e Ficheiros Usados

TESTES DE FADE-IN / FADE-OUT
- ficheiro gladiator-small.mpeg2 [movie]
URL: http://paginas.fe.up.pt/~mandrade/tvd/recursos/gladiator-small.mpg

TESTES DE MISTURA DE IMAGENS

- ficheiro broadcast-publicity.mpeg2 [movie]
URL: http://paginas.fe.up.pt/~mandrade/tvd/recursos/broadcast-publicity.mpg

ASAD Average Sum of Absolute Differences

IMAGEM LIDA DO TIPO RGB
diferena do valor das cores vermelho (R), verde (G) e azul (B) de duas imagens consecutivas, k e k+1, para os mesmos pontos das 2 imagens, n1 e n2 mdia entre as diferenas obtidas
ASAD = 1 N1 N 2 N3
N1 e N2 linhas e colunas da matriz e N3 3 valores das cores
1

s (n

, n 2 , k ) s (n 1 , n 2 , k + 1 )

compara-se o valor obtido em ASAD com o valor de threshold inserido na interface grfica para decidir se ou no um corte de cena.

IMAGEM LIDA DO TIPO YCBR

diferena entre os valores da luminncia (Y) de 2 imagens consecutivas mdia entre a diferena obtida N1 e N2 linhas e colunas da matriz (Y bidimensional)

ASAD =

1 N1 N 2

Y (n , n , k ) Y (n , n
1 2 1

, k + 1)

compara-se o valor obtido em ASAD com o valor de threshold inserido na interface grfica para decidir se ou no um corte de cena.

HISTOGRAMAS a preto e branco

Histogramas a preto e branco
Imagem lida do tipo RGB

faz-se a passagem das imagens para tons de cinzento (preto e branco) faz-se o histograma sobre estas imagens para todas as imagens i lidas calcula-se:

1 valor (i ) = N

histograma ( k ) histograma (k + 1)

N a quantidade de pontos considerados para se construir o histograma

normalizam-se todos os valores(i) pelo mximo valor obtido na expresso vista atrs. para todas as imagens i lidas, o valor normalizado comparado com o limiar inserido no interface grfico, e caso o valor_normalizado(i) seja maior do que o limiar ento considerado que h um corte de cena.

HISTOGRAMAS a cores
Histogramas a cores
Imagem lida do tipo YCBR

guardam-se os valores da luminncia (Y) e das 2 diferenas de cor (Cb) e (Cr) e usa-se um algoritmo semelhante ao usado nos histogramas a preto e branco tratam-se independentemente os histogramas da luminncia e de cada uma das diferenas de cor

para ser considerado um corte de cena todos os valores obtidos para uma dada imagem tm de ser simultaneamente maiores do que os valores de limiar introduzidos na interface grfica para Y, Cb e Cr.

ASAD Average Sum of Absolute Differences

LIMIARES LUMINNCIA FADE-IN CROMINNCIA REAIS CORTES DE CENA DETECTADOS VERDADEIROS

5 5 32

0,3 0,5 0,3

6 6 6

23 7 7

6 6 6

FADE-OUTs

32
50 50

0,5
0,3 0,5
LIMIARES

6
6 6

7
4 4
CORTES DE CENA REAIS DETECTADOS

6
3 3

INTERVALOS

LUMINNCIA

CROMINNCIA

VERDADEIROS

0000-0100
MISTURA DE IMAGENS

32 32 32

0,5 0,5 0,5

0 0 0

0 0 0

0101-0200 0201-0300

0301-0450
0451-0500 0501-0600 0601-0700 0701-0800

32
32 32 32 32

0,5
0,5 0,5 0,5 0,5

0
0 0 0 0

0
0 0 0 0

HISTOGRAMAS a preto e branco

LIMIAR FADE-IN CORTES DE CENA REAIS DETECTADOS VERDADEIROS

0,2 0,3

6 6

25 6

6 3

FADE-OUTs

0,4
0,5 0,6

6
6 6

4
3 3

3
2 2

CORTES DE CENA INTERVALOS LIMIAR REAIS DETECTADOS VERDADEIROS

0000-0100
MISTURA DE IMAGENS

0,4 0,4 0,4

0 0 0

9 8 7

9 8 7

0101-0200 0201-0300

0301-0450
0451-0500 0501-0600 0601-0700 0701-0800

0,4
0,4 0,4 0,4 0,4

0
0 0 0 0

34
6 17 22 13

34
6 17 22 13

HISTOGRAMAS a preto e branco

FADE-IN / FADE-OUTs LIMIAR = 0,3

HISTOGRAMAS a preto e branco

MISTURA DE IMAGENS Situao verificada com qualquer Limiar 0,98

HISTOGRAMAS a cores
LIMIARES Y FADE-IN Cb Cr REAIS CORTES DE CENAS DETECTADOS VERDADEIROS

0,2 0,2 0,2 0,2 0,2

0,4 0,4 0,4 0,3 0,31

0,3 0,4 0,2 0,2 0,2

6 6 6 6 6

4 3 4 8 7

3 2 3 5 5

FADE-OUTs

0,18
INTERVALOS

0,31

0,35
LIMIARES

6
CORTES DE CENAS

Cb

Cr

REAIS

DETECTADOS

VERDADEIROS

0000-0100
MISTURA DE IMAGENS

0,18 0,18 0,18

0,31 0,31 0,31

0,35 0,35 0,35

0 0 0

6 8 7

6 8 7

0101-0200 0201-0300

0301-0450
0451-0500 0501-0600 0601-0700 0701-0800

0,18
0,18 0,18 0,18 0,18

0,31
0,31 0,31 0,31 0,31

0,35
0,35 0,35 0,35 0,35

0
0 0 0 0

9
14 16 30 7

9
14 16 30 7

HISTOGRAMAS a cores
FADE-IN / FADE-OUTs Limiar Y=0,2 Cb=0,3 Cr=0,2

HISTOGRAMAS a cores
MISTURA DE IMAGENS Situao verificada em qualquer combinao de Limiares desde que Y 0,98; Cb 0,93; Cr 0,45

ASAD ; HIST P&B ; HIST CORES situao especial

FADE-IN / FADE-OUTs ASAD - Threshold de Luminncia 92 e
Threshold de Crominncia 0,89

HISTOGRAMAS P&B qualquer Limiar 0,82 HISTOGRAMAS a CORES qualquer combinao de Limiares desde que
Y 0,81 e Cb e Cr quaisqueres

No corte de cena. H uma variao grande de luminncia. Para evitar situaes destas em cortes de cenas falsos so detectados como verdadeiros, poderia passar-se o conjunto de frames detectados como cortes de cena por um algoritmo de deteco de contornos, se estes variassem pouco haveria grande probabilidade de esse conjunto de frames ser um corte de cena falso e ento no seria detectado.

CONCLUSO
O mtodo ASAD revelou-se 100 % eficiente em situaes de mistura de imagens e excepo da situao que foi vista atrs, tambm 100 % eficiente nos FADE-IN-FADE-OUTs O mtodo HISTOGRAMAS A CORES revelou-se pouco satisfatrio em situaes de mistura de imagens e razovel nas situaes de FADE-IN / FADE-OUTs. O mtodo HISTOGRAMAS A PRETO E BRANCO revelou-se muito pouco satisfatrio em situaes de mistura de imagens e de FADE-INFADE-OUTs.
Em resumo: ASAD MUITO BOM HISTOGRAMAS A CORES POUCO SATISFATRIO HISTOGRAMAS A PRETO E BRANCO PSSIMO