SOBRE

PVALOR, SIGNIFICNCIA ESTATSTICA E IMPORTNCIA

Ademir J. Petenate
EDTI Anlise de Dados e Melhoria de Processos
NEMO Ncleo de Estudos em Melhoria Organizacional

Sempre que leciono sobre experimentos fatoriais me deparo com uma dificuldade: convencer
os alunos que o pvalor calculado pelos softwares estatsticos deve ser analisado com muito
cuidado. Na realidade, eu os oriento a, em geral, ignorlos, principalmente em fatoriais de
resoluo III. Minha sugesto , no caso do MINITAB, por exemplo, trocar o nvel de
significncia default de 0.05 para 0.99 para que a linha vermelha que aparece no grfico de
Pareto dos Efeitos correspondendo ao nvel de significncia escolhido fique encostada no eixo
Y ou que o grfico probabilstico Normal dos efeitos identifique todos os efeitos. Dessa forma,
responsabilidade do analista decidir o que fazer em seguida (o que considerar significante).
No tarefa fcil, dada a prtica disseminada de usar o nvel de significncia de 5% (ou 1% ou
10%) para decidir o que significante. Ao usar essa abordagem, podem se perder
oportunidades fantsticas de aprendizado e de melhorar processos.
Box (1990) relata um experimento fatorial 23 realizado por Christer Hellstrand, exaluno de
psgraduao da University of Wisconsin. O objetivo inicial era realizar um experimento
comparativo de dois projetos da gaiola de rolamento na produo de rolamentos. Os nveis
eram o projeto atual e uma modificao que apresentava reduo no custo de fabricao. A
varivel resposta era a durabilidade do rolamento.

Figura 1: Rolamento

A durao seria medida por meio de um teste acelerado.

O plano inicial dos engenheiros era produzir quatro rolamentos com a gaiola atual e quatro
com gaiola modificada. Christer perguntou aos engenheiros se no haveria outros fatores que
eles gostariam de testar. Eles disseram que sim, mas no havia recursos para a execuo de
corridas experimentais alm das oito planejadas. Christer mostrou como usar o fatorial 23
para incluir dois fatores adicionais sem aumentar o custo do experimento. Os fatores
1

adicionais foram tratamento trmico com dois nveis e o anel externo do rolamento com dois
nveis.
O plano experimental proposto (na ordem cannica) com as respostas obtidas est na tabela 1
(os nveis esto codificados, sendo o nvel () o atual).
Tabela 1: Plano Experimental

Anel Externo Gaiola Trat Term Tempo de vida

1
1
1
17
1
1
1
25
1
1
1
19
1
1
1
21
1
1
1
26
1
1
1
85
1
1
1
16
1
1
1
128

No MINITAB, o grfico de Pareto dos efeitos obtido com nvel de significncia de 5% (default)
est na figura 2
Grfico de Pareto dos Efeitos
(resposta Tempo de vida, Alfa = 0.05)
83.28
F actor
A
B
C

A
C

N ame
A nel E xt
G aiola
Trat Term

Termos

AC
ABC
AB
BC
B
0

10

20

30

40
50
Efeito

60

70

80

90

Lenth's PSE = 22.125

Figura 2: Pareto dos Efeitos

O ponto de corte (linha vermelha) correspondente ao nvel de significncia escolhido

calculado de acordo com proposta de Lenth (1989).
Ajustando o modelo com efeitos principais e interaes de 2 fatores (usando o quadrado
mdio da interao dos trs fatores como resduo) obtmse a seguinte tabela ANOVA:

Tabela 2: Tabela ANOVA dos Efeitos

Factorial Fit: Tempo de vida versus Anel Ext; Gaiola; Trat Term
Estimated Effects and Coefficients for Tempo de vida (coded units)
Term
Constant
Anel Ext
Gaiola
Trat Term
Anel Ext*Gaiola
Anel Ext*Trat Term
Gaiola*Trat Term

Effect
45.250
7.750
43.250
11.750
40.250
8.750

Coef
42.125
22.625
3.875
21.625
5.875
20.125
4.375

SE Coef
7.375
7.375
7.375
7.375
7.375
7.375
7.375

T
5.71
3.07
0.53
2.93
0.80
2.73
0.59

P
0.110
0.201
0.692
0.209
0.572
0.224
0.659

Se o nvel de significncia de 5% (ou mesmo 10%) for utilizado para decidir sobre quais
efeitos ou interaes so significantes a concluso que nenhum efeito ou interao
significante, o que, se fosse verdade, seria um resultado til, visto que abriria a possibilidade
de usar o novo projeto de gaiola na fabricao com reduo de custos.
O grfico de Pareto dos efeitos com nvel de significncia de 0.99 est na figura 3. Os efeitos
principais de A e C e a interao AC se destacam.
Grfico de Pareto dos Efeitos
(resposta Tempo de vida, Alfa = 0.99)
0.31
F actor
A
B
C

A
C

N ame
A nel E xt
G aiola
Trat Term

Termos

AC
ABC
AB
BC
B
0

10

20

30

40

50

Efeito
Lenth's PSE = 22.125

Figura 3: Pareto dos Efeitos com nvel de significncia 0.99

Um exame cuidadoso na tabela de dados mostra um resultado surpreendente. O tempo de

vida nas novas condies (+,+,+) 7.5 vezes maior que na condio original.
Ignorando o pvalor como critrio de deciso do que significante e prosseguindo na anlise
com os trs maiores efeitos (A. C e AC), o grfico da interao entre A e C (figura 4) mostra
exatamente o que se pode deduzir da prpria tabela. A combinao dos nveis (+) de A (Anel
Externo) e (+) de C (Tratamento Trmico) so responsveis pelo aumento no tempo de vida. O
fator de interesse inicial (Cage) no tem impacto relevante no tempo de vida, o que nesse caso
um bom resultado, visto que a nova condio reduz custo sem impactar negativamente no
tempo de vida.
3

Grfico da Interao para Tempo de vida

Mdias
110

A nel
Ext
-1
1

100
90

Mdia

80
70
60
50
40
30
20
-1

1
Trat Term

Figura 4: Grfico da interao de Trat Term x Anel Ext

Nessas situaes importante testar a receita proposta pelo experimento para verificar se
os resultados obtidos se confirmam. No caso em particular, a receita foi implementada com
substancial reduo de custo e melhoria na qualidade (durao).
Alguns aprendizados importantes desse experimento:
1) Experimentos fatoriais 2n (em particular 23) so relativamente simples de analisar;
2) No necessrio usar ANOVA, pvalor, relao sinal rudo ou qualquer outro tipo de
tcnica para analisar o experimento.
3) Como mostra o exemplo apresentado, o uso do pvalor como critrio de deciso pode
ser contraproducente e induzir o experimentador a perder oportunidades de
aprendizado e melhoria.
Referncias
Box, G. E. P. (1990) Do Interactions Matter?, Quality Engineering, 2(3), 365369.
R.V. Lenth (1989). Quick and Easy Analysis of Unreplicated Factorials, Technometrics, 31, 469
473.