Академический Документы
Профессиональный Документы
Культура Документы
Teste A/B
2 EDIO
Guia do teste A/B
Na parte inferior, temos um boto que leva voc, automaticamente, de volta ao ndice. No
ndice voc pode clicar em cada captulo e ir diretamente para a parte do livro que quer ler.
Caso seu leitor de PDFs tenha uma rea de "Table of Contents", l mais um lugar por onde
voc pode navegar pelo contedo desse livro.
Como ltima dica, saiba que quando o texto estiver assim, quer dizer que ele um
link para uma pgina externa que vai ajudar voc a aprofundar o contedo. Sinta-se
vontade para clic-lo!
Boa leitura!
ir para o ndice 2
Guia do teste A/B
ndice
Introduo......................................................................................................................... 4
O que so testes A/B e como escolh-los...................................................................... 5
Por que os testes A/B so eficientes.....................................................................................5
Onde os testes A/B podem ser utilizados...........................................................................5
Quando devo fazer um teste A/B..........................................................................................6
O que testar................................................................................................................................6
Onde preciso tomar cuidado..............................................................................................6
Quando saber a hora de parar um teste.............................................................................7
Processo para realizao de Testes A/B......................................................................10
Passo 1: encontrar oportunidades de otimizao e prioriz-las................................ 10
Passo 2: modelagem e execuo........................................................................................ 12
Passo 3: registro dos aprendizados e implementao................................................. 14
12 boas prticas a seguir na hora de fazer um teste A/B..........................................15
Tutorial: como fazer no Google Optimize....................................................................19
Criando uma conta no Google Optimize.......................................................................... 19
Configuraes.......................................................................................................................... 20
Criando seu experimento A/B............................................................................................. 21
Configurando seu experimento.......................................................................................... 23
Aprendizados........................................................................................................................... 28
5 variveis que voc deve considerar ao fazer testes A/B no Facebook.................29
Estudos de caso: Resultados Digitais...........................................................................34
1. Aumento de 24% no CTR de um email......................................................................... 35
2. Aumento de 42% no CTR de um anncio.................................................................... 36
3. Aumento de 9,3% na taxa de converso de uma Landing Page............................ 37
Concluso........................................................................................................................38
Materiais Relacionados..................................................................................................39
Introduo
Um objetivo que temos sempre que produzimos algum material ajudar sua empresa
a crescer de alguma forma. No entanto, crescer sempre pensando em volume fica mais
difcil ao longo do tempo. Por isso, trabalhar de forma mais eficiente um dos cortes de
caminho que pode ajudar muito.
M
uitas vezes, simples mudanas no site, Landing Mostraremos de forma prtica como qualquer um
Pages, anncios e modelos de email podem pode comear hoje mesmo a colocar suas hipteses
dobrar os resultados em Leads e vendas. prova e aumentar os resultados a partir do mesmo
nmero de visitantes.
Pensando nisso, estamos lanando a 2 edio deste kit
sobre teste A/B! Nosso objetivo com ele trazer uma Como complemento a este eBook, oferecemos tambm
introduo consistente ao tema, passando por concei- uma calculadora de teste A/B, que far toda a parte
tos, boas prticas, tutoriais e novos estudos de caso da matemtica do experimento, deixando mais tempo para
prpria Resultados Digitais. voc se preocupar em planejar e executar os testes.
U
m dos testes mais conhecidos e eficientes o link em outro site) influenciarem a taxa de converso.
chamado Teste A/B, que consiste em criar duas Tudo isso torna o resultado muito mais confivel.
verses para determinada pea (Landing Page,
email, anncio etc.): a verso atual e uma desafiante,
com modificaes, para ento medir qual a verso
Onde os testes A/B
que apresenta maior eficincia. Para que o teste seja podem ser utilizados
considerado correto, ambas as verses so mostradas
para aproximadamente o mesmo nmero de pessoas. Uma das vantagens de utilizar testes A/B que eles
podem ser usados em diversos canais de comunicao
Nos testes A/B acontece o mesmo cenrio que vimos Se considerarmos o teste como completo, possvel
acima: h uma pgina com uma determinada taxa que, nas novas Landing Pages, sem o campo de telefone
conhecida de converso (controle) e outra pgina com no formulrio, a taxa de converso seja mais prxima
algum elemento que foi substitudo ou alterado (expe- do que era observada anteriormente e sua empresa
rimento), que queremos testar e descobrir se a taxa de perde uma informao interessante sem ganhar um
converso ou no maior. volume maior de converses em troca.
N
s da RD preferimos sempre manter o processo Esse achismo vlido nesse momento e pode inclusive
simples e bem documentado para ganhar agili- partir de um brainstorming com a equipe para levantar
dade e conseguir gerenciar um volume muito ideias de melhorias em qualquer mbito: pgina inicial
mais alto de testes simultaneamente, e garantir (se no do site, pgina de descrio de produto, pgina de
aumentar) a qualidade do trabalho. preos, blog, template de email etc.
Sendo assim, resumimos aqui em 3 passos nosso medida em que os testes vo acontecendo, essas
processo, os quais voc pode seguir para comear a oportunidades no ficam mais to bvias e ento
realizar testes: necessrio utilizar outras formas, como:
Aqui na Resultados Digitais, damos uma nota de 0 a A princpio, adicionar depoimentos de clientes pgi-
10 e tiramos a mdia para termos uma classificao. na de preos mais barato que mudar o processo
Cruzando as trs variveis com as ideias de testes levan- de checkout, porm os dois se equiparam no total. A
tadas, voc chega em um framework de priorizao deciso se vale a pena o custo dado que o impacto
como o do exemplo abaixo, realizado em uma Landing (potencial) ser maior. Feita a priorizao, partimos para
Page (nmeros fictcios): uma etapa muito importante: modelagem e execuo.
PASSO 2: modelagem
e execuo
A modelagem especialmente importante pois, caso
no seja feita corretamente, pode gerar um retrabalho
muito grande. Se isso acontecer, o custo que era X pode
acabar dobrando ou, pior ainda, fazer com que voc
no consiga mensurar os resultados no final, perdendo,
assim, alm de dinheiro, tempo.
Na Resultados Digitais ns usamos para a modelagem as duas Landing Pages) e Google Analytics (conduzir o superou o que voc levantou como sendo a hiptese
um documento simples do Google Drive contendo teste A/B e fornecer os resultados). do teste. Anote aqui as mtricas finais do experimento,
algumas informaes: aquelas que voc colocou como sendo as mtricas a
Workflow: Qual o passo a passo para implementao? serem acompanhadas e marque tambm se o teste foi
Hiptese: uma frase que resuma o objetivo do seu um sucesso ou se falhou.
teste. A hiptese significa entender onde voc est e Exemplo:
para onde quer chegar com esse teste. Um padro Aprendizados: mais do que melhorar uma pgina,
bom a seguir o mudando isso aqui, passaremos de 1. Criar Landing Page no RD Station com telefone necessrio saber por que isso aconteceu. No exemplo
X para Y. Exemplo: removendo o campo telefone do no formulrio; que usamos, fcil descobrir o motivo: as pessoas
formulrio das Landing Pages, passaremos de 30% de 2. Criar Landing Page no RD Station sem telefone consideram o telefone um campo sensvel e tm receio
taxa de converso para 45%. A hiptese, nesse caso, no formulrio; de fornec-lo, pensando que podero receber uma
importante para ter uma noo de resultados previstos 3. Caso ainda no tenha feito, criar uma meta de ligao indesejada a qualquer momento. Sem o campo,
para sua melhoria, auxilia a entender melhor seu foco converso no Google Analytics para saber quantos no h esse atrito.
e sua viso. Leads foram gerados em cada variao: sem essa
etapa, o teste no valer de nada, pois voc no ir Otimizaes: houve ainda alguma ideia que surgiu a
Mtricas a serem acompanhadas: so as mtricas saber qual variao teve a melhor converso - por partir desse teste? Por exemplo, se voc percebe que
que definiro o sucesso ou fracasso do teste. No caso isso a importncia da modelagem; removendo o campo telefone a converso aumenta, por
acima, para conseguir a taxa de converso as mtricas 4. Criar o experimento no Google Analytics e pegar o que no revisar os outros campos e ver quais so real-
acompanhadas sero visitantes e Leads de cada cdigo fornecido; mente necessrios ou sensveis a ponto de valer realizar
variao da pgina. 5. Colocar o cdigo fornecido pelo GA no RD Station; outro teste?
6. Iniciar experimento.
Pessoas envolvidas: quem responsvel pelo qu? Feita a modelagem, agora colocar a mo na massa
Exemplo: Fulano ser o dono do teste, responsvel por Acompanhamento: durante quanto tempo o teste e seguir tudo o que foi levantado na etapa anterior. O
model-lo, acompanh-lo e cobrar os demais envolvi- ficar no ar? bom tambm, alm do tempo, olhar principal foco aqui quanto ateno, para implemen-
dos; Beltrano ser o responsvel tcnico por remover o quantos visitantes dever ter em cada variao tar o experimento exatamente conforme o modelado.
campo do formulrio. Esse experimento, como algo para atingir um nvel de confiana satisfatrio. Na
fcil de fazer com a ferramenta correta, pode at ser nossa Calculadora de Teste A/B voc pode descobrir
todo conduzido por uma pessoa s. esse nmero.
Ferramentas envolvidas: quais ferramentas sero Resultados: a hiptese foi validada? Olhe novamente
usadas para o teste? No exemplo, RD Station (para criar o primeiro tpico do documento e veja se o resultado
Todo produto, servio ou contedo ser consumido Marketing Digital de alto nvel no tem espao para Taxa de cliques (CTR);
por algum. Conhecer esse algum o primeiro passo opinies pessoais. Por isso, a opinio do seu chefe, do Taxa de converso;
para voc desenhar a sua estratgia de otimizao seu vizinho ou a sua prpria opinio no tm valor se Taxa de abertura (no caso de emails);
de converso. no forem baseadas em experimentao. Quando Taxa de aproveitamento (no caso de Leads para MQL -
algum tiver uma opinio sobre o que melhorar, a sada Marketing Qualified Lead).
Mapear a jornada de compra dessa pessoa ir lhe dizer ser sempre testar.
como ela compra, por que ela compra e quando ela
compra. Uma vez feita essa anlise prvia, temos o que Por isso, preciso dar importncia e mais do que tudo Entre as ferramentas utilizadas para avaliar essas
preciso para pensar nas ofertas que gerem mais valor saber interpretar nmeros e tirar concluses sobre mtricas esto:
para esse grupo de usurios. os dados. necessrio ser orientado a mtricas, saber
que fundamental provar algo com dados estatsticos e Google Analytics;
tomar decises baseadas em informaes concretas. Google AdWords (para CTR);
Facebook Insights (para publicaes orgnicas);
Alm disso, importante no apenas considerar dados Gerenciador de Anncios do Facebook (para publica-
na hora de tomar decises, mas tambm saber quais es pagas);
dados e como medi-los. Por exemplo, se o seu obje- RD Station.
tivo aumentar a taxa de cliques de um email ou as
converses de uma pgina, quais dados so importan-
tes para o seu experimento? Quais ferramentas voc
precisar utilizar? essencial fazer esse levantamento,
tanto para realizar um teste confivel quanto para
3 Defina um intervalo 4 Estabelea uma meta para 5 Teste uma varivel por vez
de confiana adequado o sucesso do experimento
Ao testar apenas um elemento por vez, voc garante que
Quando trabalhamos com estatstica, precisamos Esta uma boa prtica que til de duas formas. A os impactos gerados pela mudana realmente tenham
sempre estabelecer um nvel de confiabilidade. Na primeira forma que, ao determinar o ganho esperado vindo daquele elemento. Por isso, mesmo que voc saiba
prtica, se falamos que o ndice de confiana de uma com aquela melhoria, possvel fazer um balano de que diversas mudanas podem gerar melhorias, quebre
alterao ser melhor de 80%, estamos dizendo que a priorizao melhor. Se for necessrio alocar muitas a sua hiptese em vrias fases e teste uma de cada vez
cada 10 aparies para um usurio, em mdia ela ser pessoas para um ganho pequeno, talvez nem valha a para evitar que algumas delas seja mal interpretada.
realmente melhor em 8 delas. pena fazer este experimento.
Um exemplo simples: quer tirar 3 campos do formul-
Nossa indicao trabalhar com 95% ou 99% de inter- Por exemplo, se vou precisar de 3 pessoas para testar rio? Tire um de cada vez e mea o impacto. Talvez s
valo de confiana. Esse intervalo muito importante uma hiptese que aumentar a taxa de converso um deles faa realmente diferena na converso.
pois ele um dos principais fatores que influenciam de uma pgina em 5%, e um segundo experimento
o volume de visitas que sero necessrias para provar s precisar de uma pessoa para aumentar a taxa de
que uma pgina realmente melhor que outra. converso na pgina nesses mesmos 5%, provvel
que seja melhor investir na segunda opo.
Configurando
seu experimento
Nesse tutorial, queremos validar o impacto do campo
telefone na taxa de converso de uma Landing Page.
Essa a modelagem inicial do nosso experimento:
Aprendizados
Varivel 1: imagem
Os publicitrios dizem e a cincia comprova: o primei-
ro ponto que as pessoas veem em um anncio a
imagem. Ela influencia bastante uma pessoa a continuar
ou no a ver o seu anncio. E a primeira varivel que
pode ser testada na otimizao da sua pea:
Varivel 2: texto do anncio Corpo (texto do post) de produto, depoimento, ndices de audincia ou esta-
tsticas de mdias sociais.
Um texto de anncio para o Facebook consiste em 3 O corpo do texto aquele lugar em que voc pode
partes: explorar um pouco mais sobre o que voc diz e como
voc diz em relao ao produto ou servio que est
Headline; anunciando. Essa mensagem deve ser consistente
Corpo do texto; e acompanhar a linha de raciocnio do headline e
Descrio. da descrio.
Resultados
AUMENTO DE 24,28%
Aprendizado
Apesar de o template ter mudado bastante, provamos
que mover o Call-to-Action para cima trouxe um aumen-
to significativo na quantidade de cliques.
Hiptese Aprendizado
A regra dos 100, de Jonah Berger, sugere que se o preo Ao utilizarmos o desconto absoluto, tivemos o dobro de
de um produto for menor do que R$ 100, voc deve vendas na campanha de cursos. Isso sugere que a regra
usar um desconto percentual quando fizer um abati- dos 100 funcionou em nosso experimento, aumentando
mento no preo. Exemplo: 25% de desconto. Mas, se o o ROI da campanha.
preo for acima de R$ 100, voc deve usar um desconto
absoluto. Exemplo: R$ 25 reais de desconto. Controle Variao
Resultados
Resultados
AUMENTO DE 9,3%
Concluso
O mais importante nos testes A/B que cada vari- Contudo, pense que cada melhoria realizada pode ser
vel deve ser testada por vez, e no todas ao mesmo potencializada quando aplicada em grande escala em
tempo, pois s assim possvel mensurar como cada suas aes de Marketing Digital.
elemento contribui.
Por isso, sempre que estiver na dvida sobre o impacto
No existe uma frmula para campanha perfeita que de qualquer detalhe nas suas converses, no deixe a
indique o que aumentar ou reduzir as converses de opinio prpria prevalecer: faa um teste A/B e deixe
uma Landing Page, email ou anncio, e a prova disso que os nmeros falem por voc.
so os pequenos detalhes que comentamos nesse texto
que podem fazer a diferena no sucesso de seu teste.
Veja aqui alguns dos nossos cases e perceba na prtica como o Marketing pode ser
aplicado na realidade!
Links teis:
Blog da Resultados Digitais Site do RDStation Nosso Facebook