Вы находитесь на странице: 1из 40

Guia do

Teste A/B
2 EDIO
Guia do teste A/B

Dicas para a leitura deste eBook


Ol! Este eBook um PDF interativo. Isso quer dizer que aqui, alm do
texto, voc tambm vai encontrar links, botes e um ndice clicvel.

Os botes no canto esquerdo superior de todas as pginas servem para compartilhar o


eBook em suas redes sociais favoritas. Se voc gostar do contedo, fique vontade para
compartilhar o material com seus amigos. :)

Na parte inferior, temos um boto que leva voc, automaticamente, de volta ao ndice. No
ndice voc pode clicar em cada captulo e ir diretamente para a parte do livro que quer ler.
Caso seu leitor de PDFs tenha uma rea de "Table of Contents", l mais um lugar por onde
voc pode navegar pelo contedo desse livro.

Como ltima dica, saiba que quando o texto estiver assim, quer dizer que ele um
link para uma pgina externa que vai ajudar voc a aprofundar o contedo. Sinta-se
vontade para clic-lo!

Esperamos que essas funes te ajudem na leitura do texto.

Boa leitura!

ir para o ndice 2
Guia do teste A/B

ndice
Introduo......................................................................................................................... 4
O que so testes A/B e como escolh-los...................................................................... 5
Por que os testes A/B so eficientes.....................................................................................5
Onde os testes A/B podem ser utilizados...........................................................................5
Quando devo fazer um teste A/B..........................................................................................6
O que testar................................................................................................................................6
Onde preciso tomar cuidado..............................................................................................6
Quando saber a hora de parar um teste.............................................................................7
Processo para realizao de Testes A/B......................................................................10
Passo 1: encontrar oportunidades de otimizao e prioriz-las................................ 10
Passo 2: modelagem e execuo........................................................................................ 12
Passo 3: registro dos aprendizados e implementao................................................. 14
12 boas prticas a seguir na hora de fazer um teste A/B..........................................15
Tutorial: como fazer no Google Optimize....................................................................19
Criando uma conta no Google Optimize.......................................................................... 19
Configuraes.......................................................................................................................... 20
Criando seu experimento A/B............................................................................................. 21
Configurando seu experimento.......................................................................................... 23
Aprendizados........................................................................................................................... 28
5 variveis que voc deve considerar ao fazer testes A/B no Facebook.................29
Estudos de caso: Resultados Digitais...........................................................................34
1. Aumento de 24% no CTR de um email......................................................................... 35
2. Aumento de 42% no CTR de um anncio.................................................................... 36
3. Aumento de 9,3% na taxa de converso de uma Landing Page............................ 37
Concluso........................................................................................................................38
Materiais Relacionados..................................................................................................39

voltar para o ndice 3


Guia do teste A/B

Introduo
Um objetivo que temos sempre que produzimos algum material ajudar sua empresa
a crescer de alguma forma. No entanto, crescer sempre pensando em volume fica mais
difcil ao longo do tempo. Por isso, trabalhar de forma mais eficiente um dos cortes de
caminho que pode ajudar muito.

M
uitas vezes, simples mudanas no site, Landing Mostraremos de forma prtica como qualquer um
Pages, anncios e modelos de email podem pode comear hoje mesmo a colocar suas hipteses
dobrar os resultados em Leads e vendas. prova e aumentar os resultados a partir do mesmo
nmero de visitantes.
Pensando nisso, estamos lanando a 2 edio deste kit
sobre teste A/B! Nosso objetivo com ele trazer uma Como complemento a este eBook, oferecemos tambm
introduo consistente ao tema, passando por concei- uma calculadora de teste A/B, que far toda a parte
tos, boas prticas, tutoriais e novos estudos de caso da matemtica do experimento, deixando mais tempo para
prpria Resultados Digitais. voc se preocupar em planejar e executar os testes.

voltar para o ndice 4


Guia do teste A/B

O que so testes A/B e como escolh-los


Algo que devemos ter sempre em mente que, embora existam as recomendaes e boas
prticas, cada empresa tem o seu prprio pblico com caractersticas peculiares, e que
somente com testes possvel ter certeza de fato de qual abordagem funciona melhor.

U
m dos testes mais conhecidos e eficientes o link em outro site) influenciarem a taxa de converso.
chamado Teste A/B, que consiste em criar duas Tudo isso torna o resultado muito mais confivel.
verses para determinada pea (Landing Page,
email, anncio etc.): a verso atual e uma desafiante,
com modificaes, para ento medir qual a verso
Onde os testes A/B
que apresenta maior eficincia. Para que o teste seja podem ser utilizados
considerado correto, ambas as verses so mostradas
para aproximadamente o mesmo nmero de pessoas. Uma das vantagens de utilizar testes A/B que eles
podem ser usados em diversos canais de comunicao

Por que os testes A/B que voc tenha com os usurios.

so eficientes Os mais comuns so anncios no Google AdWords e


em redes sociais (como Facebook e LinkedIn), Email
Os Testes A/B so ferramentas excelentes porque Marketing, Landing Pages e nas pginas de um site, mas
oferecem um feedback real de mercado, mensurado a possibilidade de aplicar testes A/B praticamente infi-
com preciso. No uma pesquisa simples em que nita. Na verdade, possvel faz-los inclusive em meios
algum pode responder uma coisa e fazer outra na offline, mas, neste eBook, vamos nos ater aos testes em
prtica: so fatos consolidados. meios digitais.

Como as diferentes verses so distribudas aleatoria-


mente em um mesmo espao de tempo, no h o risco
de fatores externos (como uma palestra ou um eventual

voltar para o ndice 5


Guia do teste A/B

Quando devo fazer Indicadores de confiabilidade (testemunhos,


certificados, provas sociais etc.);
um teste A/B Propostas de valor (qual o problema que do
visitante que ser resolvido).
Os testes A/B devem ser aplicados em situaes em
que h a necessidade ou o potencial de otimizar algu- Claro que os testes no se limitam a isso: possvel alte-
ma mtrica importante para a empresa, sejam acessos, rar a posio dos elementos, cores ou mesmo aspectos
aberturas, cliques, gerao de Leads etc. da prpria oferta (15 ou 30 dias de teste gratuito em um
software, por exemplo). No entanto, os itens que apre-
Por exemplo, se voc possui um email cuja taxa de sentamos anteriormente so bons pontos de partida.
cliques est muito baixa, ou uma Landing Page com
baixa taxa de converso, vale a pena criar uma segunda
verso para rodar um teste A/B e descobrir se a nova
Onde preciso tomar
verso tem um desempenho melhor. cuidado
O que testar J mencionamos no nosso blog que fazer testes A/B
um dos conselhos de especialistas que deve ser igno-
rado por iniciantes em Marketing Digital. Continuamos
De maneira geral, praticamente todos os elementos acreditando nessa opinio, e isso se deve basicamente
presentes em uma pgina, anncio ou email podem a dois motivos.
ou no alterar a taxa de converso. Contudo, existem
alguns que costumam, segundo nossos testes, ser mais O primeiro a necessidade de um bom volume de
sensveis e alterar mais os resultados de converso de acessos para que o teste seja vlido estatisticamente,
uma determinada pgina. So eles: coisa que poucas empresas iniciantes em Marketing
Digital conseguem ter. A falta de volume pode levar a
Ttulo (no caso de uma pgina ou anncio) ou decises prematuras e incorretas. Para calcular esse
assunto (no caso de um email); volume, utilizamos a Calculadora de Teste A/B da
Call-to-Action (botes para converso); Resultados Digitais.
Imagens ou vdeos;
Descries da oferta; E o segundo que, embora nos acostumemos a ver
Tamanho e campos do formulrio; palestras e estudos de caso mostrando melhoras na

voltar para o ndice 6


Guia do teste A/B

converso como se fossem algo simples, a verdade Intervalo de confiana o


que difcil encontrar variveis que realmente fazem
a diferena nos nmeros. Quase nunca relatado o grande heri (ou vilo)
que acontece com bastante frequncia: os experi-
mentos que fracassam, aqueles em que a diferena Imagine que voc queira testar se uma moeda ou no
na converso entre uma verso e outra no pode ser tendenciosa para jogar cara ou coroa. Teoricamente, se
considerada relevante. voc jogar essa moeda 200 vezes, metade das vezes
dever ser cara e metade coroa, certo?
Para algum que ainda tenha muitas coisas mais bsi-
cas e provadas para fazer no Marketing Digital da sua Voc ento resolve fazer o teste e observa que
empresa, pouco provvel que trabalhar com otimiza- tirou cara 116 vezes, ou 58% das vezes. Com esse
es tragam tanto resultado como o terminar de montar resultado, voc pode dizer, com confiana, que a
a sua estrutura. moeda tendenciosa?

Quando saber a hora de O chamado intervalo de confiana indica a probabili-


dade que a variao entre o controle (50% cara) e o
parar um teste experimento (58% cara) de fato representarem toda a
populao, ao invs de um segmento tendencioso (e
Como vimos, testes A/B so muito teis para identificar portanto irreal) escolhido por mera casualidade.
se variaes em uma pgina podem trazer melhores
resultados. Sejam essas variaes do texto, das imagens, No exemplo que demos, o resultado de 58% cara
do layout ou mesmo campos de um formulrio, o resul- possui um intervalo de confiana de aproximadamen-
tado final muitas vezes surpreendente. te 90%, ndice considerado baixo estatisticamente.
Significa dizer que existe 90% de chance de os resulta-
Embora durante o teste j seja possvel mensurar dos representarem de fato a realidade e no a influn-
resultados parciais e perceber que h uma diferena cia de algum acaso.
de resultados entre as variaes, um erro j tomar
essas informaes como verdadeiras. Muitas vezes os
resultados parciais podem no representar o compor-
tamento real de toda a populao e o teste no
confivel estatisticamente.

voltar para o ndice 7


Guia do teste A/B

Como funciona o intervalo de confiana na prtica


e por que voc deve tomar decises apenas quando tiver dados relevantes

Nos testes A/B acontece o mesmo cenrio que vimos Se considerarmos o teste como completo, possvel
acima: h uma pgina com uma determinada taxa que, nas novas Landing Pages, sem o campo de telefone
conhecida de converso (controle) e outra pgina com no formulrio, a taxa de converso seja mais prxima
algum elemento que foi substitudo ou alterado (expe- do que era observada anteriormente e sua empresa
rimento), que queremos testar e descobrir se a taxa de perde uma informao interessante sem ganhar um
converso ou no maior. volume maior de converses em troca.

Quando voc conduz um teste em uma Landing Page,


por exemplo, e conclui que a experincia foi positiva
mesmo com um baixo intervalo de confiana, deixa
margem para que a alterao v ao ar sem que os resul-
tados se mantenham no patamar esperado. Pior ainda,
pode ter informaes menos completas ou em volume
menor a troco de nada.

Por exemplo, considere que resolvemos testar uma


Landing Page com duas variveis: uma com formulrio
com o campo de telefone (A) e outra sem o campo de
telefone (B), e obtivemos o resultado ao lado.

Nesse cenrio, o teste no alcanou uma diferen-


a considerando 95% de confiana no houve
relevncia estatstica.

voltar para o ndice 8


Guia do teste A/B

J se a diferena entre as taxas de converso for ligeira-


mente maior, j possvel definir um vencedor.
No caso ao lado, com 99% de confiana.

Nesse caso, a Landing Page sem o campo de telefone


no formulrio (B) possui praticamente 100% de chance
de superar a pgina com o mesmo campo.

Os resultados acima e ao lado foram calculados


com nossa Calculadora de Teste A/B. Voc pode
acess-la gratuitamente neste link.

Em breve o RD Station tambm oferecer uma


ferramenta para voc realizar testes A/B. Para
conhecer mais sobre esse benefcio em primeira
mo, fale com a gente agora!

voltar para o ndice 9


Guia do teste A/B

Processo para realizao de Testes A/B


Existem diversas formas e processos de conduzir um teste A/B. Com uma breve pesquisa
no Google, possvel encontrar diversas metodologias, porm nem todas so simples para
quem est comeando.

N
s da RD preferimos sempre manter o processo Esse achismo vlido nesse momento e pode inclusive
simples e bem documentado para ganhar agili- partir de um brainstorming com a equipe para levantar
dade e conseguir gerenciar um volume muito ideias de melhorias em qualquer mbito: pgina inicial
mais alto de testes simultaneamente, e garantir (se no do site, pgina de descrio de produto, pgina de
aumentar) a qualidade do trabalho. preos, blog, template de email etc.

Sendo assim, resumimos aqui em 3 passos nosso medida em que os testes vo acontecendo, essas
processo, os quais voc pode seguir para comear a oportunidades no ficam mais to bvias e ento
realizar testes: necessrio utilizar outras formas, como:

PASSO 1: encontrar Pesquisa: leia blogs que falam de otimizao de


converso e procure estudos de caso e exemplos que
oportunidades de faam sentido para sua empresa;

otimizao e prioriz-las Benchmarking: converse com empresas parceiras


que tambm realizam testes (pode contar com a RD
Levantar hipteses de testes um passo com complexi- para isso) sobre os testes que voc est executando e
dade extremamente varivel. Para quem nunca realizou pergunte o que tem funcionado ou no;
testes, encontrar oportunidades pode ser muito fcil,
pois existem diversas otimizaes em locais que sabe- Anlise do trfego existente: a ferramenta de
mos que podem ser melhorados. Analytics da sua empresa uma fonte valiosssima de
informaes para encontrar ideias de teste A/B, basta
entender o trfego e saber identificar os gargalos.

voltar para o ndice 10


Guia do teste A/B

Falando um pouco mais sobre a anlise do trfego e Potencial


j pensando em priorizao, muitas pessoas pensam analisar a taxa de converso atual da pgina e pensar o
que o grosso do trfego na pgina inicial do site ou quanto ela pode aumentar com a hiptese levantada.
blog, porm quando olhamos o relatrio do Google difcil falar em bom senso, mas aqui necessrio, pois
Analytics vemos que no bem assim: preciso levar no podemos assumir com facilidade qual ser o impac-
em conta os templates, pginas que, mesmo diferen- to do teste sem antes realiz-lo, exceto quando temos
tes, possuem a mesma estrutura. alguma base de comparao. Portanto, pense no impac-
to como aumentando a converso em 20%, x Leads/
vendas a mais sero gerados em um determinado
Exemplo: um blog comum possui no mnimo perodo. Voc pode inclusive dar notas para as ideias
trs templates o template da pgina inicial, de testes para identificar aquelas com maior potencial
da pgina de categorias e da pgina de posts. de alavancagem;
Na maioria das vezes, se somarmos os acessos
de todos os artigos do blog (template de post), Importncia/impacto
o nmero de acessos vai superar o da pgina o quo importante para a empresa ser esse teste?
inicial (template da pgina inicial). Ele ter impacto direto nos resultados em vendas ou
alguma mtrica intermediria? Por exemplo, a impor-
tncia para um ecommerce em aumentar a converso
Ou seja, podem existir grandes melhorias a serem feitas na pgina de produto ter impacto direto nas vendas.
primeiramente na estrutura que ir afetar todos os Nesse caso mais importante para o negcio do que
posts e, pelo trfego ser maior, conseguir atingir rele- um teste que ser feito na pgina de recrutamento de
vncia estatstica de forma mais rpida. candidatos a uma vaga;

O exemplo anterior se torna ainda mais sensvel em Facilidade


um ecommerce: otimizar a pgina de produtos muitas aqui voc pode pensar em custo. Se voc tem que deci-
vezes melhor do que otimizar a pgina inicial, pois dir entre dois testes de mesmo potencial e importncia,
na pgina de produtos que acontece a compra. porm um custa 20 horas de um programador e outro
custa 2 horas, qual voc vai priorizar? Claro que existe
Sobre a priorizao, podemos quebr-la em trs vari- um balano e um teste no deve ser descartado apenas
veis fundamentais que, quando combinadas, nos do por essa varivel, porm existem melhorias mais fceis
um framework de priorizao. As variveis so: de serem aplicadas.

voltar para o ndice 11


Guia do teste A/B

Aqui na Resultados Digitais, damos uma nota de 0 a A princpio, adicionar depoimentos de clientes pgi-
10 e tiramos a mdia para termos uma classificao. na de preos mais barato que mudar o processo
Cruzando as trs variveis com as ideias de testes levan- de checkout, porm os dois se equiparam no total. A
tadas, voc chega em um framework de priorizao deciso se vale a pena o custo dado que o impacto
como o do exemplo abaixo, realizado em uma Landing (potencial) ser maior. Feita a priorizao, partimos para
Page (nmeros fictcios): uma etapa muito importante: modelagem e execuo.

PASSO 2: modelagem
e execuo
A modelagem especialmente importante pois, caso
no seja feita corretamente, pode gerar um retrabalho
muito grande. Se isso acontecer, o custo que era X pode
acabar dobrando ou, pior ainda, fazer com que voc
no consiga mensurar os resultados no final, perdendo,
assim, alm de dinheiro, tempo.

nessa etapa que vamos desenhar todo o experimento


para garantir que ele tenha um objetivo claro, seja bem
executado e medido. comum, na modelagem, desco-
brirmos que um teste que parecia fcil na verdade
bem complicado.
Nesse cenrio, j possvel tomar uma deciso sobre
o que testar primeiro: remover o campo de telefone da Alm disso, essa modelagem acaba servindo de hist-
Landing Pages. rico no futuro, pois contm todas as informaes mais
importantes do teste. Se voc for realizar um teste
Uma questo interessante que surge no framework parecido, saber exatamente qual o passo a passo a
relativo s tarefas que so ou no mais fceis seguir, quais as dificuldades que surgiram, recursos
que as outras. necessrios e tambm os resultados.

voltar para o ndice 12


Guia do teste A/B

Na Resultados Digitais ns usamos para a modelagem as duas Landing Pages) e Google Analytics (conduzir o superou o que voc levantou como sendo a hiptese
um documento simples do Google Drive contendo teste A/B e fornecer os resultados). do teste. Anote aqui as mtricas finais do experimento,
algumas informaes: aquelas que voc colocou como sendo as mtricas a
Workflow: Qual o passo a passo para implementao? serem acompanhadas e marque tambm se o teste foi
Hiptese: uma frase que resuma o objetivo do seu um sucesso ou se falhou.
teste. A hiptese significa entender onde voc est e Exemplo:
para onde quer chegar com esse teste. Um padro Aprendizados: mais do que melhorar uma pgina,
bom a seguir o mudando isso aqui, passaremos de 1. Criar Landing Page no RD Station com telefone necessrio saber por que isso aconteceu. No exemplo
X para Y. Exemplo: removendo o campo telefone do no formulrio; que usamos, fcil descobrir o motivo: as pessoas
formulrio das Landing Pages, passaremos de 30% de 2. Criar Landing Page no RD Station sem telefone consideram o telefone um campo sensvel e tm receio
taxa de converso para 45%. A hiptese, nesse caso, no formulrio; de fornec-lo, pensando que podero receber uma
importante para ter uma noo de resultados previstos 3. Caso ainda no tenha feito, criar uma meta de ligao indesejada a qualquer momento. Sem o campo,
para sua melhoria, auxilia a entender melhor seu foco converso no Google Analytics para saber quantos no h esse atrito.
e sua viso. Leads foram gerados em cada variao: sem essa
etapa, o teste no valer de nada, pois voc no ir Otimizaes: houve ainda alguma ideia que surgiu a
Mtricas a serem acompanhadas: so as mtricas saber qual variao teve a melhor converso - por partir desse teste? Por exemplo, se voc percebe que
que definiro o sucesso ou fracasso do teste. No caso isso a importncia da modelagem; removendo o campo telefone a converso aumenta, por
acima, para conseguir a taxa de converso as mtricas 4. Criar o experimento no Google Analytics e pegar o que no revisar os outros campos e ver quais so real-
acompanhadas sero visitantes e Leads de cada cdigo fornecido; mente necessrios ou sensveis a ponto de valer realizar
variao da pgina. 5. Colocar o cdigo fornecido pelo GA no RD Station; outro teste?
6. Iniciar experimento.
Pessoas envolvidas: quem responsvel pelo qu? Feita a modelagem, agora colocar a mo na massa
Exemplo: Fulano ser o dono do teste, responsvel por Acompanhamento: durante quanto tempo o teste e seguir tudo o que foi levantado na etapa anterior. O
model-lo, acompanh-lo e cobrar os demais envolvi- ficar no ar? bom tambm, alm do tempo, olhar principal foco aqui quanto ateno, para implemen-
dos; Beltrano ser o responsvel tcnico por remover o quantos visitantes dever ter em cada variao tar o experimento exatamente conforme o modelado.
campo do formulrio. Esse experimento, como algo para atingir um nvel de confiana satisfatrio. Na
fcil de fazer com a ferramenta correta, pode at ser nossa Calculadora de Teste A/B voc pode descobrir
todo conduzido por uma pessoa s. esse nmero.

Ferramentas envolvidas: quais ferramentas sero Resultados: a hiptese foi validada? Olhe novamente
usadas para o teste? No exemplo, RD Station (para criar o primeiro tpico do documento e veja se o resultado

voltar para o ndice 13


Guia do teste A/B

PASSO 3: registro Alm disso, mesmo se uma hiptese no for atingida (e


o teste for considerado falho), o resultado ainda pode
dos aprendizados ser bom. Por exemplo, se a hiptese era de que, remo-
e implementao vendo o campo telefone, a converso aumentaria em
50% e na verdade ela aumentou apenas 30%, o teste
no pode ser considerado ruim. 30% um aumento
Aps finalizar o teste, vem a etapa essencial para o grande e, mesmo tendo falhado, a remoo do campo
crescimento: o aprendizado. ainda pode ser implementada em todas as Landing
Pages, pois a converso ir aumentar.
Volte no documento onde foi modelado o teste e preen-
cha os resultados, aprendizados e otimizaes. Nesse caso, dizemos simplesmente que o teste foi mal
modelado e, apesar de ter falhado, o resultado foi bom
Como dito anteriormente, saber por que o experimento e deve ser implementado nas outras peas.
funcionou ou fracassou igualmente importante ao
resultado dele. Se no sabemos o que fez o experimen-
to funcionar, no conseguimos repetir. Se no sabemos Quer conhecer a nova ferramenta do RD Station
o que fez o teste dar errado, no podemos melhor-lo. que permitir realizar testes A/B? Ento converse
agora com a gente!
Uma etapa importante que muitas vezes esquecida
aplicar o experimento em macro escala. Como na
maioria das vezes os experimentos so aplicados em
microescala (em apenas uma pea (Landing Page, email,
anncio, pgina do site etc.), os resultados tendem a
ser pouco expressivos nos nmeros gerais. Mas, ao
expandir as descobertas e otimizaes para todo o site,
o efeito tende a ser muito relevante. Por exemplo: voc
fez um experimento cujo resultado foi gerar 10% a mais
de Leads em uma Landing Page, e isso resultou em 20
Leads. Pode no parecer muito, mas se voc tiver 70
Landing Pages e aplicar o experimento em todas, pode-
r gerar mais 1.400 Leads.

voltar para o ndice 14


Guia do teste A/B

12 boas prticas a seguir


na hora de fazer um teste A/B
1 Faa o bsico: 2 Seja data-driven evitar retrabalhos e desperdcio de tempo com mtricas
que no so interessantes para o experimento. Alguns
conhea seu pblico (louco por dados) exemplos das mtricas mais usadas em testes A/B:

Todo produto, servio ou contedo ser consumido Marketing Digital de alto nvel no tem espao para Taxa de cliques (CTR);
por algum. Conhecer esse algum o primeiro passo opinies pessoais. Por isso, a opinio do seu chefe, do Taxa de converso;
para voc desenhar a sua estratgia de otimizao seu vizinho ou a sua prpria opinio no tm valor se Taxa de abertura (no caso de emails);
de converso. no forem baseadas em experimentao. Quando Taxa de aproveitamento (no caso de Leads para MQL -
algum tiver uma opinio sobre o que melhorar, a sada Marketing Qualified Lead).
Mapear a jornada de compra dessa pessoa ir lhe dizer ser sempre testar.
como ela compra, por que ela compra e quando ela
compra. Uma vez feita essa anlise prvia, temos o que Por isso, preciso dar importncia e mais do que tudo Entre as ferramentas utilizadas para avaliar essas
preciso para pensar nas ofertas que gerem mais valor saber interpretar nmeros e tirar concluses sobre mtricas esto:
para esse grupo de usurios. os dados. necessrio ser orientado a mtricas, saber
que fundamental provar algo com dados estatsticos e Google Analytics;
tomar decises baseadas em informaes concretas. Google AdWords (para CTR);
Facebook Insights (para publicaes orgnicas);
Alm disso, importante no apenas considerar dados Gerenciador de Anncios do Facebook (para publica-
na hora de tomar decises, mas tambm saber quais es pagas);
dados e como medi-los. Por exemplo, se o seu obje- RD Station.
tivo aumentar a taxa de cliques de um email ou as
converses de uma pgina, quais dados so importan-
tes para o seu experimento? Quais ferramentas voc
precisar utilizar? essencial fazer esse levantamento,
tanto para realizar um teste confivel quanto para

voltar para o ndice 15


Guia do teste A/B

3 Defina um intervalo 4 Estabelea uma meta para 5 Teste uma varivel por vez
de confiana adequado o sucesso do experimento
Ao testar apenas um elemento por vez, voc garante que
Quando trabalhamos com estatstica, precisamos Esta uma boa prtica que til de duas formas. A os impactos gerados pela mudana realmente tenham
sempre estabelecer um nvel de confiabilidade. Na primeira forma que, ao determinar o ganho esperado vindo daquele elemento. Por isso, mesmo que voc saiba
prtica, se falamos que o ndice de confiana de uma com aquela melhoria, possvel fazer um balano de que diversas mudanas podem gerar melhorias, quebre
alterao ser melhor de 80%, estamos dizendo que a priorizao melhor. Se for necessrio alocar muitas a sua hiptese em vrias fases e teste uma de cada vez
cada 10 aparies para um usurio, em mdia ela ser pessoas para um ganho pequeno, talvez nem valha a para evitar que algumas delas seja mal interpretada.
realmente melhor em 8 delas. pena fazer este experimento.
Um exemplo simples: quer tirar 3 campos do formul-
Nossa indicao trabalhar com 95% ou 99% de inter- Por exemplo, se vou precisar de 3 pessoas para testar rio? Tire um de cada vez e mea o impacto. Talvez s
valo de confiana. Esse intervalo muito importante uma hiptese que aumentar a taxa de converso um deles faa realmente diferena na converso.
pois ele um dos principais fatores que influenciam de uma pgina em 5%, e um segundo experimento
o volume de visitas que sero necessrias para provar s precisar de uma pessoa para aumentar a taxa de
que uma pgina realmente melhor que outra. converso na pgina nesses mesmos 5%, provvel
que seja melhor investir na segunda opo.

A segunda forma que essa expectativa de melhoria


tambm um dos parmetros que ajudam a determinar
o volume de visitantes naquela pgina para provar que
ela realmente trouxe um ganho, por exemplo. Quanto
maior a expectativa de melhoria, menor a quantidade
de visitantes necessria para provar esse ponto (e mais
rpido o experimento).

voltar para o ndice 16


Guia do teste A/B

6 Teste as duas verses 7 Deixe clara sua 8 Faa LPs especficas


simultaneamente proposta de valor para cada campanha
(e cada termo)
Se voc monitora os seus resultados com frequncia, j D mais motivos para o sim do que para o no. O valor
deve ter percebido o quanto fatores externos podem que voc precisa entregar para as pessoas tem que ser
influenciar no seu negcio. Para evitar que esses fato- maior do que o preo do seu produto ou servio. Use o No caso das campanhas, ainda existe outra dica valiosa.
res influenciem o seu resultado, o ideal sempre fazer seu DNA de vendedor, mostre tudo que for necessrio As chamadas dos anncios no Google AdWords e dos
testes simultneos. para que o visitante conhea o seu produto e o compre. destaques na pgina de converso devem bater. As
razes so simples:
Por exemplo, muitas empresas rodam a verso alterada De novo: tudo o que for necessrio e nem uma vrgula a
por um perodo de tempo e comparam com o resultado mais. No adianta escrever um eBook sobre uma caixa de Ao clicar no anncio no Google, o usurio vai encontrar
histrico da pgina. E na prtica sabemos que algumas fsforo. Produtos simples e de baixo custo exigem infor- uma pgina que cobre exatamente o assunto pelo qual
semanas podem trazer resultados muito diferentes de maes simples e rpidas. Se o seu produto for inovador ele se interessou, mantendo uma experincia fluida e
outras devido sazonalidade, possveis feriados, poca e de alto valor agregado, no entanto, a sim voc precisar real. Alm disso, voc ir pagar menos por Custo por
do ano, situao do mercado em si etc. oferecer informaes mais detalhadas sobre ele. Clique (CPC) uma vez que um dos fatores que influen-
ciam no clculo desse custo a qualidade da sua
pgina de converso.

voltar para o ndice 17


Guia do teste A/B

9 Faa benchmarking 11 Comece pelos quick-wins/ 12 Documente tudo!


low-hanging fruits
Existem empresas fazendo experimentos de otimizao a parte chata, ns sabemos. Sabemos tambm que
de forma cientfica, mas muitas outras praticamente no comum, quando vamos comear a testar mudanas no essa obrigao implica em muito mais tempo necess-
sabem o que esto fazendo ou o que um teste A/B. nosso site, querermos ir direto naquela grande mudan- rio para fechar um experimento, mas sem dvidas voc
a, que voc acredita que ir dar muitos resultados. No pode v-lo como um investimento.
O mercado uma grande fonte de ideias, e essencial entanto, nossa orientao para comear pela outra
que voc esteja sempre de olhos abertos para encon- ponta, buscando oportunidades fceis e de curto prazo. medida que o seu time comear a rodar experimentos
trar novos testes que faam sentido para o seu neg- em maior volume, conhecer o que j foi feito, como foi
cio, mas cuide para no replicar erros alheios sem o Isso porque, para quem est comeando, h sempre feito e os resultados trazidos importantssimo para
devido questionamento. uma srie de pequenas mudanas que podem ser sabermos o que otimizar e para evitar a repetio de
implementadas praticamente sem custo, e que juntas erros j cometidos.

10 Pense na converso traro resultados rapidamente.

antes da beleza Seja o primeiro a usar a nova ferramenta do


RD Station de teste A/B! Saiba mais sobre ela
O Brasil o pas dos sites mais bonitos do mundo. Isso falando com a gente.
um grande problema pois a esttica no est asso-
ciada funcionalidade, que o que realmente importa
nos sites. Deixe a pintura de Monet para pendurar na
parede e acesse o Google, a Wikipdia, o Facebook ou o
eBay. Eles iro mostrar o que realmente importa.

voltar para o ndice 18


Guia do teste A/B

Tutorial: como fazer no Google Optimize


O Google Optimize uma ferramenta do Google que permite realizar testes A/B e
personalizaes. Atualmente, a ferramenta possui uma verso gratuita, mas a verso mais
avanada, o Google Optimize 360, paga. Como a ferramenta ainda est em sua verso
beta, est disponvel apenas em ingls.

Criando uma conta no Create Account


Google Optimize
Aps acessar a sua conta, voc ser redirecionado para
Acesse o site do Google Optimize neste link. Clique no o ambiente da ferramento do Google Optimize.
boto Sign Up e acesse o Google Optimize com sua
conta Google. Entenda como funciona: o Google Optimize orga-
niza o ambiente interno em um sistema de Contas.
Geralmente uma Account est relacionada a uma
empresa. J o Container est inserido dentro da sua
Account e representa o domnio do seu site.

Finalizando essa primeira etapa e segunda etapa, voc


ser redirecionado para um novo ambiente para as
configuraes finais do Optimize.

voltar para o ndice 19


Guia do teste A/B

Configuraes Install Optimize snippet

Para realizar seu teste A/B, atualize ou insira o cdigo


Link to Google Analytics snippet fornecido pelo Optimize nas pginas que voc
deseja realizar um teste.
Nessa parte o Google Optimize ser integrado ao seu
Google Analytics. Essa etapa necessria para voc acom- Por exemplo, se voc utiliza o RD Station, acesse as
panhar o trfego e as converses geradas em seus testes. configuraes da sua Landing Page, v em aparncia
e insira o cdigo fornecido no Body do JavaScript. O
Para integrar o Analytics com o Optimize, clique no Google recomenda que voc insira o cdigo no topo
boto Link Property e selecione a conta do Google do cdigo HTML <HEAD> da sua pgina. No caso do RD
Analytics que est atrelada ao seu site. Station, coloque o cdigo no topo do JavaScript Body.

O Google tambm recomenda voc utilizar um script


extra, o page hiding snippet, que basicamente serve
para remover oscilaes e otimizar o carregamento
da pgina. Insira esse cdigo abaixo do cdigo do seu
Google Analytics.

voltar para o ndice 20


Guia do teste A/B

Google Optimize Extension Criando seu experimento


A/B
Para poder realizar modificaes no visual ou no copy
da sua landing page, instale a extenso do Google Agora j possvel iniciar seu experimento. Para isso, v
Optimize no seu navegador Chrome. Essa extenso em Create Experiment, d um nome e crie uma breve
vai permitir voc realizar as modificaes nas pginas descrio sobre seu experimento. Aps isso insira a URL
que voc deseja testar. da pgina que voc deseja testar e ento selecione o
tipo de experimento que voc deseja realizar.

voltar para o ndice 21


Guia do teste A/B

O Google Optimize permite voc realizar trs tipos de Redirect Tests


teste, veja abaixo quais so:
O Google Optimize tambm possui uma opo para
Teste A/B testes A/B utilizando redirect. Por exemplo, se voc j
criou duas verses de uma Landing Page ou possui uma
Nesse modo voc define qual Landing Page ser testada Landing Page diferente e deseja comparar o desempe-
e o Google Optimize ir criar uma nova verso dessa nho entre essas pginas, possvel configurar na verso
mesma pgina. Se esse seu primeiro teste A/B, reco- de redirect a distribuio do trfego entre essas duas
mendamos utilizar essa opo. Nesse modo voc ir pginas e comparar o resultado delas.
realizar um teste de apenas uma variao, comparando
ento sua verso original com a verso desafiante. Esse
modo de teste recomendado para pginas que no Dica
possuem um volume alto de acesso. Priorize as Landing Pages com maior volume
de acessos e converses;
Multivariate tests Faa teste A/B nas suas Landing Pages
de mdia paga com objetivo de melhorar
Ideal para pginas com muitos acessos. No modo multi- sua eficincia.
variate tests possvel modificar diversos elementos em
uma pgina ao mesmo tempo, comparando todas as
modificaes de uma s vez. Por exemplo, se realizarmos
duas modificaes no boto de um CTA e outras duas
modificaes no texto da pgina, significa que teremos
9 variaes de testes que sero analisadas. Por isso
recomendamos que esse modelo de teste seja utilizado
apenas em pginas com um alto volume de acesso.

voltar para o ndice 22


Guia do teste A/B

Configurando
seu experimento
Nesse tutorial, queremos validar o impacto do campo
telefone na taxa de converso de uma Landing Page.
Essa a modelagem inicial do nosso experimento:

Hiptese Mtricas analisadas

Inserindo o campo telefone na Landing Page desafiante, Taxa de converso


esperamos uma queda de 20% na taxa de converso. Taxa de qualificao

Workflow Pessoas envolvidas

Selecionar Landing Page com alto volume de trfego; Analista de Marketing


Duplicar verso desafiante no RD Station e inserir Analista de Email Marketing
campo telefone;
Configurar o redirect test no Optimize; Tempo estimado
Alinhar disparo de campanha de email
com especialista; 5 semanas
Acompanhar resultados. X

voltar para o ndice 23


Guia do teste A/B

Com a modelagem completa podemos iniciar


nosso experimento. Para isso, dentro da ferramen-
ta do Google Optimize selecione a opo Create
Experiment. Defina o nome ou uma breve explicao
do experimento.

Conforme a modelagem, esse experimento ser feito


utilizando a opo Redirect test.

Na pgina da configurao do experimento, selecione


a opo Add Variant e insira a URL da sua Landing
Page desafiante.

voltar para o ndice 24


Guia do teste A/B

Aps essa etapa, configure os objetivos do seu experi-


mento. Os objetivos esto relacionado com suas metas
no Google Analytics. Veja nesse post como configurar
suas metas no Google Analytics. Adicione uma descri-
o mais completa sobre seu experimento tambm.
Aqui geralmente inserido a hiptese formulada
do experimento.

Na opo Targeting possvel realizar alguns ajus-


tes no experimento, como, por exemplo, o ajuste no
trfego entre as pginas ou condies de seleo da
pgina. Para esse tutorial iremos manter as configura-
es padres, 50% de trfego para verso Original e os
outros 50% do trfego para a verso Desafiante.

Pronto. Seu experimento de redirect est configurado.


Antes de iniciar seu experimento, clique em no boto
Preview nas verses Original e Desafiante para assegu-
rar que os links esto corretos e funcionais. Aps isso,
clique em Save e ento, em Start Experiment.

voltar para o ndice 25


Guia do teste A/B

Analisando seu experimento

Recomendamos que nos primeiros dias de teste voc


faa um acompanhamento dirio e, ento, semanal do
desempenho do seu experimento. No nosso tutorial,
estimamos a nossa amostra e tempo necessrio utili-
zando a calculadora gratuita de teste A/B.

O Google Optimize divide a sesso de anaise em 5 etapas:

1. Experiment Sessions: aqui voc ir acompa-


nhar o trfego total para seu experimento. Aps o
termino do experimento voc tambm ver qual
foi o vencedor, de quanto foi a melhoria e a valida-
de estatstica da melhoria.

2. Improvement Overview: aqui onde voc


acompanha o desempenho do seu teste.
Para nosso caso ser a diferena entre a
taxa de converso da Landing Page original
versus a desafiante.

voltar para o ndice 26


Guia do teste A/B

3. Goal completion: aqui voc tem uma viso geral


do desempenho durante seu experimento.

Improvement: Acompanhe a diferena nas


taxas de converso;
Probability to be best: a probabilidade de
que a Landing Page tem o melhor desempenho
em converso;
Probability to beat baseline: a sua validade
estatstica, necessria para afirmar o vencedor;
Conversion rate: nessa parte possvel
acompanhar o desempenho da sua taxa de
converso. O grfico interativo e mostra o
desempenho em percentil. O percentil diz quais
so as taxas de converso nos pontos mnimos,
mdios e mximos do seu experimento.

4. Conversion rate over time: a parte mais legal


da anlise. Aqui possvel acompanhar o desem-
penho do seu experimento ao longo do tempo. As
linhas mostram o desempenho da converso e os
pontos mnimos e mximos da converso do dia.

voltar para o ndice 27


Guia do teste A/B

Aprendizados

Recomendamos que voc anote os aprendizados


obtidos durante o experimento. Voc pode fazer isso
utilizando a nossa planilha de controle de experimentos.
Clique aqui para baixar.

Conhea em primeira mo a nova ferramenta de


teste A/B do RD Station! Converse com a gente!

voltar para o ndice 28


Guia do teste A/B

5 variveis que voc deve considerar ao


fazer testes A/B em anncios no Facebook
Como dissemos, testes A/B podem ser usados em diversas mdias, e a quantidade de
variveis a serem alteradas enorme. Contudo, no caso do Facebook, existem 5 que
possuem especial relevncia. So elas:

Varivel 1: imagem
Os publicitrios dizem e a cincia comprova: o primei-
ro ponto que as pessoas veem em um anncio a
imagem. Ela influencia bastante uma pessoa a continuar
ou no a ver o seu anncio. E a primeira varivel que
pode ser testada na otimizao da sua pea:

Use cores diferenciadas


Existem vrios estudos que falam sobre o poder das
cores e como elas influenciam em um processo de venda.

Um anncio que possui diversas cores em um mesmo


lugar mais efetivo que um outro que tenha menos
cores? Teste!
O uso de mais cores no segundo anncio pode aumentar as
chances de atrair mais pessoas para o clique nele.

voltar para o ndice 29


Guia do teste A/B

Use rostos de pessoas

Imagens de rostos de pessoas podem ser efetivas para


chamar a ateno das pessoas?

Geralmente o que observamos de alguns bancos de


imagem que o uso de homens e mulheres atrativos
e crianas sorridentes o suficiente para capturar o
interesse das pessoas para o seu texto. Entretanto, nem
sempre essas imagens vo fazer sentido para o seu
negcio, e em algumas situaes sero at irrelevantes.

As imagens abaixo fazem o uso de rostos humanos que


so reais e no apenas situaes criadas para abastecer
bancos de imagens:

voltar para o ndice 30


Guia do teste A/B

Varivel 2: texto do anncio Corpo (texto do post) de produto, depoimento, ndices de audincia ou esta-
tsticas de mdias sociais.

Um texto de anncio para o Facebook consiste em 3 O corpo do texto aquele lugar em que voc pode
partes: explorar um pouco mais sobre o que voc diz e como
voc diz em relao ao produto ou servio que est
Headline; anunciando. Essa mensagem deve ser consistente
Corpo do texto; e acompanhar a linha de raciocnio do headline e
Descrio. da descrio.

Headline O ideal sempre manter a objetividade, com clareza


nas ideias e no produto/servio que ser oferecido.
Na maioria das vezes a utilizao de menos palavras
Depois da imagem, a headline de 25 caracteres um no corpo do texto, significa um maior entendimento e
dos fatores que mais chamam a ateno no anncio. retorno por parte de quem vai clicar no seu anncio.
Voc pode iniciar com um headline atraente, o qual
capture a ateno das pessoas logo aps elas verem a
imagem. Depois voc pode explorar o corpo do texto,
quando voc explica a oferta, para finalmente adicionar
Descrio (texto abaixo da
mais detalhes na descrio do link (texto que vem logo headline)
abaixo do headline).
Essa a parte onde voc justifica melhor o seu headline.
Escreva headlines que sejam fortes e atraentes, e que Apesar de ter a menor fonte dentre as outras partes do
sejam desafiadoras, incitando at mesmo pessoas que anncio, se possuir erros, eles sero bem perceptveis.
escrevem com maior naturalidade a olharem para o seu
anncio. Testar essa varivel no incio de suas campa- Algumas ideias para uma descrio criativa so:
nhas far com que se tenha uma hiptese mais clara de
quais caminhos devem ser seguidos na otimizao de Prova social: use a prova social dos seus fs/seguido-
uma campanha. res para influenciar no processo de deciso de compra
da pessoa que ver o seu anncio. Pode ser um review

voltar para o ndice 31


Guia do teste A/B

Autoridade: associe o seu produto com algum conhe-


cido ou referncia no assunto. Credibilidade importante
e faz toda a diferena para quem ainda est na dvida.

Urgncia/escassez: ningum quer perder uma boa


condio de fechamento de venda. Combinar isso com
o senso de urgncia, gerando o princpio de escassez
faz com que mais pessoas tomem algum tipo de ao.

voltar para o ndice 32


Guia do teste A/B

Varivel 3: botes de CTA Varivel 4: interesses Varivel 5: localizao do


anncio
O Facebook d algumas opes interessantes de botes No so apenas as caractersticas diretas de um ann-
de chamada para a ao (CTAs). So eles: cio que iro mostrar o que precisa ser otimizado. Os A coluna direita funciona melhor do que a linha do
recursos de interesse na segmentao do Facebook tempo para anunciar na rede social do Zuckerberg? S
Reservar agora; Ads podem trazer anlises que mudam o rumo de possvel saber atravs de testes.
Usar aplicativo; uma campanha.
Fale conosco; O Facebook possui diversas opes de localizao de
Jogar; O Facebook mede interesses baseado em: anncios, e cabe a voc entender qual a melhor forma
Comprar agora; de utiliz-los.
Cadastre-se; Interesses listados;
Assistir vdeo. Atividades; Se voc est usando a mesma configurao de anncio
Educao e cargos; na rede h muito tempo e as mtricas esto caindo,
O teste entre um anncio que no possui CTA, com Pginas (fan pages) que as pessoas curtem; talvez seja a hora de mudar o local em que ele aparece.
algum que possua um cadastre-se ou comprar agora Aplicativos que as pessoas usam; Se a pgina de destino no responsiva, no h moti-
pode trazer diferentes resultados e ideias para novas Grupos que elas participam. vos para escolher a linha do tempo mobile.
aes nas campanhas, visando aumentar o ROI (retorno
sobre o investimento). Nmero de cliques, converses e Para ter uma estratgia poderosa necessrio fazer
outros KPIs dos Calls-to-Action podem ser um teste de testes e mais testes. Basear somente no que achamos O RD Station lanar em breve sua nova ferra-
eficincia a mais para a sua publicidade. pode fazer com que o dinheiro gasto com essa mdia menta de teste A/B, para que voc otimize
paga traga menos retorno do que o esperado. ainda mais suas converses. Quer saber mais
sobre ela? Ento fale com a gente!
Saiba mais sobre as possibilidades de chama-
das para ao no post Facebook: boto Call-to-
Action na Fan Page.

voltar para o ndice 33


Estudos de caso: Resultados Digitais
Para voc ver na prtica como um teste A/B pode trazer bons resultados,
compartilhamos alguns testes que fizemos na Resultados Digitais.

voltar para o ndice


Guia do teste A/B

1. Aumento de 24% no CTR de um email

Hiptese Nossa suposio foi de que, facilitando a ao, a tomada


de deciso acontece mais rapidamente e o Lead que
O Call-to-Action do template controle fica under the no leria todo o texto e nem rolaria a tela pde ter aces-
fold, ao final de todo o texto, e varia entre 15% e 20%. so ao material de forma mais rpida.
Movendo o Call-to-Action para cima, o CTO (cliques /
aberturas) ir aumentar em 20%. Controle Variao

Resultados

CTO do template Controle: 16,96%


CTO do template Variao: 21,07%

AUMENTO DE 24,28%

Aprendizado
Apesar de o template ter mudado bastante, provamos
que mover o Call-to-Action para cima trouxe um aumen-
to significativo na quantidade de cliques.

voltar para o ndice 35


Guia do teste A/B

2. Aumento de 42% no CTR de um anncio

Hiptese Aprendizado
A regra dos 100, de Jonah Berger, sugere que se o preo Ao utilizarmos o desconto absoluto, tivemos o dobro de
de um produto for menor do que R$ 100, voc deve vendas na campanha de cursos. Isso sugere que a regra
usar um desconto percentual quando fizer um abati- dos 100 funcionou em nosso experimento, aumentando
mento no preo. Exemplo: 25% de desconto. Mas, se o o ROI da campanha.
preo for acima de R$ 100, voc deve usar um desconto
absoluto. Exemplo: R$ 25 reais de desconto. Controle Variao

Com base nessa regra, criamos uma hiptese de utilizar


o desconto de um produto em valor absoluto (-R$ 299)
em vez do valor percentual (-60%) para otimizar o CTR
das campanhas de cursos online em 20% e, com isso,
aumentar o nmero de vendas.

Resultados

Banner A (percentual): 2 vendas


Banner B (absoluto): 4 vendas

AUMENTO DE 2 VEZES NO ROI (retorno sobre o


investimento) DA CAMPANHA.

voltar para o ndice 36


Guia do teste A/B

3. Aumento de 9,3% na Aprendizado Se voc tambm quer realizar testes A/B


de maneira simples, que tal experimentar a
taxa de converso de uma nova ferramenta do RD Station para testes
Landing Page A Landing Page com nova identidade 9,3% melhor que A/B? Converse com a gente e melhore suas
a identidade anterior. Embora tenhamos confirmado taxas de converso!
nossa hiptese, consideramos que a nova identidade
no interferiu significativamente. Ou seja, este resultado
Hiptese no to relevante para as taxas de converso.

A pgina de trial criada com a nova identidade visual


possui uma taxa de converso melhor ou igual pgina Controle Variao
de trial antiga.

Resultados

Controle: 2,16% de converso


Variao: 2,36% de converso

AUMENTO DE 9,3%

voltar para o ndice 37


Guia do teste A/B

Concluso
O mais importante nos testes A/B que cada vari- Contudo, pense que cada melhoria realizada pode ser
vel deve ser testada por vez, e no todas ao mesmo potencializada quando aplicada em grande escala em
tempo, pois s assim possvel mensurar como cada suas aes de Marketing Digital.
elemento contribui.
Por isso, sempre que estiver na dvida sobre o impacto
No existe uma frmula para campanha perfeita que de qualquer detalhe nas suas converses, no deixe a
indique o que aumentar ou reduzir as converses de opinio prpria prevalecer: faa um teste A/B e deixe
uma Landing Page, email ou anncio, e a prova disso que os nmeros falem por voc.
so os pequenos detalhes que comentamos nesse texto
que podem fazer a diferena no sucesso de seu teste.

Para muitas pessoas difcil acreditar que alterar um


nico elemento seja capaz de fazer tanta diferena.

voltar para o ndice 38


Materiais Relacionados
Se voc gostou deste eBook, acreditamos que voc tambm vai gostar desses:

ebook planilha kit ebook

19 experimentos Controle de Como comear a fazer O guia definitivo


de Growth Hacking Experimentos Growth Hacking de verdade do Growth Hacking

Ler agora Usar agora Acessar agora Ler agora

voltar para o ndice


A Resultados Digitais tem como objetivo ajudar empresas de todos os portes a entender
e aproveitar os benefcios do Marketing Digital, conseguindo assim resultados reais e
permanentes para os seus negcios.

Veja aqui alguns dos nossos cases e perceba na prtica como o Marketing pode ser
aplicado na realidade!

Conhea mais materiais educativos

Links teis:
Blog da Resultados Digitais Site do RDStation Nosso Facebook

Вам также может понравиться