7 erros que você pode cometer na hora de fazer testes A/B em e-mails

E-mail é um canal fantástico para atrair, conquistar e fidelizar os clientes, sem dizer que ele ainda ajuda a gerar conversões recorrentes. Mas há um problema – é realmente difícil acertar o formato certo do e-mail de primeira.

O que você considera um assunto chamativo, os destinatários podem ver como um fracasso. Um CTA que você acredita que faria seus leitores clicarem, pode estimular zero ação na prática.

É por isso que é importante fazer testes A/B em e-mails para encontrar novas técnicas ou elementos que melhorem suas conversões.

Infelizmente, muitos empreendedores ignoram as regras básicas de testes A/B e cometem alguns erros graves, tornando inúteis seus esforços.

Se você também está fazendo testes, mas não está vendo resultados, continue lendo este post. Vamos mostrar os erros de teste A/B em e-mails mais comuns que sabotam seus esforços.

Mas antes de começar, vamos te ajudar a entender porque você sempre deve começar testando conceitos, não elementos.

Por que testar conceitos?

Antes de começar a testar vários elementos do e-mail, você deve descobrir qual é a estratégia geral para o qual seu público responde melhor.

Em outras palavras, antes de começar a ajustar o modelo, testar assuntos diferentes ou modificar as chamadas para ação, você deve testar duas estratégias de marketing diferentes e escolher a mais adequada.

Por exemplo, você pode testar duas maneiras diferentes de converter destinatários – por meio de formulário de e-mail ou login de redes sociais. Ou enviar pessoas para uma página de destino versus permitir-lhes comprar o produto diretamente via e-mail.

E somente quando a estratégia vencedora estiver definida, você deve começar a testar elementos individuais para melhorar as conversões.

Nessa etapa, certifique-se de não cometer nenhum dos erros a seguir:

Erro #1. Testar mais de 1 elemento de uma vez

De longe, esse é o erro mais comum de todos.

Você, sem dúvida, tem muitas ideias sobre como melhorar as conversões de e-mail, mas a última coisa que você quer é passar semanas testando cada uma delas separadamente. E para acelerar um pouco, você decide analisá-los todos ao mesmo tempo.

Você envia modelos diferentes, usa vários nomes de remetente, com assuntos e textos diferentes em cada teste.

Isso resulta em tantas variações de e-mail que, no final, você nem sequer pode dizer se algumas de suas ideias funcionaram.

Pode demorar, mas você sempre deve testar apenas um elemento por vez.

Erro #2. Verificar resultados muito cedo

Uma vez que a maioria das plataformas de e-mail começa a entregar os resultados da campanha dentro de 2 horas após o envio, é tentador começar a analisar o desempenho de um teste de imediato, certo?

No entanto, ao fazê-lo, você perde alguns dados importantes.

Por um lado, os usuários têm diferentes hábitos de leitura. Alguns abrem o e-mail imediatamente, outros colocam mensagens importantes à parte para verificar mais tarde. Essas pessoas podem retornar a seu e-mail alguns dias depois.

E assim, ao analisar os resultados muito cedo, você pode perder padrões importantes de tráfego e uso, afetando os resultados dos testes reais.

O melhor momento para começar a conferir os resultados dos testes é cerca de 2 semanas após o lançamento da campanha.

Erro #3. Ignorar estatística significantes

80% dos resultados dos testes são insignificantes, e esse problema não é só seu, é de todos que trabalham com testes A/B.

O desafio é tirar conclusões com base apenas nos 20% restantes.

Uma maneira de conseguir isso é identificando resultados estatisticamente significativos e eliminando aqueles causados por pura chance.

Para fazê-lo, use uma calculadora de significância estatística (nós, por exemplo, usamos a desenvolvida pelo Visual Website Optimizer, mas você pode usar qualquer aplicativo semelhante).

Erro #4. Considerar uma amostra muito pequena

O número de destinatários que você inclui no teste afeta seu resultado. Quanto menor for a alteração que você deseja testar, maior deve ser o tamanho de amostra que você vai precisar.

Por exemplo, vamos supor que você desenvolveu uma hipótese afirmando que usar emojis na linha de assunto deve ajudar a aumentar a taxa de abertura existente de 15% a 10%. Para realizar essa análise, você precisa testar essa hipótese em 8.000 pessoas.

Usar um tamanho de amostra menor produzirá resultados estatisticamente insignificantes.

Então, antes de iniciar o teste, você precisa calcular o tamanho da amostra para a qual você precisa receber feedback viável. Para fazer isso, use a calculadora de tamanho de amostra Optimizely.

Erro #5. Falha no desenvolvimento de uma hipótese adequada

Uma hipótese é uma declaração proposta feita com base em evidências limitadas que podem ser provadas ou recusadas e são usadas como ponto de partida para uma investigação mais aprofundada.

Temos certeza de que você já ouviu essa definição.

No entanto, quando se trata de testes A/B em e-mails, uma hipótese deve ter uma outra característica:

• Deve ser aplicável a diferentes campanhas.

Por exemplo, a declaração “e-mails com imagens animadas geram uma CTR maior” funcionaria como hipótese. Uma vez comprovada, ela pode ser aplicada a muitas campanhas diferentes.

Por outro lado, supor que um assunto determinado funcionaria melhor que o outro não é uma hipótese. Aplica-se apenas a uma campanha específica e não pode alavancar seus outros esforços de e-mail.

A falta de compreensão dessa importante característica de hipótese de e-mail leva à realização de testes sem hipótese ou, no melhor dos casos, usando uma hipótese fraca para tentar melhorar as conversões.

Para evitar esse erro, use as hipóteses aprovadas pelo mercado. Jordie van Rijn coletou 150 delas nesta publicação.

Erro #6. Não testar segmentos

Todos sabemos que diferentes segmentos de audiência podem responder sua mensagem de maneira diferente. Por isso, uma hipótese que melhora as conversões em um segmento pode não produzir resultados em outro.

Basta pensar nas diferenças culturais como exemplo.

Os destinatários espanhóis podem achar uma alta frequência de e-mails normal, enquanto enviar e-mails várias vezes por semana pode forçar os assinantes de outros países a fazer o opt-out de sua lista.

Segmente seus testes para analisar diferentes comportamentos de usuários.

Erro #7. Enviar variações diferentes em horários diferentes

Para receber resultados viáveis, você deve analisar não mais de uma variável por vez.

E, no entanto, vemos muitas pessoas inadvertidamente adicionando outro fator ao mix: hora.

Como? Ao enviar cada versão de e-mail em um momento diferente.

Com esse método, metade dos assinantes pode receber uma versão na hora de lazer, quando eles estão mais suscetíveis a abrir mensagens de marketing. A outra metade, no entanto, pode recebê-lo no meio de um dia agitado, resultando em muitos ignorando a mensagem.

No final, os dados ficam distorcidos pelo comportamento de destinatários que depende da hora em que eles receberam o e-mail.

Portanto, para garantir a validade dos testes A/B em e-mails, envie sempre ambas as versões ao mesmo tempo para garantir que nenhum outro fator interfira com o teste.

E você? Já cometeu algum outro erro de teste A/B? Compartilhe conosco nos comentários!

Guest post produzido pela equipe da SEMrush.