Insights

Nenhum teste A/B na Black Friday!

Black Friday, Cyber Monday e Christmas estão ao virar da esquina... mas você está otimizando corretamente durante as férias?

A/B no computador e símbolo proibido

A alta temporada para compras on-line está finalmente aqui, o que significa mais pressão, mais tráfego e mais conversões. O teste A/B depende de altos níveis de tráfego e de conversões de alto volume, mas o teste A/B está longe de ser a melhor coisa que você faz nas férias de compras. - Porquê?

E-mail 1Custa dinheiro para coletar dados.

Se você ainda estiver lendo, provavelmente está familiarizado com o funcionamento do teste A/B: distribuição de tráfego igual entre controle e variações, duração do teste de pelo menos dois ciclos de negócios, etc. Se você fizer o teste A/B na Black Friday, Cyber Monday ou Christmas, continuará enviando tráfego para variações que o tornam ruim.

A / b / c / d / e / t / t / t / t / t / t / t / t.

No teste A/B, é muito tempo. E-mail fase em que você envia tráfego igualmente entre controle e variações antes de obter qualquer resposta clara. Como resultado, o tempo que você gasta explorando as diferentes opções também levará a um potencial perdido, pois você ainda precisa enviar tráfego para as versões inferiores, Mesmo quando uma variação parece torná-lo melhor. Este é basicamente um modelo seguro, mas você pode perder vendas potenciais durante períodos intensos como a Black Friday. E o que é?

Teste de bandido multi-armado

Diagrama de testes de bandidos onde uma parte menor do tráfego é usada para exploração, enquanto mais e mais tráfego se move para a variante com melhor desempenho.

O algoritmo de bandido multi-braço pode ser descrito da seguinte forma:

  • 10% O tráfego é dividido igualmente entre controle e variação (fase de exploração).
  • E serão eles os que serão 90% da época, você envia tráfego para a versão que mais lhe dá volta nesse ponto (fase de exploração).E-mailE-mail

Em relação ao teste A/B, o teste de bandido pode parecer de curto prazo, mas é certamente uma estratégia de teste que é muito relevante para períodos mais curtos de alta pressão, e onde você sabe que estará operando com níveis de tráfego irregulares e padrões de usuário.

Três vantagens do teste de bandido:

  1. Você é o Senhor. A fase de exploração longa do teste tradicional A/B não é atrativa durante períodos mais curtos de atividade elevada. Nos testes de bandido, você maximiza a fase de exploração.
  2. E-mail: Em um período agitado como a Black Friday ou na corrida de Natal, é incrível que o algoritmo automatize a otimização.
  3. O teste de bandido é usado pelas seguintes razões: A transição suave da exploração para a exploração é lucrativa, você tem a opção de maior velocidade dos testes, pois eles são executados por períodos mais curtos e a otimização é feita automaticamente.

AE-mailE-mail

E-mail 2Muita mudança em torno das férias. Dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem dem de

  • Aumento de novos visitantes e aumento de novas fontes de tráfego.
  • g) . . . E-mail
  • Mais carrinhos abandonados devido ao aumento do número de leads não qualificados e caçadores de negócios.
  • Mais problemas técnicos devido ao aumento drástico do tráfego.
  • É uma experiência completamente diferente do seu tráfego “normal”.

Então, seu tráfego está aumentando e você está recebendo mais pessoas, mas isso é negativo para o seu plano de teste?

Um problema comum é a “pesquisa de amostra”. Os testes que você faz na sexta-feira negra, na segunda-feira cibernética ou no Natal podem não ser aplicáveis em fevereiro, quando está de volta a estados mais “normais”. Idealmente, você deve comparar a temporada de férias com a temporada de férias, mas muito pode mudar em um ano, e os resultados de um teste A / B certamente não são constantes. Os testes que você fez no ano passado podem até ser completamente inúteis este ano. É importante lembrar que, se você vai testar algo, o objetivo não é aumentar as vendas. E-mail Black Friday ou fevereiro com base nos insights que você adquiriu. A verdade é que aumentar as vendas o mais rápido possível.

Um bom programa de testes A/B retoma testes e hipóteses anteriores para revalidar, mas isso é demorado, e há uma alta probabilidade de que os testes A/B das férias de compras percam quando as coisas estiverem de volta ao “normal”. Portanto, você corre o risco de perder muito tempo em testes que perderão.

T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T Você será afetado por uma pesquisa de amostra, será demorado para revalidar testes A/B e há pouca chance de que seus resultados sejam aplicáveis ao seu tráfego normal.

O melhor conselho que posso dar às lojas on-line é deixar cair os testes A / B / n em torno de feriados de compras conhecidos e, em vez disso, focar no teste Bandit.

Interessado em ler mais sobre o teste Bandit?

Quando executar testes de bandido em vez de testes A/B/n C Guia Guia do Guia C Equilibrando o Lucro com a Aprendizagem: Bandidos e Otimização Adaptativa E-mail

O que é o teste?

Sempre comece com seus próprios dados, o segundo teste pode não ser a coisa mais importante para você. XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX Eu coletei alguns take-aways úteis de uma sessão no Twitter.sátirasE-mail

Especialistas dizem que os testes A/B com o maior impacto para a corrida de férias são aqueles que causam qualquer medo, incerteza ou dúvida que um comprador possa ter. Tipos de testes a evitar durante as férias são quaisquer mudanças radicais, estruturais que podem quebrar o local ou desempenho lento (C C CE-mail

A seguir estão os principais pontos da

  • Proposições da proposição
  • Cygnus
  • E-mail
  • E-
  • PB

Atualizando...

E agora?

Vamos identificar a ação mais importante para a sua loja online.

Marcar uma conversa informal