Análise de teste A/BAnálise de dados

Análise de resultados de teste A/B com um veredito claro

Entrega a partir de 1 diaAjustes incluídosControle de qualidade
Pacotes
Pagamento protegidoDetalhes
  • Os ajustes previstos no pacote são gratuitos.
  • Se você não responder em 3 dias após a entrega, o trabalho é aprovado automaticamente.
Fazer pedido · US$ 35

O dinheiro fica reservado no pagamento e só é liberado quando você aprova o trabalho.

Análise de resultados de teste A/B com um veredito claro

Exemplo de resultado

Exemplo do pacote Padrão

Análise de dados: 9 meses de reservas em uma pousada familiar

Números principais

IndicadorValor
Reservas (sem canceladas)251
Diárias vendidas689
ReceitaR$ 78.540
Diária médiaR$ 114
Taxa de cancelamento11,6% (33 de 284)
Estadia média2,7 diárias

Resumo por canal

CanalReservas% da receitaDiária médiaComissãoLíquido por diária
Plataformas de reserva14254%R$ 10915%R$ 93
Direto (telefone, e-mail, site)8738%R$ 1260%R$ 126
Agência de turismo local228%R$ 10210%R$ 92

Hóspedes diretos pagam mais, ficam mais tempo (3,4 diárias contra 2,3) e deixam R$ 33 a mais por diária depois da comissão do que os de plataforma.

Tendências e pontos fora da curva

  • Julho e agosto trouxeram 41% da receita; a ocupação chegou a 93%.
  • Março e abril foram os mais fracos (ocupação de 38%), mas os fins de semana venderam 79%: o buraco está no meio da semana.
  • Cancelamentos: 19% nas reservas de plataforma com cancelamento grátis e 4% nas diretas com sinal.
  • Fora da curva: 6 reservas em maio a R$ 45 a diária. São todas de um mesmo grupo corporativo com desconto manual; ficaram nos totais, mas sinalizadas.

Conclusões

  1. Seus hóspedes mais rentáveis são os diretos que voltam, mas só 14% dos hóspedes de plataforma foram convidados a reservar direto na próxima vez.
  2. O meio de semana em março e abril é o único buraco real; os fins de semana vendem sozinhos.
  3. O cancelamento grátis nas plataformas custou cerca de 27 diárias perdidas em 9 meses.

Recomendações

  1. Entregar um cartão "reserve direto" no check-out com 10% de desconto para quem volta: ainda fica R$ 20 acima do líquido da plataforma.
  2. Criar um pacote de meio de semana (3 diárias pelo preço de 2, de domingo a quinta) para março e abril.
  3. Incluir nas plataformas uma tarifa não reembolsável com 8% de desconto ao lado da flexível.
  4. Registrar daqui em diante o canal de cada hóspede: 17 linhas estavam sem canal e foram agrupadas como "direto".

Todos os totais foram conferidos com as somas mensais da sua planilha; a diferença é R$ 0.

Cliente: pousada de 12 quartos à beira de uma represa, administrada pelos dois donos Dados: 284 linhas de reservas, de janeiro a setembro (data, tipo de quarto, diárias, canal, valor pago, cancelamento) Pergunta: "Qual canal e quais meses realmente dão dinheiro, e onde estamos perdendo?"

O cliente e todos os dados são fictícios.

Sobre este serviço

Uma variante que parece 12% melhor depois de uma semana pode ser puro acaso, e um teste interrompido no primeiro dia bom é um jeito comum de lançar uma mudança que não faz diferença nenhuma. A partir dos visitantes e conversões de cada variante, calculamos as taxas de conversão, o ganho, a significância estatística e um intervalo de confiança, e verificamos se a amostra foi grande o bastante. Você recebe um veredito claro: lançar a variante, manter a original ou considerar o resultado inconclusivo e rodar o teste por mais tempo.

O que está incluído

  • O que você recebeUm relatório do teste com taxas de conversão, ganho, significância, intervalos de confiança, verificação do tamanho da amostra, resultados por segmento nos pacotes superiores e um veredito claro, como texto formatado com tabelas na página do pedido. Você também recebe como relatório em Word (.docx), com as tabelas em Excel (.xlsx).
  • Conversão e ganhoPara cada variação
  • SignificânciaE um intervalo de confiança
  • Verificação do tamanho da amostraO teste durou o suficiente?
  • SegmentosDispositivo, origem ou novos usuários
  • Veredito claroLançar, manter ou rodar por mais tempo

Como funciona

  1. 1
    BriefingVocê cola ou anexa os números por variante
  2. 2
    AnáliseTestamos significância e amostra
  3. 3
    VereditoVocê recebe a decisão e o porquê

O que precisamos de você

Visitantes e conversões por variante, de preferência por dia, a métrica testada, quanto tempo o teste rodou e o que mudou entre as variantes.

Vamos perguntar:

  • O que foi testado?
  • Qual métrica define o vencedor?
  • Quanto tempo o teste rodou?
  • Qual ferramenta rodou o teste?

Compare os pacotes

PacotesBásicoUm teste, 2 variantesUS$ 15PadrãoAté 3 variantes e 3 métricasUS$ 35PremiumAté 4 variantes com segmentosUS$ 69
Prazo1 dia2 dias4 dias
Ajustes123
Variações2até 3até 4
Métricas1até 3até 5
Detalhamento por segmento0até 2até 6
Fazer pedido BásicoFazer pedido PadrãoFazer pedido Premium

Pagamento protegido

Você paga ao fazer o pedido, mas o dinheiro só é liberado pelo trabalho aprovado.

  • Preço fixoO preço do pacote não muda depois que você paga.
  • O dinheiro fica reservadoAo pagar, o valor fica apenas reservado. Ele só é repassado quando você aprova o trabalho.
  • Verificado antes da entregaCada resultado passa por um controle de qualidade antes de chegar até você, e você o vê na página do pedido antes de aprovar.
  • Ajustes gratuitosPeça ajustes dentro do seu briefing quantas vezes o pacote permitir.
  • Aprovação após 3 diasSe em 3 dias após a entrega você não aprovar o trabalho nem pedir ajustes, ele é aprovado automaticamente. Se você escrever no chat do pedido após a entrega, o pedido fica em espera; depois que respondermos, podemos reiniciar a contagem de 3 dias e avisaremos no chat.
  • Refazer ou reembolso totalSe o resultado não corresponder ao seu briefing e os ajustes não resolverem, ou se o trabalho levar mais que o dobro do prazo, escreva no chat do pedido: refazemos o trabalho ou reembolsamos o pagamento integralmente.
Como funciona →

Perguntas e respostas

Minha ferramenta já diz que a variante venceu. Por que conferir?

As ferramentas usam métodos diferentes, e algumas apontam "vencedores" cedo demais. Uma verificação independente dos números brutos mostra o quanto você pode ter certeza.

Vocês podem me dizer quanto tempo rodar meu próximo teste?

Sim, a partir do seu tráfego e da conversão atual, estimamos o tamanho de amostra necessário para detectar o ganho que interessa a você.

E se o resultado for inconclusivo?

Essa é uma resposta válida. Dizemos quanto tráfego a mais seria necessário ou se a diferença é pequena demais para importar.

Pacotes
Fazer pedido · US$ 35· 2 dias