Analiza testu A/BAnaliza danych

Analiza wyników testu A/B z jasnym werdyktem

Realizacja od 1 dniaPoprawki w cenieKontrola jakości
Pakiety
Ochrona płatnościSzczegóły
  • Poprawki w ramach pakietu są bezpłatne.
  • Jeśli nie odpowiesz w ciągu 3 dni od dostarczenia pracy, zostanie ona zaakceptowana automatycznie.
Zamów · 32 €

Pieniądze są rezerwowane w chwili płatności i przekazywane dopiero po akceptacji pracy.

Analiza wyników testu A/B z jasnym werdyktem

Przykładowy rezultat

Przykład dla pakietu Standard

Analiza danych: 9 miesięcy rezerwacji w rodzinnym pensjonacie

Kluczowe liczby

WskaźnikWartość
Rezerwacje (bez anulowanych)251
Sprzedane noclegi689
Przychód78 540 zł
Średnia cena za noc114 zł
Odsetek anulacji11,6% (33 z 284)
Średni pobyt2,7 nocy

Podsumowanie według kanałów

KanałRezerwacjeUdział w przychodzieŚr. cenaProwizjaNetto za noc
Portale rezerwacyjne14254%109 zł15%93 zł
Bezpośrednio (telefon, e-mail, strona)8738%126 zł0%126 zł
Lokalne biuro podróży228%102 zł10%92 zł

Goście bezpośredni płacą więcej, zostają dłużej (3,4 nocy wobec 2,3) i po odliczeniu prowizji przynoszą 33 zł więcej za noc niż goście z portali.

Trendy i wartości odstające

  • Lipiec i sierpień dały 41% przychodu; obłożenie sięgnęło 93%.
  • Marzec i kwiecień były najsłabsze (obłożenie 38%), ale weekendy sprzedawały się w 79%: luka jest w środku tygodnia.
  • Anulacje wyniosły 19% przy rezerwacjach z portali z darmowym anulowaniem i 4% przy bezpośrednich z zadatkiem.
  • Wartość odstająca: 6 rezerwacji w maju po 45 zł za noc. To jedna grupa firmowa z ręcznym rabatem; uwzględniona w sumach, ale oznaczona.

Wnioski

  1. Najbardziej opłacalni są goście bezpośredni i powracający, a tylko 14% gości z portali zaproszono do bezpośredniej rezerwacji następnym razem.
  2. Jedyna prawdziwa luka to dni powszednie wiosną; weekendy sprzedają się same.
  3. Darmowe anulowanie na portalach kosztowało ok. 27 utraconych nocy w ciągu 9 miesięcy.

Rekomendacje

  1. Wręczajcie przy wymeldowaniu kartkę "rezerwuj bezpośrednio" z 10% rabatem dla powracających: to wciąż 20 zł powyżej netto z portali.
  2. Przygotujcie wiosenną ofertę na środek tygodnia (3 noce w cenie 2, nd–czw) na marzec–kwiecień.
  3. Dodajcie na portalach stawkę bezzwrotną 8% taniej obok elastycznej.
  4. Od teraz zapisujcie kanał rezerwacji każdego gościa: 17 wierszy go nie miało i zaliczono je do "bezpośrednich".

Wszystkie sumy porównano z miesięcznymi podsumowaniami w Waszym arkuszu; różnica wynosi 0 zł.

Klient: 12-pokojowy pensjonat nad jeziorem prowadzony przez dwoje właścicieli Dane: 284 wiersze rezerwacji, od stycznia do września (data, typ pokoju, noce, kanał, zapłacona cena, anulowanie) Pytanie: "Który kanał i które miesiące naprawdę na nas zarabiają, a gdzie tracimy?"

Klient i wszystkie dane są wymyślone.

O usłudze

Wariant, który po tygodniu wygląda o 12% lepiej, może być czystym przypadkiem, a test zatrzymany po pierwszym dobrym dniu to częsty sposób na wdrożenie zmiany, która nic nie daje. Na podstawie odwiedzających i konwersji dla każdego wariantu liczymy współczynniki konwersji, wzrost, istotność statystyczną i przedział ufności oraz sprawdzamy, czy próba była wystarczająco duża. Otrzymujesz jasny werdykt: wdrożyć wariant, zostawić oryginał albo uznać wynik za nierozstrzygnięty i testować dłużej.

Co obejmuje usługa

  • Co otrzymujeszRaport z testu ze współczynnikami konwersji, wzrostem, istotnością, przedziałami ufności, sprawdzeniem wielkości próby, wynikami dla segmentów w wyższych pakietach i jasnym werdyktem, jako sformatowany tekst z tabelami na stronie zamówienia. Całość otrzymujesz też jako raport w pliku Word (.docx), z tabelami w pliku Excel (.xlsx).
  • Konwersja i wzrostDla każdego wariantu
  • IstotnośćI przedział ufności
  • Sprawdzenie wielkości próbyCzy test trwał wystarczająco długo
  • SegmentyUrządzenie, źródło lub nowi użytkownicy
  • Jasny werdyktWdrożyć, zostawić lub testować dłużej

Jak to działa

  1. 1
    BriefWklejasz lub załączasz liczby dla każdego wariantu
  2. 2
    AnalizaSprawdzamy istotność i próbę
  3. 3
    WerdyktOtrzymujesz decyzję i uzasadnienie

Czego potrzebujemy od Ciebie

Odwiedzający i konwersje dla każdego wariantu, najlepiej w podziale na dni, testowana metryka, jak długo trwał test i co różniło warianty.

Zapytamy Cię:

  • Co było testowane?
  • Która metryka decyduje o zwycięzcy?
  • Jak długo trwał test?
  • Jakim narzędziem prowadzono test?

Porównaj pakiety

PakietyPodstawowyJeden test, 2 warianty14 €StandardDo 3 wariantów i 3 metryk32 €PremiumDo 4 wariantów z segmentami62 €
Termin1 dzień2 dni4 dni
Poprawki123
Warianty2do 3do 4
Metryki1do 3do 5
Podział na segmenty0do 2do 6
Zamów PodstawowyZamów StandardZamów Premium

Ochrona płatności

Płacisz przy składaniu zamówienia, ale pieniądze są przekazywane tylko za zaakceptowaną pracę.

  • Stała cenaCena pakietu nie zmienia się po zapłacie.
  • Pieniądze są zarezerwowanePrzy płatności kwota jest tylko rezerwowana. Serwis otrzymuje ją dopiero po akceptacji pracy.
  • Sprawdzone przed dostarczeniemKażdy wynik przechodzi kontrolę jakości, zanim do Ciebie trafi, a przed akceptacją widzisz go na stronie zamówienia.
  • Bezpłatne poprawkiProś o poprawki w ramach briefu tyle razy, ile przewiduje pakiet.
  • Akceptacja po 3 dniachJeśli w ciągu 3 dni od dostarczenia pracy ani jej nie zaakceptujesz, ani nie poprosisz o poprawki, zostanie zaakceptowana automatycznie. Jeśli po dostarczeniu napiszesz na czacie zamówienia, zamówienie czeka; po naszej odpowiedzi możemy ponownie uruchomić odliczanie 3 dni i poinformujemy o tym na czacie.
  • Ponowne wykonanie lub pełny zwrot pieniędzyJeśli wynik nie odpowiada Twojemu briefowi, a poprawki tego nie naprawiły, lub praca trwa ponad dwa razy dłużej niż termin, napisz na czacie zamówienia: wykonamy pracę ponownie albo zwrócimy całą płatność.
Jak to działa →

Pytania i odpowiedzi

Moje narzędzie już pokazuje, że wariant wygrał. Po co to sprawdzać?

Narzędzia różnią się metodą, a niektóre pokazują „zwycięzców” zbyt wcześnie. Niezależne sprawdzenie surowych liczb mówi ci, na ile możesz być pewny.

Czy możecie mi powiedzieć, jak długo prowadzić kolejny test?

Tak, na podstawie twojego ruchu i obecnej konwersji szacujemy wielkość próby potrzebną do wykrycia wzrostu, na którym ci zależy.

Co, jeśli wynik będzie nierozstrzygnięty?

To też jest odpowiedź. Mówimy, ile ruchu by jeszcze potrzeba albo czy różnica jest zbyt mała, by miała znaczenie.

Pakiety
Zamów · 32 €· 2 dni