Program pilotażowy i metodyka pomiaru
Wyniki publikujemy dopiero wtedy, gdy pochodzą z realnego wdrożenia i zostały policzone z grupą kontrolną. Zanim to nastąpi, pokazujemy dokładnie to, co możemy pokazać uczciwie: zasady pomiaru i warunki, na jakich prowadzimy pilotaż.
- Zero fikcyjnych opinii
- Zero cudzych logotypów
- Zero zmyślonych liczb
Pierwsze wyniki trafią tutaj razem z metodyką, wielkością próby i niepewnością oszacowania.
Metodyka
Jak liczymy przyrost
Zasady ustalamy przed startem pilotażu, a nie po zobaczeniu wyników. To jedyny sposób, żeby liczba coś znaczyła.
Holdout i grupa kontrolna
Przed startem ustalamy udział sesji, które nie zobaczą żadnej interwencji. Przypisanie jest stabilne i ograniczone do jednego sklepu, więc ta sama osoba nie zmienia grupy między wizytami.
Metryka główna
Jedna metryka główna — najczęściej konwersja albo przychód na sesję — wybrana przed startem. Reszta liczb jest opisowa i nie służy do ogłaszania sukcesu.
Okno atrybucji
Okno jest jawne i widoczne przy każdej liczbie. Zamówienia liczymy po potwierdzeniu serwerowym, a zwroty odejmujemy, jeśli integracja je przekazuje.
Guardraile marży
Rabaty działają w granicach polityki: maksymalny procent, minimalna marża, minimalny koszyk. Koszt rabatu raportujemy obok przychodu, nigdy zamiast niego.
Uczciwa interpretacja
Nie ogłaszamy zwycięzcy przy zbyt małej próbie i nie nazywamy korelacji przyrostem. Jeśli wynik jest nieistotny, w karcie będzie napisane, że jest nieistotny.
Wzór przyrostu
przyrost = metryka(grupa z interwencją) − metryka(grupa kontrolna)
Obok wyniku raportujemy wielkość próby oraz niepewność oszacowania.
Zasady
Czego tutaj nie znajdziesz
To świadomy wybór: wolimy nie pokazywać żadnych wyników niż pokazać wymyślone.
- Fikcyjnych opinii i cytatów — żadnego „zwiększyliśmy sprzedaż o X%” bez pomiaru.
- Cudzych logotypów użytych jako dowód społeczny.
- Liczb bez grupy kontrolnej podawanych jako przyrost.
- Wyników z okresu, w którym zmieniało się jednocześnie kilka rzeczy, bez zaznaczenia tego wprost.
Pilotaż
Zostań pierwszym case study
Ustalamy hipotezę, wielkość holdoutu i metrykę główną przed startem. Wyniki — również te niewygodne — opisujemy wspólnie i publikujemy wyłącznie za Twoją pisemną zgodą.
Publikacja wyłącznie za Twoją zgodą.