Planowanie testu A/B — liczebność, MDE i czas
Podaj konwersję bazową, oczekiwany wzrost, moc, poziom ufności i dzienny ruch.
Planowany i wykrywalny efekt
| Scenariusz | Bazowa | Docelowa | n na wariant |
|---|---|---|---|
| Ustaw pola powyżej — wynik policzy się na tej stronie. | |||
Jak korzystać z tej strony?
- Wpisz bazową konwersję jako liczbę od 0 do 1.
- Podaj względny efekt, który ma znaczenie biznesowe.
- Odczytaj próbę, MDE i czas, a następnie ustal pełny harmonogram.
Czego ta strona nie robi: Wzór używa przybliżenia normalnego, równego podziału ruchu i niezależnych użytkowników. Nie uwzględnia wielokrotnego podglądania, klastrów ani wielu metryk.
Gdzie doczytać
Teoria — jak planuje się liczebność próby w teście A/B?
Plan oblicza liczbę obserwacji potrzebną do porównania dwóch niezależnych proporkcji testem dwustronnym, na podstawie konwersji bazowej, oczekiwanego wzrostu, mocy testu, poziomu ufności oraz dziennego ruchu. Wskaźnik MDE pokazuje najmniejszy względny wzrost, jaki podana dostępna próba jest w stanie wykryć przy wybranej mocy testu. Czas trwania testu wynika z podzielenia łącznej potrzebnej próby przez dzienny ruch. Konwersje oraz wzrost względny wpisuje się jako ułamki, więc wartość 0,1 oznacza 10 procent.
Najczęstsze pytania
Czy 0,1 oznacza 10%?
Czy mogę zakończyć test wcześniej?
Zobacz także
ANOVA z powtarzanymi pomiarami — kalkulator
Porównaj średnie od dwóch do czterech warunków mierzonych u tych samych osób.
Analiza czynnikowa — kalkulator ładunków
Wyodrębnij od jednego do trzech czynników z macierzy korelacji i sprawdź ładunki, wspólności oraz swoistości.
Centralne twierdzenie graniczne — symulator
Losuj próby z własnej populacji i zobacz rozkład ich średnich oraz błąd standardowy.