Wie lange muss ein A/B-Test laufen?

Legen Sie die Dauer eines A/B-Tests vor dem Start fest, in ganzen Wochen, nach der kleinsten Änderung, die Sie finden wollen. Lesen Sie das Ergebnis dann einmal, am Ende. Die Dauer ergibt sich aus zwei Zahlen, die Sie heute schon kennen: wie viele Personen pro Woche in den Test kommen und wie oft sie das Ziel derzeit erreichen.

Warum nicht stoppen, sobald B vorne liegt?

Weil frühe Unterschiede meist Zufall sind. Mit einigen hundert Personen je Variante kann eine Gruppe tagelang deutlich vorne liegen und dann zurückfallen. Ein Test mit 95 % Sicherheit erklärt in etwa 5 von 100 Tests ohne echten Unterschied einen falschen Gewinner, aber nur, wenn Sie einmal hinsehen. Wer täglich prüft und beim ersten Treffer stoppt, gibt dem Zufall mit jedem Blick eine neue Chance, und der Anteil falscher Gewinner steigt um ein Mehrfaches.

Zuschauen ist erlaubt. Schief geht es erst, wenn Sie vor dem geplanten Ende entscheiden. Deshalb steht die Dauer vorher fest.

Wovon hängt die nötige Dauer ab?

Von zwei Zahlen: wie viele Personen teilnehmen und wie hoch die Ausgangsrate ist, also der Anteil, der das Ziel heute erreicht. Zusammen bestimmen sie die kleinste Änderung, die ein Test finden kann. Mehr Personen finden kleinere Änderungen, eine höhere Ausgangsrate ebenso. Ein Test mit 4.000 Personen, 2.000 je Variante:

Ein Kaufziel mit 1 % braucht eine Verdopplung, bevor ein Test dieser Größe sie sieht. Eine Aktion, die mehr Menschen ausführen, etwa das Hinzufügen zum Warenkorb oder der Start des Checkouts, zeigt mit denselben Personen eine viel kleinere Änderung.

Wie berechnet sich die kleinste messbare Änderung?

Mit der Arkussinus-Methode, einem zweiseitigen Test mit 95 % Sicherheit und 80 % Teststärke. Nehmen Sie die heutige Rate p und die Personen je Variante n, also die Hälfte aller Personen im Test. Die Rate, die B erreichen muss, ist

p₂ = sin²(arcsin √p + 1,4 · √(2 / n))

und die kleinste relative Änderung ist p₂ / p − 1. Die 1,4 ist die Hälfte von 1,96 + 0,84, den Werten für 95 % zweiseitig und 80 % Teststärke. In Excel mit deutscher Oberfläche, mit der Ausgangsrate als Dezimalzahl (0,04) in B1 und den Personen je Variante in B2:

=SIN(ARCSIN(WURZEL(B1))+1,4*WURZEL(2/B2))^2/B1-1

80 % Teststärke heißt: Eine echte Änderung genau dieser Größe findet der Test in etwa 8 von 10 Fällen. Kleinere echte Änderungen können auch auftauchen, nur unzuverlässiger. Und ein Test ohne Befund beweist nicht, dass sich nichts geändert hat.

Wie lange bei 1.000 Personen pro Woche und 4 % Ausgangsrate?

Angenommen, pro Woche kommen 1.000 neue Personen in den Test, und 4 % von ihnen kaufen heute. Jede Woche bringt 500 Personen je Variante:

Viermal so viele Personen finden eine etwa halb so große Änderung. Kleiner wird es teuer: +10 %, also von 4 % auf 4,4 %, braucht rund 79.000 Personen, bei diesem Traffic anderthalb Jahre. Im Free-Tarif, der höchstens 3 Wochen erlaubt, findet derselbe Shop etwa +56 %.

Testen Sie bei diesem Traffic also Änderungen, von denen Sie mindestens ein Drittel mehr erwarten, etwa einen kürzeren Checkout, eine neue Produktseite oder ein klareres Lieferversprechen. Kleine Retuschen lohnen sich erst mit mehr Besuchern. Der kostenlose A/B-Test-Rechner rechnet dasselbe für Ihre Ausgangsrate und Ihre Personen pro Woche.

Warum ganze Wochen?

Weil Wochentage verschieden sind. Manche stöbern am Sonntagabend und kaufen am Montag, Besuche aus Büros fehlen am Wochenende, und der Zahltag verschiebt das Monatsende. Ein Test, der an einem Donnerstag endet, gewichtet manche Tage stärker als andere; ganze Wochen gewichten alle gleich.

Planen Sie außerdem Zeit für das Ziel ein. Wer am letzten Tag in den Test kommt, braucht Zeit zum Kaufen. Ein Zeitfenster nach den geplanten Wochen lässt diesen Personen Zeit, bevor der Test bewertet wird. Wenn Ihre Käufer Tage brauchen, wählen Sie das Fenster passend: Im Beispiel-Shop vergingen im Median 10 Tage vom ersten Besuch bis zum Kauf.

Wie plant und bewertet MIRA FIVE einen Test?

Unter Experimente wählen Sie das Ziel oder die Aktion, die den Test entscheidet, eine Dauer von 2, 3, 4, 6 oder 8 Wochen und ein Zeitfenster von 1, 7, 14 oder 30 Tagen. Der Planer zeigt die kleinste Änderung, die diese Dauer finden kann, hochgerechnet aus den Personen der letzten 28 Tage, damit wiederkehrende Personen einmal zählen. Im Browser zählen nur Personen mit Einwilligung. Solange der Status „Zählung läuft“ lautet, gibt es kein Ergebnis; es fällt einmal, zum geplanten Ende plus Zeitfenster, als zweiseitiger Test mit 95 %, dessen 95-%-Bereich übereinstimmen muss, und mit mindestens 100 Personen je Variante. Es lautet „Variante B gewinnt“, schlechter, „Kein großer Unterschied“ (wenn der 90-%-Bereich innerhalb von ±10 % bleibt) oder „Kein klares Ergebnis“. Im Free-Tarif läuft ein Test höchstens 3 Wochen, Dauer plus Zeitfenster innerhalb von 28 Tagen. Im Beispiel-Shop lief ein Test am Checkout-Button 4 Wochen plus 7 Tage: Mit dem Original erreichten 49 von 1.204 Personen „Bestellung bezahlt“ (4,1 %), mit Variante B 71 von 1.188 (6,0 %), und das Ergebnis lautet „Variante B gewinnt“. Mehr unter Experimente.