A/B-Test

Ein A/B-Test prüft eine Änderung, bevor Sie sie behalten. Die eine Hälfte sieht das Original (A), die andere die Änderung (B), und verglichen wird, wie oft jede Gruppe kauft, sich registriert oder klickt. Weil der Zufall die Gruppen bildet, geht ein deutlicher Unterschied auf die Änderung zurück.

Legen Sie die Dauer vorher fest und lesen Sie das Ergebnis einmal, nach dem geplanten Ende. Wer täglich nachsieht und beim ersten schönen Wert stoppt, hält Zufall für einen Gewinner.

In MIRA FIVE

A/B-Tests stehen unter Experimente: das Original gegen eine Änderung, 50/50, zugeordnet nach Browser oder angemeldeter Person. Ein Anteil des Traffics und Bedingungen grenzen ein, wer teilnimmt. Entschieden wird über ein Ziel oder eine Aktion; Käufer und Umsatz stehen daneben.

Die Dauer planen Sie vorab: 2, 3, 4, 6 oder 8 Wochen (im Free-Tarif höchstens 3) plus ein Zeitfenster von 1, 7, 14 oder 30 Tagen. Das Ergebnis fällt einmal, nach dem geplanten Ende plus Zeitfenster, mit mindestens 100 Personen je Variante: „Variante B gewinnt“, schlechter, „Kein großer Unterschied“ oder „Kein klares Ergebnis“.

Ein Seitenexperiment tauscht per Snippet im Head markierte Elemente Ihres HTML. Ein Code-Experiment ist ein Feature-Flag, das Ihre App liest. Im Browser zählen nur Personen mit Einwilligung; vorher wird nichts gespeichert oder gezählt.

Beispiel

Der Acme Shop testete seinen Checkout-Button 4 Wochen plus 7 Tage, entschieden über „Bestellung bezahlt“. Mit dem Original erreichten 49 von 1.204 Personen das Ziel (4,1 %), mit Variante B 71 von 1.188 (6,0 %): Variante B gewinnt.