Ratgeber
Wie viel Traffic brauchen Sie für A/B-Tests?
Zusammenfassung: Ob Sie A/B-Tests durchführen können, hängt von Traffic, Basis-Conversion-Rate und dem minimalen Effekt ab, den Sie nachweisen müssen. Niedrigere Conversion-Raten und kleinere Effekte brauchen weit mehr Besucher. Ist der Traffic zu gering, sind research-geführte Verbesserungen und Tests an Schritten mit viel Traffic die besseren Startpunkte.
Drei Zahlen entscheiden über die Machbarkeit
- Basis-Conversion-Rate des Schritts, den Sie testen möchten.
- Minimal nachweisbarer Effekt (MDE): die kleinste relative Änderung, die sich nachzuweisen lohnt.
- Traffic, der diesen Schritt pro Woche erreicht.
Je niedriger die Basis und je kleiner der Effekt, desto mehr Besucher brauchen Sie. Halbiert man den MDE, vervierfacht sich die nötige Stichprobe ungefähr.
Ein Rechenbeispiel
Angenommen, eine Produktseite konvertiert mit 3 %, und Sie möchten einen relativen Uplift von 10 % (von 3,0 % auf 3,3 %) mit üblichen Einstellungen (95 % Konfidenz, 80 % Power) nachweisen. Dann brauchen Sie in der Größenordnung von 50.000 Besuchern pro Variante. Bei 20.000 Besuchern pro Woche, verteilt auf zwei Varianten, dauert dieser Test etwa fünf Wochen.
Reicht Ihnen ein Uplift von 20 %, sinkt die Stichprobe auf ungefähr ein Viertel. Deshalb drängen Agenturen auf Websites mit wenig Traffic auf größere, mutigere Änderungen.
Wenn der Traffic zu gering ist
- Testen Sie weiter oben im Funnel, wo der Traffic größer ist, etwa auf Preisseiten oder beim Start der Anmeldung.
- Setzen Sie auf stärkere Änderungen, die Ergebnisse plausibel um 20 % oder mehr bewegen können.
- Stützen Sie sich auf Research: Sitzungsaufzeichnungen, Umfragen und Usability-Tests finden Probleme, die Sie ohne Test beheben können.
- Ausliefern und beobachten: risikoarme Verbesserungen mit einer klaren Vorher-Nachher-Messung.
Gute Agenturen prüfen die Machbarkeit, bevor sie ein Testprogramm vorschlagen. Wavesy etwa gibt an, dass Research und gezielte Verbesserungen ein besserer Start sein können, wenn Tests nicht praktikabel sind.
Brechen Sie Tests nicht zu früh ab
Wer täglich auf die Ergebnisse schaut und beim ersten signifikanten Wert stoppt, erhöht die Zahl falsch positiver Ergebnisse. Legen Sie Stichprobengröße und Dauer vor dem Start fest, lassen Sie volle Geschäftszyklen laufen (meist ganze Wochen) und entscheiden Sie erst dann.
Welche Tools Ihr Setup unterstützen, sehen Sie in unserem Verzeichnis der Experimentation-Tools.
Themen: A/B-Tests, CRO für SaaS und B2B