A/B-Test-Rechner: Ist Ihr Testergebnis wirklich signifikant?

Bei einer Conversion-Rate von 3 Prozent brauchen Sie rund 13.900 Besucher je Variante, um einen Unterschied von 20 Prozent überhaupt erkennen zu können. Bei 300 Besuchern am Tag sind das 93 Tage. Die meisten A/B-Tests, die ich in Marketingteams sehe, werden nach zehn Tagen mit 400 Besuchern abgebrochen, weil eine Variante „vorne liegt". Der Rechner auf dieser Seite sagt Ihnen beides: ob Ihr Ergebnis trägt und wie viele Besucher Sie eigentlich gebraucht hätten.

Der A/B-Test-Rechner

Der erste Tab prüft ein vorliegendes Ergebnis, der zweite plant den nächsten Test. Beide rechnen im Browser, es geht nichts an einen Server.

Die Auswertung erscheint hier.

Die Planung erscheint hier.

Wie gerechnet wird

Der Signifikanz-Tab nutzt den Zweistichproben-z-Test für Anteilswerte, so wie ihn das NIST/SEMATECH-Handbuch für statistische Methoden beschreibt. Zuerst wird ein gemeinsamer Anteil gebildet: alle Conversions beider Varianten geteilt durch alle Besucher beider Varianten. Daraus ergibt sich der Standardfehler, und die Differenz der beiden Conversion-Raten geteilt durch diesen Standardfehler ist die Prüfgröße z. Aus z wird über die Standardnormalverteilung der p-Wert.

Ein Beispiel mit den Voreinstellungen des Rechners. Variante A: 5.000 Besucher, 250 Conversions, also 5,00 Prozent. Variante B: 5.000 Besucher, 292 Conversions, also 5,84 Prozent. Der gemeinsame Anteil ist 542 geteilt durch 10.000, also 5,42 Prozent. Der Standardfehler beträgt 0,0045288, die Differenz 0,0084. Daraus folgt z gleich 1,855 und ein zweiseitiger p-Wert von 0,0636. Die Konfidenz liegt also bei 93,64 Prozent – knapp unter der 95-Prozent-Schwelle. Das Konfidenzintervall des Unterschieds reicht von minus 0,05 bis plus 1,73 Prozentpunkten und enthält damit die Null.

Für die Stichprobenplanung wird die Standardformel für zwei Anteilswerte verwendet. Sie kombiniert den z-Wert zum Signifikanzniveau mit dem z-Wert zur Power. Beide Normalverteilungsfunktionen sind in diesem Rechner selbst programmiert: die Verteilungsfunktion nach Abramowitz und Stegun in der Fassung von Zelen und Severo, die dokumentierte Fehlerschranke liegt bei 7,5 mal 10 hoch minus 8. Ich habe beide Funktionen gegen scipy geprüft: Der größte absolute Fehler der Verteilungsfunktion lag bei 7,45 mal 10 hoch minus 8 über 24.001 Stützstellen, der größte relative Fehler der Umkehrfunktion bei 1,13 mal 10 hoch minus 9 über 30.000 Stützstellen.

p-Wert und Konfidenz ohne Statistik-Jargon

Ein p-Wert beantwortet genau eine Frage, und zwar eine merkwürdig verdrehte: Angenommen, zwischen den beiden Varianten bestünde in Wahrheit überhaupt kein Unterschied – wie oft sähe ich dann trotzdem ein Ergebnis, das mindestens so deutlich ist wie meines? Ist die Antwort „selten", spricht das gegen die Annahme, dass es keinen Unterschied gibt.

Was der p-Wert nicht beantwortet: wie wahrscheinlich es ist, dass Variante B besser ist. Das ist die häufigste Fehldeutung im Marketing, und sie steht sogar in offiziellen Hilfetexten. Die amerikanische Statistikvereinigung ASA hat 2016 eine Erklärung veröffentlicht, in der es wörtlich heißt: p-Werte messen nicht die Wahrscheinlichkeit, dass die untersuchte Hypothese wahr ist, und auch nicht die Wahrscheinlichkeit, dass die Daten allein durch Zufall entstanden sind. Ebenso wenig sagt ein p-Wert etwas über die Größe eines Effekts.

Die Zeile „Gewinnwahrscheinlichkeit" im Rechner ist bewusst getrennt vom p-Wert ausgewiesen. Sie beantwortet die Frage, die Sie eigentlich stellen wollen: Wie wahrscheinlich ist es, dass B tatsächlich besser ist als A? Berechnet wird sie als Normalapproximation – im Kern der bayessche Ansatz mit flachen Vorannahmen. Es ist eine Näherung und keine exakte Rechnung, deshalb steht sie im Rechner auch so gekennzeichnet. Zwei Dinge fallen dabei auf: Die Gewinnwahrscheinlichkeit liegt fast immer deutlich höher als die Konfidenz, und sie sagt trotzdem nichts darüber, ob der Unterschied groß genug ist, um sich zu lohnen.

Deshalb ist das Konfidenzintervall die nützlichste Zahl im ganzen Rechner. Es zeigt die Spannbreite, mit der Sie realistisch rechnen müssen. Ein Intervall von minus 0,05 bis plus 1,73 Prozentpunkten heißt im Klartext: Es kann eine deutliche Verbesserung sein, es kann aber auch eine Nullnummer sein. Wer nur auf „signifikant ja oder nein" schaut, wirft diese Information weg. Wie sich eine solche Veränderung dann auf Umsatz und Kosten auswirkt, rechnen Sie am besten im Marketing-KPI-Rechner weiter.

Wie viele Besucher Sie brauchen

Die unangenehme Nachricht zuerst: Der Aufwand wächst nicht linear. Halbieren Sie den Unterschied, den Sie erkennen wollen, vervierfacht sich die nötige Stichprobe. Das ist der Grund, warum die meisten Tests in kleinen Accounts scheitern, bevor sie beginnen.

Der kleinste relevante Unterschied, im Fachjargon Minimum Detectable Effect oder MDE, ist damit die wichtigste Entscheidung der gesamten Testplanung – und die einzige, die Sie wirklich frei treffen. Sie sollte betriebswirtschaftlich begründet sein: Welcher Anstieg würde die Änderung überhaupt rechtfertigen? Wer 5 Prozent Verbesserung nachweisen will, braucht in dem Beispiel oben 207.938 Besucher je Variante. Wer sich mit 30 Prozent zufriedengibt, kommt mit 6.455 aus.

Der zweite Hebel ist die Ausgangsrate. Je seltener eine Conversion, desto mehr Besucher braucht der Test. Das ist der Grund, warum Tests auf Mikro-Conversions – Klick auf den Button, Scrolltiefe, Formularstart – schneller zu Ergebnissen führen als Tests auf den Kauf. Der Preis dafür: Ein Mikro-Sieg ist kein Umsatz-Sieg.

Alle Werte in Tabelle und Diagrammen sind meine eigenen Berechnungen mit 95 Prozent Signifikanzniveau, 80 Prozent Power und zweiseitigem Test. Die 80 Prozent Power sind Konvention, kein Naturgesetz: Sie akzeptieren damit, dass Sie einen echten Unterschied in einem von fünf Fällen übersehen. Wer das nicht will, stellt im Rechner 90 Prozent ein und zahlt mit einer größeren Stichprobe.

Warum Peeking Ergebnisse ruiniert

Peeking heißt: während der Laufzeit immer wieder auf das Ergebnis schauen und abbrechen, sobald es signifikant aussieht. Das ist der teuerste Fehler in der Testpraxis, weil er sich wie Sorgfalt anfühlt. Tatsächlich vervielfacht er die Zahl der Fehlalarme.

Ich habe das simuliert. Aufbau: zwei völlig identische Varianten, Conversion-Rate 5 Prozent, insgesamt 10.000 Besucher je Variante, zweiseitiger Test mit 5 Prozent Signifikanzniveau, 40.000 Durchläufe je Zeile. Der Test wird in gleichen Abständen mehrfach ausgewertet und beim ersten signifikanten Zwischenstand abgebrochen. Da es keinen echten Unterschied gibt, ist jeder Sieger ein Fehlalarm.

Bei einer einzigen Auswertung am Ende liegt die Fehlalarmquote bei 4,9 Prozent, also dort, wo sie hingehört. Bei fünf Zwischenauswertungen sind es 14,3 Prozent, bei zwanzig schon 24,5 Prozent. Wer täglich schaut und beim ersten grünen Häkchen abbricht, führt also nicht einen Test mit 5 Prozent Irrtumsrisiko durch, sondern einen mit einem Viertel Irrtumsrisiko.

Evan Miller hat dasselbe Problem in „How Not To Run An A/B Test" beschrieben und angegeben, welches gemeldete Signifikanzniveau nötig wäre, damit die tatsächliche Fehlerrate bei 5 Prozent bleibt: bei einem Zwischenblick 2,9 Prozent, bei drei Zwischenblicken 1,8 Prozent, bei zehn Zwischenblicken 1,0 Prozent. Meine Simulation reproduziert diese Werte. Im Extremfall – Auswertung nach jeder einzelnen Beobachtung – nennt Miller eine Fehlerrate von 26,1 Prozent, „mehr als das Fünffache dessen, was Sie vermutlich für Ihr Signifikanzniveau gehalten haben".

Wie lange ein Test laufen muss

Die Stichprobengröße gibt die Untergrenze vor, der Kalender die zweite. Kohavi und Longbotham schreiben in ihrer Übersicht zu Online-Experimenten, es sei bewährte Praxis, ein Experiment mindestens eine Woche laufen zu lassen, um einen vollständigen Wochenzyklus zu erfassen, und danach weitere Wochen. Sind Wochentagseffekte bekannt, empfehlen sie ausdrücklich vollständige Wochen für eine bessere Übertragbarkeit.

Das ist kein akademischer Hinweis. Ein B2B-Angebot konvertiert dienstags anders als sonntags, ein Shop hat am Wochenende ein anderes Publikum, Google-Ads-Kampagnen mit Tagesbudget laufen abends oft leer. Endet Ihr Test an einem Mittwoch, haben zwei Wochentage ein Übergewicht. Runden Sie deshalb immer auf volle Wochen auf – der Rechner macht das im zweiten Tab automatisch.

Nach oben gibt es ebenfalls eine Grenze. Läuft ein Test drei Monate, ändern sich Saison, Kanalmix, Preise und Wettbewerb. Dann messen Sie nicht mehr Ihre Variante, sondern den Kalender. Meine Faustregel: Was nicht in sechs Wochen entschieden ist, ist mit dieser Fragestellung nicht entscheidbar. Dann muss der gesuchte Unterschied größer werden – also die Variante mutiger.

Was Google Ads selbst rechnet

Wer Kampagnentests in Google Ads fährt, bekommt die Statistik mitgeliefert. Laut der Hilfeseite zur statistischen Methodik nutzt Google zweiseitige Signifikanztests mit einem 95-Prozent-Konfidenzintervall. Die Daten werden dabei in Buckets zusammengefasst, um Beobachtungsfehler zu verringern; die Streuung der prozentualen Änderung wird über Jackknife-Resampling geschätzt. Google gibt an, 20 Buckets je Testgruppe zu verwenden. Signifikante Ergebnisse bekommen in der Oberfläche ein blaues Sternchen, das Konfidenzintervall wird als Spanne angezeigt.

Zwei Dinge sollten Sie dabei wissen. Erstens: Die Hilfe empfiehlt für Kampagnentests eine Laufzeit von zwei bis drei Wochen und nennt als Gründe für fehlende Signifikanz eine zu kurze Laufzeit, zu wenig Zugriffe oder einen zu kleinen Anteil in der Testgruppe. Eine Stichprobenplanung vorab gibt es nicht – die müssen Sie selbst machen, zum Beispiel im zweiten Tab oben.

Zweitens, und das ist meine Einschätzung: Google formuliert die Bedeutung des Ergebnisses in der eigenen Hilfe unsauber. Zu Anzeigenvariationen heißt es dort, das blaue Sternchen bedeute „eine Wahrscheinlichkeit von mindestens 95 %, dass der Effekt bei der Anzeigenleistung auf die vorgenommene Änderung und nicht auf einen Zufall zurückzuführen ist". Genau diese Deutung weist die ASA-Erklärung von 2016 zurück. Ein 95-Prozent-Signifikanzniveau sagt nichts über die Wahrscheinlichkeit aus, dass Ihre Änderung die Ursache war. Wenn selbst die Plattformhilfe so formuliert, ist es kein Wunder, dass die Fehldeutung in jedem zweiten Reporting steht. Welche Kennzahlen in Google Ads wirklich zählen und wie ich Konten aufsetze, steht auf meiner Seite zu Google Ads.

Ein praktischer Hinweis zum Aufbau: Kampagnenentwürfe sind laut Google-Hilfe nur für Such- und Displaykampagnen verfügbar, nicht für Video-, App- oder Shopping-Kampagnen. Für Landingpage-Tests brauchen Sie ohnehin ein eigenes Testwerkzeug oder eine serverseitige Variantensteuerung – Google Ads teilt Ihnen den Traffic, aber es tauscht Ihnen keine Seiten aus.

Wenn der Traffic nicht reicht

Für viele Websites ist die ehrliche Antwort: A/B-Testen lohnt sich nicht. Bei 300 Besuchern pro Tag, 3 Prozent Conversion-Rate und einem gesuchten Unterschied von 20 Prozent dauert ein Test 93 Tage. Bei 10 Prozent gesuchtem Unterschied sind es 355 Tage. In dieser Zeit ändern Sie zwangsläufig andere Dinge, und das Ergebnis ist wertlos.

Zur Einordnung, wie oft Tests überhaupt gewinnen: Kohavi und Kollegen berichten, dass auf der Experimentierplattform von Microsoft nur ein Drittel der getesteten Ideen die Kennzahl verbesserte, für die sie gedacht war. Für Google werden rund 10 Prozent der kontrollierten Experimente genannt, die zu Geschäftsentscheidungen führten, für Netflix die Aussage, dass 90 Prozent der Versuche falsch lagen. Diese Zahlen stammen aus dem Produktbereich sehr großer Plattformen und sind nicht eins zu eins auf eine Landingpage übertragbar – aber sie zeigen die Größenordnung. Die meisten Ideen sind keine Verbesserung.

• Größere Sprünge testen: Statt Knopffarbe eine andere Seitenlogik, ein anderes Angebot, ein anderer Preisrahmen. Ein Unterschied von 50 Prozent braucht in dem Beispiel oben nur 2.518 Besucher je Variante statt 13.914.
• Auf Mikro-Conversions testen: Formularstart statt Abschluss. Schneller signifikant, aber mit Vorsicht zu interpretieren, weil der Zusammenhang zum Umsatz nicht garantiert ist.
• Qualitative Verfahren: Sitzungsaufzeichnungen, Fünf-Sekunden-Tests, Nutzerinterviews, Auswertung der Suchanfragen auf der eigenen Website. Fünf Interviews finden mehr offensichtliche Probleme als drei Monate untermotorisierter Statistik.
• Vorher-Nachher mit Vorsicht: Umbau, dann Vergleich von zwei gleich langen Zeiträumen. Das ist kein kontrollierter Test – Saison, Kanalmix und Wettbewerb laufen mit. Nur brauchbar bei sehr großen Effekten, und immer mit dem Hinweis versehen, dass die Kausalität nicht belegt ist.
• Traffic bündeln: Statt vier Varianten zwei. Statt fünf Landingpages eine. Wer wenig Besucher hat, darf sie nicht auch noch aufteilen.

Typische Fehler

• Abbruch beim ersten grünen Häkchen: Der Klassiker. In meiner Simulation steigt die Fehlalarmquote von 4,9 auf 19,6 Prozent, wenn zehnmal statt einmal ausgewertet wird.
• Kein MDE vorab: Ohne festgelegten kleinsten relevanten Unterschied gibt es keine Stichprobengröße, ohne Stichprobengröße kein Ende und ohne Ende kein sauberes Ergebnis.
• Viele Varianten gleichzeitig: Vier Varianten gegen die Kontrolle sind drei Vergleiche. Bei 5 Prozent Schwelle je Vergleich und unabhängigen Vergleichen liegt die Wahrscheinlichkeit für mindestens einen Fehlalarm rechnerisch bei rund 14 Prozent. Der Rechner weist darauf hin und nennt die Bonferroni-korrigierte Schwelle.
• Mehrere Kennzahlen nebeneinander: Wer Klickrate, Formularstart, Lead und Umsatz gleichzeitig prüft und die erste signifikante meldet, hat das gleiche Problem wie beim Peeking. Eine Hauptkennzahl vorher festlegen.
• Test endet mitten in der Woche: Zwei Wochentage bekommen ein Übergewicht. Auf volle Wochen aufrunden.
• Ungleiche Ausgangslage: Wenn Variante B nur auf Mobilgeräten oder nur in einer Kampagne ausgeliefert wird, vergleichen Sie Zielgruppen und nicht Varianten. Vor dem Test einen A/A-Test fahren, der beide Gruppen mit derselben Seite bespielt – findet er einen „signifikanten" Unterschied, stimmt etwas mit der Verteilung nicht.
• Signifikanz mit Relevanz verwechseln: Bei sehr großen Stichproben wird auch ein Unterschied von 0,05 Prozentpunkten signifikant. Die Frage bleibt, ob er den Umbau rechtfertigt.
• Verlierer ausrollen, weil „nicht signifikant" heißt „kein Unterschied": Tut es nicht. Es heißt nur, dass die Daten nicht ausreichen. Schauen Sie ins Konfidenzintervall.
• Neuheitseffekt ignorieren: Stammkunden reagieren auf jede Änderung erst einmal anders. Ein Test über eine Woche misst bei hoher Wiederkehrrate teilweise Aufmerksamkeit statt Qualität.

Häufige Fragen

Wie berechne ich, ob ein A/B-Test signifikant ist?

Sie brauchen vier Zahlen: Besucher und Conversions je Variante. Daraus wird der Zweistichproben-z-Test für Anteilswerte gerechnet, der einen p-Wert liefert. Liegt der p-Wert unter 0,05, gilt das Ergebnis nach der üblichen Konvention als statistisch signifikant. Der Rechner oben auf dieser Seite macht genau das.

Was bedeutet ein p-Wert von 0,05 im A/B-Test?

Er bedeutet: Wenn zwischen den Varianten in Wahrheit kein Unterschied bestünde, würde man ein mindestens so großes Ergebnis in 5 von 100 Tests allein durch Zufall sehen. Er bedeutet ausdrücklich nicht, dass Variante B mit 95 Prozent Wahrscheinlichkeit besser ist. Diese Verwechslung weist die amerikanische Statistikvereinigung ASA in ihrer Erklärung von 2016 ausdrücklich zurück.

Wie viele Besucher brauche ich für einen A/B-Test?

Das hängt von Ihrer bisherigen Conversion-Rate und vom kleinsten Unterschied ab, den Sie erkennen wollen. Bei 3 Prozent Conversion-Rate und einem gesuchten Unterschied von 20 Prozent relativ sind es rund 13.900 Besucher je Variante bei 95 Prozent Signifikanz und 80 Prozent Power. Bei nur 10 Prozent gesuchtem Unterschied sind es rund 53.200 je Variante.

Wie lange muss ein A/B-Test laufen?

Mindestens eine volle Woche, damit ein kompletter Wochenzyklus enthalten ist, und danach möglichst weitere ganze Wochen. Das empfehlen Kohavi und Longbotham in ihrer Übersicht zu Online-Experimenten. Google Ads rät für Kampagnentests zu zwei bis drei Wochen. Länger als sechs Wochen wird es schwierig, weil sich Saison und Angebot ändern.

Warum darf ich nicht zwischendurch in den Test schauen?

Schauen dürfen Sie, abbrechen nicht. In meiner Simulation eines Tests ohne echten Unterschied lag die Fehlalarmquote bei einer einzigen Auswertung am Ende bei 4,9 Prozent, bei zehn Zwischenauswertungen mit Abbruch beim ersten signifikanten Zwischenstand aber bei 19,6 Prozent. Wer früh abbricht, sammelt Scheinsieger ein.

Ist ein A/B-Test bei wenig Traffic sinnvoll?

Meistens nicht. Bei 300 Besuchern pro Tag und 3 Prozent Conversion-Rate dauert ein Test auf 20 Prozent Unterschied rund 93 Tage – das sind über drei Monate, in denen sich zu viel anderes ändert. Unter etwa 1.000 Conversions pro Monat lohnen sich meiner Erfahrung nach eher Nutzerbefragungen, Aufzeichnungen von Sitzungen und grobe Vorher-Nachher-Vergleiche mit klarer Kennzeichnung ihrer Schwäche.

Was rechnet Google Ads bei Experimenten selbst?

Google Ads nutzt laut Hilfe zweiseitige Signifikanztests mit einem 95-Prozent-Konfidenzintervall. Die Daten werden in 20 Buckets je Testgruppe zusammengefasst und die Streuung über Jackknife-Resampling geschätzt. Signifikante Werte bekommen ein blaues Sternchen. Eine Stichprobenplanung vorab und eine Korrektur für wiederholtes Nachsehen liefert die Oberfläche nicht.