Was ist ein A/B-Test?
Ein A/B-Test teilt Besucher per Zufall auf zwei Fassungen auf: die bisherige (A) und eine geänderte (B). Am Ende vergleichen Sie eine einzige, vorher festgelegte Kennzahl, etwa den Anteil der Besucher, die eine Anfrage senden. Weil der Zufall entscheidet, wer welche Fassung sieht, lässt sich ein Unterschied auf die Änderung zurückführen und nicht auf Wochentag oder Kampagne.
| Testart | Was verglichen wird | Traffic-Bedarf |
|---|---|---|
| A/B-Test auf einer URL | zwei Fassungen auf derselben URL, per JavaScript ausgetauscht | am geringsten |
| A/B/n-Test | drei oder mehr Fassungen | steigt mit jeder Fassung |
| Weiterleitungstest | zwei Seiten mit eigener URL, ein Teil der Besucher wird weitergeleitet | gleich, solange es zwei Fassungen sind |
| Multivariater Test | mehrere Änderungen gleichzeitig in allen Kombinationen | am höchsten |
A/B-Tests gibt es auf Landingpages, in Anzeigen und in E-Mails. Die Methode ist überall dieselbe; hier geht es um sie, nicht um die Testfunktionen einzelner Werbeplattformen.
Vor dem Start: Hypothese, eine Hauptmetrik, feste Stichprobe
Wer das Ziel erst nach dem Test festlegt, kann sich die Kennzahl aussuchen, bei der B zufällig vorn liegt. Schreiben Sie deshalb vor dem Start sieben Dinge auf:
- Hypothese in einem Satz. Nach dem Muster „Wenn wir X ändern, dann steigt Y, weil Z.“
- Fassung A. Die bisherige Seite oder Anzeige, unverändert.
- Fassung B. Eine deutliche Änderung, etwa am Angebot, am Aufbau oder am Formular.
- Genau eine Hauptmetrik. An ihr entscheiden Sie. Alles andere ist Beobachtung.
- Mindeststichprobe je Fassung. Aus Anfragerate und gesuchtem Unterschied berechnet.
- Startdatum.
- Laufzeit. Sie folgt aus der Stichprobe, nicht aus einer Faustregel. Unsere Empfehlung: volle Wochen, damit jeder Wochentag gleich oft vorkommt.
Hauptmetrik bei wenigen Anfragen. Optimizely nennt für Seiten mit wenig Traffic ein häufigeres Zwischenziel als Weg, schneller zu einem Ergebnis zu kommen, etwa den Einstieg ins Formular. Bei einer Lead-Seite messen Sie ihn zusätzlich, denn er zeigt früher die Richtung. Entschieden wird über die Anfrage: Sinkt sie, gewinnt die Fassung nicht.
Auch in Google Ads bleibt die Anfrage die Conversion, auf die Sie bieten; wie Sie sie sauber messen, steht in unserem Artikel zum Conversion-Tracking in Google Ads.
Welchen Unterschied Ihr Test erkennen kann
Ein Test erkennt nur Unterschiede ab einer bestimmten Größe, und diese Größe steht vor dem Start fest. Sie hängt von Besuchern je Fassung, Anfragerate, geforderter Sicherheit und Teststärke ab. Evan Miller gibt dafür eine Faustformel an: Besucher je Fassung = 16 × p × (1 - p) / d². Dabei ist p Ihre Anfragerate und d der kleinste Unterschied, den der Test erkennen soll, beide als Anteil (5 % = 0,05).
Ein Lesebeispiel. Eine Seite hat 1.000 Besucher im Monat und eine Anfragerate von 5 %. Ein Test mit zwei Fassungen, der acht Wochen läuft, erkennt erst einen Unterschied von etwa +65 % (95 % Sicherheit, 80 % Teststärke). Die Faustformel von Evan Miller ergibt etwas weniger, rund +57 %. Teststärke heißt: Mit dieser Wahrscheinlichkeit findet der Test einen Unterschied dieser Größe, wenn es ihn wirklich gibt.
+65 % heißt: Die Anfragerate müsste von 5 % auf gut 8 % steigen. Optimizely rechnet in einem ausgedachten Beispiel mit +5 % für einen neuen Buttontext und +50 % für einen Hinweis auf kostenlosen Versand. Prüfen Sie deshalb vor dem Bau, ob Ihre Änderung so groß sein kann: ein anderes Angebot, ein anderer Aufbau, ein kürzeres Formular.
Wie viele Besucher ein Test bei Ihrer Anfragerate braucht, zeigt die Beispielrechnung in unseren Call-to-Action-Beispielen. Setzen Sie Ihre eigenen Werte in einen Rechner für Stichprobengrößen ein, bevor Sie Fassung B bauen.
Der Rat „Testen Sie alles“ passt hier nicht. Eine CRO-Agentur empfiehlt im ersten Suchergebnis für „a/b test“ (Stand 3. November 2026) eine „Test everything“-Haltung. Bei einer Lead-Seite mit wenigen Anfragen liefern kleine Änderungen damit in der geplanten Laufzeit keine Aussage. Testen Sie dort wenige, große Unterschiede und entscheiden Sie den Rest nach Erfahrung.
Weniger Sicherheit hat einen Preis. Optimizely erlaubt, die geforderte Signifikanz zu senken, damit ein Test schneller endet. Der Hersteller schreibt selbst dazu: Damit steigt die Wahrscheinlichkeit falscher Gewinner.
Während des Tests: nicht beim ersten „signifikant“ stoppen
Die übliche Signifikanzrechnung setzt voraus, dass die Stichprobe vorher feststand. Wer zwischendurch nachsieht und beim ersten „signifikant“ stoppt, verletzt diese Annahme.
Was ein Zwischenblick kostet. Evan Miller hat ausgerechnet, welche angezeigte Signifikanz Sie bräuchten, um bei wiederholtem Nachsehen auf echte 5 % Fehlerquote zu kommen: bei einem Zwischenblick 2,9 %, bei fünf Zwischenblicken 1,4 %. Wer also fünfmal nachsieht und beim üblichen Wert von 5 % stoppt, ruft deutlich öfter als jedes zwanzigste Mal einen Gewinner aus, obwohl es keinen Unterschied gibt. Eine Ausnahme sind sequenzielle Verfahren, bei denen die Prüfpunkte vorher festgelegt werden.
Auch Bayes-Werkzeuge schützen nicht vor zu frühem Stoppen. Manche Werkzeuge zeigen statt eines p-Werts eine „Chance to Win“, die Wahrscheinlichkeit, dass eine Fassung besser ist. GrowthBook rechnet standardmäßig so und rät, typischerweise bis 95 % zu warten. Der Hersteller schreibt aber auch: Wer früh stoppt, kann auch dort mehr falsche Gewinner bekommen.
Drei Prüfungen vor dem Ablesen.
- Stichprobe erreicht? Erst ablesen, wenn jede Fassung die geplante Zahl an Besuchern hat.
- Aufteilung wie geplant? Weicht die Verteilung auf A und B statistisch auffällig vom eingestellten Verhältnis ab, ist das Ergebnis nicht verwertbar. Bei Microsoft muss jeder Test diese Prüfung bestehen, bevor er ausgewertet wird, etwa mit einem Chi-Quadrat-Test. Laut einer Auswertung dort hatten etwa 6 % der Tests eine solche Abweichung.
- Nichts geändert? Wurde während des Tests an Seite, Anzeige oder Kampagne gedreht, vergleichen Sie nicht mehr nur A mit B.
Werkzeuge, Anzeigen und das Google-Ranking
Ein Testwerkzeug brauchen Sie zusätzlich. Google Optimize ist seit dem 30. September 2023 eingestellt. Google setzt für A/B-Tests in Google Analytics 4 auf Drittanbieter und nennt als Partner AB Tasty, Optimizely und VWO. Eine Empfehlung ist das nicht, Werkzeuge mit Anbindung an Google Analytics gibt es weitere.
Anzeigen testen Sie in der Werbeplattform. In Google Ads erstellen Sie aus einer Kampagne einen benutzerdefinierten Test; er bekommt einen Teil der Zugriffe und des Budgets der Kampagne. Auch Meta beschreibt im Hilfebereich für Unternehmen eigene A/B-Tests im Werbeanzeigenmanager. Wenn Sie Neukunden über Facebook und Instagram gewinnen wollen, finden Sie mehr unter Meta Ads.
Mit vier Regeln bleibt der Einfluss auf das Ranking gering. Google nennt sie in seiner Dokumentation zu Website-Tests, um die Auswirkungen auf die Suche zu minimieren:
- Kein Cloaking. Der Googlebot sieht dieselben Inhalte wie Besucher. Der Googlebot unterstützt im Allgemeinen keine Cookies und sieht deshalb die Fassung für Besucher ohne Cookies.
- rel="canonical" auf das Original bei Tests mit mehreren URLs, nicht noindex.
- 302 statt 301, weil die Weiterleitung nur für die Dauer des Tests gilt.
- Test beenden und aufräumen. Danach die gewählte Fassung übernehmen und alternative URLs und Testskripte entfernen.
Wie wir Landingpages bauen und testen, steht auf der Seite Landingpage Agentur. Ob ein Test bei Ihrer Besucherzahl eine Aussage liefern kann, rechnen wir im kostenlosen Erstgespräch mit Ihnen durch.
Neukunden oder Mitarbeiter gewinnen?
Im Erstgespräch zeigen wir Ihnen, wie PushPartner Anfragen und Bewerbungen planbar macht. 30 Minuten, kostenlos, unverbindlich.
Transparenzhinweis
- Autor und fachliche Prüfung: Benjamin Pusch, Gründer von PushPartner.
- Interessenkonflikt: PushPartner ist eine Agentur für Performance-Marketing in Düsseldorf. Wir bauen und testen Landingpages für Kunden und verdienen daran.
- Datenstand: 3. November 2026. Wir prüfen den Artikel spätestens im Mai 2027 und früher, wenn Google die Testanbindung in Google Analytics oder die Hinweise zu Website-Tests ändert.
- Quellen: Dokumentation von Google, Hilfeseiten von Meta, Optimizely und GrowthBook, ein Fachbeitrag zur Teststatistik, ein Beitrag von Microsoft Research und ein Ratgeber einer CRO-Agentur. Die Rechnung im Lesebeispiel ist unsere eigene (Standardrechnung für den Vergleich zweier Anteile), zum Vergleich mit der Faustformel von Evan Miller.
Quellen
- Google Search Central: Auswirkungen von A/B-Tests in der Google Suche minimieren, zuletzt aktualisiert am 31.12.2025
- Evan Miller: How Not To Run an A/B Test, 18.04.2010
- GrowthBook: GrowthBook's Statistics, abgerufen am 03.11.2026
- Optimizely: Test tips for low-traffic sites, abgerufen am 03.11.2026
- Microsoft Research: Diagnosing Sample Ratio Mismatch in A/B Testing, abgerufen am 03.11.2026
- Google Analytics-Hilfe: Einstellung Google Optimize, abgerufen am 03.11.2026
- Google Ads-Hilfe: Benutzerdefinierten Test einrichten, abgerufen am 03.11.2026
- Meta-Hilfebereich für Unternehmen: Informationen zu A/B-Tests, abgerufen am 03.11.2026
- growganic: A/B Testing: Erklärung, Vorgehen, Tipps, abgerufen am 03.11.2026
