A/B-Testing Grundlagen: sauber testen statt raten

Ein sauberer A/B-Test vergleicht zwei Versionen einer Seite, die sich in genau einem Element unterscheiden, testet beide gleichzeitig an echten Besuchern und wertet erst aus, wenn genug Daten und genug Zeit vorliegen. Ohne diese drei Bedingungen liefert ein Test scheinbare Ergebnisse, die in Wirklichkeit Zufall sind.

Warum die meisten A/B-Tests scheitern

Das Prinzip klingt einfach: zwei Varianten, mehr Klicks gewinnt. In der Praxis scheitern viele Tests trotzdem, weil sie zu früh abgebrochen werden, mehrere Elemente gleichzeitig ändern oder mit zu wenig Besuchern laufen, um überhaupt ein belastbares Ergebnis zu liefern. Das Resultat: Entscheidungen, die sich auf Zufall statt auf echte Erkenntnis stützen.

Die vier Grundregeln für einen sauberen Test

• Eine klare Hypothese: nicht "wir testen den Button", sondern "ein grüner statt blauer Button erhöht die Klickrate, weil er sich stärker vom Hintergrund abhebt". Eine Hypothese lässt sich im Nachhinein bestätigen oder widerlegen, ein vages Ziel nicht.
• Nur eine Variable: Ändern Sie Button-Farbe, Überschrift oder Bild einzeln. Wer mehrere Elemente gleichzeitig ändert, weiss am Ende nicht, welches davon den Unterschied gemacht hat.
• Genug Besucher und genug Zeit: Ein Test braucht eine Mindestanzahl an Conversions pro Variante, um statistisch aussagekräftig zu sein, und mindestens einen vollen Wochenzyklus, damit Wochentag-Schwankungen sich ausgleichen.
• Vorher festgelegte Abbruchkriterien: Legen Sie vor dem Start fest, wie lange der Test läuft und wie viele Conversions nötig sind. Wer mittendrin abbricht, weil eine Variante gerade vorne liegt, überschätzt fast immer das Ergebnis.

Häufige Fehler in der Praxis

Neben den vier Grundregeln scheitern Tests oft an kleineren, aber folgenreichen Fehlern: der Test läuft über einen Feiertag oder eine Rabattaktion und verzerrt damit das Bild, die beiden Varianten werden nicht wirklich gleichzeitig ausgespielt, oder ein "Gewinner" wird verkündet, obwohl der Unterschied im Bereich der normalen Schwankung liegt. Ein weiterer bekannter Effekt ist der sogenannte Neuheitseffekt: Eine neue Version schneidet in den ersten Tagen oft besser ab, einfach weil wiederkehrende Besucher sie als ungewohnt wahrnehmen. Dieser Effekt verschwindet meist nach ein bis zwei Wochen, ein weiterer Grund, Tests nicht zu früh zu beenden. Ein Blick darauf, was eine gute Conversion Rate überhaupt bedeutet, hilft dabei, Ergebnisse realistisch einzuordnen, statt jede kleine Schwankung als Erfolg zu feiern.

Wenn der Traffic für einen klassischen Test nicht reicht

Die meisten KMU-Websites haben schlicht zu wenig Besucher für klassisches A/B-Testing mit statistischer Signifikanz. Das heisst nicht, dass Optimierung unmöglich ist, nur dass andere Werkzeuge sinnvoller sind:

• Sequenzielle Tests: Variante A vier Wochen laufen lassen, dann Variante B ebenfalls vier Wochen, und die Ergebnisse vergleichen. Weniger sauber als ein echter A/B-Test, aber besser als raten.
• Qualitative Methoden: Nutzerinterviews, Session-Recordings und Heatmaps zeigen oft schon nach wenigen Sitzungen, wo Besucher hängenbleiben, ohne dass man dafür hunderte Conversions braucht.
• Grössere, mutigere Änderungen: Statt kleiner Button-Farb-Tests lohnen sich bei wenig Traffic eher grundlegende Überarbeitungen, deren Wirkung auch ohne strenge Statistik erkennbar ist.

Was nach dem Test kommt

Ein Test endet nicht mit dem Ergebnis. Dokumentieren Sie Hypothese, Aufbau und Resultat, auch wenn eine Variante keinen Unterschied macht: Ein sauber dokumentierter Nulltest verhindert, dass dieselbe Idee ein Jahr später nochmals getestet wird. Und ein gewonnener Test ist kein Ruhepunkt, sondern der Ausgangspunkt für die nächste Hypothese.

Wie sich eine Landingpage grundsätzlich verbessern lässt, auch ohne grosses Testvolumen, zeigt der Artikel zur Landingpage-Optimierung. Für eine strukturierte Herangehensweise über die einzelne Seite hinaus lohnt sich ein Blick auf die CRO-Beratung.