Was ist A/B-Testing, wie wird es durchgeführt und warum liefert es nicht immer eine Antwort?

• Wie A/B-Tests funktionieren: Sechs Schritte von der Hypothese zur Schlussfolgerung
• Wie der Traffic aufgeteilt wird: Methoden und Werkzeuge
• Wie Split-Tests in sozialen Medien durchgeführt werden
• Typische Fehler bei A/B-Tests
• Wann A/B-Tests keinen Sinn machen

In digitalen Produkten können selbst kleine Details das Verhalten der Nutzer beeinflussen — von der Formulierung des Buttons bis zum Bild auf dem ersten Bildschirm. Das Problem ist, dass es im Voraus selten klar ist, wie eine bestimmte Änderung wirken wird. Selbst wenn die Entscheidung offensichtlich erscheint, können die Menschen ganz anders reagieren, als erwartet. Daher ist es an einem bestimmten Punkt logischer, einfach zu beobachten, was die Nutzer tatsächlich tun, anstatt Vorhersagen zu treffen.

Genau aus diesem Ansatz heraus ist das A/B-Testing entstanden — als Methode, um Ideen unter realen Bedingungen zu testen, anstatt sie theoretisch zu diskutieren.

In der Regel ist eine Variante die aktuelle Version, während die andere sich nur in einem Detail unterscheidet. Wenn dieses Detail von Bedeutung ist, zeigt sich der Unterschied in den Ergebnissen.

Beispielsweise wird auf einer Seite zum Verkauf von Webhosting der Button in zwei Varianten gestaltet: blau und grün. Wenn eine von ihnen zu mehr Klicks führt — bleibt genau diese. Hier geht es nicht um ein «richtiges» Design, sondern nur um die Reaktion des Publikums.

Das Prinzip des Vergleichs von zwei Varianten wurde lange vor dem Internet entwickelt. Es wurde in wissenschaftlichen Studien, der Medizin, der Industrie verwendet — überall dort, wo es darum ging, eine objektive Antwort zu erhalten und nicht auf Intuition zu vertrauen. In der digitalen Umgebung wurde A/B-Testing in den 2000er Jahren populär, als es möglich wurde, schnell Daten über das Verhalten der Nutzer zu sammeln.

Lesen Sie auch: Was ist Website-Traffic, wie man ihn herausfindet und warum man ihn kontrollieren sollte

Wie A/B-Tests funktionieren: Sechs Schritte von der Hypothese zur Schlussfolgerung

Split-Testing sieht selten wie ein kompliziertes Experiment mit Formeln und Grafiken aus. In der Regel handelt es sich um eine Abfolge einfacher Schritte, die von Test zu Test wiederholt werden, unabhängig davon, was genau getestet wird — eine Seite, ein Werbematerial oder ein einzelnes Element der Benutzeroberfläche.

1. Ein Zweifel oder eine Idee taucht auf. Das Testen beginnt normalerweise mit dem Gefühl, dass die Seite oder das Werbematerial besser funktionieren könnte. Formal sieht alles in Ordnung aus: Die Leute kommen, lesen, klicken manchmal weiter. Aber es bleibt die Frage — würden die Nutzer anders reagieren, wenn die Präsentation leicht geändert würde?
2. Eine Hypothese wird formuliert. In diesem Stadium entsteht eine konkrete Annahme darüber, was das Verhalten der Nutzer beeinflussen könnte. Zum Beispiel, dass eine abstrakte Illustration auf dem ersten Bildschirm schön aussieht, aber kein Gefühl der Einbindung erzeugt — warum sie nicht durch ein Foto einer realen Person ersetzen?
3. Zwei Varianten werden vorbereitet. Eine Variante bleibt unverändert und dient als Ausgangspunkt. Die andere unterscheidet sich nur in einem Detail, das im Test überprüft wird. Wenn mehrere Elemente gleichzeitig geändert werden, wird es schwierig, das Ergebnis zu erklären, selbst wenn es positiv erscheint.
4. Der Test wird gestartet und beobachtet. Dabei merkt sich das System, welche Variante einem bestimmten Nutzer gezeigt wurde, und zeigt bei wiederholten Besuchen dieselbe. Dies ist wichtig für die Sauberkeit des Experiments — die Person sollte nicht zwischen den Versionen «springen».
5. Ein Indikator wird ausgewählt und dem Test wird Zeit gegeben. Im Voraus wird festgelegt, worauf genau man schauen wird: ob die Nutzer weiterklicken, ob sie mit dem Inhalt interagieren oder ob sie den gewünschten Schritt erreichen. Die ersten Ergebnisse sind normalerweise nicht aussagekräftig, daher wird dem Test ausreichend Zeit gegeben.
6. Eine Schlussfolgerung wird gezogen. Wenn die Daten zunehmen, wird klar, ob es einen spürbaren Unterschied zwischen den Varianten gab. Manchmal ist er offensichtlich, manchmal so gering, dass eine Änderung keinen Sinn macht. Es kann auch vorkommen, dass der Test keine klare Antwort gibt, und das ist auch ein Ergebnis: es bedeutet, dass die spezifische Änderung das Verhalten der Nutzer nicht beeinflusst hat.

Dieser Ansatz ermöglicht es, Änderungen zu testen, ohne das funktionierende Modell zu gefährden: Während der Test läuft, sieht ein Teil der Nutzer weiterhin die gewohnte Version. Dies ist besonders wichtig, wenn es um Seiten geht, die bereits Anfragen oder Verkäufe generieren.

Lesen Sie auch: Wie man eine Website für die Anbindung eines Zahlungssystems vorbereitet

Wie der Traffic aufgeteilt wird: Methoden und Werkzeuge

• Das Hauptprinzip der Traffic-Verteilung
• Warum man Traffic nicht auf zwei verschiedene Seiten aufteilen sollte
• Werkzeuge zur Traffic-Aufteilung

In jedem A/B-Test ist nicht die Idee der Änderung entscheidend, sondern wie die Nutzer auf die verschiedenen Varianten gelangen. Wenn dieser Schritt nicht richtig organisiert ist, verlieren die Testergebnisse ihren Sinn, selbst wenn die Zahlen überzeugend aussehen.

Herzlichen Glückwunsch! Sie haben den Rabattcode mit 20% Rabatt auf die Bestellung eines neuen Hostings gefunden, der für alle Tarife gilt! Geben Sie ORDER20HOSTYNG bei der Bestellung des Hosting-Dienstes auf unserer Website ein: https://cityhost.ua/de/#hosting 

Dieser Rabattcode ist im Rahmen der Aktion «Ich gehe suchen» verfügbar und gilt vom 30. April bis zum 31. Mai 2026.

Traffic wird fast nie manuell aufgeteilt. Der Grund ist einfach: Menschen können mehrmals auf die Website zurückkehren, von verschiedenen Geräten aus zugreifen oder von verschiedenen Quellen auf die Seite gelangen. Ohne spezielle Werkzeuge ist es unmöglich zu garantieren, dass dieselbe Person nicht beide Varianten sieht.

Das Hauptprinzip der Traffic-Verteilung

In klassischem A/B-Testing wird eine URL verwendet, und das Testsystem entscheidet intern, welche Variante einem bestimmten Nutzer gezeigt wird. Dies geschieht normalerweise zufällig, zum Beispiel im Verhältnis 50/50.

Wichtiger Punkt: Nach der ersten Anzeige wird die Auswahl fixiert. Wenn der Nutzer zur Seite zurückkehrt, sieht er dieselbe Variante wie zuvor. Dies hilft, Verwirrung zu vermeiden und das Verhalten der Menschen nicht durch künstliche «Umschaltungen» zu beeinflussen.

Warum man Traffic nicht auf zwei verschiedene Seiten aufteilen sollte

Ein häufiger Fehler besteht darin, zwei Seiten zu erstellen und einfach Traffic von verschiedenen Werbeanzeigen darauf zu leiten. Formal sieht das wie ein Test aus, aber bei dem Versuch, ihn umzusetzen, treten mehrere Probleme auf:

• Ein Nutzer kann beide Versionen sehen;
• Die Zielgruppen in der Werbung können sich überschneiden;
• Die Ergebnisse hängen stark von der Traffic-Quelle ab und nicht von der Änderung selbst.

In diesem Format ist es schwierig zu verstehen, was genau das Ergebnis beeinflusst hat — die Seite, die Werbung oder der Zufall. 

Lesen Sie auch: Traffic + CPA-Marketing: wie man mit Partnerangeboten Geld verdient

Werkzeuge zur Traffic-Aufteilung

Um diese Probleme zu vermeiden, werden spezielle Dienste für A/B-Tests verwendet. Sie übernehmen die Verteilung des Traffics, die Fixierung der Varianten und die Sammlung von Statistiken.

Für Websites auf WordPress wird häufig Nelio A/B Testing gewählt. Dies ist ein Plugin, das es ermöglicht, Seiten, Überschriften und einzelne Elemente ohne Programmierkenntnisse zu testen. Die Varianten werden direkt im Admin-Bereich erstellt, und der Traffic wird automatisch aufgeteilt.

Für Landingpages und Marketingseiten ohne komplexe Logik eignet sich Split Hero. Der Dienst funktioniert nach dem Prinzip des Seitenwechsels und überwacht selbst, dass die Nutzer eine stabile Variante sehen.

Eine universellere Lösung gilt als VWO. Es ermöglicht das Testen sowohl ganzer Seiten als auch einzelner Elemente über einen visuellen Editor. Solche Dienste werden häufig in Marketingteams verwendet, wo es wichtig ist, Tests schnell ohne Einbeziehung von Entwicklern zu starten.

Für große Projekte und komplexe Produkte gibt es Lösungen wie Optimizely, bei denen die Traffic-Verteilung auf Serverebene erfolgen kann. Dies liefert sauberere Ergebnisse, erfordert jedoch technische Ressourcen und Erfahrung.

Wie Split-Tests in sozialen Medien durchgeführt werden

• Wie das Split-Testing von Werbung auf Facebook funktioniert
• Wie man das Split-Testing von Werbung auf TikTok startet
• Wie man A/B-Tests auf YouTube durchführt

In sozialen Medien hat das Split-Testing ein grundlegendes Limit: Für organische Beiträge gibt es keine A/B-Testwerkzeuge auf Facebook, Instagram, TikTok und YouTube. Soziale Netzwerke bieten keine Möglichkeit, das Publikum kontrolliert zwischen zwei Versionen eines Beitrags zu teilen, die Anzeige für einen bestimmten Nutzer zu fixieren oder eine gleichmäßige Verteilung der Ansichten zu gewährleisten. Daher ist es technisch unmöglich, organischen Inhalt korrekt zu testen.

Die Idee, einfach zwei ähnliche Beiträge mit unterschiedlicher Präsentation zu veröffentlichen, erscheint logisch, führt jedoch tatsächlich nicht zu verlässlichen Ergebnissen. Dieselben Nutzer können beide Beiträge sehen, und zwar zu unterschiedlichen Zeiten und in unterschiedlichen Kontexten. Die Algorithmen der sozialen Netzwerke greifen zusätzlich in die Anzeigen ein: Wenn ein Beitrag schneller Reaktionen erhält, wird er aktiver angezeigt, während der andere fast aus dem Feed verschwindet. Auch die Veröffentlichungszeit, der Wochentag, der allgemeine Informationshorizont und die aktuelle Aktivität des Publikums beeinflussen das Ergebnis. Letztendlich wird nicht die Effektivität der beiden Varianten verglichen, sondern eine Kombination aus externen Faktoren und Entscheidungen des Algorithmus.

Gleichzeitig führen einzelne Plattformen schrittweise integrierte automatische Experimente für bestimmte Inhaltsformate ein. Zum Beispiel bietet Meta A/B-Testing für Reels an. In diesem Fall ermöglicht die Plattform, mehrere Varianten des Covers oder der Beschreibung für ein Video zu erstellen. Das System teilt dann das Publikum selbst in Untergruppen, bewertet die Reaktion über einen kurzen Zeitraum (normalerweise anhand der Anzahl der Aufrufe) und wählt automatisch die Variante aus, die das beste Ergebnis erzielt hat.

Es ist wichtig zu verstehen, dass dieser Mechanismus kein klassisches A/B-Testing ist. Der Nutzer kontrolliert weder die Verteilung des Publikums, noch die Dauer des Tests, noch die Metriken — alle Entscheidungen trifft der Algorithmus der Plattform. Im Grunde genommen ist es eine schnelle algorithmische Auswahl der Variante für eine spätere Verbreitung und kein vollständiges Experiment mit detaillierter Analyse.

Vollwertige Split-Tests in sozialen Medien sind nur in der Werbung möglich. Die Werbeplattformen von Meta und TikTok haben spezielle Experimentiermodi, in denen die Plattform das Publikum selbst zwischen den Varianten aufteilt. In diesem Format sieht jeder Nutzer nur eine Version der Anzeige, und die Ergebnisse werden parallel und ohne Überschneidung der Anzeigen gesammelt.

In der Werbung werden normalerweise ein Parameter geändert: Kreativ, Text, Überschrift, Handlungsaufforderung oder Publikum. Die übrigen Bedingungen bleiben gleich, was es ermöglicht, das Ergebnis genau mit der spezifischen Änderung zu verknüpfen. 

Wie das Split-Testing von Werbung auf Facebook funktioniert

Es ist wichtig zu wissen, dass das Split-Testing von Werbung auf TikTok und Facebook nur in der Browser-Version des Werbeanzeigenmanagers verfügbar ist. Mobile Anwendungen unterstützen die Erstellung von A/B-Tests nicht, daher ist es nicht möglich, sie von einem Telefon aus zu starten.

Im Werbeanzeigenmanager von Facebook wird diese Funktion über die Schaltfläche «A/B-Testing» in der oberen Leiste des Ads Managers gestartet. Das Testen wird immer auf der Grundlage eines vorhandenen Werbeobjekts erstellt — einer Kampagne, einer Anzeigengruppe oder einem bestimmten Werbepost.

Nach dem Klicken auf die Schaltfläche bietet Facebook an, wie der Test eingerichtet werden soll. Es gibt zwei Optionen: entweder eine Anzeige zu nehmen und eine Kopie zur Vergleich zu erstellen, oder zwei bereits erstellte Anzeigen auszuwählen. In jedem Fall fordert das System auf, die Kampagne, die Anzeigengruppe oder den bestimmten Werbepost anzugeben, der die Grundlage des Tests bilden wird.

Die Logik des Tests ist dann standardmäßig: Das System erstellt zwei Versionen der Anzeige, teilt das Publikum zwischen ihnen auf und zeigt jede Variante einer separaten Gruppe von Nutzern. Nach Abschluss des Tests vergleicht Facebook die Ergebnisse und zeigt, welche Variante besser funktioniert hat.

Wie man das Split-Testing von Werbung auf TikTok startet

Um A/B-Tests auf TikTok zu starten, muss man mit der Browser-Version des Werbeanzeigenmanagers arbeiten. In der TikTok-App oder im TikTok Studio gibt es diese Funktion nicht, daher ist der erste Schritt, die Website ads.tiktok.com zu besuchen und sich in sein Werbekonto einzuloggen. Wenn man noch kein Konto hat, führt das System durch die Standardregistrierung mit der Auswahl des Landes, des Geschäftstyps und der Zahlungseinstellungen.

Nach dem Einloggen öffnet sich der TikTok Ads Manager. Im oberen Menü muss man zum Abschnitt Kampagnen wechseln. Hier befinden sich alle Kampagnen, Anzeigengruppen und Verwaltungstools für Werbung. In der linken Spalte, unterhalb der Hauptstruktur der Kampagnen, gibt es den Block Management. Darin befindet sich der Punkt Split-Test — dies ist der Einstiegspunkt für das Split-Testing.

Nachdem man auf Split-Test geklickt hat, muss man «Create Split Test» auswählen.

Im nächsten Schritt muss man auswählen, was genau getestet werden soll. TikTok bietet mehrere Optionen: Testen von Kreativen, Zielgruppeneinstellungen oder Optimierungs- und Gebotsstrategien. Es gibt auch den Modus Custom Test, der es ermöglicht, zwei Kampagnen mit beliebigen Kombinationen von Änderungen zu vergleichen.

Im nächsten Schritt muss man das Werbeobjekt für den Vergleich auswählen. Das System fordert auf, Campaign A — eine bestehende Kampagne, die als Basisversion verwendet wird, zu definieren. Campaign B wird automatisch durch Kopieren der ersten Kampagne erstellt, wobei in dieser nur der Parameter geändert werden kann, der für das Testen ausgewählt wurde. So haben beide Kampagnen dieselben Einstellungen, und der Unterschied zwischen ihnen beschränkt sich auf eine kontrollierte Änderung.

Nach der Bestätigung der Einstellungen und dem Klicken auf Continue wird der Split-Test gestartet. Nach Abschluss des Tests zeigt das System, welche Variante sich nach der gewählten Metrik als effektiver erwiesen hat.

Lesen Sie auch: Wie man eine Website mit sozialen Medien bewirbt

Wie man A/B-Tests auf YouTube durchführt

Das Split-Testing von Videoanzeigen auf YouTube erfolgt nicht im YouTube Studio, sondern über den Google Ads-Werbeanzeigenmanager.

Der erste Schritt besteht darin, die Website ads.google.com zu besuchen und sich in sein Google Ads-Konto einzuloggen. Nach dem Einloggen muss man zum Kampagnenbereich wechseln und sicherstellen, dass bereits eine Videokampagne für YouTube erstellt wurde oder zumindest ein kreatives Element vorbereitet ist, mit dem man arbeiten möchte.

Nach dem Wechsel zu Campaigns → Experiments öffnet sich die Seite zur Erstellung von Experimenten. Hier bietet Google Ads an, verschiedene Varianten von Kampagnen zu testen — Kreative, Einstellungen oder einzelne Anzeigeparameter. Um einen Split-Test zu starten, muss man die Schaltfläche «Create an experiment» drücken.

Das System fordert dann auf, eine Basis-Kampagne auszuwählen, die bereits im Konto existiert. Auf deren Grundlage erstellt Google Ads eine Testversion, in der man einen oder mehrere Parameter je nach Art des Experiments ändern kann. Danach wird die Traffic-Verteilung zwischen der Originalkampagne und der Testversion sowie die Dauer des Experiments festgelegt.

Die Ergebnisse des Experiments werden in demselben Abschnitt Experiments angezeigt und ermöglichen es, zu sehen, welche Version der Anzeige die besten Ergebnisse bei den gewählten Metriken erzielt hat.

Typische Fehler bei A/B-Tests

Selbst ein richtig eingerichtetes A/B-Testing kann falsche Schlussfolgerungen liefern, wenn man in der Planungs- oder Analysephase Fehler macht. Die häufigsten Probleme entstehen nicht durch die Werkzeuge, sondern durch Eile und falsche Dateninterpretation.

1. Gleichzeitiges Testen mehrerer Änderungen. Wenn in einem Test mehrere Elemente gleichzeitig geändert werden, ist unklar, was genau das Ergebnis beeinflusst hat. Selbst ein positives Ergebnis ist in diesem Fall schwer in der Praxis zu nutzen.
2. Zu kurzes Testen und eine geringe Datenmenge. Die ersten Ergebnisse sehen oft überzeugend aus, sind aber normalerweise nur zufällige Schwankungen. Wenn der Test zu früh gestoppt wird oder Daten aus einer kleinen Stichprobe analysiert werden, können die Schlussfolgerungen falsch sein.
3. Änderung der Bedingungen während des Tests. Anpassungen des Budgets, der Zielgruppen oder anderer Einstellungen während des Tests stören die Gleichheit der Bedingungen. In einem solchen Fall ist der Vergleich der Varianten nicht mehr korrekt.
4. Erwartung großer Effekte von geringfügigen Änderungen. Nicht jede Anpassung hat einen merklichen Einfluss auf das Verhalten der Nutzer. Das Fehlen eines Unterschieds zwischen den Varianten ist ein normales Ergebnis und kein Zeichen des Scheiterns.
5. Überzeugung, dass der Test immer eine klare Antwort geben muss. Manchmal bestätigt A/B-Testing lediglich, dass beide Varianten gleich gut funktionieren. Dies ist ein Signal, nicht «einen Gewinner zu suchen», sondern neue Hypothesen zu formulieren.

Wann A/B-Tests keinen Sinn machen

A/B-Testing wird oft als universelles Werkzeug zur Entscheidungsfindung angesehen. Es gibt jedoch Situationen, in denen es entweder keine nützlichen Informationen liefert oder eine Illusion der Kontrolle schafft, ohne ein echtes Verständnis des Problems zu fördern. Dies geschieht am häufigsten in folgenden Fällen.

1. Wenn der Traffic zu gering ist. Wenn nur wenige Nutzer auf eine Seite oder eine Werbekampagne kommen, werden die Testergebnisse instabil und zufällig sein.

Wenn 20-30 Personen pro Tag auf die Landingpage kommen und zwei Varianten eines Buttons getestet werden, wird eine Variante nach einer Woche vier Klicks haben, die andere sechs. Formal gibt es einen Unterschied, aber dieser lässt sich leicht durch Zufall erklären und nicht durch einen tatsächlichen Vorteil.

2. Wenn das Produkt oder das Angebot für das Publikum unverständlich ist. Wenn die Menschen nicht verstehen, was ihnen angeboten wird und warum sie es brauchen, wird eine Änderung der Überschrift, des Buttons oder des Bildes keinen Einfluss auf die Entscheidung haben.

Zum Beispiel verkauft ein Service Domainnamen, verwendet jedoch auf dem ersten Bildschirm vage Formulierungen. Das Team startet einen A/B-Test mit zwei Überschriften:

• «Infrastrukturlösungen für die Online-Präsenz»
• «Starte dein Projekt im Internet noch heute»

Beide Varianten zeigen ähnliche Ergebnisse, da die Nutzer nicht verstehen, was ihnen angeboten wird: eine Domain, Hosting, VPS oder überhaupt einen Komplettservice. In einer solchen Situation zeigt der Test keinen besseren Vorschlag, da das Problem nicht in der spezifischen Formulierung, sondern in der Klarheit des Angebots liegt.

3. Wenn das falsche Problembewusstsein getestet wird. Wenn die Werbung aufgrund einer ungeeigneten Zielgruppe oder einer schwachen Idee insgesamt nicht funktioniert, wird das Testen kleiner Anpassungen nur das Fehlen von Ergebnissen bestätigen.

Stellen wir uns vor, dass die Werbung einer sehr breiten Zielgruppe gezeigt wird, die kein Interesse an dem Produkt hat. Anstatt die Zielgruppe zu überprüfen, startet man einen A/B-Test mit zwei Anzeigentexten. Beide Varianten funktionieren schlecht — und der Test dokumentiert dies nur, ohne das Problem zu lösen.

4. Wenn die Kampagne einen kurzen Lebenszyklus hat. Werbekampagnen oder Seiten, die nur ein paar Tage oder Wochen existieren, haben einfach nicht genug Zeit, um ausreichende Daten zu sammeln.
5. Wenn von den Tests fertige Antworten erwartet werden. A/B-Tests geben keine Hinweise darauf, was als Nächstes zu tun ist, wenn beide Varianten ähnliche Ergebnisse gezeigt haben.

Zusammenfassend lässt sich sagen, dass A/B-Tests am besten dort funktionieren, wo es ein verständliches Produkt, einen stabilen Nutzerfluss und eine klare Hypothese zur Überprüfung gibt. In anderen Fällen kann es verfrüht sein — und das ist kein Fehler, sondern ein Hinweis, den Fokus der Arbeit zu ändern.

Ein gut eingerichteter Test zeigt, ob eine bestimmte Änderung einen spürbaren Einfluss hat. Manchmal zeigt er die bessere Variante, manchmal bestätigt er, dass es keinen Unterschied gibt. Beide Ergebnisse sind nützlich, wenn sie richtig interpretiert werden.