Creative Testing sauber aufsetzen: die häufigsten fünf Fehler

Die meisten Creative-Tests, die wir in Kundenkonten sehen, beweisen nichts. Nicht weil die Videos schlecht wären, sondern weil der Aufbau kaputt ist. Am Ende steht eine Zahl, aus der man nichts ableiten kann, und trotzdem wird eine Entscheidung darauf gebaut. Das ist teurer als gar nicht zu testen, weil es Sicherheit vortäuscht.

Hier sind die fünf Fehler, die wir am häufigsten sehen, in der Reihenfolge, wie schwer sie das Ergebnis beschädigen.

Fehler 1: Mehrere Variablen gleichzeitig ändern

Video A hat einen anderen Hook, eine andere Musik, ein anderes Model und einen anderen Call-to-Action als Video B. Video B gewinnt. Was habt ihr gelernt? Nichts, das ihr wiederverwenden könntet. Ihr wisst, dass diese eine Datei besser performt hat als jene andere. Ihr wisst nicht, woran es lag, könnt es also nicht auf das nächste Produkt oder die nächste Kampagne übertragen.

Das ist der teuerste Fehler, weil er nicht nur diesen Test entwertet, sondern alle künftigen: ohne isolierte Variablen baut ihr kein Wissen auf. Nach zwölf Monaten Testen wisst ihr genauso wenig über eure Zielgruppe wie am Anfang, nur mit mehr Dateien im Ordner.

Richtig: Pro Testrunde ändert sich genau eine Sache. In der Regel der Hook, weil er den größten Hebel hat. Alles danach bleibt identisch: gleiche Szenen, gleicher Schnitt, gleicher Ton, gleicher CTA. Nur wenn das so ist, sagt euch das Ergebnis etwas über die Variable und nicht über den Zufall. Wie viele Konzepte und Varianten dafür sinnvoll sind und wie ihr eine Testmatrix überhaupt dimensioniert, steht in Die Testmatrix: Konzepte gegen Varianten.

Fehler 2: Audience-Überlappung zwischen den Ad Sets

Klassisches Setup: drei Ad Sets, in jedem eine Variante, alle drei zielen auf dieselbe oder eine stark überlappende Zielgruppe. Was dann passiert, ist, dass eure eigenen Ad Sets in der Auktion gegeneinander bieten. Sie treiben sich gegenseitig den Preis hoch, und die Auslieferung verteilt sich nicht nach Qualität, sondern nach Zufall und Startzeitpunkt.

Das Ergebnis sieht aus wie ein Testergebnis, ist aber überwiegend ein Artefakt der Auktionsmechanik. Besonders tückisch: der Effekt ist bei kleinen Zielgruppen am stärksten, also genau dort, wo kleinere Shops testen.

Richtig: Alle Varianten laufen in einem Ad Set als separate Anzeigen. Damit gibt es nur eine Auktion, eine Zielgruppe und keine interne Konkurrenz. Wenn ihr aus strukturellen Gründen getrennte Ad Sets braucht, nutzt ihr das Split-Test-Werkzeug der Plattform, das die Zielgruppen sauber und überschneidungsfrei aufteilt. Was ihr nicht tut: drei normale Ad Sets mit derselben Zielgruppe parallel starten. Wie die komplette Kampagnenstruktur drumherum aussehen sollte, inklusive ABO gegen CBO und Mindestlaufzeit, steht in Kampagnenstruktur für Creative Testing.

Drei Ad Sets auf dieselbe Zielgruppe sind kein Test. Das ist ein Bietkrieg gegen euch selbst.

Fehler 3: Zu früh entscheiden

Tag zwei, Variante B liegt vorn, Variante A wird abgeschaltet. Zwei Wochen später wundert man sich, warum der Gewinner nicht liefert.

Nach zwei Tagen und ein paar hundert Impressionen pro Variante ist der Abstand zwischen den Varianten fast immer Rauschen. Dazu kommt die Lernphase: der Algorithmus optimiert die Auslieferung anfangs noch, die Zahlen der ersten Tage bilden also nicht die Leistung des Creatives ab, sondern den Zustand des Lernprozesses.

Richtig: Vor dem Start drei Dinge festlegen und aufschreiben:

• Mindestlaufzeit. In der Regel mindestens vier bis sieben Tage, damit Wochentagseffekte sich ausmitteln und die Lernphase durch ist.
• Mindestvolumen je Variante. Legt fest, wie viele Ergebnisse oder wie viel Spend jede Variante gesehen haben muss, bevor ihr überhaupt hinschaut. Ohne diese Schwelle entscheidet ihr auf Rauschen.
• Leitmetrik. Eine einzige, vorher definiert. Nicht CTR und CPA und ROAS und Hook-Rate gleichzeitig, sonst findet man immer eine Zahl, die die gewünschte Antwort gibt.

Der entscheidende Teil ist, dass diese drei Werte vor dem Start feststehen. Wer sie hinterher festlegt, wählt sie unbewusst so, dass das Lieblingsvideo gewinnt.

Fehler 4: Die Leitmetrik passt nicht zur Frage

Ihr testet Hooks und bewertet nach ROAS. Klingt vernünftig, ist aber unscharf: zwischen Hook und Kauf liegen Landingpage, Preis, Versandkosten, Verfügbarkeit, Vertrauen. Der Hook beeinflusst davon einen kleinen Teil. Wenn ihr nach der Kennzahl am Ende der Kette bewertet, braucht ihr entsprechend viel Volumen, bevor der Unterschied überhaupt sichtbar wird.

Umgekehrt gilt genauso: wer Hooks nach CTR bewertet und dann skaliert, findet manchmal den Clickbait-Gewinner, der viele Klicks und keine Käufe bringt. Welche der sechs Kennzahlen wofür taugt und in welcher Reihenfolge ihr sie überhaupt lesen solltet, steht ausführlich in Die sechs Kennzahlen, die beim Creative zählen.

Richtig: Metrik nach Testebene wählen und den Rest als Kontrollwert danebenlegen.

Der Kontrollwert entscheidet nicht, aber er schützt euch: wenn eine Variante die Leitmetrik gewinnt und den Kontrollwert deutlich verschlechtert, ist sie kein Gewinner, sondern ein Warnsignal.

Fehler 5: Es gibt keine nächste Runde

Der Test läuft, ein Gewinner steht fest, der Gewinner bekommt Budget. Und dann passiert wochenlang nichts, bis der Gewinner selbst ermüdet und man wieder bei null anfängt.

Ein einzelner Test ist eine Momentaufnahme. Wert entsteht erst, wenn Runden aufeinander aufbauen: aus dem Gewinner werden die nächsten Herausforderer abgeleitet, indem man wieder genau eine Variable verändert. So verschiebt sich das Niveau nach oben, statt bei jeder Ermüdung neu zu würfeln.

Richtig: Ein einfacher Dreitakt, der sich endlos wiederholen lässt.

1. Exploration. Mehrere unterschiedliche Konzepte gegeneinander, breit angelegt. Ziel: die Richtung finden.
2. Konvergenz. Das beste Konzept in mehreren Varianten, die sich nur im Hook unterscheiden. Ziel: die Ausführung schärfen.
3. Verteidigung. Der Champion läuft weiter, jede Runde treten neue Herausforderer gegen ihn an. Ziel: ihn ersetzen, bevor er stirbt.

Was in jeder der drei Phasen genau passiert und warum die meisten Teams ausgerechnet die Verteidigungsphase zu früh abbrechen, steht ausführlicher in Exploration, Konvergenz, Verteidigung.

Die Checkliste vor jedem Start

Wenn ihr nur eine Sache aus diesem Artikel mitnehmt, dann diese sechs Fragen. Beantwortet sie schriftlich, bevor die Kampagne live geht:

1. Welche eine Variable unterscheidet die Varianten?
2. Laufen alle Varianten in einem Ad Set, also ohne interne Konkurrenz?
3. Wie lange läuft der Test mindestens?
4. Wie viele Ergebnisse oder wie viel Spend braucht jede Variante mindestens?
5. Was ist die eine Leitmetrik und was der Kontrollwert?
6. Was passiert mit dem Gewinner in der nächsten Runde?

Sechs Fragen, zehn Minuten. Der Unterschied zwischen einem Test, aus dem ihr etwas lernt, und einem, der nur Budget kostet, entsteht fast vollständig hier, vor dem Start. Nicht in der Auswertung danach.

Warum wir das inzwischen selbst ausführen

Wir haben lange nur die Videos geliefert, mit einer sauberen Testanleitung dazu. Das Problem daran ist offensichtlich, sobald man ehrlich hinschaut: wenn wir eine Garantie auf das Testergebnis geben, aber jemand anders den Test aufsetzt, garantieren wir etwas, das wir nicht kontrollieren. Und die fünf Fehler oben passieren nicht aus Nachlässigkeit, sondern weil im Alltag eines Shops niemand Zeit hat, sechs Fragen aufzuschreiben, bevor er auf Veröffentlichen klickt.

Deshalb liegt die Testausführung ab unserem Hauptpaket bei uns: Kampagnenaufbau, Mindestlaufzeit, Auswertung, Reporting. Ihr bekommt nicht nur die Varianten, sondern die Antwort darauf, welche gewonnen hat und warum.

Welche Hooks in Runde zwei überhaupt gegeneinander antreten sollten, steht hier: Die ersten drei Sekunden, sieben Hook-Muster, die den Scroll stoppen. Und woran ihr merkt, dass der amtierende Champion selbst müde wird, steht hier: Ad Fatigue erkennen.