Zum Inhalt springen

Für neue Kunden: Wir gestalten Ihr mobiles Menü kostenlos.Mobile Designs ansehen

Erstgespräch buchen
Erstgespräch buchen

A/B-Testing für Onlineshops

A/B-Testing: Jeder Test braucht einen Grund.

Wir sind eine Agentur für A/B-Testing und prüfen Änderungen an Ihrem Onlineshop, bevor sie fest eingebaut werden. Am Anfang steht eine Hypothese, am Ende eine Entscheidung: einbauen oder verwerfen.

  • Hypothese vor dem Start festgehalten
  • Nötige Bestellmenge vorab berechnet
  • Ergebnis: einbauen oder verwerfen
Erstgespräch buchenSo testen wir

djoonA/B-Tests und Userflow-Optimierung: Fest eingebaut wurde nur, was im Test gewonnen hat.Video ansehen

So testen wir

A/B-Testing nach der 545-Methode: fünf Schritte.

Der A/B-Test ist der letzte von fünf Schritten. Die vier davor entscheiden, ob er eine Aussage liefert. Dahinter steht unsere 545-Methode: 5 Entscheidungen führen zum Kauf, 4 Kräfte wirken auf jede, 5 Schritte führen von der Messung zur Entscheidung.

  1. Messen

    Stimmen die Zahlen, auf denen der Test aufbaut?

    Zählt das Tracking falsch, misst auch der Test falsch. Deshalb prüfen wir zuerst, ob Ihr Tracking Besuche und Bestellungen vollständig erfasst. Dann erheben wir Ihre Bestellmenge und die Kennzahl zu jeder der fünf Entscheidungen Ihrer Käufer, getrennt nach Gerät und Herkunft der Besucher.

    • Tracking von Besuchen und Bestellungen prüfen
    • Kennzahl je Entscheidung, von Klickrate bis Wiederkaufrate
    • Getrennt nach Handy, Desktop und Herkunft
    • Bestellungen im Monat als Grundlage jeder Testplanung

    ErgebnisZahlen, denen Sie trauen können, und die Antwort, ob Ihre Bestellmenge für A/B-Tests reicht.

  2. Eingrenzen

    Wo verliert Ihr Shop die meisten Käufer?

    Wir testen an der Entscheidung, an der Sie absolut die meisten Käufer verlieren. Eine schwache Quote auf einer wenig besuchten Seite kann weniger kosten als eine mittlere im Warenkorb. Zugleich prüfen wir, ob genug Besucher diese Stelle sehen, damit ein Test dort in vertretbarer Zeit eine Aussage liefert.

    • Entscheidung mit dem größten absoluten Verlust
    • Besucher und Bestellungen an genau dieser Stelle
    • Reihenfolge der Testorte mit Begründung

    ErgebnisDie Stelle, an der wir testen, mit Begründung. Sie sehen sie, bevor wir beginnen.

  3. Erklären

    Warum verlieren Sie genau dort Käufer?

    Wir prüfen die Stelle gegen die vier Kräfte Leichtigkeit, Rahmen, Verlust und Zuspruch und belegen, welche dort wirkt: mit Kundenstimmen, Daten und UX-Audit. Nach unserer Erfahrung wird dieser Schritt am häufigsten übersprungen. Dann prüft ein Test womöglich eine Kraft, die an dieser Stelle gar nicht wirkt.

    • Prüfung gegen Leichtigkeit, Rahmen, Verlust und Zuspruch
    • Kundenstimmen aus Umfragen, Bewertungen und Foren
    • UX-Audit, also Prüfung der Seite auf Bedienbarkeit
    • Hypothese: Wenn wir X ändern, erwarten wir Y, weil Z

    ErgebnisEine schriftliche Hypothese. Oder der ehrliche Befund, dass es an Preis, Sortiment oder Besuchern liegt.

  4. Gestalten

    Eine Hypothese, eine Änderung.

    Wir gestalten die Variante mit Text, Bild und Aufbau und programmieren sie für den Test. Bringen Sie eigene Ideen und Designs mit, setzen wir diese als Variante um. Vor dem Start prüfen wir die Variante auf Handy und Desktop und kontrollieren, ob beide Gruppen sauber gemessen werden.

    • Gestaltung der Variante: Text, Bild, Aufbau
    • Oder Ihr eigenes Design als Variante
    • Programmierung der Variante für den Test
    • Qualitätsprüfung vor dem Start

    ErgebnisEine geprüfte Variante, die sich nur in dem Punkt unterscheidet, den die Hypothese nennt.

  5. Testen

    Hat die Änderung gewirkt?

    Ihre Besucher werden je zur Hälfte auf die bisherige Seite und die Variante verteilt. Wie viele Bestellungen der Test braucht, steht vor dem Start fest. Ausgewertet wird, wenn diese Zahl erreicht ist: nach statistischer Signifikanz, bei Bedarf getrennt nach Gerät sowie nach Neu- und Bestandskunden.

    • Besucher 50 zu 50 geteilt, Aufteilung bleibt gleich
    • Kein Abbruch beim ersten guten Zwischenstand
    • Auswertung nach statistischer Signifikanz
    • Gewinner fest eingebaut, Verlierer dokumentiert

    ErgebnisEine Entscheidung mit Zahlen: einbauen oder verwerfen. Danach beginnt Schritt 1 mit der nächsten Messung.

Bestandteile

Sehen Sie, was eine Änderung wirklich bringt.

Hypothese, Gestaltung, Technik und Auswertung greifen ineinander. Beide Fassungen laufen zur selben Zeit. Ist der Unterschied signifikant, liegt er an Ihrer Änderung, nicht an Saison oder Zufall.

  1. Hypothese vorab

    Wenn wir X ändern, erwarten wir Y, weil Z. Diesen Satz halten wir vor dem Start schriftlich fest. So lässt sich das Ergebnis hinterher nicht umdeuten.

  2. Stichprobe vorab berechnet

    Wie viele Bestellungen der Test braucht, berechnen wir vor dem Start. Wer beim ersten guten Zwischenstand stoppt, erklärt leicht den Zufall zum Gewinner.

  3. Ein Ziel je Test

    Vor dem Start legen wir fest, woran der Test gemessen wird, etwa an Klicks auf den Warenkorb-Button oder an Bestellungen. Das Ziel ändert sich während des Tests nicht.

  4. Qualitätsprüfung

    Bevor Besucher die Variante sehen, prüfen wir Darstellung und Funktion auf Handy und Desktop. Ein Fehler in der Variante würde das Ergebnis verfälschen.

  5. Saubere Aufteilung

    Die Besucher werden 50 zu 50 geteilt, und die Aufteilung bleibt bis zum Ende gleich. Handy und Desktop testen wir bei Bedarf getrennt.

  6. Auswertung nach Signifikanz

    Signifikant heißt: Der Unterschied ist sehr wahrscheinlich kein Zufall. Neu- und Bestandskunden werten wir bei Bedarf getrennt aus. Dieselbe Änderung kann bei beiden entgegengesetzt wirken.

  7. Klare Entscheidung

    Gewinner werden fest eingebaut, je nach Shopsystem von uns oder von Ihrem Entwicklerteam. Verlierer dokumentieren wir und sagen es Ihnen offen.

  8. Dokumentation

    Hypothese, Laufzeit, Zahlen und Entscheidung halten wir zu jedem Test fest. So baut der nächste Test auf dem letzten auf. Die Hypothesenliste gehört Ihnen.

Ehrliche Einschätzung

Wann sich A/B-Testing lohnt und wann nicht.

Für einen A/B-Test zählt weniger die Zahl der Besucher als die Zahl der Bestellungen. Ob sich ein Test bei Ihrer Bestellmenge lohnt, sagen wir Ihnen, bevor Sie uns beauftragen.

  1. Genug Bestellungen

    Faustregel: Für einen Unterschied von 20 Prozent braucht ein Test rund 400 Bestellungen je Variante, für 10 Prozent rund 1.600. Halb so große Effekte brauchen die vierfache Menge.

  2. Verlässliche Messung

    Zählt das Tracking Bestellungen unvollständig oder läuft der Shop technisch nicht stabil, misst der Test Fehler statt Verhalten. Dann bringen wir zuerst die Messung in Ordnung.

  3. Genug Zeit

    Ein Test läuft mindestens einen vollen Geschäftszyklus. Bei 200 bis 300 Bestellungen im Monat dauert selbst der Nachweis von 20 Prozent rund drei bis vier Monate.

  4. Eine echte Frage

    Ein Test lohnt sich, wenn sein Ergebnis etwas entscheidet: eine Änderung, die viele Besucher sehen und die Sie sonst auf Verdacht einbauen würden.

  5. Zu wenig Bestellungen

    Dann arbeiten wir mit Kundenbefragungen, UX-Audits und Vorher-nachher-Vergleichen und benennen die Unsicherheit offen. Der A/B-Test ist eine Methode von mehreren.

  6. Eindeutige Blockaden

    Bedienfehler, fehlende Vertrauenselemente, unklare Navigation: Was eindeutig blockiert, beheben wir ohne Test. Ein Test ließe die Hälfte der Besucher weiter auf den Fehler treffen.

Hinter jedem Test: ein Team, das es genau wissen will.

Strategie und Hypothese, Gestaltung, Entwicklung, Qualitätsprüfung, Auswertung: An jedem Test arbeiten mehrere Disziplinen, und keine gibt sich mit einem guten Zwischenstand zufrieden. Ihr Ansprechpartner bleibt einer der beiden Gründer. Am Ende bekommen Sie eine Entscheidung mit Zahlen: einbauen oder verwerfen.

  1. Strategie und Hypothese
  2. Gestaltung
  3. Entwicklung
  4. Qualitätsprüfung
  5. Auswertung

Wir sind bekannt aus:

Ausgewählte Fachmagazine und Medien haben bereits über unsere Arbeit und Erfolge berichtet.

  • This is Marketing
  • Kameleoon
  • Founders League
  • CRO.CAFE
  • Merchant Inspiration

Fragen zum A/B-Testing

Häufige Fragen zum A/B-Testing mit einer Agentur.

Kosten, Laufzeit, Bestellmenge: hier die kurzen Antworten. Was offen bleibt, klären wir im Erstgespräch.

Offene Fragen klären

Was ist ein A/B-Test?

Bei einem A/B-Test sieht ein Teil Ihrer Besucher die bisherige Seite (A), der andere Teil eine geänderte Fassung (B). Beide laufen zur selben Zeit, unter denselben Bedingungen.

Die Zahlen zeigen, welche Fassung besser verkauft und wie sicher der Unterschied ist. So bauen Sie eine Änderung erst ein, wenn sie sich bewährt hat.

Was kostet A/B-Testing mit einer Agentur?

Das hängt davon ab, wie viele Tests laufen sollen und ob wir nur programmieren und auswerten oder auch Hypothesen und Designs erarbeiten. Ein Pauschalpreis, der für jeden Shop gilt, wäre geraten.

Eine genaue Einschätzung erhalten Sie im Erstgespräch, sobald wir Ihren Shop und Ihre Bestellmenge kennen.

Wie lange dauert ein A/B-Test?

Das legen wir vor dem Start fest: aus der Zahl der Bestellungen, die der Test braucht, und der Zahl, die Ihr Shop in dieser Zeit erreicht. Mindestens läuft ein Test einen vollen Geschäftszyklus.

Bei rund 1.000 Bestellungen im Monat lässt sich ein Unterschied von 20 Prozent in etwa vier Wochen nachweisen, bei 300 Bestellungen erst nach rund drei Monaten. Beim ersten guten Zwischenstand beenden wir einen Test nicht, denn frühe Werte schwanken stark.

Ab wie vielen Bestellungen lohnt sich A/B-Testing?

Als Faustregel: Um einen Unterschied von 20 Prozent nachzuweisen, braucht ein Test rund 400 Bestellungen je Variante, für 10 Prozent rund 1.600.

Reicht die Bestellmenge nicht, arbeiten wir mit Kundenbefragungen, UX-Audits und Vorher-nachher-Vergleichen und benennen die Unsicherheit offen. Ob sich ein A/B-Test bei Ihnen lohnt, erfahren Sie von uns vor dem Auftrag.

Was ist der Unterschied zwischen A/B-Testing und Conversion-Optimierung?

Conversion-Optimierung ist das ganze Programm: Wir messen, wo Ihr Shop Käufer verliert, grenzen die Stelle ein, erklären die Ursache, gestalten die Seite neu und testen das Ergebnis.

A/B-Testing ist die Messmethode darin. Sie können es auch einzeln buchen, wenn Ihr Team bereits eigene Ideen und Designs hat und sauber testen möchte.

Können wir eigene Ideen und Designs testen lassen?

Ja, dafür ist A/B-Testing einzeln buchbar. Wir halten Ihre Idee als Hypothese fest, programmieren Ihr Design als Variante, prüfen sie vor dem Start und werten den Test aus.

Vorher sagen wir Ihnen, ob der Test bei Ihrer Bestellmenge eine belastbare Aussage liefern kann.

Testen Sie auch auf anderen Shopsystemen als Shopify?

Ja, Analysen und A/B-Tests führen wir auch für Shops auf anderen Systemen durch, denn wie Menschen entscheiden, hängt nicht vom Shopsystem ab.

In Shopify bauen wir Gewinner selbst fest ein. Bei anderen Systemen setzt Ihr eigenes Entwicklerteam die Änderung um.

Lohnt sich ein A/B-Test für Ihren Shop?

Im Erstgespräch sprechen Sie 30 Minuten mit David Pehl oder Anas Elimani. Sie schildern Ihre Lage und Ihre Bestellmenge, wir sagen Ihnen offen, ob A/B-Tests bei Ihnen eine Aussage liefern oder ob ein anderer Weg besser passt.

Erstgespräch buchen

  • 30 Minuten, unverbindlich
  • Mit einem der beiden Gründer
  • Erfahrung aus 180+ betreuten Shops

Wir sind stolz, Shopify Premier Partner zu sein.

Mit dem Klick laden wir den Chat unseres Anbieters. Vorher werden keine Daten an ihn übertragen.