De A/B-test-pagina in de Statistieken module van Spotler MailPro biedt gedetailleerde statistieken voor mailings met een A/B-test. Op deze pagina kun je testresultaten analyseren, verschillende mailingversies vergelijken en de prestaties van je test beoordelen.
Deze pagina wordt gevuld op het moment dat er één of meerdere A/B testen zijn verzonden binnen deze campagne.
In dit artikel lees je meer over:
A/B-test specificaties
Op de A/B-test-pagina vind je bovenaan de actieve filters. Deze geven aan welke verzonden mailing wordt geanalyseerd. De test wordt uitgevoerd op basis van de metriek die is gekozen om de winnaar te bepalen, zoals unieke kliks.
Belangrijke testspecificaties zijn:
- Testduur
- Criteria voor het bepalen van de winnaar (bijv. unieke kliks of opens)
- Verdeling van de testgroepen
Bijvoorbeeld, in een test met een duur van twee uur bevatten zowel groep A als B elk 2.064 records.
Overzicht van A/B-testresultaten
Het overzicht toont de resultaten voor elke testvariant op basis van unieke kliks en opens. Hieronder visualiseert een grafiek de prestaties van beide varianten over de volledige testperiode.
De grafiek bevat twee lijnen die Variant A en Variant B vertegenwoordigen. De gegevens worden weergegeven op basis van de gekozen prestatiewaarde, zoals unieke kliks.
Details van A/B-testresultaten
Onder de grafiek wordt een samenvatting gegeven van elke testmailing:
- Samenvatting van Mailing A
- Samenvatting van Mailing B
- Samenvatting van de winnende mailing (A of B)
Deze samenvatting bevat dezelfde gegevens die beschikbaar zijn in de algemene statistieken van MailPro.
Voorbeeld: Evaluatie van een A/B-test
In het overzicht en de grafiek in bovenstaande afbeeldingen scoorde Variant A 16 unieke kliks in twee uur, terwijl Variant B 30 unieke kliks behaalde, wat een duidelijk verschil van bijna 50% aantoont.
De grafiek laat zien dat direct na verzending Variant A beter presteerde (10 vs. 7 unieke kliks). Later werd het verschil groter (16 vs. 5 unieke kliks), en aan het einde behaalden beide varianten vier unieke kliks.
Sommige A/B-tests laten zeer vergelijkbare resultaten zien. In dat geval kun je overwegen om een groter verschil tussen de testvarianten aan te brengen, de testperiode te verlengen of een grotere doelgroep te gebruiken om een duidelijker resultaat te krijgen.
Wanneer de uiteindelijke samenvatting wordt vergeleken, had Variant B een unieke klikratio van 2,9%, net als de winnende mailing, terwijl Variant A een lagere ratio van 1,9% had. Dit bevestigt dat de test statistisch representatief was.