Marketingexperiment stoppen met vooraf gekozen criteria

Begin niet bij de test, maar bij de beslissing die erop volgt. Schrijf in één zin op: als dit experiment uitkomt op A, doen we X; komt het uit op B, dan doen we Y. Kun je die zin niet schrijven, dan weet je nog niet wat je wilt leren en is meten voorbarig.

Formuleer daarna één hoofdmaatstaf. Kies iets wat bij je doel past, zoals aanvragen, aankopen of aanmeldingen, en vermijd vage grootheden als 'meer betrokkenheid'. Noteer ook de noemer: per bezoeker, per sessie of per euro advertentiebudget. Zonder noemer kun je twee periodes niet eerlijk vergelijken.

Voeg één of twee bewakingsmaatstaven toe die niet mogen verslechteren, bijvoorbeeld het aantal geannuleerde bestellingen of de kost per aanvraag. Zo voorkom je dat je een winnaar kiest die elders schade doet.

Een stopregel op een kapotte meting is waardeloos. Volgens de documentatie van Google Analytics meet een gebeurtenis een specifieke interactie, zoals een paginalading, een klik of een afgeronde aankoop. Je leest daar ook dat bepaalde gebeurtenissen automatisch worden verzameld, dat verbeterde meting extra gebeurtenissen kan toevoegen, en dat je aanbevolen of aangepaste gebeurtenissen zelf moet implementeren (uitleg over gebeurtenissen).

Controleer dus vóór de start of jouw hoofdmaatstaf onder een van die categorieën valt en of hij werkelijk afgaat, bij voorkeur met een testbestelling in een veilige testomgeving. Een gebeurtenis in Analytics bewijst geen betaalde bestelling: vergelijk bij de afsluiting daarom ook met de besteladministratie of het betaalplatform. In dezelfde bron staan twee hulpmiddelen om dat na te gaan: het Realtime-rapport toont gebeurtenissen van de afgelopen 30 minuten, en DebugView toont alle gebeurtenissen van één gebruiker zodra de foutopsporingsmodus aanstaat. Welke menuroute en rechten jouw account daarvoor heeft, controleer je zelf in je eigen omgeving, want die kunnen wijzigen.

Bij een webshop gaat het om aankopen. De technische documentatie voor e-commerce beschrijft aanbevolen gebeurtenissen voor onder meer aankopen en terugbetalingen, en raadt aan om de valuta op gebeurtenisniveau mee te sturen als je een waarde verstuurt (meten van e-commerce). Zonder die valuta kan je omzetvergelijking tussen testvarianten rammelen.

Er bestaat geen universeel aantal dagen dat een experiment 'lang genoeg' loopt. Wat je wel kunt doen, is een minimum afleiden uit je eigen bedrijfsritme. Stel drie vragen:

1. Hoeveel volledige weekcycli wil je minstens zien? Wie weekdag en weekend anders gedraagt, heeft minstens één volledige week nodig, liefst meer.
2. Hoe lang duurt de gemiddelde beslissingstijd van je klant? Bij een aanvraag die pas na twee weken wordt afgesloten, zegt een meting na drie dagen weinig over de afgeronde uitkomst.
3. Valt er een uitzonderlijke periode in, zoals een actie, vakantie of grote mailing? Dan meet je mogelijk iets anders dan je denkt.

Schrijf het minimum vooraf op als datum, niet als gevoel. Een minimum is geen garantie: ook na die datum kan de uitkomst nog toeval bevatten. Behandel het als ondergrens voor kijken, niet als bewijs.

Gebruik onderstaande tabel als invulblad; de regels zijn voorbeelden die je aan je eigen situatie aanpast. Je vult de kolommen vooraf in, en pas daarna start je het experiment.

'Geen winnaar' is een geldige uitkomst. Het betekent dat je de variant niet kunt onderscheiden en dat je mag kiezen op basis van kost, werkdruk of merkpassing.

Stel dat een kleine webshop in tuinartikelen twee versies van een productpagina wil vergelijken. Dit is een verzonnen voorbeeld, zonder echte resultaten. Het overdrachtsblad dat de eigenaar aan een collega geeft, bevat:

• Doel en beslissing: bij variant B met duidelijkere levertijd nemen we die over op alle productpagina's; bij A of geen verschil blijft de huidige pagina.
• Hoofdmaatstaf: aantal aankopen per sessie op de testpagina's.
• Bewakingsmaatstaf: aantal retouren dat aan de testproducten gekoppeld is.
• Meetcontrole: aankoopgebeurtenis met valuta gezien in DebugView en Realtime tijdens een testbestelling in een testomgeving, vóór de start, datum genoteerd. Dit toont dat de gebeurtenis binnenkomt, niet dat betalingen kloppen; aantallen worden bij afsluiting naast de besteladministratie gelegd.
• Minimale duur: drie volledige weken, omdat de klant vaak pas na een weekend beslist. Eén verlenging van twee weken toegestaan.
• Stop vroeger als: de meting wegvalt of de afgesproken drempel voor retouren wordt overschreden.
• Verboden: de hoofdmaatstaf wijzigen of de einddatum verschuiven na het bekijken van tussentijdse cijfers.

Een collega kan dit blad overnemen zonder de eigenaar te hoeven bellen, en kan achteraf nagaan of de beslissing de regels volgde.

Loop na het experiment een korte controlelijst af voordat je de uitkomst deelt:

1. Stond de gebeurtenis de hele periode aan, zonder gaten die je hebt genoteerd?
2. Is de einddatum gelijk aan de vooraf geschreven datum, of heb je de afgesproken verlenging gebruikt?
3. Heb je de hoofdmaatstaf en noemer ongewijzigd gelaten?
4. Viel er een uitzonderlijke gebeurtenis in de periode die je in je verslag vermeldt?
5. Schrijf je de uitkomst op als 'in deze periode, bij dit verkeer', niet als algemene waarheid?

Deze procedure beschermt tegen achteraf redeneren. Ze vervangt geen statistische analyse en bewijst geen oorzaak-gevolg. Bij kleine volumes blijft toeval een grote rol spelen. Beschouw de uitkomst dus als onderbouwde richting voor een volgende stap, en test belangrijke beslissingen indien mogelijk opnieuw. Wil je weten welke publieke signalen van je site nu al zichtbaar zijn, bekijk ze dan via Marketing Scan. Een publieke scan meet zichtbare signalen en bewijst geen volledige meetopzet.