Voor en na een websitewijziging eerlijk vergelijken

De meeste oneerlijke vergelijkingen ontstaan achteraf: je kijkt naar de cijfers en kiest dan de periode die het mooist oogt. Voorkom dat door vooraf op papier te zetten wat je wil weten.

1. Formuleer één vraag. Bijvoorbeeld: levert de nieuwe offertepagina meer ingevulde aanvragen per sessie op?
2. Kies één hoofdmaatstaf. Een aantal (aanvragen) en een verhouding (aanvragen per sessie) vertellen verschillende dingen. Kies er één als leidende maatstaf en hou de rest als context.
3. Noteer het exacte moment van de wijziging, met datum en uur, en wie wat heeft aangepast.
4. Bepaal de lengte van de periodes voor je de cijfers bekijkt, en gebruik voor 'voor' en 'na' evenveel dagen.
5. Schrijf op wat je wel en niet als storend beschouwt, zoals een lopende campagne of een vakantieweek.

Zo'n plan van tien regels volstaat. Het belangrijkste is dat het er staat voor je de resultaten ziet.

Een vergelijking is niets waard als de meting ertussen verandert. Een gewijzigde pagina kan bijvoorbeeld per ongeluk de tag of de gebeurtenis breken waarmee je aanvragen telt. Google beschrijft dat een gebeurtenis een specifieke interactie meet, zoals een paginalading, een klik of een aankoop. Meer uitleg vind je in de documentatie over Analytics-gebeurtenissen. Dezelfde bron beschrijft dat je in het Realtime-rapport en in DebugView kunt nagaan of een gebeurtenis en zijn parameters binnenkomen.

Doorloop deze controle op de dag van de wijziging:

• Activeer zelf de gebeurtenis die je hoofdmaatstaf voedt in een veilige testomgeving, met een unieke herkenbare testactie en zonder echte persoonsgegevens, en kijk of ze verschijnt met de verwachte parameters. Realtime toont alleen de afgelopen 30 minuten en DebugView vraagt extra configuratie. Een verschijnende gebeurtenis bewijst niet dat de aanvraag zelf correct is verwerkt of opgeslagen; controleer dat apart in je eigen systeem en let op dubbele registratie bij herhaalde tests.
• Controleer of de gebeurtenis op de nieuwe versie van de pagina nog altijd op hetzelfde moment afgaat als op de oude.
• Bekijk of de gebeurtenis niet dubbel wordt geteld door een extra tag naast de oude.
• Noteer de uitkomst bij je meetplan, met datum.

Merk je dat de meting na de wijziging anders werkt dan ervoor, dan vergelijk je geen prestaties maar twee meetmethodes. Herstel dan eerst de meting en begin je meetperiode opnieuw.

Twee periodes zijn pas vergelijkbaar als de mensen die erin binnenkomen op elkaar lijken. Een wijziging beoordeel je dus nooit los van de herkomst van je bezoekers.

Hanteer deze regels:

• Hele weken. Bezoekers gedragen zich op maandag anders dan op zaterdag. Vergelijk daarom volledige weken met volledige weken, niet vijf dagen met zeven.
• Wisseldag uitsluiten. Laat je wijziging nooit midden in een periode vallen die je nadien deels bij 'voor' en deels bij 'na' rekent. Sluit de wisseldag uit.
• Segmenteer op herkomst. Vergelijk bijvoorbeeld alleen organisch zoekverkeer met organisch zoekverkeer, of alleen betaald verkeer met betaald verkeer. Een globaal cijfer verbergt een verschuiving in de mix.
• Vergelijk verhoudingen naast aantallen. Meer aanvragen kan simpelweg komen door meer bezoekers. Aanvragen per sessie zegt iets over de pagina zelf.
• Hou het apparaat constant. Een stijging in mobiel verkeer kan een gemiddelde optrekken of neerhalen zonder dat de pagina veranderde.

Vraag je af of je na het opdelen nog voldoende gebeurtenissen overhoudt. Met een handvol aanvragen per periode is toeval een serieuze verklaring en trek je beter geen conclusie.

Gebruik de tabel hieronder als werkblad. Overloop elke rij voor en na de wijziging en noteer wat je vindt. Heb je een storende factor in één periode maar niet in de andere, dan is die periode niet vergelijkbaar.

Dit werkblad bewijst niet dat je wijziging werkt. Het toont wel welke andere verklaringen je nog niet kunt uitsluiten.

Een fictieve kmo past op een bepaalde dinsdag de pagina voor offerteaanvragen aan. Dit zijn de invoer en de controles die je zou uitvoeren. De getallen zijn louter illustratief en zeggen niets over wat je mag verwachten.

Invoer in het meetplan:

• Vraag: leidt de nieuwe pagina tot meer ingevulde aanvragen per sessie?
• Hoofdmaatstaf: aanvragen per sessie op die pagina.
• Periodes: vier volledige weken voor en vier volledige weken na, met de wisseldag uitgesloten.
• Segment: alleen organisch verkeer, omdat in de tweede periode ook een nieuwsbrief is verstuurd.

Controles die je uitvoert:

1. Test op de wisseldag in een veilige testomgeving met een unieke testactie of de aanvraaggebeurtenis nog afgaat, via het Realtime-rapport of DebugView, en controleer in je eigen aanvraagsysteem dat de testaanvraag maar één keer is opgeslagen.
2. Vergelijk het aantal sessies per segment in beide periodes. Een grote verschuiving in het organische verkeer wijst op een andere instroom.
3. Leg het aantal aanvragen en sessies per week naast elkaar. Schommelen de weken binnen één periode sterk, dan is het verschil tussen de twee periodes minder betekenisvol.
4. Raadpleeg het wijzigingslogboek op prijzen, aanbod en campagnes.

Pas na deze stappen formuleer je een voorzichtige conclusie, zoals: 'in dit segment zagen we een verschil, met deze kanttekeningen'. Een causale uitspraak vraagt meer, bijvoorbeeld een gecontroleerde test.

Weet waar je bronnen ophouden. De documentatie voor gebeurtenissen instellen beschrijft dat er vier soorten gebeurtenissen zijn: automatisch verzameld, verbeterde meting, aanbevolen en aangepast. Aanbevolen en aangepaste gebeurtenissen moet je zelf implementeren. Dat betekent dat jij moet nagaan of die gebeurtenis na je wijziging nog correct afgaat. Voor webshops beschrijft de handleiding over ecommerce meten hoe je aankoopgedrag via gebeurtenissen vastlegt, met onder meer een aanbeveling om de valuta op gebeurtenisniveau te zetten wanneer je een waarde meestuurt. Wil je opbrengsten vergelijken, controleer dan of dat bij jou consequent gebeurt.

Bronnen en cijfers hebben hun grenzen. Exacte schermen, rechten en functies in je analysetool kunnen wijzigen, dus controleer in je eigen account waar je welke rapporten vindt. Een voor-na-vergelijking blijft een observatie, geen bewijs.

Voor de overdracht naar een collega of bureau bundel je vijf dingen: het meetplan, de datum en het uur van de wijziging, de uitkomst van de meetcontrole, het ingevulde beslisblad en je voorzichtige conclusie. Wil je daarnaast zien welke signalen je website publiek toont, dan kun je die bekijken via Marketing Scan. Die scan meet zichtbare signalen en voert niet alle controles uit die in deze gids staan.