Heb je minder dan 1.000 conversies (verkopen, leads, etc.) per maand? Dan is A/B testing waarschijnlijk voor jouw website niet de beste oplossing. Je loopt dan namelijk het risico dat er niet voldoende bezoekers per A/B variatie getest worden. Dit heeft tot gevolg dat er statistische problemen ontstaan in het bepalen welke variant nu echt heeft gewonnen.
Je kunt nu twee kanten op (welke met real-life voorbeelden en bijpassende tools in de presentatie zullen worden uitgewerkt):
1) Niet geadviseerd: zorgen dat je toch kunt gaan A/B testen. Denk hierbij bijvoorbeeld aan het inzetten van SEA of SEO om je aantal conversies per maand te verhogen. Ook kun je denken aan een lagere significantie grens, varianten achter elkaar (in plaats van naast elkaar) neerzetten, grote veranderingen per keer proberen, een focus op micro conversies, etc.
2) Wel geadviseerd: jezelf eerst richten op methodes die ook bij minder verkeer werken. Dit zijn bijvoorbeeld user testing, expert reviews en surveys. Ook je web analytics data of gegevens voortkomende uit mouse tracking of formulier analyse kunnen hier erg inzichtelijk zijn. Hoewel het verzamelen van deze bevindingen niet per se voldoet aan de wetenschappelijke normen, brengen ze vaak wel kritieke pijnpunten aan het licht. Zeker ook door meerdere van deze onderzoekstechnieken te combineren, kun je een redelijk stabiele bron van verbeteringen samenstellen. Overigens is het zo dat ook websites met veel verkeer sowieso vanuit gedegen vooronderzoek hun variaties zou moeten bepalen, waardoor deze methodes bruikbaar blijven wanneer het aantal conversies is gegroeid.