Récemment, je me suis rendu à un atelier présenté par Colombus Consulting et organisé par Swiss Marketing Vaud. Ma copine me demande alors ce qu’est l’A/B testing. C’est là que j’ai eu l’idée d’en faire un article pour mon blog, dont la mission est toujours de vulgariser l’information, de la rendre accessible et compréhensible pour tout un chacun.
Petit retour en arrière… Quand j’ai commencé ma carrière dans la publicité presse, les annonces étaient créées puis transformées en support pour l’impression, soit sous forme de film (papier transparent), soit sous forme de bromure, respectivement épreuve photographique sur papier au bromure d’argent. Des coursiers amenaient ces documents par valises entières trois fois par jour, de la rue Etraz (Publicitas Lausanne) à la tour Edipresse, pour la fabrication du journal (24 Heures, Le Matin, etc). Impensable de faire de nombreux tests avec des sujets A et B, vu la complexité et les coûts de production… sans parler du fait que les résultats étaient presque impossibles à mesurer.
C’était le siècle dernier ! Désormais, on peut changer le contenu d’une bannière en ligne presque instantanément et en mesurer les effets d’une manière très précise. C’est simplement ça l’A/B testing.
Dans l’exemple ci-dessous, on teste l’emplacement du prix et du logo en deux variantes. Grâce à des outils d’A/B testing, les deux annonces sont envoyées en parallèle, à deux audiences différentes, le public-cible étant splité en deux à part égale.
Multivariate testing :
On peut aller plus loin en testant des variables à l’intérieur des variantes définies. Par exemple, pour notre variante précédente A, nous pouvons tester la position des détails techniques (bloc bleu) à gauche ou à droite, le lap-top a également été inversé (nouvelles variables C et D). Pareil pour E et F, qui découlent de B.
Bien entendu, il s’agit ensuite de mesurer l’efficacité des différentes variantes ou variables au moyen des outils d’A/B testing, dans le but de faire un choix. On va tester par exemple le taux de conversion, ou alors l’augmentation du panier moyen sur un site de e-commerce.
En moyenne, les utilisateurs ne visitent que 5 pages d’un site internet donné. Ils passent en moyenne 3 minutes et 29 secondes sur une session. C’est très court pour les convaincre ! C’est pourquoi il faut trouver la meilleure Expérience-Utilisateur pour pousser les indicateurs-clés rapidement et efficacement.
En anglais pour être incisif… The goal is to find the best UX to boost the targeted KPI’s quickly and effectively.
Les 4 étapes-clés du A/B testing sont :
Pourquoi l’A/B testing?
- Le test permet de prendre des décisions basées sur des recherches et non pas sur un feeling – ou les goûts de la personne la plus influente (HiPPO, Highest Paid Person Opinion)
- Il permet d’améliorer continuellement l’expérience-client en améliorant un objectif simple (par ex. le reach)
- On travaille avec une data driven approach
- Le test permet de travailler avec des hypothèses et de les vérifier.
L’idéal : travailler de manière agile et itérative. Avec de petits changements, morceau par morceau. Ne pas créer une usine à gaz.
Quelles sont les limitations ?
- Il faut un certain volume de trafic (5K à 10K visites sur le site)
- Le timing
- Uplift (plus l’amélioration est minime, plus il faudra de trafic pour en mesurer l’impact)
- Technicité (c’est assez technique : faire appel à un webmaster)
- Stakeholders (vérifier l’impact des tests sur d’autres départements)
La personnalisation :
Après l’A/B testing, la prochaine étape – qui vient de manière naturelle – est la personnalisation. On va encore plus loin dans l’expérience-utilisateur, dans le but de les servir, les retenir, les convertir.
Exemple : dès qu’on arrive sur telle ou telle page, un « chat » se déclenche et l’utilisateur peut poser ses questions en live.
Conclusion en anglais :
- Define your goal
- Define your methodology
- Build the toolkit
- Lear, improve, evolve.
4 éléments-clés :
- Solve real customer’s issues
- Be data-driven, smartly
- Be agile and iterative
- Be aware of limitation.
Merci à la team de Colombus Consulting Shift pour ces explications et les discussions à l’issue de l’atelier.
The DigiLab 