What is A/B Testing ?

Dans le domaine de l’UX, les tendances évoluent très rapidement, en fonction des nouveaux comportements de navigation, d’utilisabilité de la technologie, de l’apprentissage à la culture digitale… Mais en matière de choix, de variantes, d’instinct professionnel, les contre-intuitions font légion dans l’écosystème du digital.
Combien de décisions sont prises sur la base d’influences et de critères étrangers aux buts initiaux ? Alors comment diffuser la culture du « data-drives »  pour définir un ensemble de solutions UX ?
L’A/B testing remédie à ces travers en vous éclairant sur des résultats affinés, sur des retours d’expériences utilisateurs ciblés, raccourcissant ainsi vos cycles de décision. Nous allons donc découvrir ensemble quelques bonnes pratiques de l’A/B testing :
Identifier vos objectifs A/B testing

Identifier vos objectifs

Bien planifier vos A / B tests peut faire une énorme différence dans l’efficacité de vos efforts en UX. Définissez vos objectifs de conversion en fonction des paramètres que vous souhaitez déterminer afin de dessiner quelle est la variation UX/UI la plus efficace par rapport à la version originale. Une fois que vous avez identifié vos objectifs, vous pouvez commencer à générer la stratégie de l’A/B testing en scénarisant les différents écrans à tester en accord avec l’impact attendu et la difficulté de mise en oeuvre de vos objectifs.

Prioriser vos tests

Une des tentations souvent observées en A/B testing est le souhait de commencer par des scénarios au degré de complexité assez avancé : tunnel d’achat, tests multivariés, hiérarchie de l’information… Mais comme tout apprentissage, il est préférable pour obtenir des résultats optimaux, de commencer par le plus facile. Stratégiquement, il faut commencer par les tests qui vont combiner espérance réelle de gain de conversion et facilité d’implémentation.

Adaptez vos tests à l’objectif de votre volumétrie

Pour obtenir des résultats fiables, il est indispensable de laisser du temps à la convergence de votre tests jusqu’à obtenir un bon taux de fiabilité, même si une tendance se dégage rapidement. Il est recommandé au minimum 5000 visiteurs et 100 conversions par variation. Au-delà de la volumétrie, Il est aussi conseillé de s’adapter au secteur ciblé, par exemple, il est plus pertinent de tester un site marchand le week-end qu’en début de semaine.
Coup d’envoi de l’A/B testing

Coup d’envoi de l’A/B testing

Les tests doivent être exécutés simultanément pour tenir compte de toute variation de synchronisation. À ce stade, chaque interaction réalisée par l’utilisateur est mesurée, comptée et comparée pour déterminer quelle est l’ergonomie la plus efficace. Il est souvent recommandé en terme d’UX d’axer sa recherche sur la qualité à la quantité, mais d’un point de vue A/B testing cela peut être remis en question sachant que c’est une méthode data-driven, ou le facteur clé reste néanmoins la quantité des données disponibles.

Entrez dans une logique d’amélioration continue

L’A/B testing valide une hypothèse mais ne la crée pas !! L’exécution d’un test AB qui compare directement une variation à une expérience courante vous permet de poser des questions ciblées permettant une évolution continue de votre expérience utilisateur.

Dynamique temporelle de l’AB Testing

L’expérience momentanée vécue par l’utilisateur pendant l’interaction qu’il effectue lors de l’AB Testing est généralement considérée comme le coeur du test. Néanmoins, l’objectif de ce genre de test est de distinguer plusieurs phases temporelles de l’utilisateur testé afin d’analyser son sens de la compréhension face à une application ou un site.

L’intelligence statistique de l’A/B testing

Une fois que votre expérience est terminée, il est temps d’analyser les résultats… en mettant en concurrence les différentes versions de pages testées afin d’en améliorer l’efficacité. Le partage de ces données permet de diffuser la culture de la data aidant ainsi à la prise de décision sur le changement stratégique d’une ergonomie.
Celui-ci vient valider ou non des hypothèses en appliquant aux données collectées des mesures de fiabilité statistique. Il est important de connaître avec certitude si les différences de résultats ne sont pas dues au hasard.
L’intelligence statistique de l’A/B testing
Aujourd’hui l’A/B testing a pour but de rechercher le meilleur compromis ergonomique pour l’ensemble de ses visiteurs et c’est une véritable valeur ajoutée à la prise de décision stratégique. Néanmoins cela a ses limites, à l’heure de la personnalisation, de l’intelligence artificielle, de l’adaptabilité des usages où chaque contenu cible la typologie des visiteurs… L’A/B testing ne serait-il pas une méthodologie qui s’enferme dans un discours de mise en avant des problèmes sans les solutionner ?
 
Carine Renaud, UX-Evangelist @CarineWhatElse –  Fondation UXLab @UX-Republic