Concevoir un projet pilote de Virtual Try-On qui permette de trancher

Un essayage virtuel peut être validé pour la fidélité des montures, se révéler utilisable sur les appareils prévus et laisser encore incertain son effet sur les ventes. Ces résultats sont compatibles, car ils portent sur des questions différentes. Un projet pilote crée de la valeur lorsqu’il explicite lesquelles de ces questions il peut trancher, avec quelles preuves et en vue de quelle décision d’investissement ultérieure.

Dans le secteur de la lunetterie, le test porte sur au moins trois aspects : la représentation du produit, le service qui la rend disponible et le comportement d’achat du public. Si on les ramène à un seul indicateur de succès, il devient difficile de savoir ce qu’il faut étendre et ce qu’il faut corriger.

La conception du projet pilote part donc de la décision : valider un premier lot de modèles 3D, rendre le service disponible sur un marché, investir dans la numérisation d’autres collections ou intégrer de nouveaux canaux. Le niveau de preuve exigé doit être proportionné à cette décision.

Séparer les vérifications qui exigent des preuves différentes

La validation du produit porte sur la correspondance entre la monture physique et sa représentation numérique. Elle couvre les proportions, la géométrie, les matériaux, les verres et les variantes. Elle exige des références validées et des personnes compétentes pour en juger. Un grand nombre d’essayages ne corrige pas un modèle 3D inexact.

La validation opérationnelle porte sur l’essayage dans les conditions prévues : appareils, navigateurs, réseau, autorisations de la caméra et intégration dans le parcours. Elle exige d’observer les lancements, les erreurs, les temps de réponse et la gestion des mises à jour de l’essayage. Une démonstration réussie sur un téléphone récent ne couvre qu’une partie de cette question.

L’évaluation commerciale porte sur un résultat tel que des achats, des réservations ou des demandes qualifiées. Elle exige une mesure du résultat et une comparaison capable de distinguer l’effet de l’intervention des différences initiales entre les publics.

Ces vérifications peuvent se faire par étapes. La qualité des modèles 3D et les problèmes qui empêchent l’utilisation doivent être traités avant d’interpréter le comportement d’achat. Il est ensuite possible d’élargir le périmètre d’un test opérationnel réussi tout en continuant à recueillir des données sur l’impact économique, à condition que la décision tienne compte de ce qui reste incertain.

Définir la population à laquelle le résultat devra s’appliquer

Un échantillon de montures composé uniquement de produits faciles à représenter peut servir à la mise au point initiale. Pour évaluer une collection entière, il faut inclure les différences qui influencent le rendu : acétates translucides, métaux fins, formes larges, clips solaires et verres aux teintes ou aux reflets différents, s’ils font partie de l’assortiment.

Mieux vaut distinguer la sélection qui sert à éprouver les cas difficiles de celle destinée à la mesure commerciale. La première doit faire ressortir les limites. La seconde doit présenter une disponibilité, un trafic et une pertinence à la hauteur de la question commerciale posée. Les deux sélections peuvent se recouper, mais elles répondent à des critères différents.

Il en va de même pour les appareils. Une exclusion technique restreint la population à laquelle le résultat s’applique. Si le service n’est évalué que sur les navigateurs pris en charge et les plus performants, la conclusion ne vaut que pour ce périmètre ; pour décider d’une extension à l’ensemble du trafic, il faut aussi tenir compte de la part du public qui reste en dehors.

Avant le lancement, il faut en outre définir l’éligibilité : quelles pages, quels produits, quels marchés et quels visiteurs peuvent entrer dans le test. La règle devrait pouvoir s’observer de la même façon dans les deux groupes, afin que l’accès à la fonctionnalité ne détermine pas à lui seul qui sera inclus dans l’analyse.

S’accorder sur la mesure avant d’observer le résultat

Le protocole du projet pilote peut être court, mais il doit fixer la métrique principale, son dénominateur et la fenêtre dans laquelle elle est observée. La « conversion » peut désigner une commande passée au cours de la même session ou un achat effectué au cours d’une période ultérieure : les deux mesures peuvent donner des résultats différents.

À côté de la métrique principale, il faut des mesures qui permettent de l’interpréter. Pour le Virtual Try-On (VTO), elles peuvent inclure la fiabilité du lancement, le délai avant le premier essayage utilisable, la couverture des variantes et les problèmes par appareil. Des seuils de qualité sur le parcours habituel sont également utiles : la boutique en ligne doit rester utilisable pour les visiteurs qui n’ouvrent pas l’essayage.

Microsoft Research propose de définir avant le test une hypothèse vérifiable, des métriques de succès et des métriques garde-fous, ainsi que la taille d’échantillon nécessaire pour détecter le changement attendu.¹ Dans un projet en lunetterie, cela suppose aussi de préciser l’ampleur de l’amélioration qui justifierait l’extension.

La métrique principale doit rester distincte des analyses exploratoires. Chercher a posteriori une combinaison d’appareil, de marché et de monture qui affiche un résultat favorable peut faire naître une hypothèse pour un nouveau test ; considérer ce résultat comme une confirmation exige un protocole adapté aux comparaisons effectuées.

Comparer des groupes capables de répondre à la question causale

Les personnes qui choisissent d’elles-mêmes d’ouvrir l’essayage peuvent être plus intéressées par l’achat, plus disposées à utiliser la caméra ou plus attentives à la comparaison entre montures. Leur conversion décrit ce groupe et le parcours qu’il a suivi ; la comparaison avec ceux qui n’ouvrent pas le VTO n’isole pas l’effet de la fonctionnalité.

Lorsque le contexte s’y prête, l’affectation aléatoire à un parcours avec ou sans VTO permet de construire une comparaison plus pertinente. L’unité d’affectation doit rester cohérente avec le comportement observé. Si une personne revient plusieurs fois et voit les deux versions, le test doit être interprété à la lumière de cette contamination ; la persistance de l’affectation doit être conçue dans les limites des données et des outils disponibles.

Dans l’analyse principale, il est utile de maintenir chaque sujet dans le groupe auquel il a été affecté, y compris ceux qui n’utilisent pas l’essayage. Le service est en effet proposé à un public, dont une partie décide de ne pas l’ouvrir. Une analyse limitée à ceux qui utilisent l’essayage sélectionnerait à nouveau des personnes en fonction d’un comportement survenu après l’affectation. C’est le même principe que l’ouvrage de référence sur les tests A/B applique aux analyses sur les populations exposées et aux métriques garde-fous.²

On peut étudier des populations plus restreintes, par exemple les visiteurs qui arrivent sur une fiche produit éligible, à condition que le critère soit défini correctement pour les deux groupes. Microsoft décrit cette précaution dans l’analyse des populations exposées : la règle doit aussi repérer ceux qui auraient rencontré la fonctionnalité dans le groupe témoin, et ne pas exclure des personnes concernées par le changement.³

Une comparaison avant/après reste utile pour suivre le fonctionnement, mais les prix, les promotions, la saisonnalité et la composition du trafic peuvent changer en même temps que la fonctionnalité. Dans ces cas, attribuer l’effet suppose des hypothèses supplémentaires, qui doivent entrer dans l’évaluation de la décision. Des plans d’étude observationnels avec groupes témoins existent et ont servi à estimer l’effet de la réalité augmentée sur les ventes d’un détaillant, avec une hausse concentrée sur les produits les moins populaires et sur les nouveaux clients ;⁴ grâce à eux, un projet pilote sans affectation aléatoire peut tout de même apporter des enseignements, mais la conclusion dépend alors davantage des hypothèses, qui doivent être explicitées.

Vérifier que le dispositif de mesure ne fausse pas la comparaison

Avant d’interpréter une hausse, il faut vérifier comment les données ont été obtenues. Si une répartition 50/50 était prévue, un déséquilibre inattendu et statistiquement significatif entre les groupes observés peut signaler un problème d’affectation, d’éligibilité ou de collecte.

Ce contrôle, connu sous le nom de Sample Ratio Mismatch, fait partie de la méthode utilisée par Microsoft pour vérifier la validité des tests.⁵ Un léger écart aléatoire est normal ; une anomalie significative impose de remonter à sa cause avant d’attribuer une variation à la fonctionnalité.

Avec le VTO, un risque concret consiste à ne commencer à enregistrer le groupe avec essayage qu’après le chargement réussi du moteur. Ceux qui rencontrent une erreur disparaissent de l’analyse, tandis que les autres restent. Le rapport finit par décrire un sous-ensemble sélectionné par la réussite technique de l’essayage.

Les définitions doivent elles aussi être vérifiées. Un événement appelé « essayage lancé » peut désigner le clic sur le bouton, la caméra disponible ou la monture déjà affichée en 3D. Si sa signification change pendant le test, la série n’est plus homogène. De même, des numérateurs et des dénominateurs issus de plateformes différentes exigent de vérifier leurs fenêtres et leurs unités de comptage respectives.

Interpréter l’incertitude au-delà du pourcentage de hausse

Prenons un exemple hypothétique de test à durée fixe, avec affectation aléatoire et 10 000 visiteurs indépendants par groupe. Chaque visiteur n’est compté qu’une fois dans la mesure et dispose de la même fenêtre pour acheter.

La hausse observée est de 10 % en valeur relative, ce qui correspond à un écart absolu de 0,20 point de pourcentage. Avec une approximation normale pour la différence entre deux proportions indépendantes, l’intervalle de confiance à 95 % va d’environ −0,20 à +0,60 point de pourcentage.⁶

L’intervalle comprend à la fois des différences négatives et des améliorations. Les données sont compatibles avec un éventail d’effets assez large pour laisser ouverte la décision sur la hausse commerciale. La valeur centrale de 10 % n’exprime pas à elle seule la précision de l’estimation.

Un +10 % relatif sur peu de commandes reste compatible avec un effet nul.

L’exemple montre pourquoi la durée du projet pilote ne peut pas dépendre du seul calendrier du projet. Ce qui compte, c’est le trafic éligible, la fréquence de l’événement mesuré et la taille de l’effet que l’on veut distinguer. Dans l’exemple, pour distinguer avec une confiance raisonnable une hausse relative de 10 % d’un effet nul, il faudrait environ 80 000 visiteurs éligibles par groupe, et non 10 000.⁷ Pour une boutique en ligne qui reçoit peu de commandes, le test peut donner une image claire de la fiabilité opérationnelle sans atteindre la précision nécessaire pour conclure sur les ventes.

La règle d’arrêt doit elle aussi être convenue. Consulter les résultats chaque jour et s’arrêter au premier résultat favorable exige des méthodes qui tiennent compte de ces vérifications répétées : les valeurs p et les intervalles classiques ne sont pas fiables lorsque la taille de l’échantillon est décidée en observant les données au fil de l’eau, et il existe des procédures séquentielles conçues pour cela.⁸ Microsoft signale explicitement ce problème et, faute de méthodes adaptées aux analyses intermédiaires, recommande de respecter la durée fixée à l’avance.⁹

Pour les retours, enfin, il faut laisser mûrir la cohorte : les commandes doivent avoir été livrées, et la période pendant laquelle un retour peut survenir doit être écoulée. Comparer des achats récents à d’autres déjà observés pendant des semaines introduit une différence dans la possibilité de retour.

Relier le résultat à l’investissement suivant

La décision d’étendre le service englobe le coût d’intégration, la production et la maintenance des modèles 3D, la consommation liée à l’usage du service, le travail de validation et la contribution économique des éventuelles commandes supplémentaires. Le chiffre d’affaires incrémental et la marge disponible pour couvrir ces coûts sont deux grandeurs différentes.

L’effet observé sur le premier assortiment ne doit pas être transposé automatiquement à de nouveaux produits ou à de nouveaux marchés. Une collection aux matériaux différents peut exiger d’autres vérifications ; un canal dont le trafic a une intention d’achat plus faible peut afficher un autre taux d’utilisation. L’extension est aussi une décision sur la transposabilité des conditions du test.

Le résultat final devrait donc préciser ce qui a été validé, le périmètre dans lequel il s’applique, l’incertitude qui demeure et le travail nécessaire pour l’étape suivante. Un résultat peut justifier la mise en ligne sur un marché tout en exigeant encore un suivi du retour sur investissement. Un autre peut suggérer de corriger la représentation avant d’élargir le catalogue.

Avec l’offre Enterprise d’ARShades, Studio permet de suivre les catalogues, la validation et l’utilisation des expériences ; les résultats commerciaux supposent une connexion avec les systèmes qui enregistrent les commandes ou les demandes. La conception de la comparaison et la décision restent du ressort de l’équipe projet, qui réunit les fonctions produit, e-commerce et analyse. La qualité d’un projet pilote tient à la correspondance entre la question posée, les preuves recueillies et l’investissement que ces preuves doivent justifier.

Sources

1. Machmouchi, W., Gupta, S., Zhang, R. et Fabijan, A. (2020), Patterns of Trustworthy Experimentation — Pre-Experiment Stage, Microsoft Research, 31 juillet 2020. ↩

2. Kohavi, R., Tang, D. et Xu, Y. (2020), Trustworthy Online Controlled Experiments — A Practical Guide to A/B Testing, Cambridge University Press ; en particulier les chapitres sur l’analyse des populations exposées et sur le Sample Ratio Mismatch. ↩

3. Microsoft Research, Experimentation Platform (2020), Patterns of Trustworthy Experimentation — Post-Experiment Stage, analyse des populations exposées et des critères d’inclusion. ↩

4. Tan, Y.-C., Chandukala, S. R. et Reddy, S. K. (2022), Augmented Reality in Retail and Its Impact on Sales, Journal of Marketing, 86(1), 48–66. ↩

5. Fabijan, A. et al. (2020), Diagnosing Sample Ratio Mismatch in A/B Testing, Microsoft Research, 14 septembre 2020. ↩

6. Exemple construit à des fins d’illustration. Différence : p₁ − p₀. Erreur type approximative : √[p₀(1 − p₀)/n₀ + p₁(1 − p₁)/n₁]. Intervalle : différence ± 1,96 × erreur type. Le calcul suppose des observations indépendantes et une comparaison à horizon fixe ; il ne comprend pas d’ajustement pour les vérifications répétées ou les comparaisons multiples. ↩

7. Calcul indicatif pour la comparaison de deux proportions (2,00 % contre 2,20 %), test bilatéral au seuil de 5 % avec une puissance de 80 % : environ 80 700 visiteurs par groupe. Les réserves de la note précédente sur l’exemple s’appliquent ici aussi. ↩

8. Johari, R., Pekelis, L. et Walsh, D. J., Always Valid Inference — Bringing Sequential Analysis to A/B Testing, arXiv:1512.04922. ↩

9. Microsoft Research, Experimentation Platform (2020), Patterns of Trustworthy Experimentation — During-Experiment Stage. ↩