Progettare un pilota di Virtual Try-On che permetta di decidere

Una prova virtuale può essere approvata per la fedeltà delle montature, risultare utilizzabile sui dispositivi previsti e lasciare ancora incerto il suo effetto sulle vendite. Sono esiti compatibili, perché riguardano domande diverse. Un progetto pilota produce valore quando esplicita quali di queste domande può risolvere, con quali evidenze e per quale successiva decisione di investimento.

Nel settore eyewear, il test coinvolge almeno tre oggetti: la rappresentazione del prodotto, il servizio che la rende disponibile e il comportamento commerciale del pubblico. Farli confluire in un solo indicatore di successo rende difficile capire che cosa estendere e che cosa correggere.

Il disegno del pilota comincia quindi dalla decisione: approvare un primo lotto di asset, rendere disponibile il servizio su un mercato, investire nella digitalizzazione di altre collezioni oppure integrare nuovi canali. L’evidenza richiesta deve essere proporzionata a quella decisione.

Separare le verifiche che richiedono evidenze differenti

La validazione di prodotto riguarda la corrispondenza fra montatura fisica e rappresentazione digitale. Comprende proporzioni, geometria, materiali, lenti e varianti. Richiede riferimenti approvati e persone competenti a giudicarli. Un alto numero di prove non corregge un asset inesatto.

La validazione operativa riguarda l’esperienza nelle condizioni previste: dispositivi, browser, rete, autorizzazioni della camera e integrazione nel percorso. Richiede osservazioni su avvii, errori, tempi e gestione degli aggiornamenti. Una dimostrazione riuscita su un telefono recente copre solo una parte di questa domanda.

La valutazione commerciale riguarda un esito come acquisti, prenotazioni o richieste qualificate. Richiede una misura del risultato e un confronto capace di distinguere l’effetto dell’intervento dalle differenze iniziali fra i pubblici.

Queste verifiche possono procedere in fasi. La qualità degli asset e i problemi che impediscono l’uso vanno affrontati prima di interpretare il comportamento commerciale. È poi possibile estendere un test operativo ben riuscito continuando a raccogliere dati sull’impatto economico, purché la decisione riconosca ciò che resta incerto.

Definire la popolazione a cui il risultato dovrà applicarsi

Un campione di montature composto soltanto da prodotti facili da rappresentare può essere utile per la messa a punto iniziale. Per valutare un’intera collezione occorre includere le differenze che influenzano la resa: acetati traslucidi, metalli sottili, forme ampie, clip-on e lenti con tinte o riflessi diversi, se presenti nell’assortimento.

Conviene distinguere il gruppo scelto per verificare i casi difficili da quello destinato alla misurazione commerciale. Il primo deve far emergere i limiti. Il secondo deve avere disponibilità, traffico e rilevanza adeguati alla domanda di business. I due gruppi possono sovrapporsi, ma rispondono a criteri differenti.

Lo stesso vale per i dispositivi. Un’esclusione tecnica restringe la popolazione a cui il risultato si applica. Se il servizio viene valutato soltanto sui browser supportati e più performanti, la conclusione deve restare riferita a quel perimetro; per decidere un’estensione al traffico complessivo va considerato anche quanto pubblico rimane fuori.

Prima dell’avvio serve inoltre definire l’eleggibilità: quali pagine, prodotti, mercati e visitatori possono entrare nel test. La regola dovrebbe essere osservabile nello stesso modo per entrambi i gruppi, così che l’accesso alla funzione non determini da solo chi sarà incluso nell’analisi.

Concordare la misura prima di osservare il risultato

Il protocollo del pilota può essere breve, ma deve stabilire l’obiettivo principale, il suo denominatore e la finestra entro cui viene osservato. «Conversione» potrebbe significare un ordine nella stessa sessione oppure un acquisto entro un intervallo successivo: le due misure possono produrre esiti diversi.

Accanto all’obiettivo principale servono misure per interpretarlo. Per il VTO possono includere affidabilità dell’avvio, tempo fino alla prima prova utilizzabile, copertura delle varianti e problemi per dispositivo. Sono utili anche limiti di qualità sul percorso ordinario: il negozio deve continuare a essere utilizzabile da chi non apre la funzione.

Microsoft Research propone di definire prima del test un’ipotesi verificabile, metriche di successo e misure di controllo, insieme alla numerosità necessaria per rilevare il cambiamento atteso.¹ Nel progetto eyewear, questo richiede anche di dichiarare l’entità del miglioramento che giustificherebbe l’estensione.

La metrica principale va mantenuta distinta dalle analisi esplorative. Cercare a posteriori una combinazione di dispositivo, mercato e modello che mostri un risultato favorevole può generare un’ipotesi per un nuovo test; attribuirle il valore di una conferma richiede un disegno adeguato ai confronti effettuati.

Confrontare gruppi che possano rispondere alla domanda causale

Le persone che scelgono spontaneamente di aprire la prova possono essere più interessate all’acquisto, più disponibili a usare la camera o più attente al confronto fra montature. La loro conversione descrive quel gruppo e il percorso che ha seguito; il confronto con chi non apre il VTO non isola l’effetto della funzione.

Quando il contesto lo consente, l’assegnazione casuale a un’esperienza con e senza VTO permette di costruire un confronto più adatto. L’unità di assegnazione deve restare coerente con il comportamento osservato. Se una persona torna più volte e vede entrambe le esperienze, il test va interpretato alla luce di quella contaminazione; la persistenza dell’assegnazione va progettata nei limiti dei dati e degli strumenti disponibili.

Nell’analisi principale è utile conservare i soggetti nel gruppo assegnato, inclusi quelli che non usano la prova. Il servizio viene infatti offerto a un pubblico, una parte del quale decide di non aprirlo. Un’analisi limitata agli utilizzatori selezionerebbe nuovamente persone in base a un comportamento avvenuto dopo l’assegnazione. È lo stesso principio che il manuale di riferimento del settore applica alle analisi sulle popolazioni esposte e alle metriche di guardia.²

Si possono studiare popolazioni più specifiche, per esempio chi raggiunge una scheda eleggibile, quando la condizione è definita correttamente per entrambi i gruppi. Microsoft descrive questa attenzione nell’analisi delle popolazioni esposte: la regola deve riconoscere anche chi avrebbe incontrato la funzione nel gruppo di controllo e non escludere persone interessate dal cambiamento.³

Un confronto prima e dopo resta utile per seguire l’operatività, ma prezzi, promozioni, stagionalità e composizione del traffico possono cambiare insieme alla funzione. In quei casi l’attribuzione dell’effetto richiede ulteriori assunzioni, che devono entrare nella valutazione della decisione. Disegni osservazionali con gruppi di controllo esistono e sono stati usati per stimare l’effetto dell’AR sulle vendite di un rivenditore, con un aumento concentrato sui prodotti meno popolari e sui clienti nuovi;⁴ non rendono muto un pilota senza assegnazione casuale, ma spostano il peso sulle assunzioni, che vanno dichiarate.

Verificare che il sistema di misura non alteri il confronto

Prima di leggere un incremento, occorre controllare come sono arrivati i dati. Se era prevista un’assegnazione 50/50, uno squilibrio inatteso e statisticamente rilevante fra i gruppi osservati può segnalare problemi di assegnazione, eleggibilità o raccolta.

Questo controllo, noto come Sample Ratio Mismatch, fa parte del metodo usato da Microsoft per verificare la validità dei test.⁵ Un piccolo scostamento casuale è normale; un’anomalia rilevante richiede di risalire alla causa prima di attribuire un movimento alla funzione.

Nel VTO, un rischio concreto è cominciare a registrare il gruppo con la prova soltanto dopo il caricamento riuscito del motore. Chi incontra un errore sparisce dall’analisi, mentre gli altri rimangono. Il report finisce per descrivere un sottoinsieme selezionato dal successo tecnico dell’esperienza.

Vanno controllate anche le definizioni. Un evento chiamato «prova avviata» può indicare il clic sul pulsante, la camera disponibile o la montatura già renderizzata. Se il significato cambia durante il test, la serie non è più omogenea. Analogamente, numeratori e denominatori provenienti da piattaforme diverse richiedono una verifica delle rispettive finestre e unità di conteggio.

Interpretare l’incertezza oltre la percentuale di incremento

Consideriamo un esempio ipotetico di test a durata prefissata, con assegnazione casuale e 10.000 visitatori indipendenti per gruppo. Ogni visitatore contribuisce una sola volta alla misura e dispone della stessa finestra per acquistare.

L’incremento osservato è del 10% in termini relativi, pari a 0,20 punti percentuali. Con un calcolo normale approssimato per la differenza fra due proporzioni indipendenti, l’intervallo di confidenza al 95% va da circa −0,20 a +0,60 punti percentuali.⁶

L’intervallo comprende sia differenze negative sia miglioramenti positivi. I dati sono compatibili con un insieme di effetti abbastanza ampio da lasciare aperta la decisione sull’incremento commerciale. Il valore centrale del 10% non esprime da solo la precisione della stima.

Un +10% relativo con pochi ordini resta compatibile con un effetto nullo.

L’esempio chiarisce perché la durata del pilota non possa dipendere soltanto dal calendario del progetto. Contano il traffico eleggibile, la frequenza dell’esito e la dimensione dell’effetto che si vuole distinguere. Nell’esempio, per distinguere con ragionevole sicurezza un incremento relativo del 10% da un effetto nullo servirebbero circa 80.000 visitatori eleggibili per gruppo, non 10.000.⁷ Su un negozio con pochi ordini, il test può chiarire bene l’affidabilità operativa senza raggiungere la precisione richiesta per una conclusione sulle vendite.

Anche la regola di arresto deve essere concordata. Controllare ogni giorno i risultati e fermarsi al primo esito favorevole richiede metodi che tengano conto delle verifiche ripetute: p-value e intervalli classici non sono affidabili quando la numerosità viene decisa osservando i dati mentre arrivano, ed esistono procedure sequenziali pensate per questo.⁸ Microsoft segnala esplicitamente questo problema e, in assenza di metodi appropriati per le analisi intermedie, raccomanda di rispettare la durata predeterminata.⁹

Per i resi, infine, occorre lasciare maturare la coorte: gli ordini devono essere consegnati e attraversare il periodo in cui la restituzione può emergere. Confrontare acquisti recenti con altri già osservati per settimane introduce una differenza di opportunità di reso.

Collegare il risultato all’investimento successivo

La decisione di estendere il servizio comprende il costo di integrazione, la produzione e manutenzione degli asset, i consumi, il lavoro di approvazione e il contributo economico degli eventuali ordini aggiuntivi. Il fatturato incrementale e il margine disponibile per sostenere questi costi sono grandezze differenti.

L’effetto osservato sul primo assortimento non va trasferito automaticamente a prodotti o mercati nuovi. Una collezione con materiali differenti può richiedere altre verifiche; un canale con traffico meno intenzionato può avere un diverso tasso di utilizzo. L’estensione è anche una decisione sulla trasferibilità delle condizioni del test.

Il risultato finale dovrebbe quindi specificare ciò che è stato approvato, il perimetro per cui vale, l’incertezza residua e il lavoro richiesto per il passo successivo. Un esito può sostenere la pubblicazione su un mercato e richiedere ancora osservazione sul ritorno economico. Un altro può suggerire di correggere la rappresentazione prima di allargare il catalogo.

Nel percorso Enterprise ARShades, Studio permette di seguire cataloghi, validazione e utilizzo delle esperienze; gli esiti commerciali richiedono il collegamento con i sistemi che registrano ordini o richieste. Il disegno del confronto e la decisione restano responsabilità del progetto condiviso fra prodotto, e-commerce e analisi. La qualità del pilota sta nella corrispondenza fra la domanda posta, l’evidenza raccolta e l’investimento che quell’evidenza è chiamata a sostenere.

Fonti

1. Machmouchi, W., Gupta, S., Zhang, R. e Fabijan, A. (2020), Patterns of Trustworthy Experimentation — Pre-Experiment Stage, Microsoft Research, 31 luglio 2020. ↩

2. Kohavi, R., Tang, D. e Xu, Y. (2020), Trustworthy Online Controlled Experiments — A Practical Guide to A/B Testing, Cambridge University Press; in particolare i capitoli sulle analisi triggered e sul Sample Ratio Mismatch. ↩

3. Microsoft Research, Experimentation Platform (2020), Patterns of Trustworthy Experimentation — Post-Experiment Stage, analisi delle popolazioni esposte e dei criteri di inclusione. ↩

4. Tan, Y.-C., Chandukala, S. R. e Reddy, S. K. (2022), Augmented Reality in Retail and Its Impact on Sales, Journal of Marketing, 86(1), 48–66. ↩

5. Fabijan, A. e colleghi (2020), Diagnosing Sample Ratio Mismatch in A/B Testing, Microsoft Research, 14 settembre 2020. ↩

6. Esempio costruito a fini illustrativi. Differenza: p₁ − p₀. Errore standard approssimato: √[p₀(1 − p₀)/n₀ + p₁(1 − p₁)/n₁]. Intervallo: differenza ± 1,96 × errore standard. Il calcolo assume osservazioni indipendenti e un confronto a orizzonte fisso; non comprende aggiustamenti per verifiche ripetute o confronti multipli. ↩

7. Calcolo illustrativo per il confronto fra due proporzioni (2,00% contro 2,20%), test bilaterale con livello 5% e potenza 80%: circa 80.700 visitatori per gruppo. Le stesse avvertenze della nota precedente sull’esempio. ↩

8. Johari, R., Pekelis, L. e Walsh, D. J., Always Valid Inference — Bringing Sequential Analysis to A/B Testing, arXiv:1512.04922. ↩

9. Microsoft Research, Experimentation Platform (2020), Patterns of Trustworthy Experimentation — During-Experiment Stage. ↩