Diseñar un piloto de Virtual Try-On que permita tomar una decisión

Un Virtual Try-On puede aprobarse por la fidelidad del renderizado de las monturas, resultar utilizable en los dispositivos previstos y aun así dejar en el aire su efecto en las ventas. Son resultados compatibles, porque responden a preguntas distintas. Un proyecto piloto aporta valor cuando deja claro cuáles de estas preguntas puede resolver, con qué evidencias y para qué decisión de inversión posterior.

En el sector óptico, el test abarca al menos tres elementos: la representación del producto, el servicio que la ofrece y el comportamiento de compra del público. Reunirlos en un solo indicador de éxito hace difícil entender qué ampliar y qué corregir.

Por eso, el diseño del piloto empieza por la decisión: aprobar un primer lote de activos digitales, ofrecer el Virtual Try-On en un mercado, invertir en la digitalización de otras colecciones o integrar nuevos canales. La evidencia exigida debe ser proporcional a esa decisión.

Separar las verificaciones que requieren evidencias distintas

La validación del producto se refiere a la correspondencia entre la montura física y su representación digital. Abarca proporciones, geometría, materiales, lentes y variantes. Requiere referencias aprobadas y personas capacitadas para juzgarlas. Un gran volumen de uso no corrige un activo digital inexacto.

La fiabilidad operativa se refiere al funcionamiento del Virtual Try-On en las condiciones previstas: dispositivos, navegadores, red, permisos de la cámara e integración en el recorrido de compra. Requiere observar la carga, los errores, los tiempos y la gestión de las actualizaciones. Una demostración que funciona en un móvil reciente solo cubre una parte de esta pregunta.

La evaluación comercial se refiere a un resultado de negocio como compras, reservas de cita o leads cualificados. Requiere una medida de ese resultado y una comparación capaz de distinguir el efecto de la intervención de las diferencias iniciales entre los públicos.

Estas verificaciones pueden avanzar por fases. La calidad de los activos digitales y los problemas que impiden el uso deben resolverse antes de interpretar el comportamiento de compra. Después, se puede ampliar un test operativo que ha salido bien mientras se siguen recogiendo datos sobre el impacto económico, siempre que la decisión reconozca lo que sigue siendo incierto.

Definir la población a la que deberá aplicarse el resultado

Una muestra de monturas formada solo por productos fáciles de representar puede servir para la puesta a punto inicial. Para evaluar una colección entera hay que incluir las diferencias que influyen en el renderizado: acetatos translúcidos, metales finos, monturas oversize, clip-on y lentes tintadas, degradadas o espejadas, si están en el surtido.

Conviene distinguir el grupo de monturas elegido para verificar los casos difíciles del que se destina a la medición comercial. El primero debe sacar a la luz los límites. El segundo debe tener la disponibilidad, el tráfico y la relevancia adecuados a la pregunta de negocio. Los dos grupos pueden solaparse, pero responden a criterios distintos.

Lo mismo ocurre con los dispositivos. Una exclusión técnica restringe la población a la que se aplica el resultado. Si el Virtual Try-On se evalúa solo en los navegadores compatibles y de mayor rendimiento, la conclusión debe limitarse a ese alcance; para decidir ampliarlo a todo el tráfico, hay que tener en cuenta también cuánto público se queda fuera.

Antes de empezar, además, hay que definir la elegibilidad: qué páginas, productos, mercados y visitantes pueden entrar en el test. La regla debería poder observarse del mismo modo en los dos grupos que se compararán (con Virtual Try-On y sin él), para que el acceso al Virtual Try-On no determine por sí solo quién se incluirá en el análisis.

Acordar la medida antes de observar el resultado

El protocolo del piloto puede ser breve, pero debe fijar la métrica principal, su denominador y la ventana temporal en la que se observa. «Conversión» podría significar un pedido en la misma sesión o una compra dentro de un plazo posterior: las dos medidas pueden dar resultados distintos.

Junto a la métrica principal hacen falta medidas que ayuden a interpretarla. En el caso del Virtual Try-On (VTO), pueden incluir la fiabilidad de la carga, el tiempo hasta poder probarse la primera montura, la cobertura de variantes y los problemas por dispositivo. También son útiles umbrales de calidad en el recorrido de compra habitual: la tienda online debe seguir siendo utilizable para los visitantes que no usan el Virtual Try-On.

Microsoft Research propone definir antes del test una hipótesis verificable, métricas de éxito y métricas de salvaguarda (las que no deben empeorar con el cambio), junto con el tamaño de muestra necesario para detectar el cambio esperado.¹ En un proyecto del sector óptico, esto exige también fijar qué magnitud de mejora justificaría la ampliación.

La métrica principal debe mantenerse separada de los análisis exploratorios. Buscar a posteriori una combinación de dispositivo, mercado y modelo que muestre un resultado favorable puede generar una hipótesis para un nuevo test; darle valor de confirmación requiere un diseño que tenga en cuenta cuántas comparaciones se han hecho para encontrarla.

Comparar grupos que puedan responder a la pregunta causal

Los visitantes que, por iniciativa propia, activan el Virtual Try-On pueden estar más interesados en comprar, más dispuestos a usar la cámara o más inclinados a comparar monturas. Su conversión describe a ese grupo y el recorrido que ha seguido; compararla con la de los demás visitantes no aísla el efecto del VTO.

Cuando el contexto lo hace posible, la asignación aleatoria a una experiencia con y sin VTO permite construir una comparación más adecuada. La unidad de asignación debe ser coherente con el comportamiento que se observa: por ejemplo, si se mide la compra de cada visitante, lo que se asigna a un grupo es el visitante, no la sesión ni la página vista. Si un visitante vuelve varias veces y ve las dos experiencias, el test debe interpretarse a la luz de esa contaminación; la forma de mantener a cada visitante en el mismo grupo de una visita a otra debe diseñarse dentro de los límites de los datos y las herramientas disponibles.

En el análisis principal conviene mantener a cada sujeto en el grupo asignado, incluidos los que no usan el Virtual Try-On. Al fin y al cabo, el Virtual Try-On se ofrece a un público, y una parte de ese público decide no activarlo. Un análisis limitado a quienes lo usan volvería a seleccionar a las personas en función de un comportamiento posterior a la asignación. Es el mismo principio que el manual de referencia sobre test A/B aplica a los análisis de poblaciones expuestas y a las métricas de salvaguarda.²

Se pueden estudiar poblaciones más específicas, por ejemplo, los visitantes que llegan a una ficha de producto elegible, siempre que la condición esté bien definida para ambos grupos. Microsoft describe esta precaución en el análisis de poblaciones expuestas: la regla debe identificar también, en el grupo de control, a los visitantes que habrían visto el Virtual Try-On si hubieran estado en el otro grupo, y no excluir a visitantes afectados por el cambio.³

Una comparación antes y después sigue siendo útil para el seguimiento operativo, pero los precios, las promociones, la estacionalidad y la composición del tráfico pueden cambiar a la vez que se introduce el Virtual Try-On. En esos casos, atribuir el efecto requiere supuestos adicionales, que deben entrar en la evaluación de la decisión. Existen diseños observacionales con grupos de control, y se han usado para estimar el efecto de la realidad aumentada (RA) en las ventas de un minorista, con un aumento concentrado en los productos menos populares y en los clientes nuevos;⁴ con ellos, un piloto sin asignación aleatoria sigue aportando información, pero el peso se desplaza a los supuestos, que deben explicitarse.

Verificar que el sistema de medición no altere la comparación

Antes de interpretar un incremento, hay que comprobar cómo han llegado los datos. Si se había previsto una asignación 50/50, un desequilibrio inesperado y estadísticamente significativo entre los grupos observados puede señalar problemas de asignación, de elegibilidad o de recogida de datos.

Este control, conocido como Sample Ratio Mismatch (desajuste entre el reparto de visitantes previsto y el observado), forma parte del método que usa Microsoft para verificar la validez de los test.⁵ Una pequeña desviación aleatoria es normal; una anomalía significativa obliga a buscar la causa antes de atribuir cualquier variación al Virtual Try-On.

Con el VTO, un riesgo concreto es empezar a registrar el grupo con VTO solo después de que la carga se haya completado correctamente. Si un visitante se encuentra con un error, desaparece del análisis, mientras que los demás permanecen. El informe acaba describiendo un subconjunto seleccionado por el éxito técnico del Virtual Try-On.

También hay que revisar las definiciones. Un evento llamado «Virtual Try-On iniciado» puede indicar el clic en el botón, la cámara disponible o la montura ya renderizada. Si el significado cambia durante el test, la serie deja de ser homogénea. Del mismo modo, los numeradores y denominadores que proceden de plataformas distintas exigen verificar sus respectivas ventanas y unidades de recuento.

Interpretar la incertidumbre más allá del porcentaje de incremento

Pongamos un ejemplo hipotético de test de duración fija, con asignación aleatoria y 10.000 visitantes independientes por grupo. Cada visitante cuenta una sola vez en la medida y dispone de la misma ventana temporal para comprar.

El incremento observado es de un 10 % en términos relativos, o de 0,20 puntos porcentuales en términos absolutos. Con una aproximación normal para la diferencia entre dos proporciones independientes, el intervalo de confianza del 95 % va aproximadamente de −0,20 a +0,60 puntos porcentuales.⁶

El intervalo incluye tanto diferencias negativas como mejoras. Los datos son compatibles con un abanico de efectos lo bastante amplio como para dejar abierta la decisión sobre el incremento comercial. El valor central del 10 % no expresa por sí solo la precisión de la estimación.

Un +10 % relativo con pocos pedidos sigue siendo compatible con un efecto nulo.

El ejemplo aclara por qué la duración del piloto no puede depender solo del calendario del proyecto. Cuentan el tráfico elegible, la frecuencia del resultado y el tamaño del efecto que se quiere detectar. En el ejemplo, para distinguir con una seguridad razonable un incremento relativo del 10 % de un efecto nulo harían falta unos 80.000 visitantes elegibles por grupo, no 10.000.⁷ En una tienda online con pocos pedidos, el test puede aclarar bien la fiabilidad operativa sin alcanzar la precisión necesaria para sacar conclusiones sobre las ventas.

También hay que acordar la regla de parada. Revisar los resultados cada día y detenerse ante el primer resultado favorable requiere métodos que tengan en cuenta las comprobaciones repetidas: los valores p y los intervalos clásicos no son fiables cuando el tamaño de la muestra se decide mirando los datos a medida que llegan, y existen procedimientos secuenciales pensados para ello.⁸ Microsoft señala este problema de forma explícita y, a falta de métodos adecuados para los análisis intermedios, recomienda respetar la duración fijada de antemano.⁹

Por último, en el caso de las devoluciones hay que dejar madurar la cohorte: los pedidos deben entregarse y pasar el periodo en el que puede producirse la devolución. Comparar compras recientes con otras observadas ya durante semanas introduce una diferencia en la oportunidad de devolución.

Vincular el resultado a la siguiente inversión

La decisión de ampliar el Virtual Try-On incluye el coste de integración, la producción y el mantenimiento de los activos digitales, el consumo de experiencias, el trabajo de aprobación y la contribución económica de los posibles pedidos adicionales. La facturación incremental y el margen disponible para cubrir estos costes son magnitudes distintas.

El efecto observado en el primer surtido no debe trasladarse automáticamente a productos o mercados nuevos. Una colección con materiales distintos puede requerir otras verificaciones; un canal con tráfico de menor intención de compra puede tener otra tasa de uso. La ampliación es también una decisión sobre la transferibilidad de las condiciones del test.

Por eso, el resultado final debería especificar qué se ha aprobado, el alcance en el que es válido, la incertidumbre que queda y el trabajo necesario para el paso siguiente. Un resultado puede justificar la puesta en marcha en un mercado y requerir todavía observación sobre el retorno económico. Otro puede aconsejar corregir la representación antes de ampliar el catálogo.

En la modalidad Enterprise de ARShades, Studio permite hacer el seguimiento de los catálogos, la validación y el uso de las experiencias; los resultados comerciales requieren la conexión con los sistemas que registran pedidos o solicitudes. El diseño de la comparación y la decisión siguen correspondiendo al proyecto que comparten los equipos de producto, e-commerce y análisis de datos. La calidad del piloto está en la correspondencia entre la pregunta planteada, la evidencia reunida y la inversión que esa evidencia debe respaldar.

Fuentes

1. Machmouchi, W., Gupta, S., Zhang, R. y Fabijan, A. (2020), Patterns of Trustworthy Experimentation — Pre-Experiment Stage, Microsoft Research, 31 de julio de 2020. ↩

2. Kohavi, R., Tang, D. y Xu, Y. (2020), Trustworthy Online Controlled Experiments — A Practical Guide to A/B Testing, Cambridge University Press; en particular, los capítulos sobre los análisis de poblaciones expuestas y sobre el Sample Ratio Mismatch. ↩

3. Microsoft Research, Experimentation Platform (2020), Patterns of Trustworthy Experimentation — Post-Experiment Stage, análisis de las poblaciones expuestas y de los criterios de inclusión. ↩

4. Tan, Y.-C., Chandukala, S. R. y Reddy, S. K. (2022), Augmented Reality in Retail and Its Impact on Sales, Journal of Marketing, 86(1), 48–66. ↩

5. Fabijan, A. y colaboradores (2020), Diagnosing Sample Ratio Mismatch in A/B Testing, Microsoft Research, 14 de septiembre de 2020. ↩

6. Ejemplo construido con fines ilustrativos. Diferencia: p₁ − p₀. Error estándar aproximado: √[p₀(1 − p₀)/n₀ + p₁(1 − p₁)/n₁]. Intervalo: diferencia ± 1,96 × error estándar. El cálculo supone observaciones independientes y una comparación con horizonte fijo; no incluye ajustes por comprobaciones repetidas ni por comparaciones múltiples. ↩

7. Cálculo ilustrativo para la comparación entre dos proporciones (2,00 % frente a 2,20 %), test bilateral con nivel de significación del 5 % y potencia del 80 %: unos 80.700 visitantes por grupo. Para el ejemplo valen las mismas advertencias de la nota anterior. ↩

8. Johari, R., Pekelis, L. y Walsh, D. J., Always Valid Inference — Bringing Sequential Analysis to A/B Testing, arXiv:1512.04922. ↩

9. Microsoft Research, Experimentation Platform (2020), Patterns of Trustworthy Experimentation — During-Experiment Stage. ↩