Ein Pilotprojekt für Virtual Try-On als Entscheidungsgrundlage planen

Eine virtuelle Anprobe kann wegen der Detailtreue ihrer Fassungen freigegeben werden, sich auf den vorgesehenen Geräten als nutzbar erweisen und ihre Wirkung auf den Umsatz dennoch offenlassen. Diese Ergebnisse widersprechen sich nicht, denn sie betreffen unterschiedliche Fragen. Ein Pilotprojekt schafft Wert, wenn es klar benennt, welche dieser Fragen es beantworten kann, mit welchen Nachweisen und für welche anschließende Investitionsentscheidung.

In der Brillenbranche umfasst der Test mindestens drei Dinge: das 3D-Modell des Produkts, die Anwendung, die es bereitstellt, und das Kaufverhalten der Besucher. Wer sie in einer einzigen Erfolgsmetrik zusammenfasst, kann kaum noch erkennen, was ausgerollt und was korrigiert werden sollte.

Die Planung des Pilotprojekts beginnt deshalb bei der Entscheidung: die ersten Assets freigeben, die Anwendung in einem Markt verfügbar machen, in die Digitalisierung weiterer Kollektionen investieren oder neue Kanäle anbinden. Die geforderten Nachweise sollten in einem angemessenen Verhältnis zu dieser Entscheidung stehen.

Prüfungen trennen, die unterschiedliche Nachweise erfordern

Die Produktvalidierung betrifft die Übereinstimmung zwischen physischer Fassung und digitaler Darstellung: Proportionen, Geometrie, Materialien, Gläser und Varianten. Nötig sind dafür freigegebenes Referenzmaterial zur Fassung (etwa Zeichnungen, Fotos oder Muster) und Fachleute, die das 3D-Modell mit diesem Material abgleichen können. Eine hohe Zahl von Anproben korrigiert kein ungenaues Asset.

Die operative Validierung betrifft das Erlebnis unter den vorgesehenen Bedingungen: Geräte, Browser, Netzwerk, Kameraberechtigungen und Einbindung in den Kaufprozess. Zu beobachten sind dabei Ladevorgänge, Fehler, Ladezeiten und der Umgang mit Updates, etwa von Browsern, Anwendung oder 3D-Modellen. Eine gelungene Demo auf einem aktuellen Smartphone deckt nur einen Teil dieser Frage ab.

Die kommerzielle Bewertung betrifft ein Ergebnis wie Käufe, Terminbuchungen oder qualifizierte Anfragen. Nötig sind dafür eine Messung des Ergebnisses und ein Vergleich, der die Wirkung der Maßnahme von anfänglichen Unterschieden zwischen den Besuchergruppen trennen kann.

Diese Prüfungen können in Phasen erfolgen. Erst wenn die Qualität der Assets und die Probleme, die eine Nutzung verhindern, geklärt sind, lässt sich das Kaufverhalten interpretieren. Ein gelungener operativer Test kann anschließend ausgerollt werden, während weiter Daten für die kommerzielle Bewertung gesammelt werden – vorausgesetzt, die Entscheidung berücksichtigt, was noch unsicher ist.

Die Grundgesamtheit festlegen, für die das Ergebnis gelten soll

Eine Auswahl von Fassungen, die nur leicht zu rendernde Produkte enthält, kann für die erste Feinabstimmung nützlich sein. Zur Bewertung einer ganzen Kollektion gehören auch die Unterschiede, die das Rendering beeinflussen: transluzentes Acetat, dünne Metallfassungen, große Fassungsformen, Clip-ons und Gläser mit unterschiedlichen Tönungen oder Verspiegelungen, sofern das Sortiment sie enthält.

Es empfiehlt sich, zwei Auswahlen zu trennen: die schwer zu rendernden Fassungen und die Fassungen für die kommerzielle Messung. Die erste Auswahl soll die Grenzen sichtbar machen. Die zweite braucht die Verfügbarkeit, den Traffic und die Relevanz, die die geschäftliche Fragestellung verlangt. Beide können sich überschneiden, werden aber nach unterschiedlichen Kriterien zusammengestellt.

Dasselbe gilt für die Geräte. Ein technischer Ausschluss verkleinert die Grundgesamtheit, für die das Ergebnis gilt. Wird die Anwendung nur in unterstützten Browsern auf leistungsstärkeren Geräten bewertet, beschränkt sich auch die Schlussfolgerung auf diesen Rahmen. Wer über einen Rollout für den gesamten Traffic entscheidet, sollte zudem berücksichtigen, wie viele Besucher außen vor bleiben.

Vor dem Start sind außerdem die Einschlusskriterien festzulegen: welche Seiten, Produkte, Märkte und Besucher in den Test aufgenommen werden können. Die Regel sollte für die Kontrollgruppe und für die Gruppe mit Anprobe auf dieselbe Weise beobachtbar sein, damit nicht der bloße Zugang zur Funktion bestimmt, wer in die Analyse eingeht.

Die Messgröße vereinbaren, bevor Ergebnisse vorliegen

Das Protokoll des Pilotprojekts kann kurz sein, muss aber die Hauptmetrik, ihren Nenner und das Zeitfenster festlegen, in dem sie beobachtet wird. „Konversion“ kann eine Bestellung in derselben Sitzung bedeuten oder einen Kauf innerhalb eines späteren Zeitraums: Die beiden Definitionen können zu unterschiedlichen Ergebnissen führen.

Neben der Hauptmetrik sind weitere Messgrößen nötig, um sie zu interpretieren. Beim Virtual Try-On (VTO) können dazu die Zuverlässigkeit beim Laden gehören, die Zeit bis zur ersten nutzbaren Anprobe, die Abdeckung der Varianten und Fehler nach Gerätetyp. Hilfreich sind auch Guardrail-Metriken, also Qualitätsgrenzwerte für den regulären Kaufprozess: Der Onlineshop muss für alle Besucher nutzbar bleiben, die die Anprobe nicht starten.

Microsoft Research empfiehlt, vor dem Test eine überprüfbare Hypothese, Erfolgsmetriken und Guardrail-Metriken festzulegen, zusammen mit dem Stichprobenumfang, der nötig ist, um die erwartete Veränderung zu erkennen.¹ In einem Brillenprojekt heißt das auch, vorab zu benennen, ab welcher Verbesserung ein breiterer Rollout gerechtfertigt wäre.

Die Hauptmetrik sollte von explorativen Analysen getrennt bleiben. Wer im Nachhinein nach einer Kombination aus Gerät, Markt und Fassung sucht, die ein günstiges Ergebnis zeigt, kann daraus eine Hypothese für einen neuen Test gewinnen. Um ein solches Ergebnis als Bestätigung zu werten, ist ein Testdesign nötig, das für multiple Vergleiche korrigiert.

Gruppen vergleichen, die die kausale Frage beantworten können

Besucher, die die Anprobe von sich aus starten, sind womöglich kaufinteressierter, eher bereit, die Kamera zu nutzen, oder vergleichen Fassungen sorgfältiger. Ihre Konversionsrate beschreibt diese Besucher und die Schritte, die sie durchlaufen haben. Der Vergleich mit Besuchern, die die Anprobe nicht starten, isoliert nicht die Wirkung der Funktion.

Wo der Kontext es erlaubt, ermöglicht die zufällige Zuweisung zu einer Testvariante mit oder ohne VTO einen besser geeigneten Vergleich. Die Zuweisungseinheit sollte zum beobachteten Verhalten passen. Kehrt jemand mehrmals zurück und sieht beide Testvarianten, ist diese Kontamination bei der Auswertung zu berücksichtigen. Eine dauerhafte Zuweisung ist im Rahmen der verfügbaren Daten und Werkzeuge zu planen.

In der Hauptanalyse ist es sinnvoll, alle Besucher in der Gruppe zu belassen, der sie zugewiesen wurden, auch diejenigen, die die Anprobe nicht nutzen. Angeboten wird die Funktion schließlich allen Besuchern der Gruppe, und ein Teil von ihnen entscheidet sich, sie nicht zu starten. Eine Analyse, die sich auf die Nutzer der Anprobe beschränkt, würde erneut Besucher anhand eines Verhaltens auswählen, das erst nach der Zuweisung eingetreten ist. Dasselbe Prinzip wendet das Standardwerk des Fachgebiets auf Analysen exponierter Nutzer (Triggered Analysis) und auf Guardrail-Metriken an.²

Auch engere Grundgesamtheiten lassen sich untersuchen, etwa Besucher, die eine in den Test eingeschlossene Produktseite erreichen, sofern die Bedingung für beide Gruppen korrekt definiert ist. Microsoft beschreibt diese Vorsichtsmaßnahme für Analysen exponierter Nutzer: Die Regel muss auch diejenigen erfassen, die in der Kontrollgruppe auf die Funktion gestoßen wären, und darf keine Besucher ausschließen, die von der Änderung betroffen sind.³

Ein Vorher-nachher-Vergleich bleibt nützlich, um den Betrieb zu beobachten. Preise, Werbeaktionen, Saisonalität und die Zusammensetzung des Traffics können sich jedoch gleichzeitig mit der Funktion ändern. In solchen Fällen erfordert die Zuordnung der Wirkung zusätzliche Annahmen, die bei der Entscheidung zu berücksichtigen sind. Beobachtungsstudien mit Kontrollgruppen wurden bereits genutzt, um die Wirkung von Augmented Reality (AR) auf den Umsatz eines Händlers zu schätzen. Der Anstieg konzentrierte sich dabei auf weniger gefragte Produkte und auf Neukunden.⁴ Mit solchen Studiendesigns kann auch ein Pilotprojekt ohne zufällige Zuweisung aussagekräftig sein. Das Gewicht verlagert sich dann aber auf die Annahmen, die offenzulegen sind.

Sicherstellen, dass das Messsystem den Vergleich nicht verzerrt

Bevor Sie eine Steigerung ablesen, sollten Sie prüfen, wie die Daten zustande gekommen sind. War eine 50/50-Aufteilung geplant, kann ein unerwartetes und statistisch signifikantes Ungleichgewicht zwischen den beobachteten Gruppen auf Probleme bei der Zuweisung, den Einschlusskriterien oder der Datenerfassung hinweisen.

Diese Prüfung auf Sample Ratio Mismatch gehört zu der Methode, mit der Microsoft die Validität seiner Tests überprüft.⁵ Eine kleine zufällige Abweichung ist normal. Eine deutliche Auffälligkeit erfordert dagegen, die Ursache zu ermitteln, bevor man eine Veränderung auf die Funktion zurückführt.

Beim VTO besteht ein konkretes Risiko darin, die Gruppe mit Anprobe erst zu erfassen, nachdem die Engine erfolgreich geladen wurde. Wer auf einen Fehler stößt, verschwindet aus der Analyse, während die anderen bleiben. Der Bericht beschreibt am Ende eine Teilmenge, deren Auswahl vom technischen Erfolg der Anprobe abhängt.

Auch die Definitionen gehören auf den Prüfstand. Ein Ereignis namens „Anprobe gestartet“ kann den Klick auf die Schaltfläche bedeuten, die einsatzbereite Kamera oder die bereits gerenderte Fassung. Ändert sich die Bedeutung während des Tests, ist die Datenreihe nicht mehr einheitlich. Ebenso sind bei Zählern und Nennern aus verschiedenen Plattformen die jeweiligen Zeitfenster und Zähleinheiten zu prüfen.

Die Unsicherheit interpretieren, nicht nur die prozentuale Steigerung

Nehmen wir ein hypothetisches Beispiel: einen Test mit fester Laufzeit, zufälliger Zuweisung und 10.000 unabhängigen Besuchern pro Gruppe. Jeder Besucher geht nur einmal in die Messung ein und hat dasselbe Zeitfenster für einen Kauf.

Die beobachtete Steigerung beträgt relativ 10 %, das entspricht einer absoluten Differenz von 0,20 Prozentpunkten. Mit einer Normalapproximation für die Differenz zweier unabhängiger Anteile reicht das 95-%-Konfidenzintervall von etwa −0,20 bis +0,60 Prozentpunkten.⁶

Das Intervall umfasst sowohl negative als auch positive Differenzen. Die Daten sind mit einer Bandbreite von Effekten vereinbar, die groß genug ist, um die Entscheidung über die kommerzielle Wirkung offenzulassen. Der zentrale Wert von relativ +10 % (absolut +0,20 Prozentpunkte) sagt für sich allein nichts darüber aus, wie präzise die Schätzung ist.

Ein relatives Plus von 10 % bei wenigen Bestellungen ist noch mit einem Nulleffekt vereinbar.

Das Beispiel zeigt, warum die Dauer des Pilotprojekts nicht allein vom Projektzeitplan abhängen kann. Entscheidend sind der eingeschlossene Traffic, die Häufigkeit des Ergebnisses und die Größe des Effekts, den Sie erkennen wollen. Im Beispiel wären etwa 80.000 eingeschlossene Besucher pro Gruppe nötig, nicht 10.000, um eine relative Steigerung von 10 % mit hinreichender Sicherheit von einem Nulleffekt zu unterscheiden.⁷ Bei einem Onlineshop mit wenigen Bestellungen kann der Test die operative Zuverlässigkeit gut klären, ohne die Präzision zu erreichen, die eine Schlussfolgerung zum Umsatz erfordert.

Auch die Abbruchregel sollte vereinbart sein. Werden die Ergebnisse täglich geprüft und darf der Test beim ersten günstigen Ergebnis enden, braucht die Analyse Methoden, die wiederholte Zwischenauswertungen berücksichtigen. Klassische p-Werte und Intervalle sind nicht verlässlich, wenn der Stichprobenumfang festgelegt wird, während man die eingehenden Daten beobachtet. Für genau diesen Fall gibt es sequenzielle Verfahren.⁸ Microsoft weist ausdrücklich auf dieses Problem hin und empfiehlt, ohne geeignete Methoden für Zwischenauswertungen die vorab festgelegte Laufzeit einzuhalten.⁹

Bei Retouren schließlich braucht die Kohorte, also die gemeinsam beobachteten Bestellungen, Zeit: Jede Bestellung muss zugestellt sein und die Rückgabefrist durchlaufen haben. Wer aktuelle Käufe mit anderen vergleicht, die schon seit Wochen beobachtet werden, schafft ungleiche Voraussetzungen für Retouren.

Das Ergebnis mit der nächsten Investition verknüpfen

In die Entscheidung, die Anwendung auszurollen, gehen die Integrationskosten ein, die Produktion und Pflege der Assets, der Verbrauch, der Aufwand für Freigaben und der Deckungsbeitrag etwaiger zusätzlicher Bestellungen. Zusatzumsatz und die Marge, die zur Deckung dieser Kosten zur Verfügung steht, sind unterschiedliche Größen.

Die Wirkung, die beim ersten Sortiment beobachtet wurde, sollte nicht automatisch auf neue Produkte oder Märkte übertragen werden. Eine Kollektion mit anderen Materialien kann weitere Prüfungen erfordern. Ein Kanal mit weniger kaufbereiten Besuchern kann eine andere Nutzungsrate aufweisen. Der Rollout ist auch eine Entscheidung darüber, ob sich die Testbedingungen übertragen lassen.

Das Endergebnis sollte daher festhalten, was freigegeben wurde, für welchen Rahmen es gilt, welche Unsicherheit bleibt und welcher Aufwand für den nächsten Schritt nötig ist. Ein Ergebnis kann den Start in einem Markt stützen, während weiter zu beobachten ist, ob sich die Investition rechnet. Ein anderes kann nahelegen, das 3D-Modell zu korrigieren, bevor der Katalog erweitert wird.

Mit Enterprise behalten Sie in ARShades Studio Kataloge, den Stand der Validierung und die Interaktionen im Blick. Für die kommerziellen Ergebnisse ist eine Anbindung an die Systeme nötig, die Bestellungen oder Anfragen erfassen. Für die Gestaltung des Vergleichs und die Entscheidung bleiben die Produkt-, E-Commerce- und Analyseteams gemeinsam verantwortlich. Die Qualität eines Pilotprojekts liegt in der Übereinstimmung zwischen der gestellten Frage, den gesammelten Nachweisen und der Investition, die diese Nachweise stützen sollen.

Quellen

1. Machmouchi, W., Gupta, S., Zhang, R. und Fabijan, A. (2020), Patterns of Trustworthy Experimentation – Pre-Experiment Stage, Microsoft Research, 31. Juli 2020. ↩

2. Kohavi, R., Tang, D. und Xu, Y. (2020), Trustworthy Online Controlled Experiments – A Practical Guide to A/B Testing, Cambridge University Press; insbesondere die Kapitel zu Triggered Analysis und Sample Ratio Mismatch. ↩

3. Microsoft Research, Experimentation Platform (2020), Patterns of Trustworthy Experimentation – Post-Experiment Stage, zu Analysen exponierter Nutzer (Triggered Analysis) und Einschlusskriterien. ↩

4. Tan, Y.-C., Chandukala, S. R. und Reddy, S. K. (2022), Augmented Reality in Retail and Its Impact on Sales, Journal of Marketing, 86(1), 48–66. ↩

5. Fabijan, A. et al. (2020), Diagnosing Sample Ratio Mismatch in A/B Testing, Microsoft Research, 14. September 2020. ↩

6. Zur Veranschaulichung konstruiertes Beispiel. Differenz: p₁ − p₀. Approximierter Standardfehler: √[p₀(1 − p₀)/n₀ + p₁(1 − p₁)/n₁]. Intervall: Differenz ± 1,96 × Standardfehler. Die Berechnung setzt unabhängige Beobachtungen und einen Vergleich mit festem Horizont voraus; Anpassungen für wiederholte Zwischenauswertungen oder multiple Vergleiche sind nicht berücksichtigt. ↩

7. Beispielrechnung für den Vergleich zweier Anteile (2,00 % gegenüber 2,20 %), zweiseitiger Test mit einem Signifikanzniveau von 5 % und einer Teststärke von 80 %: etwa 80.700 Besucher pro Gruppe. Für das Beispiel gelten dieselben Einschränkungen wie in der vorigen Anmerkung. ↩

8. Johari, R., Pekelis, L. und Walsh, D. J., Always Valid Inference – Bringing Sequential Analysis to A/B Testing, arXiv:1512.04922. ↩

9. Microsoft Research, Experimentation Platform (2020), Patterns of Trustworthy Experimentation – During-Experiment Stage. ↩