意思決定につながるVirtual Try-Onのパイロットプロジェクトを設計する

バーチャル試着は、フレームの再現精度が承認され、想定した端末で問題なく使えても、売上への効果はまだ不確かなままということがあります。これらの結果は矛盾しません。それぞれ別の問いに関わるものだからです。パイロットプロジェクトが価値を生むのは、そのうちどの問いに、どのような根拠で答えられるのか、そしてその答えを次のどの投資判断に使うのかを明確にしたときです。

アイウェアでは、テストには少なくとも3つの要素が関わります。商品の3Dモデル、それを提供するサービス、そしてユーザーの購買行動です。これらをひとつの成功指標にまとめてしまうと、何を本格導入に進め、何を直すべきかが見えにくくなります。

パイロットの設計は、下すべき判断から始まります。最初の一連の3Dモデルの承認、ある市場でのサービス提供、さらに多くのコレクションのデジタル化への投資、新しいチャネルとの連携などです。求める根拠は、その判断に見合ったものにします。

必要な根拠が異なる検証を切り分ける

商品の検証では、実物のフレームとそのデジタル表現が一致しているかを確かめます。プロポーション、形状、素材、レンズ、バリエーションが対象です。必要なのは、承認済みの基準となる資料と、判断できる専門知識を持つ担当者です。試着回数がいくら多くても、不正確な3Dモデルが正しくなるわけではありません。

運用の信頼性の検証では、想定した条件のもとでの体験を確かめます。端末、ブラウザ、ネットワーク、カメラの許可、購入導線への組み込みが対象です。読み込み、エラー、所要時間、各種の更新への対応を観察します。最新のスマートフォンでデモがうまくいっても、この問いの一部に答えたにすぎません。

売上への効果の評価では、購入、予約、確度の高い問い合わせといった成果を対象とします。成果を測る指標と、施策の効果をユーザー層のもともとの違いから切り分けられる比較が必要です。

これらの検証は、段階を分けて進めることができます。購買行動の解釈は、3Dモデルの品質を整え、利用を妨げる問題を解消してから行います。そのうえで、運用の信頼性を確かめるテストで良い結果が出ていれば、経済的な効果のデータを集め続けながら本格導入に進むこともできます。ただし、何が不確かなまま残っているかを踏まえて判断することが条件です。

結果を適用する母集団を定義する

レンダリングしやすい商品だけで構成したフレームのサンプルは、初期の調整には役立ちます。コレクション全体を評価するなら、見え方に影響する違いを含めてください。ラインナップにあれば、半透明のアセテート、細いメタル、大ぶりの形状、クリップオン、カラーやミラーコートの異なるレンズなどです。

難しいケースを検証するためのフレームと、売上の測定に使うフレームは、分けて選ぶとよいでしょう。前者の役割は、限界を浮かび上がらせることです。後者には、ビジネス上の問いに見合った在庫状況、トラフィック、重要性が求められます。両者は重なってもかまいませんが、選ぶ基準は異なります。

端末についても同じです。技術的な理由で対象を除外すれば、結果を適用できる母集団は狭まります。対応済みで性能の高いブラウザだけでサービスを評価したのであれば、結論もその範囲にとどめてください。全トラフィックへの展開を判断するときは、どれだけのユーザーが対象外になるかも考慮に入れます。

テストを始める前に、対象条件も定義しておきます。どのページ、商品、市場、訪問者をテストに含めるかです。この条件は、テスト群と対照群で同じように観測できるものにしてください。そうすれば、分析の対象者は、機能を利用できたかどうかではなく、この条件によって決まります。

結果を見る前に、指標を合意する

パイロットのテスト計画は簡潔でかまいません。ただし、主要指標、その分母、観測期間は定めておいてください。「コンバージョン」は、同じセッション内での注文を指すこともあれば、その後の一定期間内の購入を指すこともあります。この2つの指標は、異なる結果を示すことがあります。

主要指標に加えて、それを解釈するための指標も必要です。Virtual Try-On（VTO）であれば、読み込みの安定性、試着を使える状態になるまでの時間、バリエーションの対応率、端末ごとの不具合などです。通常の購入導線に品質の基準値を設けておくことも役立ちます。試着機能を使わない人にとっても、オンラインショップが問題なく使えることが前提だからです。

Microsoft Researchは、テストの前に、検証可能な仮説、成功指標、ガードレール指標（購入導線の品質など、悪化してはならない指標）を定め、あわせて想定する変化を検出するのに必要なサンプルサイズを決めておくことを提案しています¹。アイウェアのプロジェクトでは、本格導入を正当化できる改善の大きさを明示しておくことも、これに含まれます。

主要指標は、探索的な分析とは切り離して扱ってください。有利な結果が出る端末、市場、商品の組み合わせを事後的に探すことは、新しいテストの仮説づくりにはなります。しかし、それを確証として扱うには、実際に行った比較を考慮に入れたテスト設計が必要です。

因果関係の問いに答えられるグループを比較する

自分の意思で試着機能を使う人は、購入意欲が高い、カメラを使うことに抵抗が少ない、フレームを丁寧に比較する、といった傾向を持っているかもしれません。その人たちのコンバージョン率に表れるのは、その人たちがもともと持つ特性と、実際にたどった行動です。試着機能を使わない人と比べても、機能そのものの効果を切り出すことはできません。

状況が許すなら、訪問者をVTOありの体験（テスト群）とVTOなしの体験（対照群）にランダムに割り当てることで、より適切な比較ができます。割り当ての単位は、観測する行動と整合させてください。同じ人が何度も訪れて両方の体験を目にした場合は、この群間の混入を踏まえてテストを解釈します。同じ人を同じ群に割り当て続ける仕組みは、利用できるデータとツールの範囲内で設計します。

主な分析では、試着機能を使わなかった人も含め、各対象者を割り当てられた群のまま扱うのが有効です。サービスはもともと利用者層全体に提供されるもので、その一部は試着機能を使わないことを選ぶからです。試着機能を使った人だけに絞って分析すると、割り当て後に起きた行動で人を選別することになります。これでは、自分の意思で使う人だけを見ていた、先ほどの問題に戻ってしまいます。割り当てたとおりに分析するというこの原則は、この分野で標準とされるハンドブックでも、トリガー分析（施策に触れる集団に絞った分析）やガードレール指標に同じように適用されています²。

テスト群と対照群の両方で条件を正しく定義していれば、より絞り込んだ母集団を分析することもできます。たとえば、対象の商品ページに到達した人です。Microsoftは、トリガー分析では次の2点に注意するよう説明しています。対照群でも、機能があれば触れていたはずの人を条件に含めること。そして、変更の影響を受けた人を条件から除外しないことです³。

導入前後の比較は運用の監視には役立ちますが、価格、プロモーション、季節性、トラフィックの構成が、機能と同時に変わることがあります。その場合、変化を機能の効果とみなすには追加の仮定が必要です。判断の際は、その仮定も考慮に入れてください。対照群を設けた観察研究のデザインもあり、ある小売企業の売上に対するARの効果の推定に使われています。そこでは、売上の増加は人気の低い商品と新規顧客に集中していました⁴。こうしたデザインを使えば、ランダム割り当てのないパイロットからも有益な知見を得られます。ただしその分、結論が仮定に頼る部分が大きくなるため、仮定は明示してください。

測定の仕組みが比較を歪めていないか確認する

上昇幅を読み取る前に、データがどのように集まったかを確認してください。50/50で振り分ける計画だったのに、観測したテスト群と対照群の人数に予想外で統計的に有意な偏りがあれば、割り当て、対象条件、データ収集のいずれかに問題がある可能性があります。

この確認は、Sample Ratio Mismatch（サンプル比率の不一致）のチェックとして知られ、Microsoftがテストの妥当性を確かめるために使う手法の一部です⁵。偶然による小さなずれは通常のことです。しかし有意な異常があれば、数値の変化を機能の効果とみなす前に、原因を突き止めてください。

VTOで実際に起こりうるリスクは、エンジンの読み込みが成功した後にだけ、テスト群の記録を始めてしまうことです。エラーに遭遇した人は分析から消え、それ以外の人だけが残ります。結果としてレポートは、体験が技術的に成功したかどうかで選別された一部の集団を表すことになります。

定義の確認も欠かせません。「試着開始」というイベントは、ボタンのクリック、カメラが使える状態になったこと、フレームの描画が完了したことのいずれをも指しえます。テストの途中で意味が変われば、データの系列は一貫性を失います。同様に、分子と分母を異なるプラットフォームから得ている場合は、それぞれの観測期間とカウントの単位を確認してください。

上昇率だけでなく、不確実性を読み解く

期間を固定した仮想のテストを考えます。ランダム割り当てで、各群に独立した訪問者が1万人いるとします。各訪問者は指標に1回だけカウントされ、購入できる期間も全員同じです。

観測された上昇は相対値で10%、絶対差では0.20ポイントです。独立した2つの比率の差に正規近似を用いると、95%信頼区間は約−0.20から+0.60ポイントになります⁶。

この区間には、マイナスの差とプラスの改善の両方が含まれます。データと整合する効果の幅は広く、売上の上昇についての判断は保留せざるをえません。中心値である10%だけでは、推定がどれだけ精密かはわかりません。

注文数が少なければ、相対値で+10%でも、効果がゼロであることと矛盾しません。

この例から、パイロットの期間をプロジェクトのスケジュールだけで決められない理由がわかります。重要なのは、対象となるトラフィック、成果が発生する頻度、そして検出したい効果の大きさです。この例で、相対10%の上昇を効果ゼロとある程度の確信を持って区別するには、各群に1万人ではなく、約8万人の対象訪問者が必要になります⁷。注文の少ないオンラインショップでは、テストで運用の信頼性ははっきり把握できても、売上について結論を出せるだけの精度には届かないことがあります。

停止ルールも事前に合意しておきます。毎日結果を確認し、最初に有利な結果が出た時点でテストを止める可能性があるなら、データの繰り返し確認を考慮した分析手法が必要です。届いたデータを見ながらサンプルサイズを決める場合、従来のp値や信頼区間は信頼できません。こうした場合のために設計された、逐次検定の手法があります⁸。Microsoftもこの問題を明確に指摘しており、中間解析に適した手法がない場合は、あらかじめ決めた期間を守ることを推奨しています⁹。

最後に、返品は結果が出そろうまでに時間がかかります。注文が配送され、返品が起こりうる期間を過ぎるまで待ってから比較してください。最近の購入と、すでに数週間観測した購入とを比べると、返品の機会に差が生じてしまいます。

結果を次の投資に結びつける

サービスを本格導入するかどうかの判断には、連携のコスト、3Dモデルの制作と保守、利用量、承認作業、そして追加の注文があればその利益への貢献が関わります。売上の増分と、これらのコストをまかなえる利益は、別の数字です。

最初のラインナップで観測された効果を、新しい商品や市場にそのまま当てはめるべきではありません。素材の異なるコレクションには、追加の検証が必要かもしれません。購入意欲の低いトラフィックが多いチャネルでは、利用率が異なるかもしれません。全面展開は、テストの条件をほかにも当てはめられるかどうかの判断でもあります。

最終的な結果には、何が承認されたか、どの範囲に当てはまるか、残る不確実性、次の段階に必要な作業を明記してください。たとえば、ある市場での公開は後押しできても、投資対効果は引き続き観察が必要だという結果もありえます。カタログを広げる前に、3Dモデルの修正が必要だとわかることもあります。

ARShadesのEnterpriseプランでは、管理プラットフォームのARShades Studioで、カタログの状況、検証の進み具合、体験の利用状況を追跡できます。売上面の成果を把握するには、注文や問い合わせを記録するシステムとの連携が必要です。比較の設計と判断は、プロダクト、EC、分析の各チームが共同で担うプロジェクトの中で決めるものです。パイロットの質は、立てた問い、集めた根拠、その根拠で支えるべき投資の3つが、どれだけ噛み合っているかで決まります。

出典

1. Machmouchi, W., Gupta, S., Zhang, R., Fabijan, A.（2020）「Patterns of Trustworthy Experimentation — Pre-Experiment Stage」Microsoft Research、2020年7月31日。 ↩

2. Kohavi, R., Tang, D., Xu, Y.（2020）『Trustworthy Online Controlled Experiments — A Practical Guide to A/B Testing』Cambridge University Press。特に、トリガー分析とSample Ratio Mismatchに関する章。 ↩

3. Microsoft Research, Experimentation Platform（2020）「Patterns of Trustworthy Experimentation — Post-Experiment Stage」。トリガー分析と対象条件について。 ↩

4. Tan, Y.-C., Chandukala, S. R., Reddy, S. K.（2022）「Augmented Reality in Retail and Its Impact on Sales」Journal of Marketing, 86(1), 48–66。 ↩

5. Fabijan, A. ほか（2020）「Diagnosing Sample Ratio Mismatch in A/B Testing」Microsoft Research、2020年9月14日。 ↩

6. 説明のために作成した例です。差：p₁ − p₀。近似標準誤差：√[p₀(1 − p₀)/n₀ + p₁(1 − p₁)/n₁]。区間：差 ± 1.96 × 標準誤差。この計算は、観測値が互いに独立であり、期間を固定した比較であることを前提としています。繰り返しの確認や多重比較に対する補正は含みません。 ↩

7. 2つの比率（2.00%と2.20%）を比較する場合の説明用の計算です。有意水準5%の両側検定、検出力80%とすると、各群に約8万700人の訪問者が必要です。前の注と同じく、この例に関する注意事項が当てはまります。 ↩

8. Johari, R., Pekelis, L., Walsh, D. J.「Always Valid Inference — Bringing Sequential Analysis to A/B Testing」arXiv:1512.04922。 ↩

9. Microsoft Research, Experimentation Platform（2020）「Patterns of Trustworthy Experimentation — During-Experiment Stage」。 ↩