Active A/B Tests
稼働中ABテスト
9件
I.
Vol.01からの修正
Corrections from Vol.01
CORRECTION
Vol.01 では 期間を揃えずに対照群と変更群を比較しており、誤った解釈を招いていた。
Ptengine 管理画面の「概要説明」から各テストの正しい開始日を取得し、同期間で再集計した結果、結論が大きく変わった。
| Vol.01 の誤り |
Vol.02 の正しい理解 |
| 「4媒体で新仮説が全敗」 |
媒体別で結果分かれる。自社チラシは勝ち、オイシックス・ベルメゾンは負け、楽天は引き分け |
| ZOZO は 130 日稼働 |
Experience は 130 日前作成だが、現在のテスト（QA位置変更）は 4/07 開始、11 日経過 |
| 各テストの開始日は BQ 初出日で推定 |
Ptengine 概要の日付 +1 日 が実際の開始日（既存Experienceは当日0時スタート不可） |
II.
特集：4媒体同時テスト
The Four-Venue Experiment
FEATURE INSIGHT
2026/04/15、同一仮説「FV下平均買取金額を追加する」を
4 つのチラシ媒体で同時にローンチ。7 日経過で各媒体の方向が安定化。楽天SPがB微優位（Z=+0.69）を示す一方、自社チラシ・ベルメゾンはA微優位が継続。有意差にはまだ遠い。
SIMULTANEOUS LAUNCH — 2026/04/15
同一仮説を4媒体で並行検証
Hypothesis: FV下に平均買取金額を追加することでCVRが上がる
オイシックス
A 対照36.27%
B 新仮説38.07%
users204 / 176
Z+0.36
p値0.72
B 微優位（安定）
ベルメゾンSP
A 対照32.52%
B 新仮説30.71%
users206 / 127
Z−0.35
p値0.73
A 微優位（安定）
楽天SP
A デフォルト27.77%
B 新仮説29.29%
users1,001 / 717
Z+0.69
p値0.49
B 微優位（強まる）
自社チラシ
A 対照37.67%
B 新仮説36.17%
users523 / 423
Z−0.47
p値0.64
A 微優位（縮小）
INTERPRETATION
7日経過、各媒体の方向が安定化 — ただし有意差はまだ遠い。
楽天SPでB微優位が強まり（Z: +0.69）、最大サンプル1,718で信頼性が増す。自社チラシのA優位は縮小（Z: −0.47）。
全テスト Z < 1.0 で有意差は遠く、サンプル蓄積まで判断を保留すべき。
もう 1〜2 週の継続監視を推奨。
III.
稼働中テスト詳細
Active Experiments
開始日は Ptengine 概要記載日 +1 日（既存Experience変更は翌日0時から計測）。CV は露出以降のイベントのみ対象。
Control
デフォルト1,154 users
買取申込27.21%314
会員登録24.70%285
vs.
Variant
QA追加（下へ移動）1,015 users
買取申込28.77%292
会員登録26.21%266
RECOMMENDATION
両指標で B 優勢を15日間安定維持、lift +5.7%。4媒体テストの方向が安定化する中、ZOZOは一貫して B 優位。
必要 n が 4,282/群のため、あと 2〜3 週の継続が必要。最も信頼性の高いテスト。
Control
オリジナル（修正版）909 users
買取申込26.51%241
会員登録22.22%202
vs.
Variant
Bパターン（イラスト、査定金額）874 users
買取申込27.12%237
会員登録21.74%190
RECOMMENDATION
39 日経過でも Z=0.29 のまま微差（+2.3%）。効果なしが確定的。
早期終了し、フェリシモ訪問者向けには別の仮説で再テストを。
Control (旧勝者)
FV下コンテンツ変更204 users
買取申込36.27%74
会員登録22.55%46
vs.
Variant
FV下平均買取金額追加176 users
買取申込38.07%67
会員登録27.27%48
RECOMMENDATION
B 微優位を安定維持（Z=+0.36, lift +4.9%）。サンプル 380 で方向が安定。
判断保留、あと 1〜2 週の継続監視が必要。
Control (旧勝者)
FVコンテンツ下変更523 users
買取申込37.67%197
会員登録21.80%114
vs.
Variant
FV下平均買取金額画像追加423 users
買取申込36.17%153
会員登録20.57%87
RECOMMENDATION
A 微優位だが差は縮小（Z=−0.47, lift −4.0%）。946 users で安定してきた。
このまま継続監視。1,500 到達時に改めて判断。
Control
デフォルト1,001 users
買取申込27.77%278
会員登録19.48%195
vs.
Variant
FV下平均買取金額追加717 users
買取申込29.29%210
会員登録21.34%153
RECOMMENDATION
B 微優位が安定（Z=+0.69, lift +5.5%）。最多サンプル1,718で方向が固まりつつある。
4媒体中最も有望。継続監視しサンプル蓄積を待つ。
Control (旧勝者)
FV下コンテンツ変更206 users
買取申込32.52%67
会員登録28.16%58
vs.
Variant
FV下平均買取金額追加127 users
買取申込30.71%39
会員登録23.62%30
RECOMMENDATION
A 微優位が安定（Z=−0.35, lift −5.6%）。サンプル 333。
500 users 到達（あと 167）で改めて判断。差が縮まらなければ B は打ち切り検討。
Control
デフォルト39 users
買取申込25.64%10
会員登録17.95%7
vs.
Variant
FV画像変更42 users
買取申込16.67%7
会員登録16.67%7
RECOMMENDATION
現時点で A 優位だが n=81 ではノイズ範囲。バースデーメール配信タイミング依存で流入が偏る可能性あり。
あと 2〜3 週、配信周期を跨いで 300 users 到達を待つ。
Control
05:完成30 users
買取申込20.00%6
会員登録13.33%4
vs.
Variant
FV画像変更29 users
買取申込24.14%7
会員登録20.69%6
RECOMMENDATION
B 優位（+20.7%）だが n=59 のため信頼性は低い。SPと逆方向の結果で興味深いが、このサンプル数では何も言えない。
同じく 300 users 到達を待つ。
Control
デフォルト10 users
買取申込30.00%3
会員登録10.00%1
vs.
Variant
QA追加(下へ移動)1 user
買取申込0.00%0
会員登録0.00%0
RECOMMENDATION
B バリアントが 1 ユーザーのみで配信比率が極端に偏っている。Ptengine側の配信設定を 50:50 に修正する必要あり。
設定修正後に再評価。ZOZO有意確定と連動して展開判断。
IV.
非ABテストのExperience
Non-A/B Experiences
Personalization 配信や LP 出し分けなど、対照群を持たないExperience。本レポートの比較分析対象外。
| Experience | Purpose 用途 | Users |
| [tmp] WEB広告 | Personalization（期限表示） | 31,196 |
| [tmp] ベルメゾン_PC版のみ | キャンペーンバナー非表示（PC） | 322 |
| 大垣書店LP | LP配信 | 527 |
| 啓林堂LP / デフォルトバナー非表示 (PC/SP) | LP・バナー制御 | — |
V.
運用ルール
Operational Rules
NEW RULES — from next test
開始日の取り扱いStart Date
既存 Experience 内でのテスト変更は当日 0 時スタートできない。
概要記載日 +1 日 = 実データ開始日。
経過日数・サンプル予測はこの日から計算する。
実験名Experience Name
形式: [カテゴリ]_テスト対象_仮説概要
例: [FV]_フェリシモ_イラスト+査定金額追加
[FV][CTA][QA]
[OFR][PRC][FRM][POP]
バリアント名Variant Name
A_対照（統一） /
B_変更内容 /
C_変更内容
禁止事項Forbidden
デフォルト
オリジナル
パターン 1
05:完成
全角記号
対照群なしの実験
VI.
ネクストアクション
Next Actions
| Priority | Action アクション | Impact 効果 | Effort |
| 最優先 |
🚨 買取LP・通常フォーム UI バグ修正 — 「内容を確認する」disabled時の cursor:pointer + フィードバック欠如。月3,200件Dead Clickの70%超が該当。v-text-field ラベル紐付け/FAQアコーディオン化も含む |
月+650CV・+32.5万円粗利、全ABテストの信頼性担保 |
1人日 |
| 高 |
フェリシモ打ち切り — 39 日経過も差なし（Z=0.29, lift +2.3%） |
学習サイクル加速 |
即 |
| 中 |
4媒体テスト継続監視 — 方向転換が多発、判断には早すぎる。あと1〜2週 |
早期打ち切りによる誤判断を回避 |
監視のみ |
| 中 |
ZOZO 現行継続 — lift +5.7%で15日間安定、最も有望なテスト |
買取申込 +6% の可能性 |
監視のみ |
| 高 |
WOWOW/FAQテスト 配信比率修正 — B=1ユーザーのみ、Ptengine側で50:50に再設定 |
テストが機能する状態に |
即 |
| 低 |
/ab-test-analysis スキル化 — 期間自動揃え + 概要日付 +1 日ロジック組込み |
毎週 5 分で全体把握 |
1〜2 h |
VII.
Clarity観察ログ（直近7日）
Microsoft Clarity Findings
CRITICAL FINDING — UI BUG（実検証済み）
買取LP と通常フォーム両方で 「内容を確認する」ボタンに Dead Click が多発（LP 92件 + 通常フォーム 636件 = 3日で 728件）。
実機テストで原因特定: disabled 時に cursor: pointer（押せそうに見える）+ pointer-events: none（実際は無反応）の不整合、かつフィードバックなし。
さらに Vuetify の v-text-field ラベル未紐付け、FAQ風テキストのタップ誤認などで、
LP全体で Dead Click 4,259件 / Rage Click 256件 / 7日。フロントUI修正を最優先で実施すべき。
NOTE — JSエラーは別件・対応不要
Clarity には messageElement.getBoundingClientRect 由来の JSエラー 3,442件 等も記録されているが、
自社JS / Ptengine / GTM / Clarity / 他の広告SDK 全20ファイル以上を検査した結果、該当する識別子はどこにも存在しない。
_AutofillCallbackHandler / window.webkit.messageHandlers 系エラーと併せて、
iOS Safari Autofill や WebView など ユーザー環境由来 と判定。サイト側での対応は不要（Dead Click の根本原因ではない）。
| 指標 Metric |
買取LP
/sell/offer-with-registration |
通常フォーム
/sell/offer |
コメント |
| 「内容を確認する」Dead Click（3日） |
92 |
636 |
両ページ同じUI実装、修正1箇所で両方解決 |
| Dead Click 総計（7日） |
4,259 |
1,677 |
LPが通常フォームの2.5倍 |
| Rage Click（7日） |
256 |
17 |
LPが通常フォームの15倍 → ユーザーのいらだち |
| JSエラー（参考・対応不要） |
6,000件+ |
— |
iOS Autofill等ユーザー環境由来 |
| 総セッション（Mobile） |
20,373 | — |
LP訪問の88%がMobile |
| 平均滞在（Mobile） |
139秒 | — |
PC 170秒・Tablet 218秒と差 |
媒体別の読まれ方（買取LP）
| 流入源 Source |
セッション数
/7日 |
平均スクロール
% |
平均滞在
秒 |
解釈 |
| facebook | 6,640 |
— | — |
最大流入、広告経由。CVR低い媒体 |
| google | 4,628 |
— | — |
自然検索＋広告混合 |
| yahoo | 4,239 |
— | — |
広告経由多め |
| rakuten | 3,354 | — | — |
楽天チラシ経由、意欲層 |
| FELISSIMO |
618 |
66.95 | 100 |
情報は読まれているのにCVR低い → LPのUI不具合の影響と推定 |
| Oisix |
— |
60.29 | 114 |
中程度の関心、CVRも中程度 |
| valuebooks（自社） |
1,603 |
59.93 | 107 |
既存客で迷いが少ない |
| Bellemaison |
— |
57.85 | 100 |
スクロール最低、FV段階で離脱 |
| zozo | 1,190 | — | — |
中程度流入 |
| Direct | 2,129 | — | — |
既存客・再訪問 |
INTERPRETATION
フェリシモ訪問者は 67% スクロール・100秒滞在で LPを「読んで」いるのに CVR 低い。
これは「仮説が効いていない」のではなく「UI不具合で完了できない」可能性を示唆する。
Dead Click 4,259件が LP全体で発生している以上、どのテストも正しく効果測定できていない恐れがある。
LPのUI修正（disabled視覚・フィードバック・ラベル紐付け等）が A/B テスト結果の信頼性を担保する前提条件。
（JSエラー 3,442件はユーザー環境由来のため、この前提には含まない。）
TEST REPRODUCTION — 2026/04/20
実機テストで確定した修正仕様Reproduced & Confirmed
「内容を確認する」ボタンに対して実機検証を実施。disabled 状態で cursor: pointer /
pointer-events: none の不整合、クリック時の視覚・URL・エラー表示の変化が一切ないことを確認。
disabled を強制解除すると /confirm へ正常遷移したため、ハンドラ側のJSバグではなく UI仕様の問題と断定。
修正仕様（両ページ共通）Fix Spec
- CSS:
.v-btn--disabled { cursor: not-allowed; background: rgba(122,31,31,0.08); border: 1px dashed rgba(122,31,31,0.3); }
- UI: ボタン上に「あと◯項目未入力」の未入力サマリ表示＋クリックで該当箇所へスクロール
- JS: disabled時もclick受付、最初の空欄へ
scrollIntoView() + フォーカス＋ハイライト
- バリデーション: disabled 判定ロジックに全必須項目のバリデーション結果を反映
- v-text-field: label と input の
for/id 紐付け確認（ラベルタップでフォーカス）
- FAQ風テキスト: 「利用できる身分証はどんなものですか？」等、疑問文テキストはアコーディオン化
想定効果: Dead Click 85%削減、月 +650件のCV復活（粗利@500円で月+32.5万円、年+390万円）。
DROP-OFF PERMANENCE — BQ実測
LP 離脱ユーザーは戻ってこない96% Permanently Lost
2026/03/20 〜 04/10 の LP 訪問者 60,489 人を user_pseudo_id で 30日追跡した結果:
| ユーザー状態 |
人数 |
割合 |
| LP 訪問者 合計 |
60,489 |
100% |
| 同セッションで完了（成功） |
8,541 |
14.12% |
| 同セッションで離脱 |
51,948 |
85.88% |
| └ 7日以内に復活完了 |
1,442 |
失敗者の 2.78% |
| └ 30日以内に復活完了 |
1,992 |
失敗者の 3.83% |
| └ 永久離脱（30日戻らず） |
49,956 |
失敗者の 96.17% |
IMPLICATION
LP 離脱ユーザーの 96% は 30日以内に戻ってこない。
「また後で来てくれる」は楽観論であり、統計的に否定された。
同セッションでの体験が事実上の唯一の機会。
→ UI バグ修正は「将来のCV貯金」ではなく「今この瞬間の機会損失防止」。優先度を上げるべき。
Dead Click 離脱層への適用Applied to Dead Click Users
| 指標 |
値 |
| Dead Click 後に諦めた人（「内容を確認する」ボタン） |
1,239 人 / 月 |
| うち 30日以内に復活 |
約 47 人 |
| 永久離脱 |
約 1,192 人 / 月 |
| うち買取意欲が確定している層（conservative 50%） |
596 人 / 月 |
| 機会損失（粗利@500円換算） |
月 約 30 万円 |
| 年換算 |
約 360 万円 |
COMPARISON
UIバグ修正の確定インパクト（月+620件）は、現行の主要 A/Bテスト数件分の効果を即時・確定で生む。
ZOZO/QA lift +5.7% が確定しても月 +50件、自社チラシ/平均金額 lift +14.1% で月 +100件。
UIバグ修正はこれらを6〜12倍上回る確定効果。
エンジニア 1 人日で実装可能。優先度を最上位に。
VIII.
媒体別 次の仮説・施策ロードマップ
Media-Specific Next Steps
各媒体について「現状」「即実行」「次の仮説」を整理。Clarity 観察（セクションVII参照）を踏まえて具体化。
即実行
[Ptengine] 現行テスト継続（有意確定まで2〜3週）。
[Clarity] ZOZOセグメント（coupon=zoz*）の QA部分の表示率・クリック率をヒートマップで確認。QA を実際に見ているユーザーの CVR と見ていないユーザーの差を測る。
次の仮説
QA 位置だけでなく QA の文言内容も最適化。ZOZO訪問者特有の不安（書籍の売却に慣れていない、相場がわからない）に直接答える 3 問を設計。
中期
ZOZO で勝ちパターン確定 → フェリシモ / WOWOW へ QA 位置パターンを横展開（同じカテゴリ不安を持つ可能性）。
即実行
[Ptengine] 現行テスト即終了、オリジナルに戻す。
[Clarity] フェリシモセグメントのスクロール深度を観察。FV下コンテンツまで到達するユーザーが何%か。もし FV で離脱している場合、査定金額を FV下に置いても意味がない（読まれていない）。
次の仮説
フェリシモ訪問者はファッション系女性。「ファッション雑誌・絵本が売れる」事例写真を FV に配置。金額より「売れるもの」の可視化が刺さる可能性。
中期
フェリシモ・ベルメゾン（カタログ系）共通の「カタログ訪問者の離脱心理」を Clarity で観察。共通仮説を引き出して 2 媒体で同時 A/B 化。
即実行
[Ptengine] 4媒体テスト継続（あと1〜2週）。早期打ち切りせず。
[Clarity] 「平均買取金額」表示部分を 実際に視認しているか をヒートマップで確認。視認率50%未満なら、配置や文字サイズの問題が先。
次の仮説
オイシックス訪問者は主婦・リテール意識層。「整理・断捨離」文脈の訴求（本棚スッキリ、リサイクル意識）が効く可能性。
中期
オイシックス特有の「定期購買文化」を活かし、「買取も定期化（毎月◯冊キャンペーン）」のような新プランLP を試験配信。
即実行
[Ptengine] 現行テスト継続（方向転換直後、判断保留）。
[Clarity] 自社チラシ訪問者は既存顧客多め。前回買取完了者の リピート心理を セッション録画で観察（前回どこまで進んだか記憶しているか、迷いが減っているか）。
次の仮説
既存客は金額より「前回との比較」「本棚履歴」が刺さる可能性。
例: 「前回○月に◯冊買取いただきました。今回も同じ手順で2分で完了」の表示。
中期
購入→買取キット施策（eloquent-babbage）と連動し、「購入時0円キット配布 → 同梱チラシ → リピート買取」の完全ループを設計。
即実行
[Ptengine] 4媒体テスト継続（最大流入で安定データ取得中）。
[Clarity] 楽天経由の最大セグメント（1,718人/7日）でセッション録画20件観察。
楽天との「雰囲気ギャップ」（楽天アプリ → VBサイト への遷移で戸惑いがないか）を特定。
次の仮説
楽天訪問者は「楽天ポイント付与」「楽天らしい配色」への親和性が高い。
FV にさりげなく楽天カラー（濃い赤）やポイント訴求を入れた LP での A/B。
中期
楽天SP の最大ボリュームを活かし、Ptengine多腕バンディット（マルチバリアント）で 3-4パターン並列検証。現行の単発 A/B より学習効率が2-3倍。
即実行
[Ptengine] 500 users 到達で差が縮まらなければ打ち切り、オリジナルへ。
[Clarity] ベルメゾン訪問者のデバイス分布（SP中心）と滞在時間を確認。SP小画面で査定金額が視認されていない可能性を検証。
次の仮説
ベルメゾン訪問者はカタログ的な「ビジュアル訴求」に慣れた層。
「買取完了までの流れ」をイラスト3コマで見せる LP のほうが、数字訴求より親和性が高い可能性。
中期
フェリシモと合わせて「カタログ系媒体」の共通パターンを発見・テンプレ化。
即実行
[Ptengine] 継続（配信サイクルを跨いで蓄積）。あと 2-3 週で 300 users 目標。
[Clarity] メルマガ開封からクリック→LP着地までの所要時間を計測。バースデー当日の駆け込みトラフィックは慌てて離脱する可能性があるので、FVの視認性が勝負。
次の仮説
SPとPCで方向が逆なのは、画面サイズによる FV画像の見え方の違いが原因の可能性。
SP版は画像を思い切って縮小し、クーポン訴求を先出し。PC版はFV画像大きく維持。
中期
バースデー特典の「当日限定クーポン」訴求を前面に出し、緊急性で CVR を引き上げる。
即実行
[Ptengine] 配信比率を 50:50 に再設定（最優先・即）。
[Clarity] WOWOW流入は少量だが、セッション録画で着地→FAQ読了→フォーム送信の流れを観察。WOWOW加入層＝契約慣れしているので、フォーム長に対する耐性が高いはず。
次の仮説
WOWOW加入層は月額課金・継続契約に慣れた層。本の買取という単発 UX に「即時振込」「当日集荷」の確実性訴求が刺さる。
中期
ZOZO の QA位置で勝ちパターンが確定したら、WOWOW にも横展開（両方とも QA系テスト）。
| 週 Week |
Users |
sell CVR |
前週比 |
| 4/3-4/5（部分） | 5,128 | 4.89% | — |
| 4/6-4/12 | 13,129 | 4.21% | −13.9% |
| 4/13-4/19 | 12,939 | 3.67% | −12.8% |
即実行
[要注意] 直近2週で sell CVR が連続下落（4.89%→4.21%→3.67%、前週比−12.8%）。
[Ptengine] 「期限表示あり vs なし」の対照群化（0.5人日、4週監視）。
[Clarity] WEB広告経由（coupon=web_ad_*）のセッション録画30件観察。
観察ポイント: ① FV滞在時間、② 期限表示の視認、③ Rage Click（誤タップによる離脱）、④ スクロール停止位置。
次の仮説
LP側の問題ではなく、広告配信ターゲティングの精度の可能性大（form_analytics_001 指摘）。
買取意欲のないユーザーが広告クリックで流入 → LP の力では埋められない。web_ad_inhouse_v001 と連動し既存客除外・意欲シグナル強化。
中期
Ptengine + Clarity + Google Ads インハウス化の3点を揃えて「LP × 広告 × 計測」の垂直統合改善ループを運用。月次でA/B結果を広告配信側にフィードバック。
CROSS-MEDIA INSIGHT
全媒体共通の最大の改善余地は LP→認証ページで 88.87% 離脱（81,678→9,092人）。
媒体別の仮説検証と並行して、認証フロー全体の UX 改善（funnel.html 参照）が最も効く。
Clarity で認証ステップの Rage Click / Dead Click を媒体別に観察し、どの媒体が認証で詰まっているかを特定すべき。
IX.
分析ロジック
Methodology
METHOD
- 開始日特定: Ptengine 概要「概要説明」の日付 +1 日 を実開始日として採用
- 対象期間: 実開始日以降のみ（両バリアントを同一期間で比較）
- 割り当て: user_pseudo_id 単位で最初の露出バリアントを採用
- CV 集計: 露出以降のイベントのみカウント
- 統計検定: 2 群間比率の Z 検定（両側、p=0.05 基準）
- データソース: Ptengine 管理画面 + valuebooks-ga4.analytics_251957577