vasteelab · Tools

A/Bテストの有意差・サンプルサイズ計算機

コンバージョン数を入れると有意差(p値)を判定。テスト設計に必要なサンプルサイズの逆算もできる。データはブラウザ内で計算し送信しない。

① 結果に有意差はある?

A(コントロール)
B(バリアント)
A—%
B—%
p値(両側)
zスコア
相対リフト(B/A−1)
CV率差の95%信頼区間

② 何人集めれば検出できる?(サンプルサイズ設計)

1グループあたりの必要サンプル数(A/B合計はこの2倍)
検出対象
1日1,000人ずつ流す場合

計算方法。有意差判定は2群の比率の差のz検定(両側)です。サンプルサイズは有意水準と検出力から標準的な公式で算出しています。注意点: テスト途中でp値を何度も見て早期終了すると偽陽性が増えます(覗き見問題)。必要サンプルを先に決めて、集まってから判定するのが原則です。CV数が極端に少ない場合(各群10件未満)は正規近似が崩れるので参考値です。