コンバージョン数を入れると有意差(p値)を判定。テスト設計に必要なサンプルサイズの逆算もできる。データはブラウザ内で計算し送信しない。
計算方法。有意差判定は2群の比率の差のz検定(両側)です。サンプルサイズは有意水準と検出力から標準的な公式で算出しています。注意点: テスト途中でp値を何度も見て早期終了すると偽陽性が増えます(覗き見問題)。必要サンプルを先に決めて、集まってから判定するのが原則です。CV数が極端に少ない場合(各群10件未満)は正規近似が崩れるので参考値です。