Vai al contenuto

Test A/B

Da Wikipedia, l'enciclopedia libera.
Esempio di test A/B su un sito internet. Servendo in modo casuale ai visitatori 2 versioni del sito internet che differiscono solamente nel design di un singolo pulsante, l'efficacia relativa delle due versioni può essere misurata

Un Test A/B (o Test dei cesti o split-run testing), nel web analytics, è un esperimento controllato con due varianti, A e B.[1] [2]

È una forma di test di verifica d'ipotesi o "test di ipotesi a 2 campioni" nel campo della statistica. Nel web design, in particolare nella user experience design, l'obiettivo di questo test è di identificare i cambiamenti delle pagine web che incrementano o massimizzano il risultato di un interesse (per esempio: click-through rate per un banner pubblicitario). Formalmente la pagina web attuale è associata a un'Ipotesi nulla.

Il test A/B è un modo di confrontare due versioni di una singola variabile per testare la risposta del soggetto rispetto alla variabile A o B e determinare quale risulti la più efficace[3].

Nella statistica multivariata, un test multinomiale è simile a un test A/B, ma verifica più di due versioni allo stesso tempo o usa più controlli. I test A/B semplici non sono validi per situazioni osservazionali, quasi-sperimentali o situazioni non sperimentali, come in dati di una indagine, dati offline, e altri fenomeni più complessi.

Test statistici comuni

[modifica | modifica wikitesto]
Distribuzione assunta Caso d'esempio Test Standard Test alternativo
Gaussiana Ricavo medio per utente pagante Test di Welch (Unpaired t–test) Test t di Student
Binomiale click-through rate Test esatto di Fisher Test di Barnard
Poisson Transazioni per Utente pagante E-test[4] C-test
Multinomiale Numero di ogni prodotto acquistato Test chi quadrato
  1. ^ (EN) Claude Sammut, Webb Geoff, Roger Longbotham, Ron Kohavi, Online Controlled Experiments and A/B Tests (PDF), in Encyclopedia of Machine Learning and Data Mining, Springer, 2017.
  2. ^ (EN) Ron Kohavi, Thomke Stefan, The Surprising Power of Online Experiments, in Harvard Business Review, settembre 2017, pp. 74-82.
  3. ^ (EN) The ABCs of A/B Testing - Pardot, su Pardot. URL consultato il 21 febbraio 2016.
  4. ^ (EN) K. Krishnamoorthy, Thomson Jessica, A more powerful test for comparing two Poisson means, in Journal of Statistical Planning and Inference, vol. 119, 2004, p. 23, DOI:10.1016/S0378-3758(02)00408-1.