V A/B testování představuje jistotu, že pozorovaný rozdíl mezi variantami není dílo náhody. Bez statistické významnosti jsou výsledky testu nesměrodatné a rozhodovat se podle nich znamená hádat. Zásadní pojem pro každého, kdo pracuje s experimentací.
A ještě doplníme
V CRO je statistická významnost nepodkročitelným standardem kvality experimentace. Rozhodování na základě testů, které ji nedosáhly, je formálně hádání a dříve či později vede k rozhodnutím, která nefungují. CRO specialista musí kromě samotné hladiny rozumět i konceptům jako statistická síla testu, minimální detekovatelný efekt, délka testovacího okna a riziko peekingu – průběžné kontroly výsledků a předčasného ukončení, které zásadně podkopává validitu. Kalkulace potřebného vzorku před spuštěním testu je zásadní krok, který určuje, zda má smysl test vůbec spouštět. Nízkoobjemové weby často nedokážou v rozumném čase dosáhnout významnosti na malých změnách a musejí testovat větší designové zásahy nebo sekvenční metodiky. Bez této disciplíny produkuje CRO tým falešné výhry, které se neprojeví v ostré produkci.
