Statistička signifikantnost ili značajnost nam govori da li postoji određena povezanost između posmatranih promenljivih. Na primer, obavlja se eksperiment kojim su obuhvaćeni određeni eksperimentalni faktori. Postavlja se pitanje kako da znamo da li su razlike do kojih se došlo u eksperimentu u odnosu na neki kontrolni uzorak sasvim slučajne ili je uticaj posmatranih faktora i njihove međusobne povezanosti zaista značajan. To nam otkriva upravo oblast koju nazivamo STATISTIČKA SIGNIFIKANTNOST ili STATISTIČKA ZNAČAJNOST.
Statistička signifikantnost ili značajnost nam govori da li zaista postoji veza između dve ili više promenljivih.
Statistička signifikantnost - nulta hipoteza
Pre svega, na samom početku postavlja se hipoteza koju nazivamo nulta hipoteza ili pretpostavka. To je ono što očekujemo da će se desiti u toku ogleda. Na osnovu dobijenih rezultata donosimo odluku da li je hipoteza tačna ili pogrešna. Donosimo zaključak da li je naša prvobitna pretpostavka bila tačna ili ne. Odluka se donosi na osnovu tzv. statističkog testa.
Postoji program koji automatski vrši izračunavanja na osnovu unetih podataka (SPSS) i daje nam verovatnoću pojave dobijenog rezultata statističkog testa. Takođe se mogu koristiti i tablice kritičnih vrednosti za dati test.
Statistička signifikantnost – nivo značajnosti
Istraživač mora izabrati nivo značajnosti (označava se sa α – grčko slovo alfa), a to je neka vrednost u intervalu od 0 do 100%. Obično on iznosi 1% ili 5% (0,01 ili 0,05) jer su za te brojeve date vrednosti u statističkim tablicama.
Statistička signifikantnost - kritične vrednosti
Kritične vrednosti su verovatnoća da se rezultati testa dogode sasvim slučajno. Ako je kritična vrednost veća od rezultata statističkog testa koji smo dobili, nulta pretpostavka se ne odbacuje pošto nam to govori da je verovatnoća da će se očekivani rezultat ostvariti veća od nivoa značajnosti koji smo odabrali..
Uzmimo, na primer, da je prihvaćeni nivo značajnosti 0,05 (α=0,05). Inače, to je nivo značajnosti koji se obično koristi u društvenim naukama. Ako je verovatnoća veća od 0,05 (p > 0,05) nulta hipoteza se ne odbacuje, a ako je manja od 0,05 (p < 0,05) nulta hipoteza se odbacuje. U prvom slučaju verovatnoća da je do veze došlo sasvim slučajno je manja od 5%, a u drugom slučaju je veća od 5%.
Treba svakako imati na umu da statistička značajnost ne mora uvek ukazivati da je određena relacija značajna i u praktičnom smislu.
Šta su A/B SEO testovi?
Ako govorimo o nekoj web stranici, uvek se može postaviti pitanje da li bi neka promena na njoj izazvala neku vrstu poboljšanja. U cilju da dobijemo odgovor na to pitanje, a i kako bismo otkrili koju vrstu poboljšanja se isplati raditi, radimo tzv. A/B testiranje. Ova vrsta testiranja obuhvata dve različite situacije. Na primer odredi se neki vremenski period, recimo od mesec dana. Potom se jedan mesec u opticaj plasira web stranica sa izmenama, odnosno nova, a zatim se naredni mesec vraća stara stranica. Analizom rezultata možemo saznati da li bi bilo dobro zaista primeniti predloženu izmenu ili mmožda ipak ne.
Jedna izmena po testu
Važno je naglasiti da uvek radimo samo jednu izmenu po testu jer u slučaju većeg broja izmena nakon testiranja ne možemo znati koja izmena je doprinela poboljšanju ili zapravo pogoršanju. Takođe, ne možemo u tom slučaju znati da li je u pitanju neka kombinacija ili je samo jedna promena bila zaslužna za, na primer, drugačije ponašanje korisnika. Znači, SAMO JEDNA IZMENA PO TESTU je dozvoljena.
UX A/B testovi
Postoje i UX (User Experience) A/B testovi. Oni se sprovode tako što se određeni period pokreću istovremeno dve različite varijante, ali naizmenično. Svakom drugom korisniku se pusti nova varijanta, pa se na kraju sumiraju reziltati za novu i staru varijantu stranice. Na osnovu statističke signifikantnosti za broj poseta donose zaključci.