Kako ugotovimo, ali je IKT raziskava vredna zaupanja

06/29/2005

Zed Shaw je v svojem spletnem dnevniku (blogu) objavil obsežen prispevek o tem kako prepoznati ali je neko poročilo o IKT statistični raziskavi, članek in sama raziskava vredna zaupanja in ni le plod spretnih tržnikov in drugih ljudi, ki želijo z rezultati zgolj zavajati javnost. Pripravil je 17 kontrolnih točk s katerimi bomo lahko preverjali zanesljivost raziskave. Točke je določil na podlagi različne literature, ki se ukvarja s pravilno predstavitvijo statističnih podatkov in grafikonov.  
  1. Delo ni podpisano z imenom in priimkom neke določene osebe. S podpisom pod raziskavo ali poročilo človek z osebnim ugledom jamči za predstavljene rezultate. Na konferenci ali srečanju je z njim mogoče o raziskavi spregovoriti. S podjetjem tega ni mogoče.
  2. Delo se ne prične s kratkim in jedrnatim vprašanjem ali skupino vprašanj, ki so natančna in ustrezna za zastavljeno raziskavo. Vprašanja morajo biti razumljiva in zelo natančna, brez provokativnega tona.
  3. Podatki uporabljeni v delu niso dostopni.
  4. Orodja, ki so bila pri poskusu ali analizi uporabljena niso javno dostopna. Orodja morajo biti dostopna vsaj za presojo njihove ustreznosti.
  5. Nikjer ni omenjeno kako je poskus ali raziskava zastavljena, da se izogne morebitnim nezaželenim vplivom. Med raziskavo se moramo izogibati vplivom drugih dejavnikov na meritve.
  6. Povprečja so podana brez ustreznega standardnega odklona. Standardni odklon mora biti čim manjši.
  7. Delo ne omenja naslednjih terminov: minimum, mediana, povprečna vrednost, maksimum, standardni odklon in (zaželeeno) rang. Vse te vrednosti je enostavno izračunati in imajo jasno določen pomen.
  8. V delu niso pravilno uporabljeni zgornji termini ali pa so izračunani napačno.
  9. Delo ne uporablja katerega izmed uveljavljenih statističnih testov za primerjavo vzorcev, kot sta npr. Studentov t-test ali Wilcoxnov test. Brez testiranja dveh vzorcev je težko ugotoviti ali so razlike statistično značilne ali ne.
  10. V grafih sta uporabljeni rdeča in zelena barva. Ti dve barvi v zahodnem svetu simbolizirata stop in pojdi ali slabo in dobro. Zato ju ljudje dojemajo čustveno obremenjeno.
  11. Območja in oblike grafov so samovoljno izbrane. Z izbiro prikazanega območja in obliko grafa je mogoče vplivati na zaznavanje bralca.
  12. Metoda vzorčenja in poskus nista natančno opisana. V sodobni znanosti obstaja veliko standardiziranih metod, ki so različno prilagodljive za različne vrste poskusov.
  13. Merska skala je preveč groba, da bi pravilno zaznala značilne spremembe. Z današnjo opremo je mogoče določiti in uporabljati mersko skalo, ki ustreza raziskavi.
  14. Grafi in podatki ne kažejo naključne razmestitve, ki se prilagaja neki porazdelitvi.
  15. Nenavadno vedenje v rezultatih ni obrazloženo z razumljivo razlago in izničeno ali z odstranitvijo istih podatkov z vseh primerjav ali s ponovitvijo testov.
  16. Delo ne uporablja alinej za diskusijo načrtov, procesov in zasnove poskusa. S kratkimi in jedrnatimi alinejami bralca vodimo skozi ves postopek in hitro je mogoče videti ali je bil poskus oz. raziskava dobro zastavljen. Če alinej ni, lahko predpostavljamo, da želi avtor kaj prikriti.
  17. Poskus, zasnova, vzorčenje ali drugi deli raziskave niso najbolj enostavne oblike. Skoraj vedno se najde enostavna rešitev. S kompliciranimi rešitvami, če obstaja enostavnejša, je mogoče kaj prikriti.
Zed svetuje, da če je pri branju rezultatov neke raziskave odgovor na katero koli zgornjo točko da, potem je potrebno podvomiti v poštenost namenov avtorja.
 
Na zapis >>
 
Vir: Shaw, Zed. A Rubric For IT Analysis Papers, Zed's Blog, 29.6.2005

Članek je prebralo 10128 obiskovalcev

Komentarji