Keletas patarimų apklausų sudarytojams

Artėjant tam pavasario metui, kai į elektroninį paštą bei Facebook’o srautą pradeda plaukti studentų prašymai užpildyti nuobodžias ir skausmingai ilgas bakalaurinių ar magistrinių darbų anketas, užtikau labai neprastą „Partially Derivativepodcast‘o seriją apie tai, kaip teisingai tas apklausas sudarinėti. Kadangi patarimai buvo vertingi ir man pačiam, dalinuosi trumpa jų santrauka:

  • Prieš sudarant apklausos anketą reikia gerai pagalvoti, kokius duomenis nori surinkti ir kaip tuos duomenis analizuosi. Visai ne pro šalį būtų iš anksto susidaryti sąrašą grafikų, kuriuos norėsi nupiešti ir nuspręsti, kokias regresijas skaičiuosi. Anketa žymiai sutrumpės, kai tikrai žinosi kokių tiksliai duomenų reikia, o ir klausimai bus žymiai tikslesni: gal iš tiesų reikia sužinoti, kaip klientai vertina restorano maisto kokybę, o ne tai, ar jiems tiesiog patiko jame apsilankyti. Kuo trumpesnė anketa – tuo geriau. Niekas nenori švaistyti laiko pusvalandį pildydamas anketą apie restoraną.
  • Tiksliai apibrėžk savo tiriamųjų populiaciją, nes nuo to priklausys ir tavo klausimai. Jei darai apklausą apie Pokemonus, tikriausiai gali naudoti ir ne tokią formalią kalbą, nes tavo respondentai bus jauni, bet jei klausinėji apie pensijų fondus, tai ir klausimai turėtų būti labiau solidūs.
  • Klausimai turi būti trumpi ir aiškūs. Juos respondentai turi suprasti be jokių papildomų paaiškinimų.
  • Klausimai turi būti objektyvūs. Neklausk „Ar tau labai patiko mūsų restorane?“ (Bet juk tai savaime suprantama, ar ne?)
  • Kad ir kokį užduosi klausimą visada gausi kažkokį atsakymą, bet ar pats klausimas buvo teisingai suformuluotas ir teisingai suprastas?
  • Geriausia prieš paleidžiant apklausą ją patestuoti su keliais žmonėmis. Reiktų jų paklausti, kaip jie suprato klausimus, ar jiems nekilo neaiškumų. Kiek užtruko laiko užpildyti anketą? Jei testuojama internete, galima pažiūrėti ties kuriuo klausimu žmonės daugiausiai užtrunka laiko – gal jis per sudėtingas ar tiesiog sunku apsispręsti?
  • Apklausa turėtų būtų kuo trumpesnė, bet jei apklausinėji žmones asmeniškai gyvame susitikime, ji gali trukti ir pusvalandį ar valandą. Apklausiant telefonu respondentai ima dairytis į laikrodį po 10-15 minučių, o internete jie dažniausiai pasiruošę paskirti tik keletą minučių. Tiesa, jei apklausos klausimai yra labai įdomūs, jos trukmė gali būti ir ilgesnė, bet geriausia galvoti, kad tavo apklausa nėra labai įdomi.
  • Reikėtų vengti atvirų klausimų, nes juos sunku analizuoti. Analizuojant juos kažkaip reikės sudėlioti į kategorijas, o tai nėra lengva automatizuoti.
  • Internete reikėtų vengti didelių klausimų blokų, kur prašoma nuo 1 iki 10 sužymėti savo vertinimus daugeliu kriterijų (pvz „Nuo 1 iki 10 įvertinkite: grožį, spalvą, kvapą, vaizdą, pojūtį, šaltį, etc“). Dažniausiai tokie klausimų blokai netelpa mobilaus telefono ekrane ir juos labai sunku teisingai sužymėti, ypač jei reikia slinkti ekraną.
  • Respondentai dažnai yra tinginiai ir linkę pasirinkti lengviausią variantą. Jei reikia rinktis iš kelių kategorijų („obuolys“, „kriaušė“ ar „bulvė“), jie dažnai pasirinks pirmą, todėl kartais vertakiekvienam respondentui atsakymus pateikti atsitiktine tvarka.
  • Jeigu vertinimo skalė susideda iš nelyginio skaičiaus kategorijų („įvertinkite nuo vieno iki penkių“), tingus respondentas žymiai lengviau pasirinks neutralią vidurinę reikšmę. Jei būtinai norima, kad respondentas pagalvotų geriau ir išreikštų savo (kad ir silpną) preferenciją, reikia prašyti rinktis iš lyginio skaičiaus kategorijų („nuo vieno iki keturių“ arba „nuo vieno iki dešimt“). Tiesa, skalė nuo vieno iki dešimt dažnai yra per smulki: lengviau apsispręsti, kai galima rinktis iš 4-5-6 kategorijų.
  • Ar leisti rinktis kategoriją „kita“ paliekant vietos įrašyti savo variantą? Dažniausiai taip, bet reikia palikti vietos tik vienam ar dviem žodžiams, kad nebūtų daug vietos plėstis (kiek vietos paliksi, tiek kas nors ir prirašys, o po to tai sukels problemų duomenis analizuojant ir kategorizuojant). Apklausos testavimo metu reikia stebėti, ar daug kas renkasi variantą “kita” ir pagal tai pakoreguoti atsakymų variantus. Galutinėje apklausoje reiktų tikėtis, kad šio varianto pasirinkimas nedominuos.
  • Analizuojant apklausos duomenis reikia atkreipti dėmesį į atsakymų pasiskirstymą. Jei visi repondentų atsakymai yra beveik vienodi, iš apklausos gausi nedaug informacijos. Jei visi tavo restoraną vertina penkiomis žvaigždutėmis, tikriausiai ne visai teisingai formuluoji klausimą.
  • Apklausos pradžioje nedėk demografinių klausimų (amžius, lytis, pajamos ir t.t.), nes respondentui tai nuobodu. Paklausk ką nors intriguojančio, kad respondentas susidomėtų ir norėtų iki galo užpildyti visą anketą. Žmonės nuo pat pirmųjų klausimų savo anketinių duomenų pildyti nenori – jie vis dar sprendžia ar verta paskirti savo penkias ar dešimt gyvenimo minučių tavo apklausai.

Sociologinės apklausos apie politiką – vėluojantis indikatorius

Šiandien delfi.lt pateikdamas naujausius apklausų duomenis rašo:

Apklausa buvo atlikta spalio 19-27 dienomis, vadinasi, dalis žmonių apklausta iki antrojo rinkimų turo spalio 23 dieną, dalis – po jo. Per tą laiką labai išaugo S. Skvernelio populiarumas: nuo 5,4 proc. iki 13,4 proc. Tai tikriausiai nenuostabu, nes Valstiečių ir žaliųjų sąjunga būtent šį politiką siūlo užimti premjero pareigoms. Paūgėjo ir Tėvynės sąjungos-Lietuvos krikščionių demokratų pirmininko Gabrieliaus Landsbergio reitingas nuo 9,3 proc. iki 12,6 proc.
[…]
Tuo metu ilgą laiką visuomenės nuomonės ir rinkos tyrimų bendrovės apklausose pirmu numeriu figūravęs socialdemokratų lyderis A. Butkevičius patyrė reitingų nuosmukį: jo galimybės eiti šias pareigas gyventojai po rinkimų labai suabejojo ir šio politiko populiarumas smuko nuo 23 proc. iki 9,3 proc.

Visi šie pokyčiai labai aiškiai atsispindi reitingų grafike:

Kas tiktų į premjerus

Kyla labai natūralus klausimas, ar tokių apklausų metų gaunami reitingai vertingi nuspėjant ateitį – bent jau iš duomenų atrodo, jog jie yra labiau vėluojantis politinio populiarumo indikatorius, į kurį per daug dėmesio kreipti nereikia (pamoka socialdemokratams?). Dar daugiau – įtarčiau, jog populiarumas apklausose tiesiogiai susijęs su politikų paminėjimo dažnumu (ir kontekstu) žiniasklaidoje. Kuo daugiau apie konkretų žmogų kalbama kaip apie galimą premjerą, tuo daugiau kam jis atrodys tinkamas šiam darbui.

Tikriausiai tuo labai stebėtis nereiktų, mat jeigu manęs kas gatvėje sustabdęs paklaustų, kokia amerikietiško futbolo komanda kitais metais laimės Super Bowl, atsakyčiau „Green Bay Packers“, bet tik todėl, kad tai bene vienintelis komandos pavadinimas, kurį žinau. Amerikietišku futbolu visiškai nesidomiu ir nieko apie jį nenutuokiu, ir, tikėtina, jog panašiai apie tinkamus kandidatus premjero poste galvoja ir kiti apklausose dalyvaujantys: lengviausia paminėti tuos kandidatus, apie kuriuos dažniausiai pastaruoju metu kalbama viešojoje erdvėje. Ar tai reiškia, kad apklausos yra visiškai bevertės? Ne, eliminavus paminėjimų viešojoje erdvėje dažnumo efektą skaičiai galėtų tapti iškalbingesni. Jei dažnai apie kurį nors kandidatą kalbama, bet jis nefigūruoja apklausose, galima suprasti, jog jis tarp žmonių stipriai nemėgiamas (to geras pavyzdys buvo liberalų reitingų kritimas po Masiulio skandalo – paminėjimų daug, o reitingai pažemėje).