NPS patikimumo simuliacija
Neseniai tinkle Mastodon kažkas užvedė kalbą apie Net Promoter Score (NPS) apklausas, tad prisiminiau seną idėją, kad reikėtų padaryti paprastą simuliaciją, kuri parodytų, koks šis rodiklis yra statistiškai nepatikimas. Priminsiu, kad NPS yra labai dažnai naudojamas rinkodaroje klientų pasitenkinimui matuoti, o jo idėja yra labai paprasta (tikriausiai dėl to jis ir yra toks populiarus): po kokios nors paslaugos suteikimo klientui užduodamas tik vienas trumpas klausimas „vertinant nuo 0 iki 10, kiek tikėtina, kad jūs rekomenduotumėte mus kitiems?“. Tie, kas žymėjo 9 ir 10 vadinami „rekomenduotojais“, kas 7 ir 8 - „neutraliais“, o visi kiti - „peikėjais“, nes jie matyt bus linkę savo pažįstamus atkalbėti nuo jūsų paslaugų. Tada imamas rekomenduotojų procentas ir iš jo atimamas peikėjų procentas ir taip gauname NPS. Kadangi NPS rodiklis yra dviejų įverčių (rekomenduotojų procentas ir peikėjų procentas) skirtumas, tai statistiškai susiduriame su tam tikra problema: įverčiai turi savo paklaidas, ir net jei įverčius atimame vieną iš kito, jų paklaidas privalome sudėti. Keleto NPS rodiklio punktų pokytis retai kada yra reikšmingas, nebent respondentų yra labai daug (tūkstančiai). O dažnai NPS skaičiuojamas ir tokiais atvejais, kai NPS apklausas užpildo tik keliasdešimt respondentų. Jokių išvadų iš tokių apklausų daryti negalima. Daugiau apie NPS patikimumo intervalus.
Simuliacija
Darykime prielaidą, kad visa klientų populiacija susideda iš šių asmenų:
Visa populiacija: 0; Tikrasis visos populiacijos NPS: 0
Jei tyrimo metu NPS apklausą atsako atsitiktiniai respondentai iš visos populiacijos, pakartojus tyrimą tūkstantį kartų gauname vidutinį NPS: 0, bet 95% gaunamų NPS įverčių patenka tarp 0 ir 0.
Iš principo, jeigu respondentų yra apie 300, NPS įverčio paklaida yra maždaug 10 punktų. Jei atsakė tik 100 respondentų, tai paklaida yra daugiau nei 20 punktų. Taigi, jei lyginate NPS rodiklį su pernai metų rodikliu, svarbu suprasti, ar jis skiriasi iš esmės – net kokių 20 punktų pokytis gali visiškai statistiškai nereikšmingas.