Įsitraukimo metrikos veda klaidingu keliu

Jau prieš gerą pusmetį rašiau, kad kuo toliau, tuo labiau nesu patenkintas socialiniais tinklais: nors ir turiu išugdytą įprotį turint laisvą minutę įsijungti Facebook ar Instagram, retokai ten randu ką nors įdomaus. Dauguma istorijų tapę vienodos ir nebeįdomios, o Instagram nuotraukos atrodo lyg gamintos pagal vieną klišę. Jei netikite, užeikite į @insta_repeat profilį.

Feet in front of Horseshoe Bend 🍁

A post shared by Insta Repeat (@insta_repeat) on

@Insta_repeat profilyje surinktos vienodos skirtingų autorių nuotraukos

Kodėl taip nutiko? Kodėl vis kompulsyviai norisi maigyti telefoną ir prasukti dar, ir dar, ir dar, ir dar vieną ekraną „turinio“ ir vis tiek nesijausi pasisotinusiu? Turbūt labiausiai reiktų kaltinti duomenų analitikus ir ganėtinai naują vadybos idėją, jog viską reikia matuoti, o geriausias matas, kurį visada reikia gerinti – įsitraukimas (engagement). Kuo ilgiau „skrolini“, tuo daugiau praleidi laiko programėlėje, tuo geresnės tavo įsitraukimo metrikos. 

Kai didžioji dalis produkto vystymo sprendimų daroma vien tik analitikos pagalba, labai galima nuklysti į lankas. Lengvas ir neįpareigojantis turinys tampa didesniu prioritetu nei asmeniniai įrašai, antraštinis masalas ima viršų prieš kokybišką turinį: tokį ir dažniau paspausi, ir jame praleisi daugiau laiko, nes bandysi išnarplioti, kas iš tiesų slepiasi po antrašte. Ir visai nesvarbu, jog vartotojas lieka susierzinęs ir nepatenkintas, jog jis jaučia, kad kažkaip nelabai čia įdomu – analitinės įsitraukimo metrikos juk rodo, jog viskas gerai!

When a measure becomes a target, it ceases to be a good measure.

Charles Goodhart

Socialiniai tinklai ir portalai tampa naujienų „greitmaisčiu“ (junk food): naudos mažai, bet nuo jų žvėriškai sunku atsitraukti. Juk tai pirmiausiai turint galvoje ir buvo viskas konstruojama. Bet ar tai nėra trumpalaikio tikslo vaikymasis aukojant ilgalaikį vartotojų pasitenkinimą? Ar tokia analitika iš viso gali padėti suprasti vartotojų elgseną kiek gilesniame lygyje? Ar gali atsakyti, kodėl vartotojai yra patenkinti ar ne? Kuo toliau, tuo labiau manau, kad nelabai. Įsitraukimo metrikos yra svarbu, tačiau jos neturi tapti vienintele kelrode žvaigžde. Kaip teigia Goodharto dėsnis, „kai matuojamas rodiklis tampa siekiamu tikslu, jis pasidaro prastai pritaikomu rodikliu“. Kai pradedami optimizuoti įsitraukimo rodikliai, užmirštami visi kiti dalykai, kurie vartotojui teikia vertę ir pradeda darytis nuobodu.

Apie (perdėtą) metrikų svarbą

Vienas svarbiausių dalykų šiuolaikinėje vadyboje – metrikų (KPIs, key performance indicators, pagrindinių veiklo rodiklių) sekimas. Juk jei kažko nematuoji, tai ir negali pagerinti. Iš tiesų, poreikis reguliariai matuoti savo progresą organizacijas priverčia rimčiau pažiūrėti į savo duomenų ūkį, mat iki tol duomenų surenkama mažai ir ne daug kam rūpi jų kokybė. Ir tik turint pakankamai duomenų palaipsniui galima prieiti prie „data-driven“ kultūros: visus svarbesnius sprendimus priimti vadovaujantis nebe nuojauta, o paanalizavus objektyvius skaičius.

Tačiau čia, kaip ir visur, galima persūdyti. Nereikia pamiršti, jog visas metrikas galima apgauti: vien jau rodiklio pasirinkimas gali lemti keistus organizacijos kultūros pokyčius. Ekonomisto Goodhart’o dėsnis teigia, jog metrikos nustoja būti efektyvios vos tik jos tampa tikslu, kurį reikia pasiekti. Kai tik kažkas siekdamas suvaldyti bankų riziką apriboja kapitalo pakankamumo rodiklį, randama būdų paskolas paversti obligacijomis (o šios kapitalo pakankamumo formulėje traktuojamos atlaidžiau). Kai interneto rinkodaros efektyvumą matuoji reklamų paspaudimais, atsiranda automatinių botų, kurie nuolat spaudalioja ant banerių. Kai prieš reklamdavius reikia girtis atverstų puslapių skaičiumi, portalų antraštės optimizuojamos taip, kad skaitytoją užkabintų, bet neperteiktų straipsnio minties: veiksmo daug, o portalo vartotojai turiniu nusivilia. Jei tik pradedi rimtai optimizuoti kokią nors metriką, net nepastebi, kaip jau toli nuvažiavai į lankas.

Žmogaus elgsenos beveik neįmanoma tobulai išmatuoti – belieka rinktis kažkokius skaičius, kurie gal būt arčiausiai galėtų atspindėti esamą situaciją. Taip „atverstų puslapių skaičius“ apytiksliai matuoja „kiek žmonių perskaitė šį straipsnį?“, o „paspaudimais ant reklamos“ galima išmatuoti vartotojų norą įsigyti reklamuojamą produktą. Kapitalo pakankamumas tampa apytiksliu banko rizikos matu, NPS tyrimas maždaug parodo ar vartotojams patinka jūsų kompanija, studentų egzamino balai maždaug parodo, ar jie išmoko paskaitų medžiagą. Turint prieš akis (kad ir netikslų) skaičių, jį galima stebėti, galvoti, kaip jį pagerinti ir sekti savo progresą. Tai ypač patinka inžinieriams ir matematiškai galvojantiems žmonėms: žymiai lengviau galvoti kaip „X procentų pagerinti egzaminų rezultatus“, nes tai skamba daug tiksliau ir apibrėžčiau nei „geriau mokyti studentus“.

Problema atsiranda tada, kai pamirštama, jog metrika tėra apytikslis pasaulio atspindys. Dar blogiau, kai pagrindiniu tikslu tampa tik metrikos pagerinimas – visada išlenda netikėti antriniai šių metrikų efektai. Norint padidinti straipsnių kokybę pradedama matuoti kiek jų perskaitoma, tada kyla noras optimizuoti paspaudimus ant straipsnių antraščių, o tai galų gale sumažina straipsnių kokybę. Norint, kad kuo daugiau vartotojų naudotųsi tavo programėle, pradedamas sekti vartotojų grįžtamumo dažnumas (retention and churn), o vėliau tai išsiverčia į besaikį elektroninio pašto brukalų ar notificationų naudojimą. Norint, kad studentai geriau išmoktų dėstomą medžiagą, pradedama siekti jų egzaminų rezultatų pagerinimo, ir galų gale profesoriai pradeda mokyti savo dėstomo dalyko egzamino išlaikymo triukų, o ne patį savo dėstomą dalyką.

O kartais reikia optimizuoti visai priešingą metriką nei atrodytų iš pirmo žvilgsnio. Nors standartiškai galvojant norisi siekti, kad vartotojai kuo daugiau laiko praleistų svetainėje, Google stengėsi šią metriką optimizuoti į priešingą pusę: kuo greičiau vartotojai randa ko reikia, tuo jie greičiau dings iš tavo paieškos svetainės ir bus laimingesni. Pasiteisino.

Besaikis skaičių fetišas irgi kenksmingas. Verta į verslą kartais pažvelgti ir ne vien per metrikas.