Apie (perdėtą) metrikų svarbą
Vienas svarbiausių dalykų šiuolaikinėje vadyboje – metrikų (KPIs, key performance indicators, pagrindinių veiklo rodiklių) sekimas. Juk jei kažko nematuoji, tai ir negali pagerinti. Iš tiesų, poreikis reguliariai matuoti savo progresą organizacijas priverčia rimčiau pažiūrėti į savo duomenų ūkį, mat iki tol duomenų surenkama mažai ir ne daug kam rūpi jų kokybė. Ir tik turint pakankamai duomenų palaipsniui galima prieiti prie „data-driven“ kultūros: visus svarbesnius sprendimus priimti vadovaujantis nebe nuojauta, o paanalizavus objektyvius skaičius.
Tačiau čia, kaip ir visur, galima persūdyti. Nereikia pamiršti, jog visas metrikas galima apgauti: vien jau rodiklio pasirinkimas gali lemti keistus organizacijos kultūros pokyčius. Ekonomisto Goodhart’o dėsnis teigia, jog metrikos nustoja būti efektyvios vos tik jos tampa tikslu, kurį reikia pasiekti. Kai tik kažkas siekdamas suvaldyti bankų riziką apriboja kapitalo pakankamumo rodiklį, randama būdų paskolas paversti obligacijomis (o šios kapitalo pakankamumo formulėje traktuojamos atlaidžiau). Kai interneto rinkodaros efektyvumą matuoji reklamų paspaudimais, atsiranda automatinių botų, kurie nuolat spaudalioja ant banerių. Kai prieš reklamdavius reikia girtis atverstų puslapių skaičiumi, portalų antraštės optimizuojamos taip, kad skaitytoją užkabintų, bet neperteiktų straipsnio minties: veiksmo daug, o portalo vartotojai turiniu nusivilia. Jei tik pradedi rimtai optimizuoti kokią nors metriką, net nepastebi, kaip jau toli nuvažiavai į lankas.
Žmogaus elgsenos beveik neįmanoma tobulai išmatuoti – belieka rinktis kažkokius skaičius, kurie gal būt arčiausiai galėtų atspindėti esamą situaciją. Taip „atverstų puslapių skaičius“ apytiksliai matuoja „kiek žmonių perskaitė šį straipsnį?“, o „paspaudimais ant reklamos“ galima išmatuoti vartotojų norą įsigyti reklamuojamą produktą. Kapitalo pakankamumas tampa apytiksliu banko rizikos matu, NPS tyrimas maždaug parodo ar vartotojams patinka jūsų kompanija, studentų egzamino balai maždaug parodo, ar jie išmoko paskaitų medžiagą. Turint prieš akis (kad ir netikslų) skaičių, jį galima stebėti, galvoti, kaip jį pagerinti ir sekti savo progresą. Tai ypač patinka inžinieriams ir matematiškai galvojantiems žmonėms: žymiai lengviau galvoti kaip „X procentų pagerinti egzaminų rezultatus“, nes tai skamba daug tiksliau ir apibrėžčiau nei „geriau mokyti studentus“.
Problema atsiranda tada, kai pamirštama, jog metrika tėra apytikslis pasaulio atspindys. Dar blogiau, kai pagrindiniu tikslu tampa tik metrikos pagerinimas – visada išlenda netikėti antriniai šių metrikų efektai. Norint padidinti straipsnių kokybę pradedama matuoti kiek jų perskaitoma, tada kyla noras optimizuoti paspaudimus ant straipsnių antraščių, o tai galų gale sumažina straipsnių kokybę. Norint, kad kuo daugiau vartotojų naudotųsi tavo programėle, pradedamas sekti vartotojų grįžtamumo dažnumas (retention and churn), o vėliau tai išsiverčia į besaikį elektroninio pašto brukalų ar notificationų naudojimą. Norint, kad studentai geriau išmoktų dėstomą medžiagą, pradedama siekti jų egzaminų rezultatų pagerinimo, ir galų gale profesoriai pradeda mokyti savo dėstomo dalyko egzamino išlaikymo triukų, o ne patį savo dėstomą dalyką.
O kartais reikia optimizuoti visai priešingą metriką nei atrodytų iš pirmo žvilgsnio. Nors standartiškai galvojant norisi siekti, kad vartotojai kuo daugiau laiko praleistų svetainėje, Google stengėsi šią metriką optimizuoti į priešingą pusę: kuo greičiau vartotojai randa ko reikia, tuo jie greičiau dings iš tavo paieškos svetainės ir bus laimingesni. Pasiteisino.
Besaikis skaičių fetišas irgi kenksmingas. Verta į verslą kartais pažvelgti ir ne vien per metrikas.