OMG! Kuriamas naujas komentarų filtras!!!1

Trupiniai

Šios dienos Fortune užtikau labai įdomų straipsniuką apie tai, jog kuriamas naujas filtras interneto komentarams, kurio užduotis bus atsijoti nereikšmingus ir mažai prie intelektualaus diskurso prisidedančius žmonių pasisakymus (tokio filtro tikrai reikėtų vos ne kiekvienai masiškesnei interneto svetainei). Jeigu interneto svetainė naudojasi tokiu filtru, o joje bandai palikti nelabai prasmingą komentarą („OMG! First post!“), gausi pranešimą, jog tavo komentaras per mažai intelektualus, ir teks bandyti jį perfrazuoti kaip nors prasmingiau.

Pasirodo, sukurti tokį filtrą ne taip jau paprasta. Tarkim, filtruoti nepageidaujamas reklamas (spamą, arba visiškai lietuviškai — brukalą) nėra sudėtinga, nes jose dažniausiai figuruoja tie patys raktiniai žodžiai, tuo tarpu atskirti, ar komentaras yra pakankamai protingas, kad jis galėtų būti įdomu ir kitiems skaitytojams, yra žymiai sudėtingiau. Neužtenka tik atmesti komentarus, kuriuose pilna gramatinių klaidų ar neteisingai pavartotų žodžių: intelektualūs žmonės dažnai naudoja ironiją, tad kartais ironizuodami jie specialiai gali nesilaikyti kalbos taisyklių, parodijuoti. Nors filtro kūrėjai teigia, jog tam tikrų vis tiek pasinaudoti tam tikrais dėsningumais: tarkim, ironizuodami žmonės nutęsia balses („Yeaaaah…“), tuo tarpu niekinių komentarų autoriai prideda nereikalingų priebalsių („This is so amazinggggg!“). Be to, jeigu komentare yra teisingai pavartotas koks nors žodis, kurio rašyba yra itin sunki („zucchini“), tikriausiai visas komentaras yra vertingas, nors jame yra daug kitų rašybos klaidų.

Projektą galima rasti adresu http://stupidfilter.org/. Gaila, jog jo duomenų bazė pradžioje bus tik angliška.

15 Comments

  1. Galiu pasakyti iš karto, kad Lietuvoje tokio reikalo reikės laukti ilgai (bent jau iki pirmojo lietuvių kalbos analizatoriaus).

    Ir šiaip prie to filtro dar galėtų būti tokie nustatymai kaip “Allow comments that match my opinion” .)

  2. Va, va, ir prasidės visokios plonybės – kurioje vietoje dar neintelektualus, o kurioje – jau intelektualus.

  3. O tas pats principas, kaip ir daugelio šiuolaikinių “brukalo” filtrų, netiktų (Bayesian filtering ar kas nors panašaus)? T.y. turi labai daug pavyzdinių komentarų, ir tiesiog “ištreniruoji” filtrą, kurie yra geri, o kurie blogi. O filtras viduje susidėlioja žodžių sekų pattern’us, raidžių sekų pattern’us, ir t.t. ir t.t.

  4. Arai >> Šiaip tai kaip suprantu tai jie pirminėj stadijoj būtent Bayes’o filtrą ir bando treniruot pasiėmę krūvą komentarų iš YouTube, bet, jų nuomone, užduotis yra sudėtingesnė, nes dažnai komentaruose viskas remiasi į kontekstą — kartais trumpas komentaras “nu jo” bus visiškai neprasmingas ,o kartais labai į temą.

    rza >> Sutinku, bet, kaip kūrėjai išsireiškia, tokio filtro kūrimas bent jau pradžiugins lingvistus :)

  6. Well, Lietuvių kalbos komisiją tai jau tikrai pradžiugins. Praktiškai galiu duoti ranką nukirsti, kad, jei šie prikiš nagus, tai toks filtras lietuvių kalba dienos neišvys anksčiau kaip po 20 metų. O ir tuomet bus niekam nereikalingas, nes nei jis supras komentatorių kalbos, nei svetainių šeimininkai supras naudą iš tokio ateivių išmįslo.

  8. OMG:)
    But then, in a flash, I saw the truth..No bank – Swiss Bank or the BoE – would survive the promised return of… Strong as they appeared, their apparent security would be broken in an instant.
    Be scared, be very scared…;)

  9. Man atrodo kad ir ivedus paprasta registracija nemazai kvailu komentaru atkrinta. nors aisku dar nemaza dalis lieka
    O kad toks filtras normaliai veiktu tai turetu butu kazkas panasaus i AI. taip kad normaliai veikiancio dar reikes palaukti.

  10. Neįmanoma. Būtent, kaip buvo minėta, dėl skirtingo konteksto – ir kitų komentarų ir komentuojamo objekto, kuriuos filtras turėtų analizuoti bent jau iš vidutinio intelekto ir apsiskaitymo žmogaus pozicijų. Akivaizdu, kad tai utopija. Max, ką galima padaryti – tai atsijoti santykinai žemo intelekto komentatorius, nes nesąmoningos rašybos klaidos gerokai skiriasi nuo sąmoningų. Bet ar tai bus didelis laimėjimas?

  11. Panašu į mažo naudingumo/didelio sudėtingumo projektą. Self-censored communities kol kas veikia geriau.

  12. Pingback: Blogorama #246 : nežinau.lt

  13. Petrai, džiugu skaityti, kad geekas moxliukas nemirė :-) Kas link stupidfilterio, tai gerai, kad kažkas imasi tokių ambicingų užduočių, ir bus neįsivaizduojamai nerealiai gerai, jei jiems kas nors pavyks.

Comments are closed.