Poko goes PubSubHubBub!
Ar žinojai, kad visi jūs kartu belankydami puslapį sunaudojate kelis kartus mažiau interneto srauto, nei mes išnaudojame tikrindami blogų RSS? Taip - RSS tikrinimas yra tikrai nemažas darbas. Kadangi serverio galimybės, deja, ribotos, RSS srautų tikrinimas jau nuo pat pradžių mums buvo gan didelis galvos skausmas. Juk visi nori, kad įrašai Poko pasirodytų vos tik parašyti, bet vienintelis būdas mums sužinoti, kad įrašas atsirado, yra patikrinti RSS srautą. Tad iki šiol taip ir sukomės: dažniausiai atnaujinamus blogus tikrinome kas 10 minučių, ne taip dažnai atnaujinamus - kas valandą, na, o dar kitus - kas 3 valandas.
Tačiau Poko ne be reikalo turi beta ženkliuką ant savo logo - sistema kartas nuo karto nesuveikdavo taip, kaip reikia. RSS tikrinimui naudojome SimplePie biblioteką, kuri iš pradžių veikė labai gerai. Bet vėliau pradėjome pastebėti, kad visgi vietomis styro klaidų ausys - dalį jų pavyko susitvarkyti, tačiau dalis taip ir liko kažkur anapus kodo eilučių…
O tuo metu mes vis dažniau pastebėdavom, kad sistemoje susikaupia krūva netikrintų blogų. Tad pradėjom ieškoti sprendimų. Vienas variantas - XML-RPC pranešimai. Nors juos ir palaiko dauguma blogų varikliukų, šios technologijos trūkumas - blogo savininkas turi pats įrašyti mūsų XML-RPC URL prie savo blogo nustatymų. Plačiai apie tokią galimybę neskelbėm, bet kad tai padarys tik 2 žmonės - irgi nesitikėjom. Teko mesti visus kitus programavimo darbus ir imtis PubSubHubBub įgyvendinmo.
PubSubHubBub - tai technologija, kurios esmė yra tokia: blogeriui parašius įrašą, jo sistema (Publisher) praneša specialiam serveriui (Hub) apie naują įrašą. Šis serveris įrašą pasiima (t.y. patikrina RSS srautą), ir apie jį praneša serveriams, kurie tą blogą prenumeruoja (Subscribers). Taip tokioms tarnyboms kaip Poko nebereikia pačioms tikrinti RSS srautų - jos gauna naujų įrašų turinį tiesiai iš hub’o. Teoriškai kiekvienas gali turėti savo PubSubHubBub hub’ą. Tačiau turbūt dėl to, jog PubSubHubBub protokolas buvo sugalvotas vieno Google darbuotojo, hub’o vaidmenį atlieka ir Feedburner. Tad visiems, kurie naudoja Feedburner, niekuo rūpintis nereikia. O tarp Poko stebimų blogų tokių yra beveik 400.
Na va, 40% problemos jau išspręsta. Likusius 60% išsprendėme su Superfeedr tarnyba. Ši tarnyba tikrina RSS srautus ne rečiau nei kas 15 min. ir išnaudoja tą pačią PubSubHubBub technologiją - žodžiu, atlieka visą juodą darbą. O kartu ji veikia ir kaip hub’as - mes gauname pranešimus apie naujus įrašus tiesiai iš ten.
Tad nuo šiandien visi Poko stebimi blogai yra įdėmiai sekami pro PubSubHubBub akinius. Tai reiškia, kad nauji įrašai Poko turėtų atsirasti per kelias minutes nuo parašymo momento, o Poko naujausių įrašų puslapis tampa blogosferos pulso matuokliu!
Iliustracija: Noise to Signal.
— Aurimas
Ernestos pastaba: aš esu tas žmogus, kuris kasdien patikrina pasiūlytus blogus, sudeda juos į sistemą ir parašo laiškus visiems, kurie paliko savo el.pašto adresus. Nuobodžiausia šito darbo dalis - laukimas, kol pridėto blogo įrašai pirmą kartą atsiras sistemoje - tik tada siūlytojui galima pranešti geras naujienas (įrašus galima patikrinti ir rankomis, bet darbas ne pats įdomiausias). Priklausomai nuo to, kaip gerai sistema veikdavo, visas procesas užimdavo nuo 15 min. iki gero pusdienio. Bet nuo vakar naujai pridėtų blogų įrašai atsiranda akimirksniu. Ir aš vis dar negaliu patikėti. Ir kaskart, kai įrašai atsiranda akimirksniu, man norisi truputį pašokinėti. Tai turiu įtarimą, kad po sistemos atnaujinimo laimingiausias žmogus esu aš. Bet jei rašai blogą, džiugu turbūt ir tau.
Poko: pirmoji diena darbe
Pirmas blogo įrašas turbūt sunkiausias: reikia prisistatyti, papasakoti, ką veikiam, pakalbėti apie ateities planus bei paminėti visas tas mažas, bet mirtinai svarbias detales. Ir pagalvoti apie vienaragius (kačiukus?), kurie miršta kiekvienąkart kam nors parašius nuobodų įrašą. Tikriausiai todėl Aurimas su džiaugsmu paliko šitą garbę man.
Tad kas yra Poko?
Poko, kaip teisingai pastebėjo Lietuvos Web 2.0 apžvalga, yra tinklaraščių agregatorius. Tačiau tikrai ne dar vienas, bandantis prastumti naują balsavimo sistemą, mat Poko tokios net neturi. Poko veikimas paremtas įsitikinimu, kad įdomiausią turinį galima atrasti socialiniuose tinkluose. Tad mes sekame šimtus lietuviškų blogų, o juose pasirodančių įrašų populiarumą įvertiname suskaičiuodami, kiek kartų nuoroda buvo pasidalinta Facebook, Twitter ir Google Buzz.
Jei Poko atradai patinkantį įrašą, balsuoti gali juo pasidalindamas viename minėtų socialinių tinklų. Visų tokių pasidalinimų suma sudaro Poko indeksą, pagal kurį ir rūšiuojame įrašus.
Populiariausi ir kylantys įrašai
Poko visus įrašus skirsto į populiariausius ir kylančius. Populiariausi yra tie, kuriais per paskutines 3 dienas buvo pasidalinta daugiausia kartų. Tarp kylančių patenka tie, kurie buvo neseniai parašyti, jau susilaukė nemažai dėmesio, bet dar nepakankamai, kad patektų tarp populiariausių.
Padalinus įrašus į populiariausius ir kylančius, suveikia rikiavimo algoritmas, kuris nusprendžia, kurioje sąrašo vietoje įrašas pasirodys. Mes norime, kad sąrašas keistųsi dažnai; taip pat galvojame, kad šiandienos įrašai turbūt skaitytojus domina labiau nei vakarykščiai. Todėl rikiavimo algoritmas atsižvelgia į įrašo amžių, didesnį svorį suteikdamas naujai parašytiems straipsniams. Tad į Poko gali užsukti kas keletą valandų - naujienų ten visada bus!
Techninės detalės
Turiu įtarimą, kad Aurimas slapta svajoja parašyti ilgą techninį įrašą apie tai, kaip veikia visa Poko sistema, tad neišsiplėsiu. Trumpai tariant, turime didelę lietuviškų blogų duomenų bazę. Kiekvieno blogo RSS srautas yra nuolat tikrinamas; ten pasirodžius naujam įrašui, šis iškart (per maždaug 10-15 min.) patenka pas mus. Įrašų populiarumui apskaičiuoti naudojame duomenis iš Facebook API, Google Buzz API, BackType API ir Topsy Otter API. Tuomet visi įrašai suskirstomi į populiarius ir kylančius bei rikiuojami į atitinkamas vietas. Visa sistema sukasi ant vakar atnaujinto WordPress 3.1.
Beje, be pagrindinių API naudojam ir kitas, tokias kaip Google Translate API. Nori pabandyti atspėti, ką veikiam su vertimais?
Dabartis ir ateitis
Poko yra savaitgalių projektas, mat ir aš, ir Aurimas darbo dienomis turim ką veikti. Todėl nuo pat svetainės paleidimo pirmadienio vakare mes tik tvarkėm naujai atrastas klaidas ir auginom stebimų blogų sąrašą. Tačiau idėjų turim daug. Apie jas parašysim atskirą įrašą, tad čia trumpai tik apie vieną: įrašų kategorizaciją. Nežinau, kaip tu, bet aš ypač domiuosi IT blogais, o štai kokiuose virtuvės tinklaraščiuose geriausiu atveju į paveiksliukus pažiūriu (nors turiu pripažinti, kad Beatos virtuvė mane sužavėjo). Tad mane domintų galimybė pamatyti populiariausius ir kylančius įrašus skirtingose kategorijose. To ir imsimės šį savaitgalį.
Na va, ne toks ir trumpas - ir tiek viso nepasakęs - pirmas Poko blogo įrašas. Dar norėtume priminti, kad laukiam tavo idėjų, trūkstamų blogų pasiūlymų ar pastebėtų klaidų: į viską atsižvelgsim kaip galima greičiau. O jei manai, kad Poko yra visai geras dalykas, būtume be galo dėkingi, jei papasakotum apie jį savo draugams. Gero skaitymo!
— Ernesta
