Motoare de căutare în timp real: o perspectivă critică asupra zgomotului informațional din rețelele sociale

Motoare de căutare în timp real? Ideea pare extrem de atrăgătoare la prima vedere. Odată cu dezvoltarea fulminantă a platformelor de microblogging precum Twitter, sintagma „real-time search” a devenit noul cuvânt de ordine în mediul online. Mulți entuziaști își imaginează o lume digitală în care orice rând publicat este instantaneu indexat și regăsibil. Totuși, la o analiză tehnică lucidă, conceptul se lovește de limite majore.

Ce înseamnă cu adevărat indexarea în timp real?

Pentru a merita denumirea de „timp real”, un motor de căutare ar trebui să indexeze conținutul în secunda exactă în care a fost publicat. O latență de două, cinci sau zece minute nu reprezintă căutare în timp real, ci o simplă reîmprospătare periodică rapidă. Promisiunea de a prelua instantaneu fluxul global de publicații este nerealistă la scara actuală a internetului.

Test practic: lansarea motorului Collecta

Recent a fost lansat Collecta, un nou serviciu dedicat căutării în timp real pe bloguri și fluxuri de social media. Testul practic a fost direct: am publicat un articol nou pe blog și am trimis mesaje pe Twitter pentru a urmări timpul de reacție.

Rezultatul? După mai multe minute de așteptare, noul articol nu apărea în rezultatele Collecta. Ironia face ca Google să indexeze conținutul considerabil mai rapid: partea notabilă a fost că articolul apăruse deja în Google, în timp ce pe Collecta încă nu figura deloc.

De ce este căutarea universală în timp real o utopie tehnologică?

Chiar presupunând că Google sau alt gigant dezvoltă o infrastructură masivă de notificare instantanee (de tip PubSubHubbub) capabilă să recepționeze ping-uri în 2-3 secunde, provocările de infrastructură rămân uriașe:

• Dispersarea uriașă a informației: milioane de servere, bloguri și rețele sociale emit semnale descentralizate, imposibil de agregat fără pierderi în fiecare secundă;
• Costul uriaș de sortare și filtrare a spamului: conținutul în timp real conține un procent masiv de zgomot, mesaje repetitive și spam, a căror procesare algoritmică necesită putere uriașă de calcul.

Pentru a înțelege dificultatea sarcinii, imaginați-vă că pe o suprafață de 100 de metri pătrați sunt aruncate 20 de kilograme de boabe de orez. Cât de fezabil ar fi ca cineva să adune și să identifice fiecare bob în doar două secunde?

În concluzie, în loc să ne concentrăm pe iluzia căutării instantanee, mult mai valoroasă rămâne îmbunătățirea relevanței calitative a rezultatelor, chiar dacă indexarea completă necesită un decalaj de câteva ore.