I crawler: come funzionano e come gestirli

Breve guida per conoscere i crawler e gli elementi del file robot.txt

Con il termine crawler si stanno ad indicare dei programmi o script automatici che vengono utilizzati dalla maggior parte dei motori di ricerca (come Google o Bing) per eseguire una scansione dei siti web in modo da indicizzarne i contenuti. Attraverso una scansione continua della rete i motori di ricerca possono così fornire risultati di ricerca aggiornati praticamente in tempo reale.

Tuttavia una “visita costante” dei siti da parte dei motori di ricerca può in alcuni casi portare anche a diverse centinaia di richieste al minuto. Tale attività potrebbe mettere sotto stress il vostro server causando talvolta eccessiva lentezza nel caricamento delle pagine e nei casi peggiori non raggiungibilità del vostro sito web.

Per evitare che ciò accada è possibile fornire delle istruzioni ai crawler dei motori di ricerca ed escluderne alcuni se non siete interessati alla loro indicizzazione. Una pratica molto comune consiste quindi nell’inserire alcune regole all’interno del file robots.txt

Una di queste, può essere la direttiva Crawl-delay che permette di indicare il numero di secondi da attendere tra una richiesta e quella successiva.

Internet Governance: ecco perché siamo preoccupati.

Senza che troppi di noi ne siano abbastanza informati, è in corso una partita molto importante per il futuro della rete.

Oggi attraverso questo blog vogliamo esprimere una nostra profonda preoccupazione e, perché no, coinvolgervi nel dibattito che riguarda un tema caro a tutti noi.

Date le sconfinate possibilità che ci offre la rete, oggi potremmo infatti pensare di avere ancora davanti a noi un futuro fatto di opportunità e di accesso illimitato alla conoscenza o alle “conoscenze” possibili.

E invece uno spettro si aggira nel mondo digitale, ed è lo spettro della revisione delle regole di interconnessione tra operatori chiesta a gran voce da alcune compagnie telefoniche europee capeggiate da Telecom Italia.

Il problema è complesso da spiegare ma noi proveremo a farlo. In sostanza, c’è il rischio che in tema di gestione e differenziazione del traffico, i grandi fornitori di connettività decidano di tracciare i contenuti del web, con la motivazione “ufficiale” è  che così si potranno arginare problemi di picco del traffico e di congestione.

Ammesso che si verifichino problemi di congestione, questo significa che l’utente finale “vedrà” meglio quello che decideranno di fargli vedere meglio. Ci saranno quindi dei contenuti che verranno diffusi con una peggiore qualità. A netto svantaggio anche dei provider.

Invece di risolvere il problema – se di problema si tratta – di congestione ridimensionando correttamente la capacità del network (cosa che sarebbe anche più economica), si progetta di far subentrare nella Internet Governance attori terzi che strizzano l’occhio alle lobby.

Facendo così morire il concetto stesso di Internet. Che dovrebbe coincidere con libertà. Che non dovrebbe prevedere alcuna leadership o lobby al comando.

La nostra stessa preoccupazione è stata espressa con un comunicato dal Chief evangelist di Google, Vint Cerf: “La mia maggiore preoccupazione, e spero anche la vostra, è collegata all’introduzione di accordi governativi multilaterali, che sostengono di essere responsabili sia per gli standard che per la operatività della rete.

Mentre la leadership dell’ITU ripete continuamente che non c’è alcun interesse per il “controllo” di Internet, il testo delle proposte che vengono da diversi stati membri dell’ ITU indica una direzione diversa.”

Noi riteniamo questo scenario davvero inquietante. Su Facebook, che oggi con questo sistema forse non sarebbe mai nato, si direbbe: condividi.

Ecco, noi vi invitiamo a condividere il nostro articolo. E, se vorrete, il nostro già evidente dissenso a quanto potrebbe accadere.

Nella foto, Vint Cerf, Chief Evangelist di Google.

Quella tassa che fa paura alla rete

internet-tax

Avete mai sentito parlare dell’ITU? Se no, è normale. Del resto è solo  in questi giorni che è uscita alla ribalta, per discutere di riforme che potrebbero rivoluzionare l’uso di Internet e avere dei riflessi importanti sui più piccoli ISP.

ITU sta per International Telecommunication Union. E’ l’agenzia ONU che si occupa di telecomunicazioni e che ultimamente sta valutando di introdurre in rete  il principio della sending party network pays”. Il traffico internet e le email potrebbero essere tariffate, con una tassazione per quei portali e service provider che generano maggiormente traffico a livello mondiale. Per farla breve, a Facebook, Google e tutti i “big” del web verrebbe imposto il pagamento di una Internet fee ma gli effetti potrebbero arrivare fino a portali e blog di successo.

Cosa abbia generato tale proposta è argomento complesso. Quanto alle conseguenze. c’è chi ipotizza che stravolgere la natura libera con la quale Internet si è sviluppata ed evoluta sarebbe devastante,  escluderebbe dalla rete i Paesi in via di sviluppo e impedirebbe l’affacciarsi di nuove realtà imprenditoriali. Vogliono far diventare internet quello che la telefonia è stata negli anni più oscuri dei monopoli.

Intanto già la Germania, ultimamente sulla cresta dell’onda per il suo ruolo in “zona Euro”, potrebbe farsi anticipatrice della tendenza. Ha infatti appena tirato fuori un decreto legge che tassa i motori di ricerca. In pratica, il Bundestag potrebbe approvare la legge per cui Google pagherà una tassa sui contenuti che indicizza nella sua sezione di news. E Google per questo è di pessimo umore.

Staremo a vedere, tenetevi forti; la cosa ci riguarda tutti.

Perché Seeweb crede nelle startup? Risponde Dan Schawbel

Secondo il guru americano di Personal Branding, le grandi imprese per crescere devono imitare le startup

Chi ci ha seguito nel corso degli anni, dallo sviluppo di Docebo fino all’ultimo contest (Cloudseed) ancora in corso, sa quanto Seeweb creda nell’impresa giovane e nelle idee.

Questa fede oggi non contrasta il trend di tutte quelle aziende che, pur se consolidate, hanno bisogni di ripensare i loro approcci. Ne ha parlato Dan Schawbel, guru americano di Personal Branding e ideatore del più famoso blog dedicato alla ricerca di lavoro, PersonalBrandingBlog.com.

Schwabel, che scrive costantemente anche per il sito di WallStreetJornaul e per Business Week, abbatte tutte le distanze tra la grande impresa e l’impresa neonata, tra i mostri sacri dell’imprenditoria e le startup. In particolare, in un suo articolo smentisce il luogo comune per il quale le grandi società sono come “dinosauri che resistono ai cambiamenti”. Al contrario, la storia ci insegna che se vogliono continuare ad avere successo, le grosse compagnie devono investire nelle idee, e comportarsi da startup, finanziando le buone idee dei loro più creativi e visionari dipendenti. Un pò come sta facendo Google, per esempio: il gigante  ha una mentalità da vero startupper. E vediamo tutti quanto gli giovi.

 

Accedi

Registrati | Password dimenticata?