Consulente Web Marketing e Consulenza Motori di Ricerca

Web Marketing & Search Engine Consultant

Quanto traffico inutile sta generando il tuo sito web ??

Traffico inutile generato da motori di ricerca

I blog sono strumenti di comunicazione straordinari. La “freschezza” delle informazioni invita gli spider dei motori di ricerca a visitare spesso blogs che possono diventare dei mostri divoratori di banda.

Analizzando le statistiche di accesso si scopre come il traffico visibile (= traffico web generato dai visitatori del sito) è nettamente inferiore a quello generato dagli spider dei motori di ricerca – anche dell’ordine di 4 a 1 (4 Gbyte di traffico generato da motori di ricerca contro 1 Gbyte generato dagli utenti).

Analizzando il fenomeno ho scoperto come si possono commettere degli errori che all’apparenza possono sembrare innocenti ma che possono avere conseguenze importanti.

Può succedere infatti che molto siti non utilizzano il file robots.txt per gestire gli accessi al sito da parte dei motori di ricerca.

Si possono verificare (almeno) due casi:

  • E’ presente un RIDIRECT che indirizza il traffico di pagine non esistenti sulla home page
  • E’ presente una pagina 404 che gestisce gli accessi a pagine non più presenti nel sito

In entrambi i casi, quando non è presente un file robots.txt nel sito, gli spider possono essere invitati a scaricarsi la pagina 404 o, nel peggiore dei casi, la home page.

In ognuno di questi casi gli spider andranno a scaricare una di queste due pagine – è molto traffico inutile che ti si genera.

Per un sito che non ha esigenze particolari di gestione degli accessi dei motori di ricerca nel sito, basta mettere nella root del server un file che può essere vuoto, o al più il seguente testo minimale:

User-agent: *Disallow: 

Il file robots.txt in questa configurazione minimale ma un peso di 25 byte contro i 15 Kbyte di una pagina 404 oppure una home page di un blog che può essere anche dell’ordine di 200 Kbyte – una bella differenza che moltiplicata per migliaia di accessi in un mese si trasformano in Gbyte di traffico del tutto inutile.

Quindi se non hai un file robots.txt nella root del suto blog ti consiglio di metterne uno vuoto – fai un favore a te ed ai motori di ricerca 😉