CheatVsGame Forum

Navigando in web ho incontrato siti con board vBulletin, che per pigrizia o per ignoranza (non in senso offensivo pianto

) dei webmaster non adoperavano il file robots.txt ed è un peccato, perché questo file non fa altro che migliorare ed ottimizzare l'indicizzazione del proprio sito.

I vantaggi di possedere un file robots.txt sono :

inviare la sitemap in automatico a tutti i spiders/bots che frequentano il forum;
impedire ai spiders/bots di pubblicare contenuto privato;
evitare la duplicazione dei contenuti;
risparmiare banda;
evitare sovraccarico del server da parte dei spiders/bots;
scegliere quale spiders/bots bloccare e quale non blocccare

Crea un file di testo e rinominalo in robots.txt

Codice:

Sitemap: percorso_url/nome_sitemap

User-agent: *

Disallow: /archive/

Disallow: /customavatars/

Disallow: /customgroupicons/

Disallow: /customprofilepics/

Disallow: /includes/

Disallow: /insights/

Disallow: /install/

Disallow: /members/

Disallow: /ajax.php

Disallow: /calendar.php

Disallow: /faq.php

Disallow: /editpost.php

Disallow: /gamercard.php

Disallow: /inlinemod.php

Disallow: /login.php

Disallow: /member.php

Disallow: /memberlist.php

Disallow: /misc.php

Disallow: /moderator.php

Disallow: /newreply.php

Disallow: /newthread.php

Disallow: /online.php

Disallow: /poll.php

Disallow: /postings.php

Disallow: /payments.php

Disallow: /printthread.php

Disallow: /private.php

Disallow: /profile.php

Disallow: /register.php

Disallow: /report.php

Disallow: /reputation.php

Disallow: /search.php

Disallow: /sendmessage.php

Disallow: /showgroups.php

Disallow: /subscription.php

Disallow: /threadrate.php

Disallow: /usercp.php

Disallow: /usernote.php

Disallow: /converse.php

Copia ed incolla il contenuto al suo interno del file robots.txt creato in precedenza.
Salviamo Il file ed lo importiamo nella root (percorso iniziale "/") del sito con FileZilla.

Per maggior informazioni leggere qui.

Psyke