21-02-2013, 23:37
Navigando in web ho incontrato siti con board vBulletin, che per pigrizia o per ignoranza (non in senso offensivo
) dei webmaster non adoperavano il file robots.txt ed è un peccato, perché questo file non fa altro che migliorare ed ottimizzare l'indicizzazione del proprio sito.
I vantaggi di possedere un file robots.txt sono :
Crea un file di testo e rinominalo in robots.txt
Copia ed incolla il contenuto al suo interno del file robots.txt creato in precedenza.
Salviamo Il file ed lo importiamo nella root (percorso iniziale "/") del sito con FileZilla.
Per maggior informazioni leggere qui.

I vantaggi di possedere un file robots.txt sono :
- inviare la sitemap in automatico a tutti i spiders/bots che frequentano il forum;
- impedire ai spiders/bots di pubblicare contenuto privato;
- evitare la duplicazione dei contenuti;
- risparmiare banda;
- evitare sovraccarico del server da parte dei spiders/bots;
- scegliere quale spiders/bots bloccare e quale non blocccare
Crea un file di testo e rinominalo in robots.txt
Codice:
Sitemap: percorso_url/nome_sitemap
User-agent: *
Disallow: /archive/
Disallow: /customavatars/
Disallow: /customgroupicons/
Disallow: /customprofilepics/
Disallow: /includes/
Disallow: /insights/
Disallow: /install/
Disallow: /members/
Disallow: /ajax.php
Disallow: /calendar.php
Disallow: /faq.php
Disallow: /editpost.php
Disallow: /gamercard.php
Disallow: /inlinemod.php
Disallow: /login.php
Disallow: /member.php
Disallow: /memberlist.php
Disallow: /misc.php
Disallow: /moderator.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /poll.php
Disallow: /postings.php
Disallow: /payments.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /subscription.php
Disallow: /threadrate.php
Disallow: /usercp.php
Disallow: /usernote.php
Disallow: /converse.php
Salviamo Il file ed lo importiamo nella root (percorso iniziale "/") del sito con FileZilla.
Per maggior informazioni leggere qui.