In questo thread è rappresentato il file robots.txt per MyBB già configurato.
Prima di copiarlo ed incollarlo cerchiamo di capire a cosa serve e quali sono i vantaggi di avere un robots.txt sul nostro forum MyBB, Blog o Sito.
Il file robots.txt serve ad impedire ai Spiders/Bots di controllare ed indicizzare uno o più link, cartelle, e se volessimo potremmo escludere l'intero sito (risulta utile per non far apparire i contenuti duplicati). Oltre a questo, nel file robots.txt è possibile indicare il percorso preciso della/delle sitemap che abbiamo creato in precedenza con il plug-in
Google SEO.
I vantaggi di usare il file robots.txt sono :
- indicare in automatico che esiste una sitemap ed la sua esatta posizione a tutti gli spiders/bots che frequentano il forum o sito;
- impedire ai spiders/bots di indicizzare e pubblicare contenuto privato;
- evitare l'indicizzazione dei contenuti duplicati;
- risparmiare banda;
- evitare sovraccarico del server da parte dei spiders/bots;
- scegliere quale spiders/bots bloccare e quale non bloccare.
Partiamo con il creare un file di testo e rinominiamolo in
robots.txt.
Copiamo ed incolliamo all'interno del file precedentemente creato, questo:
Codice:
Sitemap: percorso_url/nome_sitemap
User-agent: *
Disallow: /archive/
Disallow: /attachment.php
Disallow: /calendar.php
Disallow: /captcha.php
Disallow: /editpost.php
Disallow: /member.php
Disallow: /memberlist.php
Disallow: /misc.php
Disallow: /modcp.php
Disallow: /moderation.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /polls.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /ratethread.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /results.php
Disallow: /search.php
Disallow: /sendthread.php
Disallow: /showteam.php
Disallow: /stats.php
Disallow: /task.php
Disallow: /usercp.php
Disallow: /usercp2.php
Disallow: /*action=addsubscription*
Disallow: /*action=emailuser*
Disallow: /*action=send*
Disallow: /*action=nextoldest*
Disallow: /*action=nextnewest*
Disallow: /*year=*
Disallow: /*action=addevent*
Disallow: /*action=weekview*
Disallow: /*action=lastpost*
Disallow: /*action=newpost*
Disallow: /*sort=*
Disallow: /*order=*
Disallow: /*mode=*
Disallow: /*datecut=*
Disallow: /*action=getdaily*
Disallow: /*action=getnew*
Disallow: /*pid=*
Disallow: /User-
Disallow: /Calendar-
Salviamo e lo importiamo nella
root (percorso iniziale "
/") del sito con FileZilla [
guida google].
Al posto di "
Sitemap: percorso_url/nome_sitemap " ci inseriamo il percorso della nostra sitemap tipo
Codice:
Sitemap: http://www.miosito.it/sitemap-index.xml
Se il nostro forum si fosse trovato in una sottocartella avremmo aggiunto il nome della cartella seguito da / ad ogni riga.
Codice:
Sitemap: percorso_url/nome_sitemap
User-agent: *
Disallow: /forum/archive/
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/captcha.php
Disallow: /forum/editpost.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/modcp.php
Disallow: /forum/moderation.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/polls.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/ratethread.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/results.php
Disallow: /forum/search.php
Disallow: /forum/sendthread.php
Disallow: /forum/showteam.php
Disallow: /forum/stats.php
Disallow: /forum/task.php
Disallow: /forum/usercp.php
Disallow: /forum/usercp2.php
Disallow: /forum/*action=addsubscription*
Disallow: /forum/*action=emailuser*
Disallow: /forum/*action=send*
Disallow: /forum/*action=nextoldest*
Disallow: /forum/*action=nextnewest*
Disallow: /forum/*year=*
Disallow: /forum/*action=addevent*
Disallow: /forum/*action=weekview*
Disallow: /forum/*action=lastpost*
Disallow: /forum/*action=newpost*
Disallow: /forum/*sort=*
Disallow: /forum/*order=*
Disallow: /forum/*mode=*
Disallow: /forum/*datecut=*
Disallow: /forum/*action=getdaily*
Disallow: /forum/*action=getnew*
Disallow: /forum/*pid=*
Disallow: /forum/User-
Disallow: /forum/Calendar-
Finito!
Per controllare se il vostro robots.txt per MyBB funziona correttamente, vi basterà usare il tool nei
Strumenti per i Webmaster.
Possiamo ottenere più o meno gli stessi risultati utilizzando i metatag robots
NOINDEX e NOFOLLOW.
Per approfondire l'argomento leggi
Blocco o rimozione di pagine utilizzando un file robots.txt.
NB:questo file funziona sia con MyBB (url amichevoli :disabilitata) che con plug-in Google Seo installato.
![[Immagine: SEOspiderbot.jpg]](http://4.bp.blogspot.com/-Kt8h0vXJIao/ToFDaElNaZI/AAAAAAAAAAU/IP_JLOBEwHA/s320/SEOspiderbot.jpg)
