Login Registrati

MyBB file robots.txt


Psyke Offline
Administrator
*******

Administrators


Messaggi: 194
Registrato: Dec 2012
Reputazione: 1
#1
MyBB file robots.txt
In questo thread è rappresentato il file robots.txt per MyBB già configurato.
Prima di copiarlo ed incollarlo cerchiamo di capire a cosa serve e quali sono i vantaggi di avere un robots.txt sul nostro forum MyBB, Blog o Sito.

[Immagine: SEOspiderbot.jpg]

Il file robots.txt serve ad impedire ai Spiders/Bots di controllare ed indicizzare uno o più link, cartelle, e se volessimo potremmo escludere l'intero sito (risulta utile per non far apparire i contenuti duplicati). Oltre a questo, nel file robots.txt è possibile indicare il percorso preciso della/delle sitemap che abbiamo creato in precedenza con il plug-in Google SEO.

I vantaggi di usare il file robots.txt sono :
  • indicare in automatico che esiste una sitemap ed la sua esatta posizione a tutti gli spiders/bots che frequentano il forum o sito;
  • impedire ai spiders/bots di indicizzare e pubblicare contenuto privato;
  • evitare l'indicizzazione dei contenuti duplicati;
  • risparmiare banda;
  • evitare sovraccarico del server da parte dei spiders/bots;
  • scegliere quale spiders/bots bloccare e quale non bloccare.

Partiamo con il creare un file di testo e rinominiamolo in robots.txt.
Copiamo ed incolliamo all'interno del file precedentemente creato, questo:
Codice:
Sitemap: percorso_url/nome_sitemap

User-agent: *
Disallow: /archive/
Disallow: /attachment.php
Disallow: /calendar.php
Disallow: /captcha.php
Disallow: /editpost.php
Disallow: /member.php
Disallow: /memberlist.php
Disallow: /misc.php
Disallow: /modcp.php
Disallow: /moderation.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /polls.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /ratethread.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /results.php
Disallow: /search.php
Disallow: /sendthread.php
Disallow: /showteam.php
Disallow: /stats.php
Disallow: /task.php
Disallow: /usercp.php
Disallow: /usercp2.php
Disallow: /*action=addsubscription*
Disallow: /*action=emailuser*
Disallow: /*action=send*
Disallow: /*action=nextoldest*
Disallow: /*action=nextnewest*
Disallow: /*year=*
Disallow: /*action=addevent*
Disallow: /*action=weekview*
Disallow: /*action=lastpost*
Disallow: /*action=newpost*
Disallow: /*sort=*
Disallow: /*order=*
Disallow: /*mode=*
Disallow: /*datecut=*
Disallow: /*action=getdaily*
Disallow: /*action=getnew*
Disallow: /*pid=*
Disallow: /User-
Disallow: /Calendar-

Salviamo e lo importiamo nella root (percorso iniziale "/") del sito con FileZilla [guida google].

Al posto di " Sitemap: percorso_url/nome_sitemap " ci inseriamo il percorso della nostra sitemap tipo
Codice:
Sitemap: http://www.miosito.it/sitemap-index.xml

Se il nostro forum si fosse trovato in una sottocartella avremmo aggiunto il nome della cartella seguito da / ad ogni riga.
Codice:
Sitemap: percorso_url/nome_sitemap

User-agent: *
Disallow: /forum/archive/
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/captcha.php
Disallow: /forum/editpost.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/modcp.php
Disallow: /forum/moderation.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/polls.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/ratethread.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/results.php
Disallow: /forum/search.php
Disallow: /forum/sendthread.php
Disallow: /forum/showteam.php
Disallow: /forum/stats.php
Disallow: /forum/task.php
Disallow: /forum/usercp.php
Disallow: /forum/usercp2.php
Disallow: /forum/*action=addsubscription*
Disallow: /forum/*action=emailuser*
Disallow: /forum/*action=send*
Disallow: /forum/*action=nextoldest*
Disallow: /forum/*action=nextnewest*
Disallow: /forum/*year=*
Disallow: /forum/*action=addevent*
Disallow: /forum/*action=weekview*
Disallow: /forum/*action=lastpost*
Disallow: /forum/*action=newpost*
Disallow: /forum/*sort=*
Disallow: /forum/*order=*
Disallow: /forum/*mode=*
Disallow: /forum/*datecut=*
Disallow: /forum/*action=getdaily*
Disallow: /forum/*action=getnew*
Disallow: /forum/*pid=*
Disallow: /forum/User-
Disallow: /forum/Calendar-

Finito!

Per controllare se il vostro robots.txt per MyBB funziona correttamente, vi basterà usare il tool nei Strumenti per i Webmaster.

Possiamo ottenere più o meno gli stessi risultati utilizzando i metatag robots NOINDEX e NOFOLLOW.

Per approfondire l'argomento leggi Blocco o rimozione di pagine utilizzando un file robots.txt.


NB:questo file funziona sia con MyBB (url amichevoli :disabilitata) che con plug-in Google Seo installato.


21-02-2013, 23:25,
Cita mess.

Sep. Offline
Newbie
*

Regular Member


Messaggi: 7
Registrato: Jun 2013
Reputazione: 0
#2
RE: MyBB file robots.txt
Grazie, conosci altri rimedi per una indicizzazione ottimale?

(Questo messaggio è stato modificato l'ultima volta il: 16-06-2013, 13:23 da Sep..)
16-06-2013, 12:07,
Cita mess.

Psyke Offline
Administrator
*******

Administrators


Messaggi: 194
Registrato: Dec 2012
Reputazione: 1
#3
RE: MyBB file robots.txt
Ce ne sarebbe qualcun' altro, ma non li ritengo meno importanti.
Quando avrò il tempo di scrivere altre guide, le troverai nelle sezioni apposite.

Nonostante il file robots permette di visualizzare il percorso della sitmap ai spiders,  conviene sempre crearsi un'account apposito per ogni motore di ricerca ( Bing, Google ...) ed indicare il percorso lì.


16-06-2013, 17:58,
Cita mess.


Discussioni simili
Discussione Autore Risposte Letto Ultimo messaggio
  Robots NOINDEX NOFOLLOW in MyBB Psyke 1 727 16-06-2014, 20:55
Ultimo messaggio: murder

Vai al forum:


Utenti che stanno guardando questa discussione: 1 Ospite(i)


Copyright © 2002-2017 CheatVsGame