Creare un robots.txt – (e… a cosa serve??)
Clicca qui per Generare automaticamente un Robots.txt
Che cos’è il Robots.txt file?
Il robots.txt file è un utile strumento che i webmaster e gli amministratori di siti possono usare per indicare quali pagine e parti del sito desiderano che i motori di ricerca non indexino.
Può essere brevemente descritto come una lista di pagine del vostro sito che gli spider NON prenderanno in considerazione e NON mostreranno nei risultati di ricerca.
Si tratta di un piccolo file creato con un editor di testo, ad esempio il Notepad, e sistemato nella cartella principale (root folder) del vostro sito.
(Nota, Google Webmaster Tool vi permette di creare e salvare il robots.txt file in modo davvero semplice e veloce)
Come si crea un Robots.txt file?
Aprite un editor di testo, come può essere il Blocco Note di Windows.
Scrivete seguendo la seguente sintassi:
User-agent: *
Disallow: /termconditions.html
Disallow: /prodotti1998/
Nell’esempio che ho creato qui sopra, ho indicato che TUTTI i motori di ricerca, indicati con il simbolo dell’asterisco dovranno ignorare la pagina termcondition.html ed il contenuto della cartella /prodotti1998/
Se ad esempio volessi, per qualche oscura ragione, escludere soltanto lo spider di Google ma non gli altri userei la seguente dicitura:
User-agent: Googlebot
Disallow: /termconditions.html
Disallow: /prodotti1998/
Il campo Disallow può fare uso del carattere “/” ad indicare “qualunque file e directory” oppure essere lasciato bianco per indicare che non ci sono pagine che desideriamo essere escluse.
Ecco due link utili ed un ultimo importante consiglio:
Tool Generatore di Robots.txt files
Lista di nomi (User-agent) di Spiders
E’ in fine possibile lasciare commenti all’interno del file robots.txt, scrivendo righe di testo che inizino con il “cancelletto” #. Queste righe saranno ignorate dallo spider. Esempio:
User-agent: *
# Modifica effettuata il primo Marzo
Disallow: /prodotti1998/
IMPORTANTE
Aver bloccato una pagina inserendola nella lista del robots.txt significa che non sarà mostrata nei risultati di ricerca.
NON significa che sia invisibile agli user tramite navigazione interna e
NON significa che i motori non la leggeranno comunque e non seguiranno i link su di essa presenti.
Insomma non è un posto dove nessuno guarda!
Se desiderate rendere DAVVERO introvabile una pagina, vi consigliamo di consentirne l’accesso solo tramite inserimento di una password.
Commenti Da Facebook
Ci sono 2 commenti pubblicati direttamente su BananAffair
Lascia un commento
Articoli che potrebbero interessarti
In % è espresso il grado di correlazione con l'articolo di questa pagina.
TheBigMtt
TheBigMtt vive a Londra. E' cresciuto nel Torinese, ma ha vissuto per un po' anche a Barcellona. Spende in rete circa 12-13 ore al giorno, ma trova anche il tempo di dedicarsi a un po' di sano sport. Parla correttamente 3 lingue, e altre due così così. Ha una laurea in Scienze della Comunicazione e lavora nel campo del Search Engine Marketing per una conosciuta agenzia pubblicitaria. E' un patito di statistiche e percentuali, un analitico e visionario, mosso ed ispirato dal principio dell' ESPOSIZIONE (tutto, ma proprio tutto ti insegna qualcosa. Ben vengano i viaggi, le confusioni e gli imprevisti. Ben venga tutto ciò che mi può far girare la testa e perdermi nel mondo....)
Diritti
Sitemap nel Robots.txt file. Giusto o Sbagliato? | BananAffair.it - 15 luglio 2011
[...] nel mondo dei SEO sulla presenza, a ragione o meno, dell’indirizzo della sitemap nel robots.txt [...]
massimo - 3 marzo 2012
Davvero un ottimo articolo