Creare un robots.txt – (e… a cosa serve??)

Condividi, fai crescere BananAffair!

Clicca qui per Generare automaticamente un Robots.txt

Che cos’è il Robots.txt file?

Il robots.txt file è un utile strumento che i webmaster e gli amministratori di siti possono usare per indicare quali pagine e parti del sito desiderano che i motori di ricerca non indexino.

Può essere brevemente descritto come una lista di pagine del vostro sito che gli spider NON prenderanno in considerazione e NON mostreranno nei risultati di ricerca.

Si tratta di un piccolo file creato con un editor di testo, ad esempio il Notepad, e sistemato nella cartella principale (root folder) del vostro sito.

(Nota, Google Webmaster Tool vi permette di creare e salvare il robots.txt file in modo davvero semplice e veloce)

Come si crea un Robots.txt file?

Aprite un editor di testo, come può essere il Blocco Note di Windows.

Scrivete seguendo la seguente sintassi:

User-agent: *
Disallow: /termconditions.html
Disallow: /prodotti1998/

Nell’esempio che ho creato qui sopra, ho indicato che TUTTI i motori di ricerca, indicati con il simbolo dell’asterisco dovranno ignorare la pagina termcondition.html ed il contenuto della cartella /prodotti1998/

Se ad esempio volessi, per qualche oscura ragione, escludere soltanto lo spider di Google ma non gli altri userei la seguente dicitura:

User-agent: Googlebot
Disallow: /termconditions.html
Disallow: /prodotti1998/

Il campo Disallow può fare uso del carattere “/” ad indicare “qualunque file e directory” oppure essere lasciato bianco per indicare che non ci sono pagine che desideriamo essere escluse.


Ecco due link utili ed un ultimo importante consiglio:

Tool Generatore di Robots.txt files
Lista di nomi (User-agent) di Spiders

E’ in fine possibile lasciare commenti all’interno del file robots.txt, scrivendo righe di testo che inizino con il “cancelletto” #. Queste righe saranno ignorate dallo spider. Esempio:

User-agent: *
# Modifica effettuata il primo Marzo
Disallow: /prodotti1998/

IMPORTANTE

Aver bloccato una pagina inserendola nella lista del robots.txt significa che non sarà mostrata nei risultati di ricerca.

NON significa che sia invisibile agli user tramite navigazione interna e

NON significa che i motori non la leggeranno comunque e non seguiranno i link su di essa presenti.

Insomma non è un posto dove nessuno guarda!

Se desiderate rendere DAVVERO introvabile una pagina, vi consigliamo di consentirne l’accesso solo tramite inserimento di una password.


Commenti Da Facebook

Ci sono 3 commenti pubblicati direttamente su BananAffair

  1. Sitemap nel Robots.txt file. Giusto o Sbagliato? | BananAffair.it - 15 luglio 2011

    [...] nel mondo dei SEO sulla presenza, a ragione o meno, dell’indirizzo della sitemap nel robots.txt [...]

  2. massimo - 3 marzo 2012

    Davvero un ottimo articolo

  3. two people - 8 gennaio 2017

    I got this website from my friend who shared with me about this site and now this time I am browsing this web site and reading very informative posts at this place.

Lascia un commento


Nome (Richiesto)

E-Mail (Richiesta)

Sito Web

Articoli che potrebbero interessarti

In % è espresso il grado di correlazione con l'articolo di questa pagina.


TheBigMtt vive a Londra. E' cresciuto nel Torinese, ma ha vissuto per un po' anche a Barcellona. Spende in rete circa 12-13 ore al giorno, ma trova anche il tempo di dedicarsi a un po' di sano sport. Parla correttamente 3 lingue, e altre due così così. Ha una laurea in Scienze della Comunicazione e lavora nel campo del Search Engine Marketing per una conosciuta agenzia pubblicitaria. E' un patito di statistiche e percentuali, un analitico e visionario, mosso ed ispirato dal principio dell' ESPOSIZIONE (tutto, ma proprio tutto ti insegna qualcosa. Ben vengano i viaggi, le confusioni e gli imprevisti. Ben venga tutto ciò che mi può far girare la testa e perdermi nel mondo....)

Vedi tutti gli articoli dell'autore

Get Adobe Flash playerPlugin by wpburn.com wordpress themes

Il nostro uso dei cookie

Come la maggior parte dei siti web, anche noi utilizziamo i cookie per fornire un servizio personalizzato e reattivo. Utilizziamo i cookie per consentire al nostro sito web di funzionare in modo più efficiente e per migliorarne le prestazioni.
Occorre solo un ok per proseguire.
Diversamente, cliccando sulla croce, i cookie saranno disabilitati.

Cliccare per proseguireAccetto i Cookie