Creare un file robots.txt per WordPress è estremamente importante per garantire una corretta indicizzazione di un Blog e per prevenire possibili penalizzazioni da parte dei Motori di Ricerca, a causa della presenza di Contenuti Duplicati.
Vedremo come con poche istruzioni, sia possibile definire ed ottimizzare un file robots.txt in grado di soddisfare entrambe queste esigenze.
Definiamo innanzitutto quali Robots dovranno seguire le regole impostate, utilizzando l’asterisco per identificarli tutti:
User-agent: *
Iniziamo con il bloccare l’indicizzazione dei File e delle Directory proprie di WordPress:
Disallow: /wp- Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/
Per permettere l’indicizzazione della Directory in cui verranno caricati tutti i file associati ai Post (immagini, PDF, file di testo), inseriamo la seguente istruzione:
Allow: /wp-content/uploads/
Impostiamo adesso alcune regole fondamentali per evitare l’indicizzazione di Contenuti Duplicati che, se venissero indicizzati, rischierebbero di far penalizzare l’intero Blog dai Motori di Ricerca.
Prima di tutto, blocchiamo gli elementi che rischiano di generare diversi URL per ogni singolo Post:
Disallow: /trackback/ Disallow: /feed/ Disallow: /comments/ Disallow: */trackback/ Disallow: */feed/ Disallow: */comments/
Blocchiamo poi l’indicizzazione degli URL contenenti querystring, come ad esempio: gli URL dei risultati delle Ricerche di WordPress http://www.wmlab.it/?s=keyword oppure eventuali URL seguiti da parametri di Tracking.
ATTENZIONE Queste regole possono essere impostate solo se per i Post si utilizzano Permalink con Pretty Url, con URL del tipo www.wmlab.it/2009/11/10/nome-post/ molto più usabili e Search Engine Friendly. Nel caso (molto sconsigliato) in cui si utilizzasse invece l’impostazione predefinita di WordPress, con URL del tipo: www.wmlab.it/?p=123 queste regole bloccherebbero l’indicizzazione di tutti i post!
Disallow: /*?* Disallow: /*?
Passiamo ora ad un paio di regole un po’ più delicate, che hanno l’obiettivo di evitare l’indicizzazione di Contenuti Duplicati escludendo le pagine dedicate ai Tag e alle Categorie. Vediamo innanzitutto perchè queste pagine potrebbero essere a rischio penalizzazione.
Durante il Corso SEO Web Marketing Experience di Enrico Madrigrano, si è discusso del problema legato all’eccesso di pagine Tag (Tag Excess). L’utilizzo di svariati Tag, associati ai singoli Post, determina infatti la creazione di altrettante pagine con contenuti molto simili tra loro. E’ stato riscontrato che l’eccessiva presenza di queste pagine, tale da superare il 15-20% del numero complessivo di pagine del Blog, può portare ad una penalizzazione da parte dei Motori di Ricerca.
Discorso analogo vale anche per le pagine delle Categorie, nel caso in cui si inserisca spesso un singolo post in più Categorie.
Prima di bloccare a priori l’indicizzazione di queste pagine, è però necessario fare alcune distinzioni:
- nel caso in cui vengano spesso associati numerosi Tag ad un articolo, e quest’ultimo venga spesso inserito in più categorie, la possibilità di incorrere nella penalizzazione sopracitata è piuttosto elevata. Vale quindi la pena bloccare l’indicizzazione delle pagine Tag e Categorie, con le due istruzioni riportate di seguito.
- nel caso in cui si faccia invece un uso più moderato dei Tag, ed ogni articolo venga inserito nella sola categoria di maggior pertinenza, il rischio di incorrere nella penalizzazione è molto basso. Conviene quindi lasciare che le pagine Tag e Categorie vengano indicizzate visto che, non presentando contenuti troppo simili tra loro, potranno anche posizionarsi adeguatamente nei Motori.
- nel caso infine in cui il Blog sia relativamente giovane, sarà molto probabile che il numero di pagine Tag superi inizialmente quello delle pagine dei post, aumentando così il rischio di penalizzazione. Per prevenzione, conviene bloccare l’indicizzazione delle pagine Tag, almeno finchè il numero di post non inizi ad aumentare col tempo.
La soluzione ottimale a questo problema, non è però implementabile agendo sul robots.txt. Come suggerisce giustamente Giacomo Pelagatti nei commenti, in particolare per Blog con una certa anzianità, è più indicato l’utilizzo del <meta name=”robots” content=”noindex,follow” /> nelle pagine in questione. Questo tag infatti impedisce l’indicizzazione di pagine con contenuti potenzialmente duplicati, ma permette di preservare al contempo il flusso di Link Juice proveniente da quelle pagine.
Tale soluzione è facilmente attuabile attraverso l’ottimo plugin All In One SEO Pack.
Disallow: /tag/ Disallow: /category/
Con l’ultima istruzione, segnaliamo infine ai Robots la presenza del file Sitemap.xml
Sitemap: http://www.nomedominio.com/sitemap.xml
Una volta impostato il file Robots, sarà sufficiente salvarlo come “robots.txt” e caricarlo nella Root del Blog, oppure in alternativa, utilizzare un apposito Plugin che consente la completa gestione del file direttamente dal pannello delle impostazioni di WordPress.
Ecco un esempio riassuntivo del file robots.txt per WordPress, pronto per essere personalizzato ed utilizzato:
User-agent: * Disallow: /wp- Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/ Allow: /wp-content/uploads/ Disallow: /trackback/ Disallow: /feed/ Disallow: /comments/ Disallow: */trackback/ Disallow: */feed/ Disallow: */comments/ Disallow: /*?* Disallow: /*? Disallow: /tag/ Disallow: /category/ Sitemap: http://www.nomedominio.com/sitemap.xml
Creare un robots.txt per WordPress ottimizzato per i Motori di Ricerca
Post pubblicato su: Web Marketing Lab
