Sitemap e robots.txt: le basi che molti sbagliano

Sono due file di testo, non due tecnologie. Il robots.txt dice ai motori di ricerca dove non entrare, la sitemap elenca le pagine che vuoi far trovare: uno limita, l'altra suggerisce. Stanno entrambi nella radice del tuo sito e li puoi aprire adesso, dal browser.

Non fanno rankare nessuno e non aggiungono niente alle tue pagine. Decidono una cosa sola, se il lavoro che hai pagato può essere visto oppure no, ed è per questo che sbagliarli costa più di qualsiasi altro errore tecnico.

Il caso peggiore che ho visto è uno studio dentistico di Messina rimasto invisibile per sette settimane per una riga rimasta dalla versione di prova del sito. Ci torno tra poco, prima ti spiego cosa fa ciascuno dei due.

Il robots.txt è un file di testo che sta nella radice del sito, all'indirizzo tuosito.it/robots.txt. Puoi aprirlo adesso, e può farlo chiunque, perché è pubblico per definizione. Contiene le istruzioni che i motori di ricerca leggono prima di iniziare a girare tra le tue pagine: qui puoi entrare, qui no.

Serve a non far sprecare tempo ai crawler su parti del sito che non hanno valore nei risultati di ricerca, per esempio l'area di amministrazione, i risultati interni del motore di ricerca o le pagine di servizio del carrello. Su un sito grande questo conta, perché Google dedica a ogni sito un tempo di scansione limitato e non infinito.

Poi c'è la parte che quasi tutti fraintendono, e da cui nascono i guai.

Il robots.txt blocca la scansione, non la comparsa nei risultati. Se blocchi una pagina lì dentro, stai dicendo a Google di non leggerla, non di dimenticarla: se qualcun altro la linka, quella pagina può comparire lo stesso nei risultati, senza titolo né descrizione, con la nota che le informazioni non sono disponibili. Per tenere davvero fuori una pagina serve il tag noindex dentro la pagina, e perché Google lo veda deve poterla aprire. Bloccarla nel robots.txt ottiene l'effetto opposto di quello che volevi.

Ultima cosa: non è una misura di sicurezza. Se scrivi Disallow: /area-clienti stai pubblicando l'indirizzo di quell'area in un file che legge chiunque. Quello che deve restare privato si protegge con una password, non con una riga di testo.

La sitemap fa il lavoro opposto: è l'elenco delle pagine che vuoi far trovare. Un file in formato XML, di solito a tuosito.it/sitemap.xml, dove ogni riga è un indirizzo del tuo sito con la data dell'ultima modifica.

Non è un ordine, è un suggerimento. Mettere una pagina nella sitemap non obbliga Google a indicizzarla, e toglierla non la fa sparire; serve a far scoprire prima quello che pubblichi e a raggiungere pagine sepolte in fondo alla struttura, dove un crawler arriverebbe tardi o non arriverebbe affatto.

Perché faccia il suo lavoro deve contenere solo pagine vere, e questo è il punto in cui la maggior parte delle sitemap si rovina nel tempo. Dentro devono esserci soltanto:

• Indirizzi che rispondono davvero. Niente pagine cancellate, niente redirect, niente vecchi indirizzi tenuti per abitudine.
• La versione ufficiale di ogni pagina. Un solo indirizzo per contenuto, nella stessa forma che usa il sito: se il sito gira su https e con il www, la sitemap non può elencare la versione senza.
• Pagine che vuoi nei risultati. Mettere nella sitemap una pagina marcata come da non indicizzare è un segnale contraddittorio, e Google lo tratta come tale.
• Date di modifica sincere. Se ogni indirizzo risulta aggiornato oggi a ogni rigenerazione del file, quel dato smette di significare qualcosa e viene ignorato.

Su questo sito la sitemap viene rigenerata a ogni pubblicazione, prima ancora che il sito venga compilato. Non perché sia elegante, ma perché una sitemap aggiornata a mano è una sitemap che tra sei mesi non aggiorna più nessuno.

Sono sempre gli stessi, e nessuno di questi richiede competenze tecniche per essere notato.

• Il blocco della versione di prova rimasto online. È il caso dello studio dentistico di cui ti parlavo. Il sito si costruisce su un indirizzo provvisorio che va tenuto fuori da Google con un Disallow: /, poi al lancio nessuno toglie quella riga. È l'errore più costoso di tutti perché non dà nessun sintomo: il sito funziona, è bello, semplicemente non esiste per i motori di ricerca, e nessuno se ne accorge finché qualcuno non pensa di cercarlo.
• Bloccare i file di stile e gli script. Si vedeva spesso qualche anno fa e ogni tanto ricompare. Google apre le tue pagine come farebbe una persona: se gli impedisci di caricare grafica e funzionalità, vede una pagina rotta e la giudica per quella.
• La sitemap che elenca il sito di ieri. Pagine cancellate, vecchi indirizzi che rimandano altrove, la versione senza www mentre il sito gira con il www. Non è un disastro come il blocco totale, ma sprechi le visite del crawler su indirizzi morti invece che sulle pagine che ti interessano.
• La contraddizione tra i due file. Pagine presenti nella sitemap e bloccate nel robots.txt: stai dicendo di guardare qui e contemporaneamente di non entrare. Se in Search Console leggi "indicizzata, sebbene bloccata", il conflitto è questo.
• La sitemap che nessuno ha mai inviato. Il file esiste, è corretto, e non è dichiarato né nel robots.txt né in Search Console. Google prima o poi la trova lo stesso, ma è lavoro fatto e non usato.

Il filo comune è uno solo: sono tutti errori di distrazione, non di competenza. Nessuno di questi succede perché il problema era difficile, succedono perché nessuno è tornato a controllare dopo il lancio.

Non serve un tecnico e non serve un abbonamento a niente. Ti bastano il browser e, per l'ultimo controllo, l'accesso a Search Console.

1. Apri tuosito.it/robots.txt. Cerchi una riga che dica Disallow: / e nient'altro dopo la barra. Se c'è, e sopra c'è User-agent: *, il tuo sito è chiuso a tutti i motori di ricerca. Chiama chi ti gestisce il sito oggi, non domani.
2. Apri tuosito.it/sitemap.xml. Guarda i primi indirizzi: sono nella stessa forma che vedi nella barra del browser quando navighi il sito, con lo stesso https e lo stesso www? Poi apri due o tre indirizzi presi a caso e verifica che rispondano ancora, senza finire su un errore o su un'altra pagina.
3. Controlla che la sitemap sia dichiarata. Nel robots.txt, in fondo, deve esserci una riga che inizia con Sitemap: seguita dall'indirizzo completo del file. Costa un secondo verificarlo.
4. Vai su Search Console, sezione Sitemap. Se lo stato non è "riuscito", il messaggio di errore ti dice già dove guardare. Poi usa Controllo URL su una pagina che ti interessa davvero, un servizio o un prodotto, e leggi cosa risponde: ti dice se quella pagina è indicizzata e, se non lo è, perché.

Se non hai Search Console configurata, fermati un attimo prima di andare avanti con qualsiasi altra cosa. È gratis, ci vogliono dieci minuti, ed è l'unico posto dove Google ti dice a chiare lettere cosa non gli torna del tuo sito. Chi ti ha fatto il sito dovrebbe averla già attiva e averti dato accesso.

Lo studio dentistico di Messina ha risolto cancellando una riga di testo. Nessuna consulenza lunga, nessun intervento sul sito, cinque secondi di lavoro vero.

Dopo undici giorni compariva cercando il nome dello studio, dopo un mese era nella prima pagina per le ricerche del suo quartiere. Il sito era sempre stato fatto bene, aveva solo un cartello sulla porta che diceva chiuso.

Questi due file non fanno rankare nessuno, non aggiungono niente alle tue pagine e non recuperano un sito costruito male. Fanno una cosa sola: decidono se il lavoro che hai pagato può essere visto oppure no. Per questo vanno controllati per primi, non per ultimi.

Se hai fatto i controlli e qualcosa non torna, o il tuo sito non compare su Google e nessuno sa dirti perché, richiedi una consulenza.

Ti rispondo io, non un form automatico.

Questo articolo fa parte della serie SEO e Performance.

• SEO tecnico: quello che il tuo sviluppatore dovrebbe sapere
• Core Web Vitals: cosa sono e perché Google ti penalizza
• Perché il tuo sito è lento
• Schema markup: come apparire meglio su Google
• SSR, SSG, ISR: cosa chiedere a chi ti fa il sito