CREAZIONE SITI WEB IN WORDPRESS

HOSTING - REGISTRAZIONE DOMINI

Condividi su facebook

Cos’è il file robots.txt?

I files robot (chiamati anche  bot o crawler) permettono di indicizzare tutti i files ai quali possono accedere.

Da questo punto si  sollevano due problemi:

1)I files bot possono indicizzare dati sensibili e renderne più semplice l’accesso al pubblico

2)Maggiori sono i files bot processati, e maggiore sarà il carico causato al server.

Fortunatamente c’è un aspetto positivo: esiste  un modo per controllare il crawler, cioè il file robots.txt.

Il file robots.txt contiene le istruzioni per la ricerca robot, ma deve essere posizionato nella directory principale (root) di un dominio.

Creare il file è semplice come creare un normale file .txt.

Potete usare il vostro editor di testo preferito e caricarlo sul server, potete crearlo utilizzando il File Manager cPanel o con gli  strumenti console  nel caso in cui abbiate l’ accesso shell abilitato.

Anche se non si intende creare regole per non consentire l’accesso completo agli indicizzatori, è comunque consigliato per creare un file robots.txt vuoto.

Il sito non utilizza cookie per fini di profilazione ma consente l’installazione di cookie di terze parti anche profilanti. Cliccando su ACCETTO, l’utente accetta l’utilizzo dei cookie di terze parti. Per maggiori informazioni maggiori informazioni

Questo sito utilizza i cookie per fornire la migliore esperienza di navigazione possibile. Continuando a utilizzare questo sito senza modificare le impostazioni dei cookie o cliccando su "Accetta" permetti il loro utilizzo.

Chiudi