Cos’è il file robots.txt?

I files robot (chiamati anche  bot o crawler) permettono di indicizzare tutti i files ai quali possono accedere.

Da questo punto si  sollevano due problemi:

1)I files bot possono indicizzare dati sensibili e renderne più semplice l’accesso al pubblico

2)Maggiori sono i files bot processati, e maggiore sarà il carico causato al server.

Fortunatamente c’è un aspetto positivo: esiste  un modo per controllare il crawler, cioè il file robots.txt.

Il file robots.txt contiene le istruzioni per la ricerca robot, ma deve essere posizionato nella directory principale (root) di un dominio.

Creare il file è semplice come creare un normale file .txt.

Potete usare il vostro editor di testo preferito e caricarlo sul server, potete crearlo utilizzando il File Manager cPanel o con gli  strumenti console  nel caso in cui abbiate l’ accesso shell abilitato.

Anche se non si intende creare regole per non consentire l’accesso completo agli indicizzatori, è comunque consigliato per creare un file robots.txt vuoto.

Cos’è il file robots.txt? ultima modifica: 2018-05-14T18:27:31+02:00 da admin
NON seguire questo link o sarai bannato dal sito!