¿Qué es el Fichero Robots.txt?

Archivo que nos sirve para indicarle al buscador las páginas que no queremos que indexe.

Por defecto no va a bloquear ninguna URL, pero si lo controlamos bien, podemos evitar que las Arañas entren en determinadas páginas y gasten parte del Crawl Budget que podrían emplear en otras webs mucho más importantes.

 

Quizá también te interese: