企业制作网站过程中，如果不想某些页面被百度抓取，可以设置robots文件来实现。
robots是站点与spider沟通的重要渠道，站点通过robots文件声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。为了避免站长在设置robots文件时出现，百度站长平台特别推出了robots工具，帮助站长正确设置robots。
在您已经制作好robots文件后，需要将该文件上传到Hi建站网站后台中。路径是我的站点-站长工具-robots协议
然后点击页面的保存并开启，百度就不会抓取您网站上的指定页面了。
