当前位置:伊春网站优化 > seo服务 >
服务项目
网站建设
网站优化
seo服务
联系信息

电话:137-3583-8095

电话:137-3583-8095

QQ:3487881452

网站的robots文件有什么用

     robots.txt文件是放在网站根目录下面的,这个文件是根据搜索引擎和网站之前的一种协议,默认需求遵从的规矩,当搜索引擎蜘蛛匍匐网站时,先读取了这个robots.txt文件,此刻蜘蛛是处于被迫状态的,它会按照你写的文件内容,来确定抓取哪些内容,不应抓取哪些内容。

 
    一般来讲,我们主要是不想让搜索引擎抓取诸如网站后台、JS等内容,还有一些死链接,我们是不想要让蜘蛛抓取这些页面的,但从另一个方面来讲,这也无疑暴露了一些不想让人家知道的目录,比方后台目录,由于robots.txt文件是揭露的,一些不合法用户在浏览器输入这个文件地址,就能够直接显示出来,那么你的后台地址也就让人知晓了。但整体来说,robots.txt文件的作用是利大于蔽的,是站长不行疏忽的一个部分。