吉安seo > SEO外包 >

网站robots协议的写法

发表日期: 2017-06-29  文章编辑:  浏览次数:99

网站robots协议的写法

  robots利用说明

  1、robots.txt不妨告诉baidu您网站的哪些页面不妨被抓取,哪些页面不不妨被抓取。

  2、您不妨经过Robots用具来创设、校验、更新您的robots.txt文件,或张望您网站robots.txt文件在baidu成效的境况。

  3、Robots用具暂不支持https站点。

  4、Robots用具当今支持48k的文件正文勘测,请担保您的robots.txt文件不要过穷,目次较长不抢先250个字符。

  甚么是robots文件

  robots是站点以及spider交流的要紧渠道,站点经过robots文件声明该网站中不想被搜索引擎收录的部门抑或指定搜索引擎只收录特定的部门。请留意,仅当您的网站包括不期望被搜索引擎收录的正文时,才需求利用robots.txt文件。假如您期望搜索引擎收录网站上全部正文,请勿树立robots.txt文件。为了防止站长在配置robots文件时出现