关于网站robots.txt文件的运用说明

发布时间:2015-08-13
    首先看一下我的网站http://www.wuqingseo.com/中的robots.txt文件,很简单的协议。都没有去修改,就是一条规则。禁止抓取抓取网站的模板数据缓存而已。首先不说为什么要这么做,因为每个网站即使是一样的程序他的内部由于设置的关系都会不一样,所以在做robots.txt文件所写的协议都会不一样的。即使一样的程序也千万不要照抄别人网站的.
无情seo网站robots.txt文件
    robots.txt协议,要熟悉自己网站的内部设置结构。知道哪些路径可以被抓取哪些路径不需要被搜索引擎抓取爬行。
    还有就是关于建设中网站的设置robots.txt协议问题,个人的看法是在我们需要优化的域名不管什么样的情况下都不要使用Disallow: / 这一条语法。因为这只是一个协议文件,并不是指令或者命令,搜索引擎的执行与否并不是我们说了算,这样如果全站禁止的话会形成长时间的影响,之前我的无情seo在改版时,布局没做好,所以使用Disallow: /禁止蜘蛛抓取,结果开放了以后,半个月才生效。所以不建议使用。网站没做好上线准备之前最好是在本地测试,也不要用其他域名来测试,以保证网站的模板是独一无二的。
    现在很多开源CMS都有默认的robots.txt如果不熟悉语法或者不熟悉网站结构不建议盲目去写,暂时使用默认的设置就好。