存档

文章标签 ‘robot’

Robots.txt文件

2008年12月5日
2 条评论

1.站点中的所有文件，都可以让蜘蛛爬取、收录写法:
User-agent: *
Disallow:
2.完全禁止搜索引擎来访的Robots.txt文件写法:
User-agent: *
Disallow: / 阅读全文…

搜索引擎优化