叶峰SEO博客是本人在业余时间打造的一个交流、学习、分享型网站,提供各种网站优化方案,网络营销资源和SEO视频教程下载,欢迎大家多提宝贵意见!再次访问,可直接搜索:叶峰SEO

关于robots.txt文件的写法和正确使用方法

SEO基础知识 叶峰 925℃ 0评论

网站的robots.txt文件主要用于控制搜索引擎对网站的收录,它是针对搜索引擎爬虫而设定的一个网络协议,用来告诉网络爬虫哪些页面可以访问。哪些页面不能访问。具体可精确到某个栏目、某个页面、某个链接。通过robots.txt文件,我们可以让搜索引擎爬虫按照自己的规划去访问网站内容,对于不想收录的页面和内容采用robots.txt文件进行屏蔽,的好处一是减少了搜素引擎爬虫的工作量,二是使整个页面的权重更容易集中。

robots

一、什么是robots.txt文件?
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时,首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt,在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。 请注意,仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。

二、robots.txt文件的写法-如何正确使用robots.txt文件

例1. 禁止所有搜索引擎访问网站的任何部分 User-agent: *
Disallow: /
例2. 允许所有的robot访问
(或者也可以建一个空文件 “/robots.txt”)
User-agent: *
Disallow: 

或者
User-agent: *
Allow: /
例3. 仅禁止Baiduspider访问您的网站 User-agent: Baiduspider
Disallow: /
例4. 仅允许Baiduspider访问您的网站 User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /
例5. 禁止spider访问特定目录
在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即robot不会访问这三个目录。需要注意的是对每一个目录必须分开声明,而不能写成 “Disallow: /cgi-bin/ /tmp/”。
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
例6. 允许访问特定目录中的部分url User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
例7. 使用”*”限制访问url
禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。
User-agent: *
Disallow: /cgi-bin/*.htm
例8. 使用”$”限制访问url
仅允许访问以”.htm”为后缀的URL。
User-agent: *
Allow: .htm$
Disallow: /
例9. 禁止访问网站中所有的动态页面 User-agent: *
Disallow: /*?*
例10. 禁止Baiduspider抓取网站上所有图片
仅允许抓取网页,禁止抓取任何图片。
User-agent: Baiduspider
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
例11. 仅允许Baiduspider抓取网页和.gif格式图片
允许抓取网页和gif格式图片,不允许抓取其他格式图片
User-agent: Baiduspider
Allow: .gif$
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .png$
Disallow: .bmp$
例12. 仅禁止Baiduspider抓取.jpg格式图片 User-agent: Baiduspider
Disallow: .jpg$

三、 robots.txt文件放在哪里?
robots.txt文件应该放置在网站根目录下。举例来说,当spider访问一个网站(比如 http://www.abc.com)时,首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件,如果 Spider找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。

四、robots.txt文件的其他用途

1、如何禁止搜索引擎跟踪网页的链接,而只对网页建索引?

如果您不想搜索引擎追踪此网页上的链接,且不传递链接的权重,请将此元标记置入网页的 部分:
<meta name=”robots” content=”nofollow”>
如果您不想百度追踪某一条特定链接,百度还支持更精确的控制,请将此标记直接写在某条链接上:
<a href=”signin.php” rel=”nofollow”>sign in</a>
要允许其他搜索引擎跟踪,但仅防止百度跟踪您网页的链接,请将此元标记置入网页的 部分:
<meta name=”Baiduspider” content=”nofollow”>

2、如何禁止搜索引擎在搜索结果中显示网页快照,而只对网页建索引?

要防止所有搜索引擎显示您网站的快照,请将此元标记置入网页的部分:
<meta name=”robots” content=”noarchive”>
要允许其他搜索引擎显示快照,但仅防止百度显示,请使用以下标记:
<meta name=”Baiduspider” content=”noarchive”>
注:此标记只是禁止百度显示该网页的快照,百度会继续为网页建索引,并在搜索结果中显示网页摘要。

3、我想禁止百度图片搜索收录某些图片,该如何设置?

禁止Baiduspider抓取网站上所有图片、禁止或允许Baiduspider抓取网站上的某种特定格式的图片文件可以通过设置robots实现,请参考“robots.txt文件的写法”中的例10、11、12。

robots-file

五、robots.txt文件的适用范围及原则

robots.txt文件适用于绝大多数的主流搜素引擎,但也不排除个别搜索引擎无视这一原则。
Robots协议是国际互联网界通行的道德规范,基于以下原则建立:
1、搜索技术应服务于人类,同时尊重信息提供者的意愿,并维护其隐私权;
2、网站有义务保护其使用者的个人信息和隐私不被侵犯。

 

转载请注明:【郑州SEO】-叶峰SEO交流学习 » 关于robots.txt文件的写法和正确使用方法

喜欢 (3)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址