雅酷SEO论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 594|回复: 1

参考查看歪果仁的robots在线生成网址

[复制链接]

200

主题

0

好友

1万

积分

超级版主

Rank: 8Rank: 8

  • TA的每日心情
    擦汗
    2019-6-28 11:16
  • 签到天数: 227 天

    连续签到: 1 天

    [LV.7]常住居民III

    发表于 2016-9-25 15:46:51 |显示全部楼层
    本帖最后由 大連偉哥 于 2016-9-26 08:56 编辑

    了解robots.txt写法之前必须要清楚robots.txt的概念、作用和语法,后面还将介绍知名的引擎机器人Robots、知名站点robots.txt举例、常见robots.txt错误、Robots META标签和在线生成robots.txt网址。歪果仁的robots在线生成网址http://www.clickability.co.uk/robotstxt.html(地址不保证永久有效)

    A:robots.txt是什么有什么作用~~
    实际robots.txt是一个纯文本文件,当一个搜索引擎爬虫访问一个网站时,它会先检查站点根目录下是否存在robots.txt,如果存在搜索爬虫就会按照该文件中的内容来确定访问的范围;如果不存在所有的搜索爬虫将能够访问网站上所有没有被口令保护的页面。
    B:robots.txt的语法是怎么写作~~
    关于robots.txt文件包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL, or NL作为结束符),每一条记录的格式如下所示:
    <field>:<optionalspace><value><optionalspace>。
    在该文件中可以使用#进行注解,具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始,后面加上若干Disallow行详细情况如下:
    User-agent:该项的值用于描述搜索引擎robot的名字,在"robots.txt"文件中如果有多条User-agent记录说明有多个robot会受到该协议的限制,对该文件来说至少要有一条User-agent记录。如果该项的值设为*,则该协议对任何机器人均有效,在"robots.txt"文件中"User-agent:*"这样的记录只能有一条。
    Disallow:该项的值用于描述不希望被访问到的一个URL,这个URL可以是一条完整的路径也可以是部分的,任何以Disallow开头的URL均不会被robot访问到。
    例如"Disallow: /help"对/help.html和/help/index.html都不允许搜索引擎访问,而"Disallow: /help/"则允许robot访问/help.html,而不能访问/help/index.html。任何一条Disallow记录为空,说明该网站的所有部分都允许被访问,在"/robots.txt"文件中,至少要有一条Disallow记录。如果robots.txt是一个空文件,则对于所有的搜索引擎robot该网站都是开放的。
    下面是一些robots.txt基本的用法:
    a、禁止所有搜索引擎访问网站的任何部分==
    User-agent: *
    Disallow: /
    b、允许所有的robot访问==
    User-agent: *
    Disallow:
    (或者也可以建一个空文件robots.txt)
    c、禁止所有搜索引擎访问网站的几个部分(下例中的cgi-bin、tmp、private目录) ==
    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /tmp/
    Disallow: /private/
    d、禁止某个搜索引擎的访问(下例中的BadBot) ==
    User-agent: BadBot
    Disallow: /
    e、只允许某个搜索引擎的访问(下例中的WebCrawler) ==
    User-agent: WebCrawler
    Disallow:
    User-agent: *
    Disallow: /
    C、常见搜索引擎机器人Robots名字~~
    名称                              搜索引擎
    Googlebot                    http://www.google.com
    Baiduspider                  http://www.baidu.com
    Scooter                        http://www.altavista.com
    ia_archiver                    http://www.alexa.com
    FAST-WebCrawler        http://www.alltheweb.com
    Slurp                            http://www.inktomi.com
    MSNBOT                      http://search.msn.com

    E、常见robots.txt错误~~
    a、颠倒了顺序==
    错误写成
    User-agent: *
    Disallow: GoogleBot
    正确的应该是
    User-agent: GoogleBot
    Disallow: *
    b、把多个禁止命令放在一行中==
    错误写成
    Disallow: /css/ /cgi-bin/ /images/
    正确的应该是
    Disallow: /css/
    Disallow: /cgi-bin/
    Disallow: /images/
    c、行前有大量空格==
    错误写成
    Disallow: /cgi-bin/
    尽管在标准没有谈到这个,但是这种方式很容易出问题。
    d、404重定向到另外一个页面==
    当Robot访问很多没有设置robots.txt文件的站点时,会被自动404重定向到另外一个Html页面。这时Robot常常会以处理robots.txt文件的方式处理这个Html页面文件。虽然一般这样没有什么问题,但是最好能放一个空白的robots.txt文件在站点根目录下。
    e、采用大写例如==
    USER-AGENT: EXCITE
    DISALLOW:
    虽然标准是没有大小写的,但是目录和文件名应该小写:
    user-agent:GoogleBot
    disallow:
    f、语法中只有Disallow没有Allow==
    错误写成
    User-agent: Baiduspider      
    Disallow: /john/
    allow: /jane/
    g、忘记了斜杠/ ==
    错误写成
    User-agent: Baiduspider      
    Disallow: css
    正确的应该是
    User-agent: Baiduspider      
    Disallow: /css/
    F、Robots META标签~~
    a、什么是Robots META标签==
    Robots.txt文件主要是限制整个站点或者目录的搜索引擎访问情况,而RobotsMETA标签则主要是针对一个个具体的页面。和其他的META标签(如使用的语言、页面的描述、关键词等)一样,RobotsMETA标签也是放在页面的<head></head>中,专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。具体的形式类似见黑体部分:
    <html>
    <head>
    <title>【雅酷seo论坛】-百度SEO教程与网站seo优化 www.yaiku.com</title>
    <meta name="Robots" >
    <meta http-equiv="Content-Type" >
    <meta name="keywords" >
    <meta name="description" >
    <link rel="stylesheet" href="/public/css.css" type="text/css">
    </head>
    <body>

    </body>
    </html>
    b、Robots META标签的写法==
    RobotsMETA标签中没有大小写之分,name=”Robots”表示所有的搜索引擎,可以针对某个具体搜索引擎写为name=”BaiduSpider”。content部分有四个指令选项:index、noindex、follow、nofollow,指令间以“,”分隔。
    INDEX 指令告诉搜索机器人抓取该页面;
    FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;
    Robots Meta标签的缺省值是INDEX和FOLLOW,只有inktomi除外,对于它,缺省值是INDEX,NOFOLLOW。
    这样,一共有四种组合:
    <META NAME="ROBOTS" >
    <META NAME="ROBOTS" >
    <META NAME="ROBOTS" >
    <META NAME="ROBOTS" >
    其中
    <META NAME="ROBOTS" >可以写成
    <META NAME="ROBOTS" >;
    <META NAME="ROBOTS" >可以写成
    <META NAME="ROBOTS" >
    需要注意的是:上述的robots.txt和Robots META标签限制搜索引擎机器人(ROBOTS)抓取站点内容的办法只是一种规则,需要搜索引擎机器人的配合才行,并不是每个ROBOTS都遵守的。
    绝大多数的搜索引擎机器人都遵守robots.txt的规则,而对于RobotsMETA标签目前支持的并不多,但是正在逐渐增加,如著名搜索引擎GOOGLE就完全支持,而且GOOGLE还增加了一个指令“archive”,可以限制GOOGLE是否保留网页快照。例如:
    <META NAME="googlebot" >
    表示抓取该站点中页面并沿着页面中链接抓取,但是不在GOOLGE上保留该页面的网页快照。复制内容到剪贴板代码:
    例子:
    # robots, scram
    User-agent: *
    Disallow: /cgi-bin
    Disallow: /TRANSCRIPTS
    Disallow: /development
    Disallow: /third
    Disallow: /beta
    Disallow: /java
    Disallow: /shockwave
    Disallow: /JOBS
    Disallow: /pr
    Disallow: /Interactive
    Disallow: /alt_index.html
    Disallow: /webmaster_logs
    Disallow: /newscenter
    Disallow: /virtual
    Disallow: /DIGEST
    Disallow: /QUICKNEWS
    Disallow: /SEARCH
    User-agent: Mozilla/3.01 (hotwired-test/0.1)
    Disallow: /cgi-bin
    Disallow: /TRANSCRIPTS
    Disallow: /development
    Disallow: /third
    Disallow: /beta
    Disallow: /java
    Disallow: /shockwave
    Disallow: /JOBS
    Disallow: /pr
    Disallow: /Interactive
    Disallow: /alt_index.html
    Disallow: /webmaster_logs
    Disallow: /newscenter
    Disallow: /virtual
    Disallow: /DIGEST
    Disallow: /QUICKNEWS
    Disallow: /SEARCH
    User-agent: Slurp
    Disallow: /cgi-bin
    Disallow: /TRANSCRIPTS
    Disallow: /development
    Disallow: /third
    Disallow: /beta
    Disallow: /java
    Disallow: /shockwave
    Disallow: /JOBS
    Disallow: /pr
    Disallow: /Interactive
    Disallow: /alt_index.html
    Disallow: /webmaster_logs
    Disallow: /newscenter
    Disallow: /virtual
    Disallow: /DIGEST
    Disallow: /QUICKNEWS
    Disallow: /SEARCH

    PS~~建议加上robots.txt:原因是有些虚拟主机服务商自定义了404页面,在文件类型不确定的时候,有可能导致spider认为404页面是robots,解决办法是可以在目录下放一个空文件名字叫robots.txt就可以了。。。


    本帖子中包含更多资源

    您需要 登录 才可以下载或查看,没有帐号?立即注册

    该会员没有填写今日想说内容.
    回复

    使用道具 举报

    184

    主题

    0

    好友

    1万

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

  • TA的每日心情

    2019-4-6 00:56
  • 签到天数: 270 天

    连续签到: 1 天

    [LV.8]以坛为家I

    发表于 2016-9-25 17:57:13 |显示全部楼层
    月底前,沪杭甬将在200个出口收费车道上线支付宝缴费功能,就是说,国庆出去玩,接下来支付宝将逐渐“占领”浙江各大高速公路收费站,并在全国范围内推广使用。
    是什么信念让你每天都能坚持在天还黑或者天刚亮的时候就开始工作了?
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    百度SEO教程|谷歌SEO学术|百度SEO谷歌|网站SEO优化|雅酷SEO论坛  

    GMT+8, 2019-8-24 19:00

    Powered by Discuz! X2.5

    © 2001-2012 Comsenz Inc.

    回顶部