有道 - 网易旗下搜索

帮助
帮助首页 > 站长帮助中心
关于robots.txt
  • 怎样分别指定不同的网络爬虫?
    这个操作很简单,只要分别指定“谁能或不能访问怎样的链接”即可。例如:
    User-Agent:  YoudaoBot
    Disallow:

    User-Agent: *
    Disallow: /private
    上面的robots.txt表明,名为YoudaoBot的爬虫可以抓所有的内容,其它名称的爬虫不能抓以"/private"开头的链接。

有道首页 - 帮助 - 关于有道 - 官方博客

© 2012 网易公司