有道 - 网易旗下搜索

帮助
有道首页 | 更多有道产品

站长帮助中心

帮助首页 > 站长帮助中心
关于robots.txt
  • 怎样分别指定不同的网络爬虫？
    这个操作很简单，只要分别指定“谁能或不能访问怎样的链接”即可。例如：
    User-Agent:  YoudaoBot
    Disallow:

    User-Agent: *
    Disallow: /private
    上面的robots.txt表明，名为YoudaoBot的爬虫可以抓所有的内容，其它名称的爬虫不能抓以"/private"开头的链接。

有道首页 - 帮助 - 关于有道 - 官方博客

© 2012 网易公司