有道 - 网易旗下搜索

帮助
帮助首页 > 有道阅读 > 常见问题
关于抓取
  • 有道阅读对于我的网站的抓取太频繁了,怎么办?
    由于YoudaoFeedFetcher的抓取行为是由用户驱动的,所以YoudaoFeedFetcher并不遵守传统的robots.txt文件所描述的规则。对于同一个Feed,一般来说我们两次抓取的时间间隔在半个小时以上;但对于更新频繁的Feed来说,抓取也会相应地频繁一些。另外由于网络延时,有可能出现短时间内多次抓取同一Feed的情况,但这并不是恶意抓取。当您发现YoudaoFeedFetcher对您的站点抓取过于频繁时,请致信:feedback(a)corp.youdao.com,在来信中附上您的网站地址以及情况描述,我们会尽快处理。

有道首页 - 帮助 - 关于有道 - 官方博客 - 惠惠网

© 2017 网易公司