有道 - 网易旗下搜索
帮助
有道首页
|
更多有道产品
站长帮助中心
网站抓取
网站索引与更新
关于robots.txt
帮助首页
> 站长帮助中心
关于robots.txt
怎么使用robots.txt？
建议您在站点的根目录下存放一个robots.txt文件。我们的爬虫在第一次抓取您站点时会首先确认根目录下是否有robots.txt文件。例如，您的网站地址是www.abc.com，我们会首先抓取http://www.abc.com/robots.txt再进行后续操作。如无法访问robots.txt文件，系统则默认为您站点的每个链接都可以被抓取。
有道首页
-
帮助
-
关于有道
-
官方博客
© 2012 网易公司