robots.txt 与抓取规则

检测目的

检查是否存在有效的 robots.txt——它是告诉所有爬虫（包括 AI 爬虫）哪些内容可以抓取的标准方式。

如何计分

计分项。占基础分 100 分中的 10 分。不适用于你的站点的检测项会退出计分池，不会扣分。计分项无法验证时则不同：整次检测会被标记为不完整，不显示基础分——缺少部分证据的分数会产生误导。

结果如何解读

以下文字与报告中各结果显示的内容完全一致。

• 通过

  本次检测中，你的网站在这一项上状态良好，无需处理。

• 需要关注

  本次检测发现该项存在削弱效果的问题。不致命，但修复后 AI 问答引擎能更好地使用你的网站——请参考下方修复建议。

• 未通过

  本次检测未找到有效的 robots.txt。爬虫只能自行猜测抓取范围，你也失去了声明 sitemap 和 AI 策略的标准位置。

• 不适用

  根据检测到的站点类型，这一项不适用，不计入评估。

• 无法验证

  本次检测无法确认该项状态——现有记录不足以区分具体原因。我们不做任何方向的结论。