01
公开一致
同一 URL 不因访问者是否为蜘蛛而展示不同主题或跳往不同目标。需要迁移时使用面向所有访问者的一致 301。
02
可观测
每个批次记录来源、目标 URL、发布时间、状态和日志结果。无法复核的“蜘蛛数量”不应作为服务质量依据。
03
可停止
出现大量错误状态、页面质量异常或目标站变更时，应能暂停入口并清理站点地图和内链，避免持续制造抓取浪费。
可追踪蜘蛛池的边界与实现原则
搜索蜘蛛和普通用户应看到一致的主体内容。入口系统用于改善发现路径，不应用于隐藏跳转、伪造内容或绕过搜索质量判断。