01
入口层
首页、栏目页和专题页承担长期入口职责。入口页面应稳定存在、主题明确，并只链接到真实有价值的下游资源。
02
内容层
详情页提供独立主体内容，并通过面包屑、上一篇下一篇或相关内容返回结构。无限分页和筛选参数应明确控制。
03
观测层
把抓取日志、站点地图版本、发布记录和索引反馈关联，才能判断架构改动是否缩短了发现时间。
从抓取路径到页面索引的系统设计
可抓取架构的目标是让重要页面用最少跳数被发现，同时让重复、参数和失效页面尽快退出路径。