01
最小字段集
缺少 host 会混淆多站请求，缺少响应时间无法发现慢页面，缺少 User-Agent 无法做爬虫分类。记录字段时同时考虑隐私和保存周期。
- 时间与时区
- Host 与请求路径
- 状态码与响应字节
- 响应时间
- User-Agent
02
聚合维度
按搜索引擎、目录、状态码和小时聚合，能快速发现某一类页面集中异常。不要仅使用全站累计次数判断系统健康。
03
告警条件
5xx 比例持续上升、重点目录 404 激增、站点地图被反复请求但返回异常、核心页面抓取间隔明显变长，都应进入人工复核。