死链检测：批量问题怎样抽样定位
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /a659daf324b1.html
📄
死链检测：批量问题怎样抽样定位
批量死链检测不能只靠全站爬一遍然后逐条看。更有效的做法是：先按来源和URL模式分组，再从每组中抽取少量样本，用HTTP状态码、页面内容和链接位置交叉判断，定位问题集中在哪个模板、哪个目录或哪次改版。抽样只用于快速缩小范围，最终仍需对疑似问题组做全量验证。
准备：先分组，再抽样
直接随机抽URL，很容易抽到正常页面，浪费排查时间。准备阶段的关键是把待检URL按可解释的维度分组：
- 按来源分：站内导航、文章正文、列表页、站点地图、外链、历史重定向。
- 按URL模式分：同一目录、同一参数结构、同一模板生成的页面。
- 按时间分：改版前已存在、改版后新增、最近批量替换过的链接。
分组后，每组抽3到5个样本即可。样本量不必大，但要覆盖该组的典型形态，例如带参数和不带参数各抽一个。如果某组样本全部异常，说明问题很可能来自该组的生成规则，而不是个别页面。
实施：抽哪些、看什么
抽样时优先选择三类URL：链接出现频率高的、位于重要导航位置的、由同一模板批量生成的。检查项包括：
- 请求返回的状态码：404、410通常表示目标不存在；301、302需要继续跟踪最终地址。
- 最终落地页内容：是否与链接锚文本一致，是否跳到了首页或无关页面。
- 链接所在位置：是正文里的普通链接，还是导航、分页、结构化数据中的链接。
- 是否被robots.txt限制：被限制抓取不等于链接有效，也不等于已从索引移除，两者要分开判断。
假设某项目改版后，产品列表页的分页链接批量指向了旧参数地址。抽样时从列表页抽5个分页链接，若其中4个返回404，就可以判断问题出在分页模板，而不是全站链接。这个例子是假设，用于说明判断逻辑：样本异常比例高，指向规则性错误；样本异常比例低，更可能是零散内容问题。
验证：抽样结论必须回到全量
抽样只能提出假设，不能直接当作结论。验证阶段要做两件事：
- 对疑似问题组做全量检测，确认异常比例是否与样本一致。
- 对正常组也抽少量样本复查，避免漏掉只在特定条件下才出现的死链，例如仅移动端、仅登录后、仅特定地区访问时触发。
如果全量结果与抽样结果差异很大，说明分组维度选错了，需要换一个维度重新抽样。例如按目录分组时正常，按模板分组时大量异常，就应以模板为排查单位。判断结果的标准是：异常是否集中、是否可复现、是否与某次发布或某条规则相关。
维护：把抽样变成常规检查
死链会随着内容下架、URL调整和外部引用变化持续产生。维护阶段不必每次全站扫描，可以固定每周或每次发布后，对高风险组抽样：新发布内容、被频繁引用的旧页面、做过重定向调整的目录。发现异常组后，再触发该组的全量检测。
站点地图能帮助发现应被检测的URL，但不保证这些URL会被收录或保持有效；HTTPS也不代表链接不会失效。抽样定位的价值在于用较小成本找到问题集中的位置，而不是替代完整修复。
下一步：从你当前项目的链接来源中选出三个分组，每组抽5个URL，记录状态码、最终地址和链接位置，先确认异常是否集中在某一组，再决定全量检测的范围。
