死链接检测 - 怎样安排最小修复试验
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /d0901fcf98df.html
📄
死链接检测 - 怎样安排最小修复试验
最小修复试验的做法是：先选一小批已确认返回404或410的死链接，只改一个变量，例如只修内部链接指向、只加一条重定向或只恢复页面，然后重新抓取同一批URL，对比修复前后的状态码与来源页面，确认改动确实生效且没有引入新的死链接。试验范围要小到能在一轮内完成，又要大到能区分“改动有效”和“偶然波动”。下面用一个假设例子说明怎么安排。
假设例子：12条死链接的两轮修复
假设某内容站有约800个页面，爬取后发现12条内部链接指向不存在的URL，其中7条出现在文章正文，5条出现在侧边栏模板。这12条是本次试验的全部对象，不扩大到其他警告类型。
- 把这12条链接的完整URL、所在来源页、锚文本、首次发现时间记入一张表。来源页是判断影响面的关键，同一目标URL被多个页面引用时要分别记录。
- 先只处理正文中的7条：把链接改为指向现存的相关页面，不新增重定向，也不删除链接。侧边栏5条保持原样，作为对照组。
- 重新抓取这12条目标URL和它们所在的来源页，记录每个URL的状态码。正文7条应从404变为200；侧边栏5条应仍为404。
- 若正文7条全部变为200，且来源页没有出现新的404，说明“改内部链接指向”这一手段在正文场景有效，可以推广到侧边栏。若只有部分生效，先检查是否漏改了某个来源页，而不是急着换方案。
一次只改一个变量
死链接的成因不同，修复手段也不同。常见成因包括：页面被删除且无替代内容、URL被改写但旧地址仍被引用、链接拼写错误、外部站点失效。针对不同成因，可选手段有改链接指向、加301重定向、恢复或重建页面、直接移除链接。
如果一轮里既改链接又加重定向，即使状态码恢复正常，也无法判断是哪一步起了作用。最小试验要求同一轮内只动一个变量。建议按下面的顺序逐个验证：
- 先试改链接指向，成本最低，不涉及服务器配置。
- 改链接无法解决时，再试对单个旧URL加301，观察目标页是否返回200。
- 只有当旧URL有持续外部引用价值时，才考虑恢复页面，否则重定向或移除更省事。
需要区分“可能原因”和“已经定位的原因”。抓取工具报404，可能原因包括页面确实不存在、服务器临时故障、抓取时被限流，也可能是大小写或末尾斜杠不一致导致。只有逐条核对响应头和实际内容后，才能把某一条判定为已定位的死链接。
检查项与判断结果
每轮试验结束后，按以下检查项逐条核对，而不是只看总数有没有下降：
- 目标URL状态码：修复后应为200或301，仍为404说明该手段对这条无效。
- 来源页状态码：修复不应让原本正常的来源页出错。
- 重定向链长度：若出现A到B、B到C的多跳，应直接指向最终地址，避免链条过长。
- 链接锚文本与落地内容是否相关：状态码正常但指向无关页面，对用户仍是坏体验。
- 是否有新增死链接：修复过程中改动模板或批量替换，可能产生新的404。
判断结果的标准要事先定好。例如假设约定“本轮12条中至少10条恢复200，且无新增404”才算通过。达到就扩大范围，未达到就先分析失败的那几条属于哪类成因，再决定是否换手段，而不是直接全站铺开。
常见错误
第一类错误是范围失控。发现死链接后直接全站批量替换或批量重定向，一旦规则写错，影响面远大于原来的十几条链接，回滚也困难。第二类错误是只改数据库或模板却不重新抓取验证，以为保存即生效。第三类错误是把robots.txt的抓取限制当成修复手段：限制抓取只是让爬虫不再访问，并不等于把已存在的死链接从索引中移除，也不解决用户点击后打不开的问题。第四类错误是忽略站点地图和重定向的边界：站点地图里列出某个URL，不代表它一定能被收录；加了301，也不代表所有搜索引擎都会按同样方式处理，需要分别核查。
还有一类容易被忽略：修复后不记录。没有修复前后的对照表，下次再出现同类问题时无法判断哪种手段有效。试验的价值一半在结果，一半在留下可复用的判断依据。
下一步
先整理出当前已确认的死链接清单，按来源页类型分组，挑出数量最少的一组作为第一轮试验对象，只改一个变量并重新抓取验证。把每轮的改动内容、检查项结果和结论记在同一张表里，再决定是否扩大范围。
