先看失效链接是否集中在同一注册域、同一IP段或同一CMS模板,再抽查单条链接的返回状态与落地页内容。若同一域下多条链接在同一天返回相同错误码,优先按源站故障处理;若错误码、失效时间和落地页表现各不相同,则更可能是逐条失效,需要进入保留、改写或退出的逐项判断。
把失效链接按注册域分组,是区分两类原因最省力的动作。具体做法是:导出所有失效URL,提取主机名,再按注册域聚合。如果某个注册域下超过半数的链接在同一天失效,且返回码一致,例如全部是404或全部是503,这组链接应当先当作源站故障候选,暂缓逐条处置。
反过来,如果同一天失效的链接分散在十几个不同注册域,返回码混杂,有的404、有的410、有的连接超时,那就不支持“单一源站故障”这个解释。此时更合理的假设是各目标页分别发生了改版、删除或迁移,需要逐条核对。
这个动作的结果会直接决定下一步:分组后若故障集中在少数域,先联系对方或等待恢复,不要急着从链接库中删除;若故障分散,则进入逐条判断流程。
源站故障不是靠“感觉整站挂了”来判断,而是看几个可核对的信号。
200,但内页链接全部失效。这通常说明站点程序或数据库出了问题,而不是整站被关闭。404页面带有该站自己的模板、导航或品牌元素,说明服务器仍在响应,只是内容层缺失。这三条同时成立时,保留链接、等待恢复是合理选择。前提是你能接受这段时间内链接暂时不贡献价值,且该域在整体链接结构中不处于关键位置。
如果该域承载了你大部分外部链接,且已经持续数周没有恢复,继续保留的代价会上升。这时应把“等待”改为“准备替代来源”,而不是立刻删除。
逐条失效的特征是:同一域下有的链接正常、有的失效,失效时间分散,返回码不统一。常见原因包括目标页被删除、URL结构改版、内容被合并到新地址。
面对逐条失效,有三种取舍:
这三种取舍不要求同时使用。多数情况下,逐条失效的链接中只有一部分值得改写,其余可以直接退出。
假设某天你发现30条外部链接同时失效。分组后看到:其中22条来自同一个注册域,返回码全部是503,首页仍可访问;另外8条分散在6个不同域,返回码有404和410,失效时间前后相差数天。
按上述信号,22条应归为源站故障候选,先保留并观察;8条归为逐条失效,进入逐项核对。核对时发现其中3条的目标页已迁移到新URL且主题一致,可以改写;另外5条目标页已删除或主题偏离,标记退出。
这个例子的数字仅用于说明分组比较的方法,不代表任何真实站点的统计结果。
当多个角色对“为什么失效”有不同理解时,不要停留在争论上,而是把判断依据列成可核对的项目:注册域、失效日期、HTTP状态码、首页是否可访问、错误页是否来自源站、目标页是否迁移。每一项都填上可验证的值,分歧自然会收敛到具体条目上。
需要提醒的是,抓取量或请求量归零并不能单独证明源站故障。它也可能是抓取工具配置变更、目标站屏蔽了你的抓取来源、或统计口径调整所致。把归零当作唯一证据,容易误判。同理,某条链接返回200也不等于它仍在传递有效价值,仍需看页面内容是否与链接语境一致。
最终,保留、改写或退出的选择,取决于你能否用可核对的事实支持其中一种解释。分组核对、信号比对、逐项记录,是让这个选择站得住脚的三个动作。