旺道推广:一次全站扫描被中断后怎样判断已覆盖范围

📍 WDQWDWQD987AAAAA:216.73.216.163
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /017d53ebb767.html
📄

旺道推广:一次全站扫描被中断后怎样判断已覆盖范围

扫描中断后,判断覆盖范围的关键不是“跑了多久”,而是看中断前是否形成了可续跑的检查点。有检查点时,可以按已完成批次继续,并只补扫未完成部分;没有检查点时,最稳妥的做法是把本次结果整体降级为抽样参考,重新规划一次范围可控的扫描,而不是把已抓到的页面直接当成全站结论。

先分清两种中断:可续跑与不可续跑

可续跑的中断,通常留下明确的进度记录,例如已完成的页面清单、批次编号、时间戳或导出文件。此时你能够回答三个问题:哪些页面已经检查过、检查到哪一批、剩余范围从哪里开始。满足这三点,就可以在原有任务上追加,而不必从头再来。

不可续跑的中断,往往只有一份不完整的导出,或者连导出都没有。你无法确认最后一批是全部完成、部分完成,还是刚开始就断了。这种情况下,已覆盖范围实际上是一个未知区间,只能通过抽样回查来估计,不能按导出条数直接推算全站覆盖率。

判断已覆盖范围时,先核对三类证据

第一类证据是任务侧的进度痕迹:批次文件、日志、断点记录或任务列表中的状态字段。第二类证据是结果侧的完整性:导出文件是否有结尾标记,字段是否齐全,是否存在明显被截断的记录。第三类证据是范围侧的对照:用站点地图、栏目列表或内部链接清单,与已扫页面做差集,看缺口集中在哪些目录或模板。

三类证据能相互印证时,覆盖判断才可靠。只有结果条数、没有范围对照,就无法区分“扫完了但页面本来就少”和“只扫了一部分”。

条件一:能拿到断点记录时,按批次续跑

如果任务保留了断点,先做一次范围差集,把未覆盖的页面单独列成补扫清单。补扫时建议缩小单批规模,让每批结束后都能落盘,避免再次中断后回到同样的困境。补扫完成后,把两段结果按 URL 去重合并,再统计最终覆盖数量。

这个动作的结果会直接影响下一步:如果补扫清单能顺利跑完,且合并后与范围对照基本吻合,本次结果可以用于后续判断;如果补扫仍反复中断,说明瓶颈在任务规模或运行环境,应先拆分范围,而不是继续加大批次。

条件二:拿不到断点记录时,降级为抽样参考

没有断点时,不要试图用“已扫条数 ÷ 预估总数”来宣称覆盖率,因为分母本身不可靠。更实际的做法是从未确认覆盖的区域里随机抽取一批页面,人工核对它们是否出现在结果中。如果抽到的页面大多缺失,说明缺口较大,本次结果只能作为局部样本;如果抽到的页面基本都在,也只能说明已扫部分较完整,仍不能等同于全站覆盖。

假设某次任务导出了一批记录,但没有结尾标记,范围清单显示站点约有若干栏目,而已扫页面只集中在其中两个栏目。此时合理结论是“覆盖集中在部分栏目”,而不是“已覆盖大部分站点”。这个判断会决定下一步是补扫其余栏目,还是重新设计扫描范围。

退出旧内容或旧合作关系时,覆盖结论要留出例外

当扫描的目的是为旧内容、旧系统或旧合作关系的退出做依据时,覆盖范围还不足以下最终结论。已覆盖只说明检查过,不代表这些页面都该保留或都该退出。仍应结合页面是否还有流量入口、是否被其他页面引用、是否承担跳转或承接作用来逐项判断。对于扫描未覆盖到的部分,应视为待确认区域,先补查再决定,避免因为一次中断就误删仍有价值的内容。

如果无法补扫,至少要把未覆盖区域标记出来,并在退出决策中保留人工复核环节。这样即使覆盖不完整,也不会把未知区域当成已处理区域。

图1 图2

nginx