企业知识有一大半住在没有 API 的老系统里:部门 Wiki、五年没升级的 OA 门户、各团队自建的项目站——网页是它们唯一稳定的出口,爬虫因此成了内网知识进 RAG 的必经之路。但内网爬虫与公网搜索引擎是两种生物:搜索引擎是游客,看什么随缘;内网爬虫是持工牌的员工,第一约束不是「能抓多少」,而是「不该抓的一个都不能抓」——权限边界一旦被穿透,索引就成了泄露放大器。本文按范围与权限、增量重访、礼貌与稳定、双向验收四条线拆解内网抓取的工程设计。

抓取范围与权限绑定:先划圈,再动手
公网爬虫的默认姿势是从一个种子页出发漫无边际地跟随链接,内网爬虫不能这么干。抓取范围要在动手前用三样东西圈死:入口种子、URL 模式白名单和身份边界。入口种子优先选门户导航页与目录页,它们的链接结构最稳定,能自然覆盖大部分业务页面;不少内网系统其实自带站点地图文件,有就直接用,省去大量链接猜测。URL 模式白名单用前缀匹配圈定允许抓取的路径段,再用参数黑名单排除会话 ID、打印视图、排序翻页这类「同一内容的无数张脸」——不做参数收敛,URL 空间会指数爆炸,索引里塞满重复页,这是内网爬虫最常见的第一个事故。
圈定范围还有两个容易漏的细节。一是认证方式:内网系统五花八门,有表单登录,有统一的单点登录,爬虫要维护会话的登录态,会话过期后要能自动重新登录,而不是把登录页当正文收进索引——索引里混进几篇「请输入用户名密码」,检索时就是灾难现场。二是功能性页面的排除:日历视图、搜索结果页、个人工作台这类页面千变万化又没有知识价值,要在白名单层面显式排除,否则它们会把抓取预算吃光。
身份是范围问题的另一半。抓取用哪个身份进来,决定了能看到什么。用高权限服务账号抓取,覆盖最全,但必须逐页记录「这个页面对哪些角色可见」,把 ACL 快照随文档一起入库,查询期再按用户身份过滤——查询期的权限过滤是另一个专门话题,这里的关键纪律是:抓取时的可见性必须原样带回索引,绝不能默认「进得来索引的就是公开的」。用某个普通用户的会话抓取,天然带权限、不容易越权,但覆盖不全,而且这个人转岗离职后抓取面立刻塌掉。生产上常见的折中是服务账号抓取加严格 ACL 快照,配合按角色做 dry-run 比对,两头的风险都有人盯着。
更要警惕的是穿透风险。内网老系统的权限实现普遍粗糙:列表页校验了身份,详情页却只靠自增 ID 区分、忘了鉴权;前端把菜单藏起来,后端接口谁请求都返回数据。爬虫不懂「潜规则」,它会老老实实顺着可枚举的 ID 把所有详情页抓走,而且抓取行为本身会在访问日志里留下大量越权记录,把系统的权限漏洞放大成安全事件。所以首次抓取前要做一轮权限面扫描:用两三个不同权限等级的身份抽样对比同一批 URL 的响应差异,凡是「低权限身份也拿得到全文」的页面,先报给系统管理员修复,而不是悄悄收进索引。范围与权限的结论只有一句:先划圈再动手,圈内有 ACL 快照兜底,圈外一个字节都不碰。
增量重访:条件请求与巡逻排班
首次全量抓完不是项目的结束,而是运营的开始——内网页面天天在改,抓取系统真正的工作量在重访。重访的第一件武器是 HTTP 条件请求:带上实体标签走 If-None-Match,或带上最后修改时间走 If-Modified-Since,服务器内容没变就回一个轻量的 304,省掉正文传输,这是最便宜的增量检测。麻烦在于老系统往往不支持这些头,退化方案是完整抓回正文后做内容哈希比对——先把正文规范化(剥模板残留、去空白、统一编码)再算哈希,哈希一致就当没变更丢弃。两种手段并存,能用条件请求就用,不能就退到哈希比对,成本差一个量级但正确性相同。
第二个问题是「什么时候去看它」。给所有 URL 排一个统一的重访周期是最省事的错误答案:财务公告区每周都变,历史归档区三年没动过,两者用同一节奏,要么浪费预算要么漏更新。更好的模型是巡逻排班:每个 URL 维护自己的历史变更记录,最近几次变更的时间间隔就是它的「变更频率画像」,变更频繁或业务重要的页面巡得勤,安静的页面巡得疏,每次重访之后再根据结果修正间隔。在它之上再套一层重访预算——内网服务器经不起冲击,每天允许发起的抓取总量有上限,预算按「变更概率乘以业务权重」从高到低分配,确保有限预算永远花在最可能变化、最要紧的页面上。
重访优先级还有一条捷径可走:很多系统留有现成的变更信号,站点地图的更新时间、订阅流、列表页的「最近更新」栏目,都比盲猜重访时机便宜。把这些信号接进重访计划,等于给巡逻排班配上了哨兵,预算消耗会明显下降。
还有一类现实困难是渲染:部分内网系统用前端框架拼页面,抓回来的 HTML 里没有正文,只有脚本占位。对这类页面要上无头浏览器渲染后再抽取,代价是单页耗时从毫秒涨到秒级,更要靠变更频率画像把它们圈出来按需渲染,而不是全量走重炮。能不能判断「正文是否真的抓到了」——正文长度阈值、正文与页面模板的相似度——决定了这批页面是静默丢失还是被及早发现。
flowchart TD
A["重访计划队列"] --> B["按当日预算取出候选"]
B --> C["发条件请求"]
C --> D{"返回 304"}
D -->|"是"| E["按未变更修正重访间隔"]
D -->|"否"| F["抓回正文"]
F --> G["规范化并计算内容哈希"]
G --> H{"哈希有变化"}
H -->|"否"| E
H -->|"是"| I["解析正文并提取 ACL 快照"]
I --> J["更新索引文档与版本记录"]
J --> E
E --> A
重访循环里有一个容易漏掉的分支:抓取失败与内容消失。连续失败的 URL 要熔断摘出并告警,而不是永远重试空转预算;返回 404 或被重定向到登录页的 URL,要按「内容可能已下线或迁移」处理,触发人工复核而不是直接删除——下线和改权限在老系统里经常是同一副面孔。增量设计的完整目标可以概括成一句话:在同样的语料新鲜度下,请求数与对老系统的压力最小;在同样的请求预算下,变更被发现得最早。
礼貌与稳定:对老系统手下留情
内网服务器和公网云服务不是一个物种:一台跑着 OA 的老虚拟机可能只有一颗 CPU,全公司的报销、请假、审批都指着它。爬虫把它打挂,等于让全公司当天没法出差报销——这不是吓唬人,内网工具链里真实发生过的事故形态就是「一个全量抓取干掉一台老龄服务器」。因此内网爬虫的礼貌参数要比公网严格得多:对单台主机的并发压到一至二,请求间隔以数百毫秒起步,全量抓取安排在夜间低峰窗口分批进行;请求头里带上可识别的 UA 标识和联系方式,让系统管理员能在日志里认出你、在误拦时联系上你。内网爬虫被防火墙当成攻击拦下,多数时候就是因为 UA 像来历不明的脚本,白白浪费一轮排障时间。
失败处理要区分类型而不是无脑重试。网络超时与 5xx 走指数退避,连续失败达到阈值就熔断摘出并告警,防止把局部故障放大成雪崩;返回登录页或 403 的按权限变化处理,降级重排并记录待查,不硬闯也不静默吞掉;返回 404 的按内容下线处理,进复核队列。所有异常都要落一条结构化日志,因为内网系统的异常往往不是爬虫的问题,而是老系统本身在报警,爬虫团队经常是第一个发现的。
// 重访调度示例:巡逻排班 + 条件请求 + 失败退避
interface VisitRecord {
url: string;
etag?: string; // 上次响应的实体标签
contentHash?: string; // 规范化正文哈希,条件请求不可用时的兜底
intervalDays: number; // 自适应重访间隔
importance: number; // 业务权重 1 到 5
lastVisitAt: number; // 上次成功重访的时间戳
failStreak: number; // 连续失败次数
}
// 巡逻排班:变更频繁或重要的页面巡得勤,失败则拉长间隔
function nextVisitAt(rec: VisitRecord): number {
const shrink = Math.max(0.2, 1 - rec.importance * 0.15);
const backoff = Math.min(8, 2 ** rec.failStreak);
return rec.lastVisitAt + rec.intervalDays * shrink * backoff * 86_400_000;
}
async function revisit(rec: VisitRecord, http: Http): Promise<"changed" | "unchanged"> {
const res = await http.get(rec.url, {
headers: {
// 条件请求:内容未变时服务器只回轻量 304
...(rec.etag ? { "If-None-Match": rec.etag } : {}),
},
});
if (res.status === 304) return "unchanged";
const hash = sha256(normalizeBody(res.text));
if (hash === rec.contentHash) return "unchanged";
await upsertDocument(rec.url, extract(res.text), aclSnapshot(res));
return "changed";
}
| 配置项 | 推荐做法 | 理由 |
|---|---|---|
| 单主机并发 | 控制在一到二 | 老系统负载能力弱 |
| 请求间隔 | 数百毫秒起步 | 高峰期不挤占业务流量 |
| 全量抓取窗口 | 夜间低峰分批 | 大批量抓取放在低压力时段 |
| 请求头标识 | 带产品名与联系方式 | 便于管理员识别与放行 |
| 失败策略 | 指数退避加熔断告警 | 不把局部故障放大成事故 |
| 权限异常 | 降级重排并记录 | 不硬闯也不静默吞掉 |
限速策略还可以更聪明一点:观察老系统的响应延迟,延迟明显上升就主动降速——这是服务器在喘气的信号。抓取日志要同步给系统管理员一份,让「昨晚抓了哪些页面」可查,出了性能问题能快速对齐时间线。这种透明度决定了爬虫在内网的社会容忍度。
礼貌的本质,是把「我们是对内服务的一部分」写进参数里:爬虫团队和系统管理员是同事,不是攻防对手。
验收:该收的都收,不该收的一个没有
内网爬虫的验收是双向的,两个方向都要拿证据说话。覆盖方向做正向抽样:从每个接入的系统里人工挑一批「必须收进来」的样本页,覆盖不同部门、不同层级、不同页面模板,逐页确认它们进了索引且正文完整——只看抓取日志的页数会漏掉「抓到了但解析坏了」的暗坑,日志说抓了三百页,索引里可能只有二百页是能读的。权限方向做反向抽样:列一份低权限身份不可见的页面清单,逐页确认索引里一个都没有;同时用不同角色的会话重放一遍 dry-run 抓取,比对各角色看到的页面集合,差异异常扩大往往意味着某个系统的鉴权悄悄松了。
上线节奏也值得交代一句:先跑影子模式——爬虫完整抓取并构建索引,但检索入口不开放,用影子索引跑两周审计与抽样,确认覆盖与权限两个方向都干净,再切流量。上线之后的每一次新增源,都按同一套双向验收重走一遍,新增源是新事故的头号来源。
还有持续性要交代:权限不是一次审计管终身的。系统管理员会调整目录权限,组织会变动,所以 ACL 快照要有刷新机制——重访时顺带刷新快照,权限模型变更事件触发定向重抓。验收标准可以压缩成一句话:覆盖率证明这套爬虫有价值,权限审计证明它安全;只有前一个证据就上线,是拿安全换进度。
小结
内网抓取的工程重心与公网搜索完全不同。范围靠入口种子与 URL 白名单圈死,身份靠服务账号加逐页 ACL 快照带回索引、交给查询期过滤消费;增量靠条件请求与内容哈希双轨检测,按变更频率画像分配巡逻预算;稳定靠限速、错峰与退避,对老系统手下留情。它的验收从来不是单一指标——「该收的都收」与「不该收的一个没有」要同时成立,后者是红线。内网爬虫先问权限,再问覆盖,这个顺序不能倒。
读者留言
COMMENTS 暂无还没有留言,来说第一句?