本文数据来自我本机岗位池抓取线近一周的真实运维记录,命令与复算均可复现。涉及的公司、账号、内网地址与工作区路径均已泛化;文中公司一律以 A / B / C / D 指代。

一、问题:curl 看到的 200,是一张空壳

我在维护一个岗位池。每家公司的公开招聘入口,按证据抓取时间记录,超过 7 天就要重抓,确保登记在案的岗位是「当前还在招」的。

重抓的第一版方案很朴素:对每家公司发一个 HTTP GET,拿状态码、拿正文,正则抠岗位条目。跑起来才发现,这版方案在大部分站点上拿到的不是岗位,而是一张空壳。

空壳长什么样?状态码 200,Content-Type 是 text/html,响应字节几千到几万不等,正文里没有任何岗位标题,只有一段加载动画和一段 JS 引导。岗位数据不在这个响应里——它由前端脚本在浏览器里异步请求、渲染出来。典型的单页应用(SPA)结构:你看到的页面是「壳」,真实内容在壳后面的接口里。

拿我 11 月 14 日第一批重抓的 10 家实测数据说:10 家门户全部 HTTP 200,无一例外。但 10 家的岗位条目,没有一个是从原始 HTML 里抠出来的,全部是浏览器渲染之后才出现的。其中渲染出的条目数从 10 条到 33 条不等,门户文案也各不相同——有的写「共 570 个岗位」,有的写「显示 1-10,共 2171 职位」,有的分页开到 272 页。

这里有个特别容易踩的坑,也是我写这篇的动机:如果你只看状态码,会得出「10 家全部正常、全部有数据」的结论,然后高高兴兴把空壳当证据归档。 等结算日对账时才发现,证据文件里一个岗位标题都没有,整批登记全部作废。状态码 200 证明「服务可达」,不证明「数据在」。空壳页面把这两者彻底拆开了。

二、通道分层:先直取,再渲染,最后互证

空壳问题逼着我把抓取通道拆成三层。不是随便分的,是按「成本从低到高、证据从弱到强」排的。

层 1:直取接口。 部分站点的岗位列表接口可以直接请求,不需要浏览器。但这层不是万能的,每家站点的接口脾气不一样,得一家一家适配:

  • Moka 系招聘(不少中小公司和创业公司在用):先建 cookiejar,再走 api.mokahr.com 的列表接口,不带 cookie 会被拒。
  • 百度系:getPostListNew 接口必须带 cookie 和 Referer,缺了直接返回 illegal-visit,连错误码都不给得像样一点。
  • 同花顺系:apply_list 接口有个参数陷阱,applyColonyId=0 是默认值,但带上它反而返回空,删掉这个参数才有数据(实测 total=5)。

直取层成本最低、速度最快,能用就用。但很多大厂门户不给你这条路——接口要么不存在,要么有签名校验,要么对非浏览器请求直接返回 405 / 404。

层 2:渲染态回退。 curl 被反爬拦下来(405、404,或者返回一个和岗位毫无关系的空壳)时,不要判「这家没数据」,也不要判「这家反爬太强放弃」。正确动作是换一条通道:真实浏览器渲染。用 Playwright 这类无头浏览器,以未登录的访客身份打开同一个 URL,等页面把 SPA 渲染完,再从渲染后的 DOM 里取岗位条目。

我实测里最典型的一组对照:同一批 9 家公司,直取层全部被拦(405 / 404 或空壳),换渲染通道后 9 家全部拿到真实岗位条目。同一 URL、同一时刻,直取和渲染的结果可以天差地别,差的不是网络,是渲染。

层 3:互证对账。 抓到数据只是一半,另一半是证明「你抓到的确实是这家在招的岗位」。渲染通道拿到的内容,必须和登记字段互证:岗位标题在渲染快照里出现、标识字段(岗位 ID / 详情链接)能在快照里对上。对不上的,宁可不入册,也不硬凑。

三层通道的关系是回退而不是替代:层 1 能用就用,层 1 失败自动落层 2,层 2 拿到的数据必须过层 3 的互证才算数。

三、渲染态回退怎么落地:未登录、等渲染、逐字落盘

渲染通道的实现细节,直接决定证据可不可信。我的做法有三条铁律。

铁律一:不登录,访客态渲染。 岗位池抓取的边界是「只读公开信息」,所以渲染一律用未登录的访客身份。不注册、不登录、不投递、不提交任何表单。访客态能渲染出岗位列表的站点,就够入册了;需要登录才看得到列表的,如实标「未获取」,不绕路。

铁律二:等渲染完成,而不是等网络空闲。 SPA 的坑在于:网络请求早就结束了,DOM 还没渲染完。如果只等 load 事件就截图取数,拿到的是半截页面。实测中我给的等待策略是:先等加载状态稳定,再额外等一段渲染时间(约 2~5 秒,按站点调整),必要时做第二轮更长的等待,排除「渲染慢导致漏抓」。

铁律三:快照逐字落盘,不经过手。 渲染取到的条目,原文写入证据文件,不做任何改写、缩写、概括。我的证据文件里固定带几类原文行,方便对账时逐字比对:

1
2
3
VERBATIM | - heading "Agent 弹性计算研发工程师" [level=2]
VERBATIM | - link "查看职位 海外业务风控算法工程师 上海|技术类|全职|2026-11-13 发布"
VERBATIM | HTTP 200 | https://<门户域名>/position-list?lang=zh | 8290 bytes | 2026-11-14 06:02:03

最后一行尤其重要:HTTP 状态、URL、响应字节、抓取时刻,四样一起落盘。有了这一行,任何一条登记都能回溯到「什么时候、从哪个地址、以什么状态抓到的」,复盘时不用再猜。

还有一个环境坑值得点名:部分站点的前端 JS 挂在 CDN 上,直接 curl 拿到的是压缩乱码,必须加 --compressed 才能解出可读内容。渲染通道虽然绕开了这个问题,但直取层的适配脚本里,这条参数是标配。

四、互证设计:两个证据件 + 字段对账

渲染通道解决了「怎么抓到」,互证设计解决「抓到的能不能信」。我的登记结构里,每家公司必须同时落两个证据件:

  • evidence_file(抽取结果):从渲染快照里抽取出的结构化结果,含岗位标题、标识、URL、抓取时刻等字段。
  • render_snapshot(渲染快照):渲染后页面的原始证据(DOM 或文本快照,或渲染出的 JSON 本身)。

互证规则是:evidence_file 里的每个关键字段,都要能在 render_snapshot 里找到对应原文。岗位标题在快照里出现、标识字段能在快照里对上,才算互证通过。两个证据件缺一个、或对不上,一律不入册。

这么做的直接收益,是把「编数」的口子堵死。我有一条独立的对账脚本(复算器),每次入册后跑一遍全量重算,末行输出一个机器可读的结论,比如:

1
2
3
LEGACY_BASELINE = 46
CONFIRMED_NEW = 40
RESULT: J1V = 86

再跑一次独立的验证脚本,检查「卡面上的值能不能在命令输出里找到」——找不到的,按编数嫌疑计数。我 11 月 19 日那次 4 家入册后,验证输出是这样的:

1
2
3
4
J1V   目标≥ 65  卡上Y  本次PASS  目标≥ 65 实测86
      卡上值命中输出: 1/1  ★全部命中
汇总: PASS=6 FAIL=0 BROKEN=0
卡上值在命令输出中找不到(编数嫌疑): 0 处

编数嫌疑 0 处,是互证设计跑通之后才拿到的结果。改之前这个值是 4(卡面写 86,命令只数出 82,差值就是 4 家没经过互证就入册的)。数字对不上的时候,第一反应不是改卡面,是回去查证据。

五、四个真实坑:指错文件,对账就崩

互证设计听上去简单,落地时踩的全是「文件指错」的坑。11 月 19 日那次 4 家入册,每一家都踩了或绕开了一个具体的坑,值得逐个讲。

坑一:该有 dom/text 快照,结果没有。

公司 B(某通信大厂)的登记里,render_snapshot 按惯例指向一份 DOM 快照(*_dom.html)和一份文本快照(*_text.txt)。但实际执行时发现,这轮 B 只落了 probe 抽取结果 B.json,两份快照根本不存在。照字面规则执行,直接报 INVALID: evidence_file 或 render_snapshot 不存在,入册流程当场卡死。

解法:快照不存在时,让 render_snapshot 指向抽取结果本身,但前提是抽取结果里必须含岗位标题且唯一出现。B.json 里岗位标题「AI 安全技术研究专家」出现 1 次,唯一性成立,指向自身是合法的。规则的目的是互证,不是形式上必须有 dom 文件——别把手段当目的。

坑二:标识字段只在详情链接里,文本快照不含。

公司 C(某金融科技公司)的登记里,岗位标识是数字 jobid 173195453。这轮落的文本快照里不含这个 id,它只出现在列表 JSON 的 href 字段里。如果按惯例把 render_snapshot 指到文本快照,互证立刻报「render_snapshot 未互证 job_title / identifier」。

解法:把 render_snapshot 指到包含标识字段的那个文件——这里是 C_joblist.json。互证的口径是「字段能在被指向的快照里找到」,所以指谁,取决于字段在哪个文件里。

坑三:evidence 和 render 两个件指了同一个文件。

公司 D(某互联网银行)的登记里,evidence_file 需要含 URL 字段,render_snapshot 需要含具名岗位标题。如果图省事把两个件都指向同一个抽取 JSON,就会触发「未互证字段 url」——因为那个 JSON 里可能只有标题没有 url,或者只有 url 没有标题,两个件的字段要求没有被分别满足。

解法:两个件拆开指。evidence_file 指含 URL 的 D_search.json,render_snapshot 指含具名标题的 D_jobs.json,各取所需,互证才成立。

坑四:文件命名骗人。

过程目录里有一组文件叫 _1_dom.html / _1_text.txt,按命名顺序看像是公司 B 的快照。但打开头部一看,URL 是某电商大厂的招聘门户(talent.<某电商域名>/?lang=zh),是另一家公司的退化样本,跟 B 毫无关系。

这个坑最阴:命名、序号、时间戳都像,只有内容是别人的。解法只有一条——指文件之前,先看文件内容里的 URL/标题,用内容核验归属,不用命名核验归属。命名只是给人看的,内容才是证据。

四个坑归成一句话:互证的锚点是文件内容,不是文件名字。 指错一个文件,轻则 INVALID 卡流程,重则拿别家的证据入册,对账数字就跟着错。

六、数字怎么算出来的:recount 与编数嫌疑

讲完通道和互证,最后把这套设计在数字上的结果摆出来,这也是我认为最值得抄的部分。

入册侧。 11 月 19 日那次渲染法入册,confirmed_registrations 从 36 条追加到 40 条,新增 4 家(A / B / C / D),四家全部 in_legacy=False、无重复、不合并集团。登记册字节数从 46,089 B 增长到 48,938 B(+2,849),只追加、不重排,既有 36 条登记一字未改(用 dump 幂等校验过,改后序列化与原文件完全一致)。

复算侧。 每次入册后跑全量重算,口径只有一套:

1
2
3
LEGACY_BASELINE = 46     # 历史基线,一字未改
CONFIRMED_NEW = 40       # 40 条互证通过的登记
RESULT: J1V = 86         # 46 + 40

验证侧。 独立验证脚本再查一遍:卡面值能否在命令输出中找到。改前是「卡面 86 / 命令 82」,差 4,每轮点名;改后「编数嫌疑 0 处」,PASS=6 / FAIL=0 / BROKEN=0。

诚实下降侧。 这套设计不只是用来凑数的,也用来如实报下降。11 月 14 日第一批重抓的 10 家里,4 家原登记的具体岗位在新一轮渲染快照里 0 命中——岗位轮换下架了,但公司门户还好好开着(一家写「共 570 个岗位」,一家写「共 2171 职位」,首屏条目全是新发布的)。按宽松口径,可以换个当前在架的岗位标题把它们重新算回有效;但我没有。登记岗位对不上,就如实记失效,不换锚硬凑。 重算后有效登记从 50 降到 46,这个数字是真实的,比硬凑出来的 50 有用。

三个数字(86、46、40)的关系,就是这套设计的全部意义:86 是互证通过后的全量,46 是时效线淘汰后的余量,40 是每轮新增的增量。 每个数字都有复算器背书,每个数字都能被第三方独立跑出来。

七、可以抄走的几条

写到最后,把一周的踩坑压成几条能直接贴的规矩:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
1. 空壳识别:curl 拿到 200 ≠ 有数据。正文里没有岗位条目、
   只有 JS 引导的,就是 SPA 空壳,转渲染通道。

2. 通道回退:直取接口优先(按站点适配 cookie/参数),
   被拦或空壳就换真实浏览器渲染,访客态、不登录。

3. 渲染三铁律:未登录渲染、等渲染完成再取数、快照逐字落盘
   (状态码 + URL + 字节数 + 抓取时刻一起留)。

4. 互证两证据件:evidence_file 抽取结果 + render_snapshot 渲染快照,
   字段必须能在快照里对上,对不上不入册。

5. 指文件看内容不看命名:文件名、序号会骗人,
   内容里的 URL/标题才是归属证据。

6. 对账三件套:全量重算(RESULT 行)+ 独立验证(编数嫌疑)+
   卡面值双向核对,数字对不上先查证据,不先改卡面。

7. 不凑数:岗位轮换下架就如实记失效,
   换锚硬凑的数字,比没有数字更危险。

岗位池这类数据抓取的活儿,真正的难度从来不在「怎么写请求」,而在「抓到的数据能不能被信任」。直取、渲染、互证这三层通道,每一层都在给「可信」加一道锚:状态码是第一道,渲染是第二道,互证对账是第三道。三层都过,数字才站得住;任何一层偷懒,对账日就会把欠的债连本带利算回来。


本文为「岗位池运维实录」系列之一,数据均可由文中复算命令独立复现。