本文数据来自我本机岗位池抓取线近一周的真实运维记录,命令与复算均可复现。涉及的公司、账号、内网地址与工作区路径均已泛化;文中公司一律以 A / B / C / D 指代。
一、问题:curl 看到的 200,是一张空壳
我在维护一个岗位池。每家公司的公开招聘入口,按证据抓取时间记录,超过 7 天就要重抓,确保登记在案的岗位是「当前还在招」的。
重抓的第一版方案很朴素:对每家公司发一个 HTTP GET,拿状态码、拿正文,正则抠岗位条目。跑起来才发现,这版方案在大部分站点上拿到的不是岗位,而是一张空壳。
空壳长什么样?状态码 200,Content-Type 是 text/html,响应字节几千到几万不等,正文里没有任何岗位标题,只有一段加载动画和一段 JS 引导。岗位数据不在这个响应里——它由前端脚本在浏览器里异步请求、渲染出来。典型的单页应用(SPA)结构:你看到的页面是「壳」,真实内容在壳后面的接口里。
拿我 11 月 14 日第一批重抓的 10 家实测数据说:10 家门户全部 HTTP 200,无一例外。但 10 家的岗位条目,没有一个是从原始 HTML 里抠出来的,全部是浏览器渲染之后才出现的。其中渲染出的条目数从 10 条到 33 条不等,门户文案也各不相同——有的写「共 570 个岗位」,有的写「显示 1-10,共 2171 职位」,有的分页开到 272 页。
这里有个特别容易踩的坑,也是我写这篇的动机:如果你只看状态码,会得出「10 家全部正常、全部有数据」的结论,然后高高兴兴把空壳当证据归档。 等结算日对账时才发现,证据文件里一个岗位标题都没有,整批登记全部作废。状态码 200 证明「服务可达」,不证明「数据在」。空壳页面把这两者彻底拆开了。
二、通道分层:先直取,再渲染,最后互证
空壳问题逼着我把抓取通道拆成三层。不是随便分的,是按「成本从低到高、证据从弱到强」排的。
层 1:直取接口。 部分站点的岗位列表接口可以直接请求,不需要浏览器。但这层不是万能的,每家站点的接口脾气不一样,得一家一家适配:
- Moka 系招聘(不少中小公司和创业公司在用):先建 cookiejar,再走
api.mokahr.com的列表接口,不带 cookie 会被拒。 - 百度系:
getPostListNew接口必须带 cookie 和 Referer,缺了直接返回 illegal-visit,连错误码都不给得像样一点。 - 同花顺系:
apply_list接口有个参数陷阱,applyColonyId=0是默认值,但带上它反而返回空,删掉这个参数才有数据(实测 total=5)。
直取层成本最低、速度最快,能用就用。但很多大厂门户不给你这条路——接口要么不存在,要么有签名校验,要么对非浏览器请求直接返回 405 / 404。
层 2:渲染态回退。 curl 被反爬拦下来(405、404,或者返回一个和岗位毫无关系的空壳)时,不要判「这家没数据」,也不要判「这家反爬太强放弃」。正确动作是换一条通道:真实浏览器渲染。用 Playwright 这类无头浏览器,以未登录的访客身份打开同一个 URL,等页面把 SPA 渲染完,再从渲染后的 DOM 里取岗位条目。
我实测里最典型的一组对照:同一批 9 家公司,直取层全部被拦(405 / 404 或空壳),换渲染通道后 9 家全部拿到真实岗位条目。同一 URL、同一时刻,直取和渲染的结果可以天差地别,差的不是网络,是渲染。
层 3:互证对账。 抓到数据只是一半,另一半是证明「你抓到的确实是这家在招的岗位」。渲染通道拿到的内容,必须和登记字段互证:岗位标题在渲染快照里出现、标识字段(岗位 ID / 详情链接)能在快照里对上。对不上的,宁可不入册,也不硬凑。
三层通道的关系是回退而不是替代:层 1 能用就用,层 1 失败自动落层 2,层 2 拿到的数据必须过层 3 的互证才算数。
三、渲染态回退怎么落地:未登录、等渲染、逐字落盘
渲染通道的实现细节,直接决定证据可不可信。我的做法有三条铁律。
铁律一:不登录,访客态渲染。 岗位池抓取的边界是「只读公开信息」,所以渲染一律用未登录的访客身份。不注册、不登录、不投递、不提交任何表单。访客态能渲染出岗位列表的站点,就够入册了;需要登录才看得到列表的,如实标「未获取」,不绕路。
铁律二:等渲染完成,而不是等网络空闲。 SPA 的坑在于:网络请求早就结束了,DOM 还没渲染完。如果只等 load 事件就截图取数,拿到的是半截页面。实测中我给的等待策略是:先等加载状态稳定,再额外等一段渲染时间(约 2~5 秒,按站点调整),必要时做第二轮更长的等待,排除「渲染慢导致漏抓」。
铁律三:快照逐字落盘,不经过手。 渲染取到的条目,原文写入证据文件,不做任何改写、缩写、概括。我的证据文件里固定带几类原文行,方便对账时逐字比对:
|
|
最后一行尤其重要:HTTP 状态、URL、响应字节、抓取时刻,四样一起落盘。有了这一行,任何一条登记都能回溯到「什么时候、从哪个地址、以什么状态抓到的」,复盘时不用再猜。
还有一个环境坑值得点名:部分站点的前端 JS 挂在 CDN 上,直接 curl 拿到的是压缩乱码,必须加 --compressed 才能解出可读内容。渲染通道虽然绕开了这个问题,但直取层的适配脚本里,这条参数是标配。
四、互证设计:两个证据件 + 字段对账
渲染通道解决了「怎么抓到」,互证设计解决「抓到的能不能信」。我的登记结构里,每家公司必须同时落两个证据件:
- evidence_file(抽取结果):从渲染快照里抽取出的结构化结果,含岗位标题、标识、URL、抓取时刻等字段。
- render_snapshot(渲染快照):渲染后页面的原始证据(DOM 或文本快照,或渲染出的 JSON 本身)。
互证规则是:evidence_file 里的每个关键字段,都要能在 render_snapshot 里找到对应原文。岗位标题在快照里出现、标识字段能在快照里对上,才算互证通过。两个证据件缺一个、或对不上,一律不入册。
这么做的直接收益,是把「编数」的口子堵死。我有一条独立的对账脚本(复算器),每次入册后跑一遍全量重算,末行输出一个机器可读的结论,比如:
|
|
再跑一次独立的验证脚本,检查「卡面上的值能不能在命令输出里找到」——找不到的,按编数嫌疑计数。我 11 月 19 日那次 4 家入册后,验证输出是这样的:
|
|
编数嫌疑 0 处,是互证设计跑通之后才拿到的结果。改之前这个值是 4(卡面写 86,命令只数出 82,差值就是 4 家没经过互证就入册的)。数字对不上的时候,第一反应不是改卡面,是回去查证据。
五、四个真实坑:指错文件,对账就崩
互证设计听上去简单,落地时踩的全是「文件指错」的坑。11 月 19 日那次 4 家入册,每一家都踩了或绕开了一个具体的坑,值得逐个讲。
坑一:该有 dom/text 快照,结果没有。
公司 B(某通信大厂)的登记里,render_snapshot 按惯例指向一份 DOM 快照(*_dom.html)和一份文本快照(*_text.txt)。但实际执行时发现,这轮 B 只落了 probe 抽取结果 B.json,两份快照根本不存在。照字面规则执行,直接报 INVALID: evidence_file 或 render_snapshot 不存在,入册流程当场卡死。
解法:快照不存在时,让 render_snapshot 指向抽取结果本身,但前提是抽取结果里必须含岗位标题且唯一出现。B.json 里岗位标题「AI 安全技术研究专家」出现 1 次,唯一性成立,指向自身是合法的。规则的目的是互证,不是形式上必须有 dom 文件——别把手段当目的。
坑二:标识字段只在详情链接里,文本快照不含。
公司 C(某金融科技公司)的登记里,岗位标识是数字 jobid 173195453。这轮落的文本快照里不含这个 id,它只出现在列表 JSON 的 href 字段里。如果按惯例把 render_snapshot 指到文本快照,互证立刻报「render_snapshot 未互证 job_title / identifier」。
解法:把 render_snapshot 指到包含标识字段的那个文件——这里是 C_joblist.json。互证的口径是「字段能在被指向的快照里找到」,所以指谁,取决于字段在哪个文件里。
坑三:evidence 和 render 两个件指了同一个文件。
公司 D(某互联网银行)的登记里,evidence_file 需要含 URL 字段,render_snapshot 需要含具名岗位标题。如果图省事把两个件都指向同一个抽取 JSON,就会触发「未互证字段 url」——因为那个 JSON 里可能只有标题没有 url,或者只有 url 没有标题,两个件的字段要求没有被分别满足。
解法:两个件拆开指。evidence_file 指含 URL 的 D_search.json,render_snapshot 指含具名标题的 D_jobs.json,各取所需,互证才成立。
坑四:文件命名骗人。
过程目录里有一组文件叫 _1_dom.html / _1_text.txt,按命名顺序看像是公司 B 的快照。但打开头部一看,URL 是某电商大厂的招聘门户(talent.<某电商域名>/?lang=zh),是另一家公司的退化样本,跟 B 毫无关系。
这个坑最阴:命名、序号、时间戳都像,只有内容是别人的。解法只有一条——指文件之前,先看文件内容里的 URL/标题,用内容核验归属,不用命名核验归属。命名只是给人看的,内容才是证据。
四个坑归成一句话:互证的锚点是文件内容,不是文件名字。 指错一个文件,轻则 INVALID 卡流程,重则拿别家的证据入册,对账数字就跟着错。
六、数字怎么算出来的:recount 与编数嫌疑
讲完通道和互证,最后把这套设计在数字上的结果摆出来,这也是我认为最值得抄的部分。
入册侧。 11 月 19 日那次渲染法入册,confirmed_registrations 从 36 条追加到 40 条,新增 4 家(A / B / C / D),四家全部 in_legacy=False、无重复、不合并集团。登记册字节数从 46,089 B 增长到 48,938 B(+2,849),只追加、不重排,既有 36 条登记一字未改(用 dump 幂等校验过,改后序列化与原文件完全一致)。
复算侧。 每次入册后跑全量重算,口径只有一套:
|
|
验证侧。 独立验证脚本再查一遍:卡面值能否在命令输出中找到。改前是「卡面 86 / 命令 82」,差 4,每轮点名;改后「编数嫌疑 0 处」,PASS=6 / FAIL=0 / BROKEN=0。
诚实下降侧。 这套设计不只是用来凑数的,也用来如实报下降。11 月 14 日第一批重抓的 10 家里,4 家原登记的具体岗位在新一轮渲染快照里 0 命中——岗位轮换下架了,但公司门户还好好开着(一家写「共 570 个岗位」,一家写「共 2171 职位」,首屏条目全是新发布的)。按宽松口径,可以换个当前在架的岗位标题把它们重新算回有效;但我没有。登记岗位对不上,就如实记失效,不换锚硬凑。 重算后有效登记从 50 降到 46,这个数字是真实的,比硬凑出来的 50 有用。
三个数字(86、46、40)的关系,就是这套设计的全部意义:86 是互证通过后的全量,46 是时效线淘汰后的余量,40 是每轮新增的增量。 每个数字都有复算器背书,每个数字都能被第三方独立跑出来。
七、可以抄走的几条
写到最后,把一周的踩坑压成几条能直接贴的规矩:
|
|
岗位池这类数据抓取的活儿,真正的难度从来不在「怎么写请求」,而在「抓到的数据能不能被信任」。直取、渲染、互证这三层通道,每一层都在给「可信」加一道锚:状态码是第一道,渲染是第二道,互证对账是第三道。三层都过,数字才站得住;任何一层偷懒,对账日就会把欠的债连本带利算回来。
本文为「岗位池运维实录」系列之一,数据均可由文中复算命令独立复现。