eatmoreduck /
自荐一个开源小工具：boss-zhipin-scraper 它用 Chrome 的 DevTools Protocol（CDP）抓 BOSS直聘的职位数据。 没用 Selenium 那一套，而是直接连本地 Chrome 的 9222 调试端口， 通过页面内注入 JS 调搜索接口，拿到结构化的职位列表（含明文薪资）， 再抓详情页 JD 做技能词频分析。 技术上有两个我觉得还算有意思的点： 1. 不重新造浏览器自动化轮子，靠 CDP raw…
自荐一个开源小工具：boss-zhipin-scraper 它用 Chrome 的 DevTools Protocol（CDP）抓 BOSS直聘的职位数据。 没用 Selenium 那一套，而是直接连本地 Chrome 的 9222 调试端口， 通过页面内注入 JS 调搜索接口，拿到结构化的职位列表（含明文薪资）， 再抓详情页 JD 做技能词频分析。 技术上有两个我觉得还算有意思的点： 1. 不重新造浏览器自动化轮子，靠 CDP raw protocol 手写消息收发， 整个工具只依赖 requests 和 websocket-client。 2. 用一个隔离的 Chrome profile 存登录态，专门给抓取用， 不软链接、不复制主 Chrome 数据，避免影响日常浏览器里的其他账号。 用法很简单： python3 scripts/bosscdpraw.py --setup-chrome # 启动隔离 Chrome，登录一次 python3 scripts/bosscdpraw.py --check # 自检环境 python3 scripts/bosscdpraw.py --keyword "AI Agent" --city 上海 --pages 3 --analysis 适合找工作时批量筛岗位、或者想学 CDP 协议怎么手撸的同学。
Discuss this product