**********************
爬虫数据采集工程师
  • 收藏职位
  • 分享职位
20-25万 北京 本科 5-8年 招聘 1 人 预计佣金 2.6K 1天前发布
72小时新发 外包
JD基本信息
岗位职责
1、全渠道数据采集体系建设与数据治理 负责电力交易业务相关的多渠道核心业务数据的爬取规则、脚本开发与迭代优化 负责采集数据的清洗、校验、入库全流程开发,严格保障入库数据与源网站数据 100% 一致 参与搭建数据全生命周期管理与质量监控体系,保障数据的完整性、时效性、准确性 负责采集脚本的规范化、模块化开发,沉淀可复用采集组件,提升团队开发效率. 2、反爬对抗与采集系统稳定性运维 负责目标网站反爬机制分析与破解,覆盖登录鉴权、验证码、ip 限制、参数加密等全场景 负责采集系统、脚本的日常运维、故障排查与性能优化,保障采集服务 7*24 小时稳定运行 参与搭建采集服务全链路监控告警体系,提前识别异常风险,降低对业务的影响 负责采集中断、数据异常等突发事件的应急处置,快速完成服务恢复与数据补采. 3、电力交易业务提效工具开发与迭代 对接交易员业务需求,负责浏览器插件、桌面申报应用等提效工具的设计、开发与迭代 负责工具的功能测试、兼容性适配与 bug 修复,保障工具符合电力交易业务操作规范 编写工具使用手册,开展操作培训,支撑交易员快速上手与高效使用 持续跟进用户使用反馈,优化工具功能与交互体验,提升交易业务全流程操作效率. 4、跨团队协作与技术能力建设 对接产品经理、技术经理与交易业务团队,精准拆解需求,输出合理技术方案,按时保质交付 负责用户数据、工具类问题的技术支持与响应,快速解决业务端使用痛点 跟进爬虫、前端、桌面开发等技术栈前沿动态,快速学习落地跨技术栈技术突破 编写技术文档、操作规范,沉淀技术成果,参与团队技术能力建设与知识传递.
任职要求
岗位要求: 专 业:本科及以上,计算机、统计、数学相关 背 景:具有电力交易行业数据采集相关经验最佳 专业能力要求: 1、熟练掌握 Python、JavaScript 开发语言,精通 Scrapy、Requests、Pyppeteer 等主流爬虫框架,具备复杂网站反爬对抗、登录鉴权破解、参数加密逆向分析能力 2、精通数据采集全流程开发,具备数据清洗、校验、入库全链路设计与运维能力,熟练使用 MySQL、Redis 等主流数据库,可保障采集数据与源数据 100% 一致 3、具备浏览器插件、桌面应用、电子 Ukey 适配工具等业务提效工具的独立设计与开发能力,精通前端开发、Electron 等相关技术栈,可独立完成全流程需求交付 4、熟悉电力交易行业业务规则、招投标流程与相关合规要求,具备能源信息化、电力交易相关项目经验优先 5、具备优秀的需求拆解、跨团队沟通与项目管理、产品规划能力,逻辑清晰,可独立完成需求全流程落地,具备极强的应急响应与问题闭环能力 6、具备快速学习能力,可完成跨技术栈技术突破与落地
所属行业:
互联网、计算机软件
职能分类:
爬虫工程师
工作城市:
北京,招聘1人,详细地址:北京市朝阳区安定路
职位要求
学历要求:
本科·统招
工作年限:
5-8年
技能/证书:
-
薪资福利
年薪范围:
20-25万*13薪
薪资福利:
五险一金、春节福利 端午中秋福利
团队架构
所属部门:
-
下属人数:
-
部门架构:
-
汇报对象:
-
职级职称:
-
面试信息
面试轮次:
2轮
面试流程:
-
视频面试:
可以接受
为你推荐