JD基本信息
岗位职责
1、全渠道数据采集体系建设与数据治理
负责电力交易业务相关的多渠道核心业务数据的爬取规则、脚本开发与迭代优化
负责采集数据的清洗、校验、入库全流程开发,严格保障入库数据与源网站数据 100% 一致
参与搭建数据全生命周期管理与质量监控体系,保障数据的完整性、时效性、准确性
负责采集脚本的规范化、模块化开发,沉淀可复用采集组件,提升团队开发效率.
2、反爬对抗与采集系统稳定性运维
负责目标网站反爬机制分析与破解,覆盖登录鉴权、验证码、ip 限制、参数加密等全场景
负责采集系统、脚本的日常运维、故障排查与性能优化,保障采集服务 7*24 小时稳定运行
参与搭建采集服务全链路监控告警体系,提前识别异常风险,降低对业务的影响
负责采集中断、数据异常等突发事件的应急处置,快速完成服务恢复与数据补采.
3、电力交易业务提效工具开发与迭代
对接交易员业务需求,负责浏览器插件、桌面申报应用等提效工具的设计、开发与迭代
负责工具的功能测试、兼容性适配与 bug 修复,保障工具符合电力交易业务操作规范
编写工具使用手册,开展操作培训,支撑交易员快速上手与高效使用
持续跟进用户使用反馈,优化工具功能与交互体验,提升交易业务全流程操作效率.
4、跨团队协作与技术能力建设
对接产品经理、技术经理与交易业务团队,精准拆解需求,输出合理技术方案,按时保质交付
负责用户数据、工具类问题的技术支持与响应,快速解决业务端使用痛点
跟进爬虫、前端、桌面开发等技术栈前沿动态,快速学习落地跨技术栈技术突破
编写技术文档、操作规范,沉淀技术成果,参与团队技术能力建设与知识传递.
任职要求
岗位要求:
专 业:本科及以上,计算机、统计、数学相关
背 景:具有电力交易行业数据采集相关经验最佳
专业能力要求:
1、熟练掌握 Python、JavaScript 开发语言,精通 Scrapy、Requests、Pyppeteer 等主流爬虫框架,具备复杂网站反爬对抗、登录鉴权破解、参数加密逆向分析能力
2、精通数据采集全流程开发,具备数据清洗、校验、入库全链路设计与运维能力,熟练使用 MySQL、Redis 等主流数据库,可保障采集数据与源数据 100% 一致
3、具备浏览器插件、桌面应用、电子 Ukey 适配工具等业务提效工具的独立设计与开发能力,精通前端开发、Electron 等相关技术栈,可独立完成全流程需求交付
4、熟悉电力交易行业业务规则、招投标流程与相关合规要求,具备能源信息化、电力交易相关项目经验优先
5、具备优秀的需求拆解、跨团队沟通与项目管理、产品规划能力,逻辑清晰,可独立完成需求全流程落地,具备极强的应急响应与问题闭环能力
6、具备快速学习能力,可完成跨技术栈技术突破与落地
工作城市:
北京,招聘1人,详细地址:北京市朝阳区安定路