岗位职责 1. Pipeline平台构建： – 构建统一数据Pipeline平台底座：任务编排与调度、批流一体加工引擎、链路依赖管理、失败重跑与断点续传，支撑三域（制造/产品/工程）数据加工与座舱采集数据后处理的规模化运行； – 建设样本/特征生产链路，为训练平台提供标准化数据供给。 2. 开发范式与组件沉淀： – 定义Pipeline开发模板、配置规范与可复用组件库，让领域链路开发（第1名Pipeline工程师及后续领域成员）以低代码/配置化方式上线新链路； – 将数据质量规则（完整性、一致性、时效性校验）内嵌到链路框架，实现质量问题自动拦截与告警。 3. 性能与成本优化： – 负责加工链路的资源调度优化、存储分层与计算成本控制；建立链路级SLA与可观测性（与评测观测岗协同）

任职要求 硬性门槛（一票否决项）： - 5年以上数据工程/数据平台开发经验；本科及以上学历，计算机/软件相关专业； - 主导或核心参与过Pipeline平台/数据加工链路体系的 0→1 构建（非仅使用现成平台开发业务链路），须能讲清编排调度、依赖管理、失败恢复的设计取舍； - 精通 Spark/Flink 之一并有生产级调优经验；熟悉任务编排系统（Airflow/DolphinScheduler/Dagster 或同类）；熟练使用 SQL 与 Python/Java/Scala； - 有数据质量规则工程化、数据血缘在Pipeline层落地的实证。 加分项： - 有湖仓一体（Iceberg/Hudi/Paimon）实践经验；有特征平台/样本库建设经验； - 有AI训练数据Pipeline（语料/多模态数据加工）经验；有汽车或制造行业数据工程背景。