一、数据标准与元数据管理技术 1.元数据采集技术 自动抓取 ERP、MES、APS、WMS、PLC 数采、数据库的表结构、字段、接口、血缘关系，支持数据库直连、日志解析、API 对接、ETL 探针采集。 2.元数据血缘分析 自动梳理数据从源头采集→清洗→加工→入库→报表 / 大屏的全链路流向，定位数据错误源头。 3.数据标准落地工具 编码标准、物料 BOM 标准、工序工艺标准、设备台账标准、组织人员标准的统一词典管理、字段映射、编码校验。 4.数据目录服务 企业级数据资产目录，按业务域检索数据表、指标、接口，实现数据资产可查、可管、可用。 二、数据集成与 ETL/ELT 技术（最常用落地技术） 1. ETL（抽取 - 转换 - 加载） 抽取 Extract：从多业务库、网关、文件、接口拉取源数据； 转换 Transform：格式统一、字段对齐、脏数据剔除、单位换算、主数据匹配； 加载 Load：写入数仓、时序库、关系库。 2. ELT（抽取 - 加载 - 转换） 先全量入库，再在数据仓库内做计算清洗，适合海量 IoT 时序采集数据（设备参数、工艺曲线）。 3. 多源异构数据接入技术 •结构化数据：MySQL、SQLServer、Oracle、SAP 等数据库同步； •半结构化：JSON、日志、工单报文； •非结构化：图片质检、PDF 工艺文件、视频； •时序数据：TDengine/IoTDB 设备高频采集数据接入。 4. 实时数据同步技术 CDC 变更数据捕获（Binlog、触发器、日志解析），数据库增量同步，无需业务系统改代码，低侵入同步订单、库存、工单变动数据。 三、数据清洗、质量管控技术（数据治理核心） 1.脏数据规则校验 空值、重复数据、超出阈值异常值、格式错误、主键冲突、跨表逻辑矛盾自动识别标记。 2.数据去重与合并 多系统重复物料、重复工单、重复设备档案自动合并、主键归一。 3.主数据匹配与清洗 物料、供应商、客户、设备、人员五大主数据模糊匹配、相似度比对、自动合并。 4.数据质量评分体系 完整性、唯一性、准确性、一致性、及时性五大维度自动打分，生成质量报表与整改工单。 5.异常数据告警 数据断层、采集中断、数值越界推送消息通知数据管理员。 四、主数据管理 MDM 技术（离散制造工厂刚需） 1.主数据统一建模 物料主数据、BOM 主数据、工艺路线主数据、设备主数据、工装模具主数据、人员组织主数据、供应商主数据 7 大核心主数据模型。 2.主数据下发分发 统一源头主数据，单向分发至 ERP、APS、MES、WMS，杜绝多系统一物多码。 3.主数据申请、审核、变更流程 线上化新增、修改、停用审批，留痕可追溯。 4.跨系统主数据比对 定期比对各业务系统主数据差异，一键差异修复。 五、数据仓库、指标体系与数据服务技术 1.分层数仓架构技术 ODS 贴源层→DWD 明细层→DWM 中间汇总层→DWS 指标层→ADS 应用层，标准五层数仓建模（Doris、Hive 常用）。 2.指标口径统一管理 OEE、交付达成率、在制品库存、换线时长、不良率等经营指标唯一口径定义，避免多部门多版本数据。 3.数据 API 服务化 把治理后的数据封装成标准 REST 接口，供大屏、报表、APS、MES、第三方系统按需调用。 4.数据脱敏与权限管控 敏感工艺参数、成本数据脱敏展示；按角色行级、列级权限隔离，分级访问。 5.数据生命周期管理 冷热数据分层存储，热数据在线查询，冷数据归档压缩存储，过期数据按规范销毁。 六、自动化与 AI 增强治理技术 1.AI 自动识别数据异常、自动推荐清洗规则； 2.大助手自动生成数据字典、梳理血缘关系； 3.数据埋点自动审计，追踪数据访问与下载行为。

数据治理主要依托元数据管理、多源数据集成同步、ETL/ELT 数据清洗转换、主数据统一管控、数据质量规则校验、分层数据仓库建模、指标口径标准化、数据 API 服务发布、数据权限与脱敏、数据全生命周期归档十大核心技术，搭建统一数据标准体系，打通 ERP、APS、MES、WMS、设备数采等异构系统数据，消除数据孤岛与口径不一致问题，实现企业数据资产标准化、可管控、可溯源、可复用。