DataWorks提供九个核心功能模块:以数据为基础,以全链路加工为核心,提供数据汇聚、研发、治理、服务等多种功能。既能满足平台用户的数据需求,又能为上层应用提供各种行业解决方案,整体功能架构如下图所示。
请
登录后发表观点
-
-
覆盖大数据开发的生命周期
- 流批一体
- 交互式实时查询
- 数据应用
-
基线
- 生产链路时间分布优化
- 基线&业务承诺时间-反推各任务的最晚启动时间
- 识别关键路径
- 动态调整
数据质量
- 数据产出之后进行数据质量监控(数据缺失可以阻塞下游任务)
数据安全
- 生产环境的隔离
- 开发环境仅开发无调度,生产环境仅任务调度
- 数据权限-字段级权限控制
- 敏感数据脱敏
- 操作日志审计
- 数据导出控制