概述 基于Dataworks做大数据一站式开发,包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS,使用Hive进行数据分析。通过Dataworks进行数据治理,数据地图查看数据信息和血缘关系,数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发,完善的数据治理能力。 性能优越:高吞吐,高扩展性。 安全稳定:Exactly-Once,故障自动恢复,资源隔离。 简单易用:SQL语言,在线开发,全面支持UDX。 功能强大:支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ,以及各种流式及静态数据源关联查询。
无框 弦望、川知、场景迭代新版本发布,新 V1.1 2020-10-20 戎天、背包 增数据治理和 HIVE分析 迭代 CADT 及使用云 V1.2 2020-02-01 弦望、川知 kafka V1.3 2020-02-07 弦望 注意事项更新 文档版本:20201020 I 基于 Dataworks的大数据一站式开发及数据治理 前言 前言 概述 基于 DataWorks做大数据一站式开发,包含数据实时...