基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
创建 DataWorks项目 背景信息 本实践采用 DataWorks的 Stream Studio进行数据开发，DataWorks大数据一站式开 发平台可以和其他的业务流程统一管理，故推荐使用。在上文中，已经通过 CADT开 通了 DataWorks（需开通专业版），还需要创建相关项目：步骤1 登录 DataWorks管理控制台...
DataWorks
大数据开发治理平台 DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台。每天阿里巴巴集团内部有数万名数据/算法工程师正在使用DataWorks，承担集团99%数据业务构建。
为了加快建设“三型两网、世界一流”发展战略，通过整体电力解决方案，进行数据中台规划与建设，构建电力行业新一代信息基础平台，带动公司IT和数据资源建设、应用及运维向企业级转变.一云多Region数据中台架构.统一运营运维管理.建设电力一朵云，形成“IT资源服务中心”和“数据服务中心”，实现运营“两级协同”，满足...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您