大数据开发治理平台 DataWorks基于MaxCompute/EMR/Hologres等大数据计算引擎,为客户提供专业高效、安全可靠的一站式大数据开发与治理平台,自带阿里巴巴数据中台与数据治理最佳实践,赋能各行业数字化转型。每天阿里巴巴集团内部有数万名...
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力,本文以一个零售电商行业的数仓搭建实验为例,为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现,帮助您深入了解阿里云...
本文描述大数据开发治理平台 DataWorks支持的所有系统权限策略及其对应的权限描述,供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合,可以精确地描述被授权的资源集、操作集以及授权条件。阿里云...
新能源:某能源客户基于DataWorks全链路数据治理案例 客户简介 多家子公司经过多年建设,系统数量多,技术路线复杂多样。数据分散,数据标准定义混乱,各类数据出现断层,无法有效用于分析。数据管理权责不明,缺乏数据治理,没有有效的...
DM(达梦)数据源 Milvus数据源 TiDB数据源 DRDS(PolarDB-X 1.0)数据源 MongoDB数据源 TSDB数据源 Elasticsearch数据源 MySQL数据源 Vertica数据源 FTP数据源 OpenSearch数据源 TOS数据源 GBase8a数据源 Oracle数据源 HBase数据源 Graph ...
同时,大数据系统基于“存储、用户、入口、流转、交付”等多方面的特点,存在诸多安全治理难点。数据安全治理的关键问题 数据安全治理能否清楚、准确地回答如下问题,将从侧面反映安全治理项目是否能有效地落地。哪些资产需要被保护?您有...
全链路数据治理:数据治理能力贯穿于整个数据流转过程,确保数据的可信、可控、可用。元数据采集会自动同步至 数据地图,便于用户发现数据和血缘溯源。数据资产治理 可以通过治理计划,发现开发过程和数据的问题进行治理。安全中心 则对...
视频介绍 产品能力 DataWorks十多年沉淀数百项核心能力,通过 智能数据建模、全域数据集成、高效数据生产、主动数据治理、全面数据安全、数据分析服务六大全链路数据治理的能力,帮助企业治理内部不断上涨的“数据悬河”,释放企业的数据...
使用阿里云Dataphin可以实现零部署成本、零运维成本构建智能大数据研发与治理平台。使用阿里云Dataphin时,若已有的数据源部署在本地IDC机房,首先需要打通本地IDC机房与阿里云Dataphin网络。本文将介绍本地IDC机房数据源与阿里云Dataphin...
使用阿里云Dataphin可以实现零部署成本、零运维成本构建智能大数据研发与治理平台。使用阿里云Dataphin时,若已有的数据源部署在本地IDC机房,首先需要打通本地IDC机房与阿里云Dataphin网络。本文将介绍本地IDC机房数据源与阿里云Dataphin...
以下为您系列讲解阿里云数据治理能力解读。数据治理的产品介绍 主要产品:DataWorks 课程时长:25分钟 DataWorks数据治理能力的最佳实践 主要产品:DataWorks、MaxCompute 课程时长:19分钟
数据治理人员可通过 全局视角、个人视角 或 工作空间视角 查看对应项目的待治理项,快速发现并解决存在的问题,推进团队内的数据治理目标。本文为您介绍如何查看并配置治理项。背景信息 数据资产治理会默认生成初始治理项。您可以针对不同...
治理项的管理流程如下:元数据管理:配置和管理数据治理所需要的元数据指标。治理项管理:基于元数据指标,配置和管理数据治理所需的规则及判定策略(即治理项)。推送管理:对于单一或多个被治理项规则触发的待治理数据对象(表或任务节点...
治理项的管理流程如下:元数据管理:配置和管理数据治理所需要的元数据指标。治理项管理:基于元数据指标,配置和管理数据治理所需的规则及判定策略(即治理项)。推送管理:对于单一或多个被治理项规则触发的待治理数据对象(表或任务节点...
启用内置检查项:数据治理中心 自定义校验逻辑:开放平台 启用内置检查项:数据治理中心 DataWorks的数据治理中心为您内置了多个检查项,您可以根据业务需要选择开启对应的检查项,开启后,后续在涉及到对应操作时即会触发DataWorks的内置...
数据地图是阿里云DataWorks的核心数据治理功能。本文深度解析其核心功能、数据血缘、应用场景与治理实践,助您构建企业级数据资产目录,全面释放数据价值。
示例:场景3-数据治理Agent 功能描述:DataWorks数据治理Agent,驱动企业数据治理从主动式迈向“自主式”数据治理。数据治理不再是复杂的数据分析和大量的表单配置修改,现在只需通过自然语言指令,转化为精准的治理动作,通过专家级的治理...
启用内置检查项:数据治理中心 自定义校验逻辑:开放平台 启用内置检查项:数据治理中心 DataWorks的数据治理中心为您内置了多个检查项,您可以根据业务需要选择开启对应的检查项,开启后,后续在涉及到对应操作时即会触发DataWorks的内置...
权限控制 治理全部资产问题需要具备如下权限之一:阿里云主账号 拥有 AliyunDataWorksFullAccess 权限的RAM用户 租户管理员 租户级数据治理管理员 其他用户只可以治理自己管理的资产问题。进入资产健康 进入数据资产治理。登录 DataWorks...
空间管理员 租户管理员 租户级数据治理管理员 工作空间级数据治理管理员 普通用户仅支持使用 个人视角 查看检查项事件。注意事项 数据资产治理目前支持处理MaxCompute、E-MapReduce和Hologres的检查项事件,各检查项适用的数据源类型请参见...
空间管理员 租户管理员 租户级数据治理管理员 工作空间级数据治理管理员 普通用户仅支持使用 个人视角 查看治理项问题。注意事项 数据资产治理目前支持处理MaxCompute、E-MapReduce和Hologres的治理项问题,各治理项适用的数据源类型请参见...
您可以在Dataphin工作台进行数据开发、数据治理等操作。功能 文档 Dataphin共享模式(全托管版)数仓规划概述 数据引入概述 数据开发概述 发布中心概述 运维中心 分析平台概述 标签工厂概述 资产清单概述 数据标准概述 资产质量概述 资源...
背景信息 在数据资产治理的 治理工作项 中,您可以查看当前租户下存在的治理项问题,单击目标治理项的 点击查看详情,即可跳转至知识库,查看数据治理中心针对该问题提供的解决方案,参考所给方案快速处理当前问题。查看治理项问题,详情请...
拥有 AliyunDataWorksFullAccess 权限的RAM用户 空间管理员 租户管理员 租户级数据治理管理员 工作空间级数据治理管理员 普通用户仅支持使用 个人视角 新增定期通知。进入通知设置页面 进入数据资产治理。登录 DataWorks控制台,切换至目标...
工作空间管理员 拥有租户级数据治理管理员权限的空间成员 工作空间级数据治理管理员 普通用户仅支持查看其所在DataWorks工作空间的检查项列表。进入检查项配置页面 进入数据资产治理页面。登录 DataWorks控制台,切换至目标地域后,单击...
登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据治理 数据资产治理,然后在右侧单击 进入数据资产治理。单击左侧导航栏 资产 业务资产,进入 业务资产 页面。在业务资产页面,可查看 表、调度 任务、模型 和 指标 类型的...
登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据治理 数据资产治理,然后在右侧单击 进入数据资产治理。单击左侧导航栏 治理 白名单,进入 白名单 管理页面。查看并管理白名单。在白名单管理页面,您可以查看所有工作空间...
权限控制 查看 任意工作空间 资源占用情况,需要具备如下权限之一:阿里云主账号 授予 AliyunDataWorksfullAccess 权限的RAM用户 租户管理员 租户级数据治理管理员 其他用户只能选择其加入的工作空间。进入研发链路透视 进入数据资产治理。...
背景信息 使用标签管理功能前,请先了解以下相关概念:数据资产:泛指DataWorks中与数据开发、数据治理、数据分析、数据服务有关的数据实体对象。例如:表、API、节点任务、数据分析任务、质量规则、工作空间、治理优化流程等。资产标签:...
对于数据治理过程中的无效任务或表,数据资产治理为您提供完整的下线方案,包含下线风险评估、下线通知推送、下线过程管理等全流程功能,为您解决人工识别下线风险、任务存在正常调度的下游任务时不能下线、因无法预知风险而不敢轻易下线等...
权限控制 选择任意工作空间需要具备如下任意权限之一:阿里云主账号 授予 AliyunDataWorksfullAccess 权限的RAM用户 租户管理员 租户级数据治理管理员 其他用户只能选择其作为管理员的工作空间。使用限制 仅支持查看MaxCompute、E-...
登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据治理 安全中心,在右侧页面中单击 进入安全中心。单击左侧导航栏的 数据使用安全 敏感数据管理,单击 立即体验,进入数据保护伞。说明 若阿里云主账号已授权,则直接进入...
登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据治理 数据资产治理,然后在右侧单击 进入数据资产治理。单击左侧导航栏 系统设置 治理设置 资产单元,进入 资产单元 页面。在资产单元页面,可通过 名称 或纳管的 工作空间 ...
开放平台扩展程序 扩展程序概述 应用扩展程序 流程管控展示 数据治理检查项 数据治理中心概述 配置治理项 数据建模:数据建模系统管理 说明 标准模式工作空间的发布操作默认为同空间发布,若您存在跨空间、跨云发布场景,则可选择使用发布...
功能 是否支持 限制 云原生大数据计算服务MaxCompute-EXPLAIN 是 无 云原生大数据计算服务MaxCompute-CLONE TABLE 是 无 云原生大数据计算服务MaxCompute-参数化视图 是 创建参数化视图 不支持表值参数table。支持any以及MaxCompute的所有...
功能 是否支持 限制 云原生大数据计算服务MaxCompute-EXPLAIN 是 无 云原生大数据计算服务MaxCompute-CLONE TABLE 是 无 云原生大数据计算服务MaxCompute-参数化视图 是 创建参数化视图 不支持表值参数table。支持any以及MaxCompute的所有...
数据范围包含各类 表、任务节点及实例、工作空间、成员、项目、数据质量、数据资产等对象的详细元数据,助力数据治理与分析。应用场景 DataWorks开放数据(DataWorks OpenData)是原有邀测版 开放数据 的全新升级,本次提供公开使用版本。...
本教程中使用阿里云大数据产品MaxCompute配合DataWorks,完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中,DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据治理 安全中心,在右侧页面中单击 进入安全中心。单击左侧导航栏的 数据使用安全 敏感数据管理,单击 立即体验,进入数据保护伞。说明 若阿里云主账号已授权,则直接进入...
本教程中使用阿里云大数据产品Dataphin配合MaxCompute,完成整体的数据建模和研发流程。完整的技术架构如下图所示。其中,Dataphin的数据集成及同步负责完成源业务系统数据引入。MaxCompute作为整个大数据开发过程中的离线计算引擎。...