本文为您介绍如何将同步至MaxCompute的用户信息表 ods_user_info_d 及访问日志数据 ods_raw_log_d,通过DataWorks的MaxCompute节点加工得到目标用户画像数据,阅读本文后,您可以了解如何通过DataWorks+MaxCompute产品组合来计算和分析已...
本文为您介绍如何将同步至MaxCompute的用户信息表 ods_user_info_d 及访问日志数据 ods_raw_log_d,通过DataWorks的MaxCompute节点加工得到目标用户画像数据,阅读本文后,您可以了解如何通过DataWorks+MaxCompute产品组合来计算和分析已...
DataWorks是一站式智能大数据开发治理平台,适配阿里云MaxCompute、E-MapReduce、Hologres、Flink、AnalyticDB、StarRocks、PAI 等数十种大数据和AI计算服务,为数据仓库、数据湖、湖仓一体、Data+AI解决方案提供全链路智能化的数据集成、...
跨租户发布数据用于迁移租户间的数据,以满足不同数据的应用场景,帮助企业实现数据应用价值最大化。5分钟快速了解 前提条件 已购买跨租户发布增值服务并且当前租户已开通跨租户发布模块;跨租户发布过程中,若需要导出或导入标签架构、...
跨租户发布数据用于迁移租户间的数据,以满足不同数据的应用场景,帮助企业实现数据应用价值最大化。5分钟快速了解 前提条件 已购买跨租户发布增值服务。更多信息,请参见 购买指引。进行跨租户发布前,请确保来源租户与目标租户的 ...
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出,一站式提供数据采、建、管、用全生命周期的大数据能力,以助力企业显著提升数据治理水平,构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦(DM)数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
流程图 流程说明 操作 说明 添加数据 添加矢量数据 添加矢量类数据,具体操作,请参见 添加矢量数据。添加栅格数据 添加栅格类空间数据,具体操作,请参见 添加栅格数据。添加倾斜摄影数据 添加倾斜摄影类数据。具体操作,请参见 添加倾斜...
步骤五:配置普通维度逻辑表调度 在 调度&参数配置 页面,配置维度逻辑表的 数据延迟、调度属性、调度依赖、调度参数、运行配置。参数 描述 数据延迟 开启数据延迟,系统将自动重跑本逻辑表在 最大延迟天数 周期内的全部数据。详细说明,请...
单击 保存并下一步 步骤五:配置事实逻辑表调度配置 在 调度&参数配置 页面,配置事实逻辑表的 数据延迟、调度属性、调度依赖、调度参数、运行配置。参数 描述 数据延迟 开启数据延迟,系统将自动重跑本逻辑表在 最大延迟天数 周期内的全部...
步骤五:配置普通维度逻辑表调度 在 调度&参数配置 页面,配置维度逻辑表的 数据延迟、调度属性、调度依赖、调度参数、运行配置。参数 描述 数据延迟 开启数据延迟,系统将自动重跑本逻辑表在 最大延迟天数 周期内的全部数据。详细说明,请...
单击 保存并下一步 步骤五:配置事实逻辑表调度配置 在 调度&参数配置 页面,配置事实逻辑表的 数据延迟、调度属性、调度依赖、调度参数、运行配置。参数 描述 数据延迟 开启数据延迟,系统将自动重跑本逻辑表在 最大延迟天数 周期内的全部...
在空间数据模块中,通过设置云计算资源,默认会使用该云计算资源进行存储上传的文件型数据。支持的云计算资源类型主要为对象存储类型,具体包括OSS、MinIO。本文主要介绍如何设置云计算资源。前提条件 已新建云计算资源。操作步骤 登录 ...
车联网行业分类分级:包括基础属性类数据、应用服务类数据、环境感知类数据、车控类数据、车辆工况类数据、默认分类。智能网联汽车行业分类分级:包括云(车联网云控制平台)、人(车辆使用人信息)、路(行车记录)、车(车辆状态)。(可...
车联网行业分类分级:包括基础属性类数据、应用服务类数据、环境感知类数据、车控类数据、车辆工况类数据、默认分类。智能网联汽车行业分类分级:包括云(车联网云控制平台)、人(车辆使用人信息)、路(行车记录)、车(车辆状态)。(可...
DB2201/T 17—2020》《证券期货业数据分类分级指引 JR/T 0158—2018》《信息安全技术健康医疗数据安全指南 GB/T 39725-2020》分级、分类标准确认完毕后,即可前往DataWorks数据保护伞模块配置分级分类、数据识别规则,步骤如下图。...
支持的同步类型 单表离线 支持数据来源:数据集成模块数据来源支持的所有数据源类型 配置指导:离线同步任务配置 整库离线 支持数据来源:MySQL 配置指导:数据集成侧同步任务配置 配置案例 MySQL整库离线同步至Hive
支持的同步类型 单表离线 支持数据来源:数据集成模块数据来源支持的所有数据源类型 配置指导:离线同步任务配置 整库实时 支持数据来源:MySQL、PostgreSQL 配置指导:数据集成侧同步任务配置 配置案例 MySQL整库实时同步至SelectDB
支持的同步类型 单表离线 支持数据来源:数据集成模块数据来源支持的所有数据源类型 配置指导:离线同步任务配置 整库实时 支持数据来源:MySQL 配置指导:数据集成侧同步任务配置 配置案例 MySQL整库实时同步至LogHub(SLS)
支持的同步类型 单表离线 支持数据来源:数据集成模块数据来源支持的所有数据源类型 配置指导:离线同步任务配置 单表实时 支持数据来源:Hologres 配置指导:数据集成侧同步任务配置 整库实时 支持数据来源:MySQL、PostgreSQL 配置指导:...
支持的同步类型 单表离线 支持数据来源:数据集成模块数据来源支持的所有数据源类型 配置指导:离线同步任务配置 单表实时 支持数据来源:Kafka 配置指导:数据集成侧同步任务配置 整库实时 支持数据来源:MySQL 配置指导:数据集成侧同步...
支持的同步类型 单表离线 支持数据来源:数据集成模块数据来源支持的所有数据源类型 配置指导:离线同步任务配置 单表实时 支持数据来源:DataHub、Hologres 配置指导:数据集成侧同步任务配置 整库实时 支持数据来源:MySQL、Oracle、...
支持的同步类型 单表离线 支持数据来源:数据集成模块数据来源支持的所有数据源类型 配置指导:离线同步任务配置 单表实时 支持数据来源:DataHub、Kafka、LogHub、MySQL、PolarDB 配置指导:配置单表实时同步任务 整库实时 支持数据来源:...
支持的同步类型 单表离线 支持数据来源:数据集成模块数据来源支持的所有数据源类型 配置指导:离线同步任务配置 单表实时 支持数据来源:Kafka、LogHub 配置指导:数据集成侧同步任务配置 整库实时 支持数据来源:ApsaraDB for OceanBase...
数据保护伞 是一款数据安全管理产品,提供数据发现、数据脱敏、数据水印、风险识别、数据溯源等功能,帮助您快速梳理敏感数据并进行安全管控,保障数据安全。本文示例使用内置规则对 xc_dpe_e2_dev 项目的 phone 数据脱敏,并设置导出风险...
支持的同步类型 单表离线 支持数据来源:数据集成模块数据来源支持的所有数据源类型 配置指导:离线同步任务配置 单表实时 支持数据来源:Kafka 配置指导:数据集成侧同步任务配置 整库离线 支持数据来源:MySQL 配置指导:数据集成侧同步...
数据库类数据源需要能通过外网访问,并配置访问白名单,详情请参见 配置数据库白名单。数据库类数据源的连接有10秒超时限制。选择数据源接入方式 接入数据库 DataV-Board支持接入自建数据库。当您使用虚拟机或者ECS自建数据库时,请根据...
最终目标是支撑商家增长、行业增量分析与精细化运营等多类数据应用场景。数据采集层 数据采集层采用DataWorks数据集成 作为统一的数据入口,用于接入三类核心数据源:业务系统数据库(如商品中心、交易中心、品牌库)。埋点数据。日志数据...
当前仅支持面向E-MapReduce中的几类Hive表提供数据预览功能,若无法进行Hive表数据预览,请联系集群管理员确认集群类型及存储类型是否满足以下要求。说明 其中 表示支持预览,表示不支持预览。EMR集群类型 元数据存储类型 数据存储类型:...
分级说明 DSC分级 说明 法规/标准分级 法规/标准说明 S1 不敏感数据,公开该类数据在绝大多数情况下不会造成危害。如省份、城市、商品名称等。1级数据 数据一旦遭到泄露、篡改、损毁或者非法获取、非法使用、非法共享,不会对个人权益、...
支持的同步类型 单表离线 支持数据来源:数据集成模块数据来源支持的所有数据源类型 配置指导:离线同步任务配置 单表实时 支持数据来源:DataHub、Hologres、Kafka、LogHub 配置指导:数据集成侧同步任务配置 整库离线 支持数据来源:...
支持的同步类型 单表离线 数据去向为OSS或OSS-HDFS时,支持的数据来源:数据集成模块数据来源支持的所有数据源类型 配置指导:数据集成侧同步任务配置 单表实时 数据去向为OSS或OSS-HDFS时,支持的数据来源:Kafka、LogHub 配置指导:数据...
数据分类分级是保障数据安全的重要前提。它为各行业提供对敏感数据类型及其级别的识别与划分能力,能够有效检测组织数据资产中是否存在敏感信息,并根据其敏感程度进行等级划分。分类分级不仅有助于准确掌握数据资产中的敏感内容,还为后续...
类别 数据源 导入方式 文档链接 消息队列 Kafka 数据同步 通过数据同步功能同步Kafka数据(推荐)日志类数据 日志服务(SLS)数据同步 通过数据同步功能同步SLS数据(推荐)大数据 Hive 数据迁移 Hive数据导入 存储 OSS 元数据发现 通过...
这类数据广泛存在于物联网(IoT)、监控系统、金融交易、工业控制、传感器网络、气象记录、服务器指标监控等多个领域。背景 时序数据库产生背景主要源于以下几个方面:物联网(IoT)的快速发展:随着物联网技术的普及,大量设备和传感器被...
适用场景 时序类数据场景:时序类数据天然具备时间属性,数据量大,且仅执行追加操作。示例如下:IM场景:通常用户会查询最近若干条聊天记录,只有在特殊需求的时候才会查询历史数据。例如钉钉。监控场景:通常用户只会查看近期的监控,...
该类数据可在SQL、Python等分析单元中进行二次分析,也可作为可视化分析单元(例如,图表)的输入数据。变量:是运行分析单元后输出的结果的集合(例如,SQL查询结果、过滤器生成的结果、控件输出的参数等),可供SQL、Python等引用,构建...
支持的同步类型 单表离线 支持数据来源:数据集成模块数据来源支持的所有数据源类型 配置指导:离线同步任务配置 单表实时 支持数据来源:DataHub、Kafka、LogHub 配置指导:数据集成侧同步任务配置 整库离线 支持数据来源:Amazon ...
数据分类分级支持您按照数据的价值、内容敏感程度、影响和分发范围对数据进行敏感级别和类型的划分,不同敏感级别的数据其管控原则和数据开发要求存在差异,划分分类分级后,后续可通过分类分级管控不同程度的敏感数据。本文为您介绍如何...
数据治理管理员 该角色可以在 数据治理中心 模块中查看并管理该角色所属空间的数据治理相关内容。说明 该角色不能通过全局视角查看当前地域所有空间下的治理情况,且无法针对全局的治理操作(例如全局允许启用检查项)进行管控。若要允许...