DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
本文以实现构建数据标准来设计数据模型，并通过规范化的流程，下发模型至计算引擎为例，为您介绍DataWorks数据建模的流程。前提条件 如果您使用的是阿里云主账号，请下载建模工具。如果您使用的是RAM用户，请完成授权并下载建模工具。详情...
随着企业的数据资料持续积累，需要持久化地保留数据资产，但是数据的存储成本居高不下，因此DMS和 AnalyticDB PostgreSQL版 Serverless模式共同推出了数据归档功能，可以面对数据库实现灵活低价、归档管理和高分析性能的能力。功能介绍 DMS...
数据库备份DBS支持将数据和日志备份至另外一个地域，本文介绍在各种场景下如何进行异地备份。费用说明 目前，有两种方式可配置跨地域备份，分别是从RDS控制台配置或DBS控制台配置。根据不同的配置方式，将有不同的计费项。方式一：通过RDS...
超图REST栅格瓦片是三维城市构建器的全局图层，支持独立的样式和数据配置，包括超图REST栅格瓦片的通用配置、图形配置和交互配置样式。本文介绍超图REST栅格瓦片配置项的含义。在场景编辑器左侧图层列表中，单击 超图REST栅格瓦片 图层，...
ArcGIS栅格瓦片是三维城市构建器的全局图层，支持独立的样式和数据配置，包括ArcGIS栅格瓦片的通用配置、图形配置和交互配置样式。本文介绍ArcGIS栅格瓦片配置项的含义。在场景编辑器左侧图层列表中，单击 ArcGIS栅格瓦片 图层，进入配置...
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源...
ArcGIS栅格瓦片是三维城市构建器的全局图层，支持独立的样式和数据配置，包括ArcGIS栅格瓦片的通用配置、图形配置和交互配置样式。本文介绍ArcGIS栅格瓦片配置项的含义。在场景编辑器左侧图层列表中，单击 ArcGIS栅格瓦片 图层，进入配置...
超图REST栅格瓦片是三维城市构建器的全局图层，支持独立的样式和数据配置，包括超图REST栅格瓦片的通用配置、图形配置和交互配置样式。本文介绍超图REST栅格瓦片配置项的含义。在场景编辑器左侧图层列表中，单击 超图REST栅格瓦片 图层，...
支持丰富的数据源：Hive Cassandra Kafka MongoDB MySQL PostgreSQL SQL Server Redis Redshift 本地文件 支持高级数据结构，具体如下：数组和Map数据 JSON数据 GIS数据 颜色数据 功能扩展能力强，提供了多种扩展机制：扩展数据连接器 ...
S3M BIM是三维城市构建器的图层，支持独立的样式和数据配置，包括S3M BIM的通用配置和交互配置样式。本文介绍S3M BIM配置项的含义。在场景编辑器左侧图层列表中，单击 S3M BIM 图层，进入配置面板配置 S3M BIM 图层的样式和数据。说明 当前...
SQLServer数据源为您提供读取和写入SQLServer双向通道的功能，您可以通过向导模式和脚本模式配置同步任务。前提条件 在配置SQLServer数据源之前，您需要在RDS for SQLServer端做好以下准备工作。创建RDS for SQLServer实例，请参见 快速...
S3M管网是三维城市构建器的图层，支持独立的样式和数据配置，包括S3M管网的通用配置和交互配置样式。本文介绍S3M管网配置项的含义。在场景编辑器左侧图层列表中，单击 S3M管网 图层，进入配置面板配置 S3M管网 图层的样式和数据。说明 当前...
S3M BIM是三维城市构建器的图层，支持独立的样式和数据配置，包括S3M BIM的通用配置和交互配置样式。本文介绍S3M BIM配置项的含义。在场景编辑器左侧图层列表中，单击 S3M BIM 图层，进入配置面板配置 S3M BIM 图层的样式和数据。说明 如果...
S3M管网是三维城市构建器的图层，支持独立的样式和数据配置，包括S3M管网的通用配置和交互配置样式。本文介绍S3M管网配置项的含义。在场景编辑器左侧图层列表中，单击 S3M管网 图层，进入配置面板配置 S3M管网 图层的样式和数据。说明 如果...
加载策略包括 覆盖数据 和 追加数据，适用场景说明如下：覆盖数据：写入的数据中有主键时新数据覆盖旧数据，无主键时追加数据。追加数据：写入的数据中有主键时忽略新数据，无主键时追加数据。字段分隔符 非必填项，填写字段之间分隔符。...
S3M倾斜摄影是三维城市构建器的图层，支持独立的样式和数据配置，包括S3M倾斜摄影的通用配置和交互配置样式。本文介绍S3M倾斜摄影配置项的含义。在场景编辑器左侧图层列表中，单击 S3M倾斜摄影 图层，进入配置面板配置 S3M倾斜摄影 图层的...
S3M倾斜摄影是三维城市构建器的图层，支持独立的样式和数据配置，包括S3M倾斜摄影的通用配置和交互配置样式。本文介绍S3M倾斜摄影配置项的含义。在场景编辑器左侧图层列表中，单击 S3M倾斜摄影 图层，进入配置面板配置 S3M倾斜摄影 图层的...
本文将以LogHub数据同步至MaxCompute为例，为您介绍如何通过数据集成功能同步LogHub数据至数据集成已支持的目的端数据源（例如MaxCompute、OSS、Tablestore、RDBMS和DataHub等）。前提条件 准备好相关的数据源，详情请参见 创建MaxCompute...
创建 DRC 用户 如果您需要读取 OceanBase 数据库的增量日志数据和数据库对象结构信息，请在源端 sys 租户下创建 DRC 用户。此处创建的 DRC 用户，用于创建 OceanBase 数据源时填写 高级选项 中的 用户名。CREATE USER<drc_user>IDENTIFIED ...
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果。数据结果 展示数据请求的响应结果。当数据源发生改变时，可单击右侧的 图标，实时查看数据响应结果。说明 还可将...
AnalyticDB MySQL 2.0 DLA SelectDB NoSQL数据库 Redis MongoDB Memcache Cassandra Lindorm SQL Lindorm Phoenix Lindorm CQL Lindorm TSDB Lindorm HBase Graph Database 大数据 MaxCompute MaxCompute Lighting Hologres 文件及日志 OSS...
路况层是三维城市构建器的图层，支持独立的样式和数据配置，使用不同的颜色区分不同的路况。本文介绍路况层各配置项的含义。在场景编辑器左侧图层列表中，单击 路况层 图层，进入配置面板配置 路况层 图层的样式和数据。说明 如果图层列表...
路况层是三维城市构建器的图层，支持独立的样式和数据配置，使用不同的颜色区分不同的路况。本文介绍路况层各配置项的含义。在场景编辑器左侧图层列表中，单击 路况层 图层，进入配置面板配置 路况层 图层的样式和数据。说明 如果图层列表...
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据结果 展示数据请求的响应结果。当数据源发生改变时，可单击右侧的 图标，实时查看...
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据结果 展示数据请求的响应结果。当数据源发生改变时，可单击右侧的 图标，实时查看...
该数据分类架构在ODS层分为三部分：数据准备区、离线数据和准实时数据区。整体数据分类架构如下图所示。在本教程中，从交易数据系统的数据经过DataWorks数据集成，同步到数据仓库的ODS层。经过数据开发形成事实宽表后，再以商品、地域等为...
访问频度极高业务 如社交网络、电子商务、游戏、广告等。...实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作流程。
该数据分类架构在ODS层分为三部分：数据准备区、离线数据和准实时数据区。整体数据分类架构如下图所示。在本教程中，从交易数据系统的数据经过DataWorks数据集成，同步到数据仓库的ODS层。经过数据开发形成事实宽表后，再以商品、地域等为...
数据地图是在元数据基础上提供的企业数据目录管理模块，涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据。元数据采集与接入 MaxCompute数据 如果您使用了...
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
MaxCompute支持您将MaxCompute项目数据接入观远BI，帮助企业的业务人员和数据分析师开展以问题为导向的探索式分析工作以及制作数据卡片和数据看板。本文为您介绍如何通过MaxCompute JDBC驱动，连接观远BI和MaxCompute项目，并进行可视化...
结构初始化涉及的数据类型映射关系 异构数据库间的数据类型映射关系 数据校验 数据校验是DTS提供的用于监控源库与目标库数据差异的功能，支持在不停服的情况下对源库和目标库进行校验，帮助您及时发现数据和结构不一致的问题 功能集 功能 ...
新建数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 OceanBase 数据源。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 ...
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 StarRocks 支持 不支持 Hudi 支持 支持 Doris 支持 不支持 GreenPlum 支持 支持 TDengine ...
在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范，可以切实提高研发效率，保障数据研发工作有条不紊地运作。而不完善的研发流程，会...
通过我的资产清晰掌握可使用、可管理、已授权的数据表、标签和数据服务API数据资产相关信息。功能特性 支持以用户的视角展示自有权限或申请授权成功的数据表、标签、数据服务API资产。支持特定角色对数据表、标签、数据服务API等数据资产...
AnalyticDB MySQL Spark全密态计算引擎是首批通过信通院隐私计算可信执行环境《产品性能》和《安全功能》两项认证的产品，它可以加密敏感数据，避免数据泄露。您可以通过本文，了解Spark全密态计算引擎在安全合规等领域的应用场景、功能...
数据分类架构 该数据分类架构在ODS层分为三部分：数据准备区、离线数据和准实时数据区。在进入到CDM层后，由以下几部分组成：公共维度层：基于维度建模理念思想，建立整个企业的一致性维度。明细粒度事实层：以业务过程为建模驱动，基于每...